JP2011244217A - 映像信号処理装置、映像表示装置および映像表示システム - Google Patents

映像信号処理装置、映像表示装置および映像表示システム Download PDF

Info

Publication number
JP2011244217A
JP2011244217A JP2010114653A JP2010114653A JP2011244217A JP 2011244217 A JP2011244217 A JP 2011244217A JP 2010114653 A JP2010114653 A JP 2010114653A JP 2010114653 A JP2010114653 A JP 2010114653A JP 2011244217 A JP2011244217 A JP 2011244217A
Authority
JP
Japan
Prior art keywords
video
frame rate
unit
rate conversion
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010114653A
Other languages
English (en)
Other versions
JP5532232B2 (ja
JP2011244217A5 (ja
Inventor
Shinichiro Miyazaki
慎一郎 宮崎
Kyoichiro Oda
恭一郎 小田
Minoru Urushibara
稔 漆原
Makoto Kondo
真 近藤
Yoichi Matsumura
洋一 松村
Hideki Watanabe
英樹 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010114653A priority Critical patent/JP5532232B2/ja
Priority to US13/081,969 priority patent/US8780175B2/en
Priority to CN201110121076.6A priority patent/CN102256145B/zh
Publication of JP2011244217A publication Critical patent/JP2011244217A/ja
Publication of JP2011244217A5 publication Critical patent/JP2011244217A5/ja
Application granted granted Critical
Publication of JP5532232B2 publication Critical patent/JP5532232B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】シャッター眼鏡を用いて映像を観察する際のフリッカの発生を低減することが可能な映像信号処理装置、映像表示装置および映像表示システムを提供する。
【解決手段】映像信号処理部41は、各映像(右眼用映像および左眼用映像)のフレームレートが2倍よりも高くなるように入力映像信号Dinに対して高フレームレート変換処理を行い、映像信号D1を生成する。そして、この高フレームレート変換処理後の映像信号D1を、各映像について時分割的に順次切り換えて映像表示を行う。シャッター制御部42は、高フレームレート変換処理後の各映像の表示タイミングと同期した開閉動作を行うように、シャッター眼鏡6に対する制御動作を行う。これにより、シャッター眼鏡6の開閉動作の周期が短くなる(開閉動作の周波数が高くなる)。
【選択図】図12

Description

本発明は、シャッター眼鏡を用いた映像表示システム、およびこのようなシステムに好適に用いられる映像信号処理装置および映像表示装置に関する。
近年、薄型テレビ、携帯端末装置のディスプレイとして、画素毎にTFT(Thin Film Transistor;薄膜トランジスタ)を設けたアクティブマトリクス型の液晶表示装置(LCD;Liquid Crystal Display)が多く用いられている。このような液晶表示装置では、一般に、画面上部から下部に向かって、各画素の補助容量素子および液晶素子に映像信号が線順次に書き込まれることにより各画素が駆動される。
ところで、液晶表示装置では、その用途に応じて、1フレーム期間を多分割し、分割した時間毎に異なる映像を表示させる駆動(以下、時分割駆動という)が行われている。このような時分割駆動方式を用いた液晶表示装置としては、例えばフィールドシーケンシャル方式を用いた液晶表示装置や、シャッター眼鏡を用いた立体映像表示システム(例えば、特許文献1参照)等が挙げられる。
シャッター眼鏡を用いた立体映像表示システムでは、1フレーム期間を2分割し、左眼用および右眼用の映像として互いに視差を有する2枚の映像を交互に切り替えて表示させる。また、この表示切り替えに同期して開閉動作がなされるシャッター眼鏡が用いられる。シャッター眼鏡は、左眼用映像の表示期間は左眼側が開(右眼側を閉)、右眼用映像の表示期間は右眼側が開(左眼側を閉)となるように制御される。観察者がこのようなシャッター眼鏡をかけて表示映像を観察することにより立体視を実現する。
特開2000−4451号公報
ところで、このような立体映像表示システムでは、上記したように、シャッター眼鏡の各眼側の開閉動作が右眼用および左眼用の各映像の表示タイミングと同期して個別になされることから、原理上、各眼側の開閉動作の周期は長くなってしまう。換言すると、シャッター眼鏡の各眼側の開閉動作の周波数は、各映像の切り換え周波数(サブフレーム期間の周波数)の1/2となってしまう。このため、シャッター眼鏡を用いて映像を観察した際に、人間の眼の特性に起因して、フリッカ(面フリッカ)の発生を感じ易くなってしまうことになる。
このようにして、時分割駆動方式による従来の映像表示手法では、シャッター眼鏡を用いて映像を観察した際にフリッカが発生し易いことから、改善する手法の実現が望まれる。なお、これまで説明したような問題は、液晶表示装置の場合には限られず、他の種類の表示装置においても発生し得るものである。
本発明はかかる問題点に鑑みてなされたもので、その目的は、シャッター眼鏡を用いて映像を観察する際のフリッカの発生を低減することが可能な映像信号処理装置、映像表示装置および映像表示システムを提供することにある。
本発明の映像信号処理装置は、各々が時系列に沿った複数の単位映像からなる複数の映像ストリームにおける各単位映像に対して、それらのフレームレートを2倍よりも高くする高フレームレート変換処理を行い、この高フレームレート変換処理後の各単位映像を、複数の映像ストリームを時分割的に順次切り換えて映像表示を行う表示部に対して出力するフレームレート変換部と、高フレームレート変換処理後の各単位映像の表示タイミングと同期した開閉動作を行うように、シャッター眼鏡に対する制御動作を行うシャッター制御部とを備えたものである。ここで、「映像ストリーム」とは、時系列上に沿った一連の単位映像の並びのことを意味しており、例えば、立体映像表示を行う場合における、左眼用映像ストリームや右眼用映像ストリームなどが挙げられる。また、例えば50Hzの映像ストリームの場合、静止画が50Hzの周期で連続的に切り替わることになるが、この静止画一枚一枚が、上記「単位映像」に対応している。
本発明の映像表示装置は、各々が時系列に沿った複数の単位映像からなる複数の映像ストリームにおける各単位映像に対して、それらのフレームレートを2倍よりも高くする高フレームレート変換処理を行うフレームレート変換部と、この高フレームレート変換処理後の各単位映像を用いて、複数の映像ストリームを時分割的に順次切り換えて映像表示を行う表示部と、高フレームレート変換処理後の各単位映像の表示タイミングと同期した開閉動作を行うように、シャッター眼鏡に対する制御動作を行うシャッター制御部とを備えたものである。
本発明の映像表示システムは、各々が時系列に沿った複数の単位映像からなる複数の映像ストリームを、時分割的に順次切り換えて映像表示を行う上記本発明の映像表示装置と、この映像表示装置における表示タイミングと同期した開閉動作を行うシャッター眼鏡とを備えたものである。
本発明の映像信号処理装置、映像表示装置および映像表示システムでは、複数の映像ストリームにおける各単位映像に対して、それらのフレームレートを2倍よりも高くする高フレームレート変換処理が行われる。そして、この高フレームレート変換処理後の各単位映像が、複数の映像ストリームを時分割的に順次切り換えて映像表示を行う表示部に対して出力される。また、高フレームレート変換処理後の各単位映像の表示タイミングと同期した開閉動作を行うように、シャッター眼鏡に対する制御動作が行われる。このようにして、フレームレートを2倍よりも高くする高フレームレート変換処理後の各単位映像を用いた映像表示、およびこの表示タイミングに同期したシャッター眼鏡の開閉動作がなされることにより、従来と比べてシャッター眼鏡の開閉動作の周期が短くなる(開閉動作の周波数が高くなる)。
本発明の映像信号処理装置、映像表示装置および映像表示システムによれば、複数の映像ストリームにおける各単位映像に対して、それらのフレームレートを2倍よりも高くする高フレームレート変換処理を行い、この高フレームレート変換処理後の各単位映像を、複数の映像ストリームを時分割的に順次切り換えて映像表示を行う表示部に対して出力すると共に、高フレームレート変換処理後の各単位映像の表示タイミングと同期した開閉動作を行うように、シャッター眼鏡に対する制御動作を行うようにしたので、従来と比べてシャッター眼鏡の開閉動作の周期を短くする(開閉動作の周波数を高くする)ことができる。よって、シャッター眼鏡を用いて映像を観察する際のフリッカの発生を低減することが可能となる。
本発明の一実施の形態に係る映像表示システムの全体構成を表すブロック図である。 図1に示した画素の詳細構成例を表す回路図である。 図1に示した映像信号処理部の詳細構成例を表すブロック図である。 図3に示したタイミングコントローラの動作について説明するためのタイミング図である。 図3に示した補間部の動作について説明するためのタイミング図である。 図5に示した補間パラメータの一例を表す模式図である。 図1に示した映像表示システムにおける立体映像表示動作の概要を表す模式図である。 比較例1に係る高フレームレート変換処理について説明するためのタイミング図である。 比較例2に係る高フレームレート変換処理について説明するためのタイミング図である。 比較例1,2に係る立体映像表示動作を表すタイミング図である。 実施の形態に係る高フレームレート変換処理の一例について説明するためのタイミング図である。 実施の形態に係る立体映像表示動作を表すタイミング図である。 変形例1に係る高フレームレート変換処理の一例について説明するためのタイミング図である。 変形例2に係る映像信号処理部の構成例を表すブロック図である。 変形例2に係る高フレームレート変換処理の一例について説明するためのタイミング図である。 変形例2に係る高フレームレート変換処理の他の例について説明するためのタイミング図である。 変形例3に係る映像信号処理部の構成例を表すブロック図である。 変形例3に係る高フレームレート変換処理の一例について説明するためのタイミング図である。 変形例3に係る立体映像表示動作を表すタイミング図である。 変形例4に係る映像表示システムにおけるマルチ映像表示動作の概要を表す模式図である。 他の変形例に係る立体映像表示動作を表すタイミング図である。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。

1.実施の形態(映像信号に対して2.5倍速変換を行う例1:補間位置が均等)
2.変形例1(映像信号に対して2.5倍速変換を行う例2:補間位置が不均等)
3.変形例2(映像信号に対して4倍速変換を行う例:補間位置が均等,不均等)
4.変形例3(2回連続書き込み方式を用いて、映像信号に対して5倍速変換を行う例)
5.変形例4(マルチ映像表示システムに適用した場合の例)
6.その他の変形例(重ね書きによる高フレームレート変換処理を用いた場合の例等)
<実施の形態>
[映像表示システムの全体構成]
図1は、本発明の一実施の形態に係る映像表示システムのブロック構成を表すものである。この映像表示システムは、時分割駆動方式の立体映像表示システムであり、本発明の一実施の形態に係る映像表示装置(液晶表示装置1)と、シャッター眼鏡6とを備えている。
(液晶表示装置1の構成)
液晶表示装置1は、左右の視差を有する右眼用映像信号DR(右眼用映像ストリームに属する各右眼用像信号)および左眼用映像信号DL(左眼用映像ストリームに属する各左眼用映像信号)からなる入力映像信号Dinに基づいて、映像表示を行うものである。この液晶表示装置1は、液晶表示パネル2、バックライト3、映像信号処理部41、シャッター制御部42、タイミング制御部43、バックライト駆動部50、データドライバ51およびゲートドライバ52を有している。これらのうち、映像信号処理部41およびシャッター制御部42が本発明における「映像信号処理装置」の一具体例に対応し、映像信号処理部41が本発明における「高フレームレート変換部」の一具体例に対応する。
バックライト3は、液晶表示パネル2に対して光を照射する光源であり、例えばLED(Light Emitting Diode)や、CCFL(Cold Cathode Fluorescent Lamp)などを用いて構成されている。
液晶表示パネル2は、後述するゲートドライバ52から供給される駆動信号に従って、データドライバ51から供給される映像電圧に基づいてバックライト3から発せられる光を変調することにより、入力映像信号Dinに基づく映像表示を行うものである。具体的には、詳細は後述するが、右眼用映像信号DRに基づく右眼用映像(右眼用映像ストリームに属する各右眼用単位映像)と、左眼用映像信号DLに基づく左眼用映像(左眼用映像ストリームに属する各左眼用単位映像)とを、時分割で交互に表示している。より具体的には、この液晶表示パネル2では、後述する映像信号処理部41において高フレームレート変換処理がなされた後の各右眼用映像および各左眼用映像を用いて、右眼用映像ストリームおよび左眼用映像ストリームを時分割的に順次切り換えて映像表示を行う。これにより、液晶表示パネル2において、立体映像表示のための時分割駆動がなされるようになっている。この液晶表示パネル2は、全体としてマトリクス状に配列された複数の画素20を含んでいる。
図2は、各画素20内の画素回路の回路構成例を表したものである。画素20は、液晶素子22、TFT素子21および補助容量素子23を有している。この画素20には、駆動対象の画素を線順次で選択するためのゲート線Gと、駆動対象の画素に対して映像電圧(データドライバ51から供給される映像電圧)を供給するためのデータ線Dと、補助容量線Csとが接続されている。
液晶素子22は、データ線DからTFT素子21を介して一端に供給される映像電圧に応じて、表示動作を行うものである。この液晶素子22は、例えばVA(Vertical Alignment)モードやTN(Twisted Nematic)モードの液晶よりなる液晶層(図示せず)を、一対の電極(図示せず)で挟み込んだものである。液晶素子22における一対の電極のうちの一方(一端)は、TFT素子21のドレインおよび補助容量素子23の一端に接続され、他方(他端)は接地されている。補助容量素子23は、液晶素子22の蓄積電荷を安定化させるための容量素子である。この補助容量素子23の一端は、液晶素子22の一端およびTFT素子21のドレインに接続され、他端は補助容量線Csに接続されている。TFT素子21は、液晶素子22および補助容量素子23の一端同士に対し、映像信号D1に基づく映像電圧を供給するためのスイッチング素子であり、MOS−FET(Metal Oxide Semiconductor−Field Effect Transistor)により構成されている。このTFT素子21のゲートはゲート線G、ソースはデータ線Dにそれぞれ接続されると共に、ドレインは液晶素子22および補助容量素子23の一端同士に接続されている。
映像信号処理部41は、入力映像信号Dinにおける右眼用映像信号DRおよび左眼用映像信号DLに対して、右眼用映像および左眼用映像のフレームレートをそれぞれ2倍よりも高くする高フレームレート変換処理を行うものである。具体的には、本実施の形態では映像信号処理部41は、後述する動きベクトルmvを用いた(動き補償を用いた)フレーム補間によって、各映像(右眼用映像および左眼用映像)のフレームレートが2.5倍となるように、高フレームレート変換処理を行う。これにより、そのような高フレームレート変換処理後の各映像(右眼用映像および左眼用映像)からなる映像信号D1を生成するようになっている。ここで、以下、1フレーム期間のうち、映像信号D1における左眼用映像の表示期間を「Lサブフレーム期間」、映像信号D1における右眼用映像の表示期間を「Rサブフレーム期間」と称する。この映像信号処理部41ではまた、外部から入力される同期信号(垂直同期信号Vsyncおよび水平同期信号Hsync)に基づいて、以下説明するシャッター眼鏡6に対する制御信号CTLの基となる制御信号CTL0を生成し、シャッター制御部42へ出力するようになっている。なお、映像信号処理部41において、例えば高画質化のための所定の画像処理(例えば、シャープネス処理やガンマ補処理など)を行うようにしてもよい。この映像信号処理部41の詳細構成については、後述する(図3)。
シャッター制御部42は、映像信号処理部41による高フレームレート変換処理後の各映像(右眼用映像および左眼用映像)の表示タイミングと同期した開閉動作を行うように、シャッター眼鏡6に対する制御動作を行うものである。具体的には、映像信号処理部41から供給される制御信号CTL0に基づいて、上記したタイミングによる開閉動作を行うための制御信号CTLを生成し、シャッター眼鏡6に出力するようになっている。なお、この制御信号CTLは、ここでは例えば赤外線信号等の無線信号であるものとして示しているが、有線信号であってもよい。
タイミング制御部43は、バックライト駆動部50、ゲートドライバ52およびデータドライバ51の駆動タイミングを制御すると共に、映像信号処理部41から供給される映像信号D1をデータドライバ51へ供給するものである。
ゲートドライバ52は、タイミング制御部43によるタイミング制御に従って、液晶表示パネル2内の各画素20を、前述したゲート線Gに沿って線順次駆動するものである。これにより、映像信号D1に基づく表示駆動が液晶表示パネル2に対してなされるようになっている。
データドライバ51は、液晶表示パネル2の各画素20へそれぞれ、タイミング制御部43から供給される、映像信号D1に基づく映像電圧を供給するものである。具体的には、映像信号D1に対してD/A(デジタル/アナログ)変換を施すことにより、アナログ信号である映像信号(上記映像電圧)を生成し、各画素20へ出力するようになっている。
バックライト駆動部50は、タイミング制御部43によるタイミング制御に従って、バックライト3の点灯動作(発光動作)を制御するものである。ただし、本実施の形態では、そのようなバックライト3の点灯動作(発光動作)の制御を行わないようにしてもよい。
(シャッター眼鏡6の構成)
シャッター眼鏡6は、液晶表示装置1の観察者が用いることにより立体視を可能とするものであり、左眼用レンズ6Lおよび右眼用レンズ6Rを有している。これらの左眼用レンズ6Lおよび右眼用レンズ6Rにはそれぞれ、例えば、図示しない液晶素子を用いた液晶シャッター(遮光シャッター)が設けられている。これらの遮光シャッターにおける入射光の遮光機能の有効状態(開状態,透過状態)および無効状態(閉状態,遮断状態)は、シャッター制御部44から供給される制御信号CTLによって、時分割制御されるようになっている。
具体的には、シャッター制御部44は、液晶表示装置1における左眼用映像および右眼用映像の表示タイミング(切り換え表示)に同期して、左眼用レンズ6Lおよび右眼用レンズ6Rの開状態および閉状態が交互に切り替わるように、シャッター眼鏡6を制御している。言い換えると、前述したLサブフレーム期間には、左眼用レンズ6Lを開状態、右眼用レンズ6Rを閉状態とする制御を行う一方、Rサブフレーム期間には、右眼用レンズ6Rを開状態、左眼用レンズ6Lを閉状態とする制御を行う。これにより、1フレーム期間を2分割して右眼用映像と左眼用映像とを交互に切り替えて表示する時分割駆動方式において、観察者は、右眼用映像を右眼、左眼用映像を左眼でそれぞれ観察することが可能となる。
(映像信号処理部41の詳細構成)
次に、図3〜図6を参照して、映像信号処理部41の詳細構成について説明する。図3は、映像信号処理部41の詳細なブロック構成を表したものである。この映像信号処理部41は、前処理部81、メモリコントローラ82、メモリ83、動きベクトル検出部84、タイミングコントローラ85および補間部86を有している。これにより、動きベクトルmvを用いたフレーム補間によって各映像(右眼用映像および左眼用映像)のフレームレートが2.5倍となるように、入力映像信号Dinに対して高フレームレート変換処理を行い、映像信号D1を生成する。具体的には、以下詳述するように、メモリ82に格納された各映像について、一度に2.5倍速のスピードでPrev(1フレーム前の映像)およびSucc(現在のフレームの映像)を同時に読み出すと共に、後段の補間部86においてインタポレーション(Interpolation)を行う。これにより、入力映像信号Dinに対して2.5倍速の映像信号D1が生成されるようになっている。
前処理部81は、入力映像信号Din(図示しないチューナ,デコーダ等での選局,デコード等の処理を経た信号であるデジタルコンポーネント信号YUV)から、輝度信号Yを分離する処理(前処理)を行うものである。このようにして前処理部81において分離された輝度信号Yはメモリコントローラ82へ出力され、このメモリコントローラ82を介してメモリ83に順次書き込まれるようになっている。
タイミングコントローラ85は、外部から入力される垂直同期信号Vsyncおよび水平同期信号Hsyncの周波数をそれぞれ2.5倍にして、メモリコントローラ82および補間部86へ出力する(図中の「2.5×Vsync」,「2.5×Hsync」で示した各同期信号を生成する)ものである。具体的には、図4(A),(B)に示したように、例えば周波数が48Hz(あるいは50Hz)の垂直同期信号Vsyncの周波数を2.5倍にすることにより、そのような周波数(ここでは、120Hzあるいは125Hz)からなる信号(「2.5×Vsync」)を生成する。
動きベクトル検出部84は、メモリコントローラ82を介してメモリ83からそれぞれ供給される、現在のフレームの輝度信号Yとその前後のフレームの輝度信号Yとを用いて、例えばブロックマッチングを用いた動きベクトル検出処理を行うものである。このようにして検出された各フレームの動きベクトルmvは、メモリコントローラ82を介してメモリ83へ書き込まれると共に、メモリ83から読み出され、次のフレームの動きベクトル検出処理の際の参照用として再び動きベクトル検出部84へ供給されるようになっている。
メモリ83は、上記した各フレームのYUV信号、輝度信号Yおよび動きベクトルmvをそれぞれ保持(記憶)しておくためのメモリである。
メモリコントローラ82は、メモリ83に保持されている各フレームのYUV信号、輝度信号Yおよび動きベクトルmvのそれぞれについて、書き込みおよび読み出しの動作を制御するものである。具体的には、特にここでは、タイミングコントローラ85から供給される同期信号「2.5×Vsync」,「2.5×Hsync」を用いて、Succ(現在のフレーム)のYUV信号およびPrev(1フレーム前)のYUV信号をそれぞれ、2.5倍速で読み出す。これにより、そのような2.5倍速の周期からなるYUV信号(「2.5YUV(succ)」,「2.5YUV(prev)」)がそれぞれ、後述する補間部86内のサーチレンジメモリ861へ出力されるようになっている。また、このメモリコントローラ82は、同期信号「2.5×Vsync」,「2.5×Hsync」を用いて、動きベクトルmvも2.5倍速で読み出す。これにより、2.5倍速の周期からなるmv信号(「2.5mv」)が、後述する補間部86内のインタポレータ862へ出力されるようになっている。なお、これらの信号の2.5倍速の読み出し動作は、右眼用映像および左眼用映像のそれぞれについて同時になされるようになっている。
補間部86は、同期信号「2.5×Vsync」,「2.5×Hsync」と、メモリコントローラ82から供給される各信号(「2.5YUV(succ)」,「2.5YUV(prev)」,「2.5mv」)と、後述する補間係数Relposとを用いて、映像信号D1を生成するものである。具体的には、動きベクトルmvを用いたフレーム補間によって、入力映像信号Dinに対して2.5倍速の高フレームレート変換処理を行い、映像信号D1を生成する。この補間部86は、サーチレンジメモリ861およびインタポレータ862を有している。
サーチレンジメモリ861は、メモリコントローラ82から供給されるYUV信号「2.5YUV(succ)」,「2.5YUV(prev)」をそれぞれ保持(記憶)するためのメモリである。これらのYUV信号はそれぞれ、Succ(現在のフレーム),Prev(1フレーム前)のYUV信号(オリジナルフレームの信号)として、インタポレータ862へ出力されるようになっている。
インタポレータ862は、メモリコントローラ82から供給される動きベクトルmvと、この動きベクトルmvを用いて生成する補間フレームの補間位置(時間軸上の補間位置)を示す補間係数Relposとに基づいて、所定のアドレス計算を行うものである。具体的には、これらの動きベクトルmvおよび補間係数Relposに基づいて、補間フレームの画素値を計算するために用いるサーチレンジメモリ861内のオリジナルフレームの画素のアドレスを計算するようになっている。
図5は、このインタポレータ862によるアドレス計算の原理を概念的に表したものである。
この図5において、(n−1)は、サーチレンジメモリ861内に保持されている前後2フレームのオリジナルフレームのうち、時間的に早いほう(prev)のオリジナルフレームにおける画素を示し、各画素のアドレス(画面上でのx方向およびy方向の位置)を縦軸方向に示している。また、nは、この2フレームのオリジナルフレームのうち、時間的に遅いほうのオリジナルフレームにおける画素を示し、各画素のアドレスを縦軸方向に示している。一方、iは、補間フレームの画素を示し、各画素のアドレスを縦軸方向に示している。なお、横軸は時間であり、2つのオリジナルフレーム(n−1),nの間(ここでは一例として真ん中)に補間フレームiが位置している。
また、図5において、「mv(x,y)int」は、補間フレームiの各画素のうち、現在作成しようとしている画素(基準画素)のアドレス(基準アドレス)(x,y)についてのオリジナルフレーム(n−1),n間の動きベクトルmvである。zeroPelPrev(x,y)は、オリジナルフレーム(n−1)における基準アドレス(x,y)の画素の値である。また、zeroPelSucc(x,y)は、オリジナルフレームnにおける基準アドレス(x,y)の画素の値である。
インタポレータ862は、この基準アドレス(x,y)と、動きベクトルmv(x,y)intにおけるx方向成分mvXおよびy方向成分mvYと、補間係数Relposとに基づいて、画素のアドレスを求める。具体的には、これらに基づいて、以下の(1)式により、基準アドレス(x,y)の画素値を計算するために用いるオリジナルフレーム(n−1),nの画素のアドレスを算出するようになっている。
オリジナルフレーム(n−1)の画素のアドレス
=(x+mvX・Relpos,y+mvY・Relpos)
オリジナルフレームnの画素のアドレス
=(x−mvX・(1−Relpos),y−mvY・(1−Relpos)) ……(1)
また、インタポレータ862は、このようにして算出したアドレスをサーチレンジメモリ861へ出力し、これらのアドレスの画素値prev,succをそれぞれ読み出すようになっている。そして、これらの画素値prev,succと補間係数Relposとを用いて、以下の(2)式により、補間フレームiの基準アドレス(x,y)の画素値Outを算出するようになっている。
Out=prev・(1−Relpos)+succ・Relpos ……(2)
補間部86では、このような計算を補間フレームiの各画素について順次行う(基準アドレスの値(x,y)を順次更新して行う)ことにより、補間フレームiを作成するようになっている。
次に、図6を参照して、補間係数Relposと、補間フレームiの時間軸上の位置(オリジナルフレーム(n−1),nの間の補間位置)の設定値との関係について説明する。なお、この図6では一例として、オリジナルフレーム(n−1)を左眼用映像L0,右眼用映像R0、オリジナルフレームnを左眼用映像L2,右眼用映像R2、補間フレームiを、L0.4,R0.4,L0.8,R0.8,L1.2,R1.2,L1.6,R1.6として示している。
図6に示したように、補間係数relposの設定値が「0」の場合、オリジナルフレームL0,R0またはオリジナルフレームL2,R2に対応する補間位置(オリジナルフレームの位置)を示すこととなる。また、補間係数relposの設定値が「0.4」の場合、補間フレームL0.4,R0.4に対応する補間位置(オリジナルフレームL0,R0の位置を「0」、オリジナルフレームL1,R1の位置を「1」とした場合における、時間軸上での「0.4」の位置)となる。同様に、補間係数relposの設定値が「0.8」の場合、補間フレームL0.8,R0.8に対応する補間位置(オリジナルフレームL0,R0の位置を「0」、オリジナルフレームL1,R1の位置を「1」とした場合における、時間軸上での「0.8」の位置)となる。また、補間係数relposの設定値が「0.2」の場合、補間フレームL1.2,R1.2に対応する補間位置(オリジナルフレームL1,R1の位置を「0」、オリジナルフレームL2,R2の位置を「1」とした場合における、時間軸上での「0.2」の位置)となる。同様に、補間係数relposの設定値が「0.6」の場合、補間フレームL1.6,R1.6に対応する補間位置(オリジナルフレームL1,R1の位置を「0」、オリジナルフレームL2,R2の位置を「1」とした場合における、時間軸上での「0.6」の位置)となる。
このように、本実施の形態では、各補間フレームの補間位置(時間軸上の位置)が、オリジナルフレーム間で均等(ここでは、各補間フレームの補間位置が0.4ずつ増加している)となるように設定されている。すなわち、補間係数の値が0.4ずつ増加し、5サイクルでオリジナルフレームの位置に設定されるようになっている。
[映像表示システムの作用・効果]
次に、本実施の形態の映像表示システムの作用および効果について説明する。
(1.立体映像表示動作)
この映像表示システムでは、図1に示したように液晶表示装置1において、映像信号処理部41が、入力映像信号Dinにおける右眼用映像信号DRおよび左眼用映像信号DLに対してそれぞれ高フレームレート変換処理を行い、映像信号D1を生成する。次に、シャッター制御部42は、このような高フレームレート変換処理後の右眼用映像および左眼用映像の出力タイミング(表示タイミング)に対応する制御信号CTLを生成し、シャッター眼鏡6に出力する。また、映像信号処理部41から出力される映像信号D1は、タイミング制御部43を介してデータドライバ51へ供給される。データドライバ51は、映像信号D1に対してD/A変換を施し、アナログ信号である映像電圧を生成する。そして、ゲートドライバ52およびデータドライバ51から出力される各画素20への駆動電圧によって表示駆動動作がなされる。
具体的には、図2に示したように、ゲートドライバ52からゲート線Gを介して供給される選択信号に応じて、TFT素子21のオン・オフ動作が切り替えられる。これにより、データ線Dと液晶素子22および補助容量素子23との間が選択的に導通される。その結果、データドライバ51から供給される映像信号D1に基づく映像電圧が液晶素子22へと供給され、線順次の表示駆動動作がなされる。
このようにして映像電圧が供給された画素20では、バックライト3からの照明光が液晶表示パネル2において変調され、表示光として出射される。これにより、入力映像信号Dinに基づく映像表示が、液晶表示装置1において行われる。具体的には、1フレーム期間内において、高フレームレート変換処理後の映像信号D1における左眼用映像と、この映像信号D1における右眼用映像とが交互に表示され、時分割駆動による表示駆動動作がなされる。
この際、図7(A)に示したように、左眼用の映像表示のときには、制御信号CTLにより、観察者7が用いるシャッター眼鏡6において、右眼用レンズ6Rにおける遮光機能が有効状態となると共に、左眼用レンズ6Lにおける遮光機能が無効状態となる。すなわち、左眼用レンズ6Lでは、左眼用の映像表示による表示光LLの透過に対して開(オープン)状態となり、右眼用レンズ6Rでは、この表示光LLの透過に対して閉(クローズ)状態となる。一方、図7(B)に示したように、右眼用の映像表示のときには、制御信号CTLにより、左眼用レンズ6Lにおける遮光機能が有効状態となると共に、右眼用レンズ6Rにおける遮光機能が無効状態となる。すなわち、右眼用レンズ6Rでは、右眼用の映像表示による表示光LRの透過に対して開状態となり、左眼用レンズ6Lでは、この表示光LRの透過に対して閉状態となる。そして、このような状態が時分割で交互に繰り返されるため、液晶表示装置1の表示画面を観察者7がシャッター眼鏡6をかけて観察することにより、立体映像の観察が可能となる。すなわち、観察者7は、左眼用映像を左眼7L、右眼用映像を右眼7Rで見ることができ、これらの左眼用映像と右眼用映像との間には視差があるため、観察者7には奥行きのある立体的な映像として認識される。
(2.高フレームレート変換処理を用いたフリッカの低減動作)
次に、図8〜図12を参照して、本発明の特徴的部分の1つである高フレームレート変換処理を用いた、シャッター眼鏡6を使用した映像観察の際のフリッカの低減動作について、比較例(比較例1,2)と比較しつつ詳細に説明する。
(比較例1,2)
図8は、比較例1に係る高フレームレート変換処理をタイミング図で表わしたものであり、図9は、比較例2に係る高フレームレート変換処理をタイミング図で表わしたものである。これらの図8,図9において、(A)は入力映像信号Dinを、(B)は、これらの高フレームレート変換処理の際に用いられる同期信号LRIDを、(C)は、入力映像信号Dinに対して高フレームレート変換処理を行うことにより得られる映像信号D101,D201を、それぞれ示している。
まず、比較例1の高フレームレート変換処理では、入力映像信号Din(左眼用のオリジナルフレームL0,L1,L2,…および右眼用のオリジナルフレームR0,R1,R2,…が左右で交互に出力される信号)に対して2倍速変換を行い、映像信号D101を生成している。具体的には、動きベクトルmvを用いた2倍速変換によって、例えばオリジナルフレームL0,R0とオリジナルフレームL1,R1との間(補間係数=0.5に対応する補間位置)に、補間フレームL0.5,R0.5をそれぞれ補間生成し、映像信号D1を生成している。このようにして、例えば48Hzまたは50Hzの垂直周波数からなる入力映像信号Dinに対して、左眼用および右眼用の各映像について2倍速変換がなされ、例えば96Hzまたは100Hzの垂直周波数からなる映像信号D101が生成されるようになっている。
一方、比較例2の高フレームレート変換処理においても、入力映像信号Din(左眼用のオリジナルフレームL0,L1,L2,…および右眼用のオリジナルフレームR0,R1,R2,…が左右で交互に出力される信号)に対して2倍速変換を行い、映像信号D201を生成している。これにより、上記比較例1と同様に、例えば48Hzまたは50Hzの垂直周波数からなる入力映像信号Dinに対して、左眼用および右眼用の各映像について2倍速変換がなされ、例えば96Hzまたは100Hzの垂直周波数からなる映像信号D201が生成されるようになっている。ただし、この比較例2では、動きベクトルmvを用いて補間フレームを生成している上記比較例1とは異なり、オリジナルフレームを2度重ねて読み出すことにより、補間フレームを生成している。すなわち、この映像信号D201では、L0,R0,L0,R0,L1,R1,…の順に各フレームが出力されるようになっている。
ところが、これら比較例1,2の高フレームレート変換処理後の映像信号D101,D201を用いて立体映像表示を行い、その映像をシャッター眼鏡6を用いて観察した場合、以下詳述するように、フリッカ(面フリッカ)の発生を感じ易くなってしまう。
図10は、比較例1,2に係る立体映像表示動作をタイミング図で表したものであり、(A)は映像(映像信号D101または映像信号D201)の書き込み・表示動作を、(B)はシャッター眼鏡6(左眼用レンズ6L,右眼用レンズ6R)の状態を示している。なお、図10(B)において、黒色で示した期間は、左眼用レンズ6L,右眼用レンズ6Rにおけるシャッター閉(OFF,クローズ)期間を、白色で示した期間は、それらにおけるシャッター開(ON,オープン)期間を示し、以降の図においても同様である。
この図10に示したように、立体映像表示動作の際には、シャッター眼鏡6における左眼用(6L)および右眼用(6R)の開閉動作が右眼用および左眼用の各映像の表示タイミングと同期して個別になされる。このため、原理上、シャッター眼鏡6における各眼用の開閉動作の周期は、左眼用および右眼用の各映像の切り換え周期(Lサブフレーム期間,Rサブフレーム期間の周期)と比べて長くなってしまう。換言すると、シャッター眼鏡6における各眼側の開閉動作の周波数(例えば、48Hzまたは50Hz)は、各映像の切り換え周波数(Lサブフレーム期間,Rサブフレーム期間の周波数:例えば96Hzまたは100Hz)の1/2となってしまう。このため、比較例1,2における高フレームレート変換処理を採用した場合、シャッター眼鏡6を用いて映像を観察した際に、人間の眼の特性に起因して、フリッカの発生を感じ易くなってしまうことになる。
(本実施の形態)
これに対して本実施の形態では、映像信号処理部41において、各映像(右眼用映像および左眼用映像)のフレームレートが2倍よりも高く(ここでは2.5倍)なるように、入力映像信号Dinに対して高フレームレート変換処理を行い、映像信号D1を生成する。そして、このような高フレームレート変換処理後の映像信号D1に基づいて、各映像(右眼用映像および左眼用映像)が時分割的に順次切り換えられて映像表示がなされる。また、シャッター制御部42では、映像信号処理部41による高フレームレート変換処理後の各映像(右眼用映像および左眼用映像)の表示タイミングと同期した開閉動作を行うように、シャッター眼鏡6に対する制御動作を行う。以下、このような本実施の形態の高フレームレート変換処理を用いたフリッカの低減動作について、詳細に説明する。
図11は、本実施の形態に係る高フレームレート変換処理をタイミング図で表わしたものである。この図11において、(A)は入力映像信号Dinを、(B)は同期信号LRIDを、(C)は映像信号D1を、それぞれ示している。また、図11(D)は、この高フレームレート変換処理の際に用いられる補間係数Relposを、各補間フレームおよびそれらを補間生成する際に用いる2つのオリジナルフレーム(「frame1」,「frame2」)と対応付けて示している。
本実施の形態の高フレームレート変換処理では、入力映像信号Din(左眼用のオリジナルフレームL0,L1,L2,…および右眼用のオリジナルフレームR0,R1,R2,…が左右で交互に出力される信号)に対して2.5倍速変換を行い、映像信号D1を生成する。具体的には、動きベクトルmvを用いた2.5倍速変換によって、オリジナルフレームL0,R0とオリジナルフレームL2,R2との間に、補間フレームL0.4,R0.4,L0.8,R0.8,L1.2,R1.2,L1.6,R1.6をそれぞれ補間生成し、映像信号D1を生成している。このようにして、例えば48Hzまたは50Hzの垂直周波数からなる入力映像信号Dinに対して、左眼用および右眼用の各映像について2.5倍速変換がなされ、例えば120Hzまたは125Hzの垂直周波数からなる映像信号D1が生成されるようになっている。
図12は、本実施の形態の立体映像表示動作をタイミング図で表したものであり、前述した図10と同様に、(A)は映像(映像信号D1)の書き込み・表示動作を、(B)はシャッター眼鏡6(左眼用レンズ6L,右眼用レンズ6R)の状態を示している。
この図12に示したように、映像信号D1の左眼用および右眼用の各映像における垂直周波数(Lサブフレーム期間,Rサブフレーム期間の周波数)が、例えば120Hzまたは125Hzである場合、シャッター眼鏡6における各眼側の開閉動作の周波数は以下のようになる。すなわち、左眼用(6L)および右眼用(6R)とも、開閉動作の周波数が60Hzまたは62.5Hzとなり、上記比較例1,2(48Hzまたは50Hz)と比べて高い周波数となる。
このようにして本実施の形態では、フレームレートを2倍よりも高く(ここでは2.5倍)する高フレームレート変換処理後の各映像(左眼用映像および右眼用映像)を用いた映像表示、およびこの表示タイミングに同期したシャッター眼鏡6の開閉動作がなされる。これにより、上記比較例1,2比べ、シャッター眼鏡6の開閉動作の周期が短くなる(開閉動作の周波数が高くなる)。
以上のように本実施の形態では、各映像(右眼用映像および左眼用映像)のフレームレートが2倍よりも高く(ここでは2.5倍)なるように、入力映像信号Dinに対して高フレームレート変換処理を行い、この高フレームレート変換処理後の映像信号D1を、各映像(右眼用映像および左眼用映像)について時分割的に順次切り換えて映像表示を行うと共に、高フレームレート変換処理後の各映像の表示タイミングと同期した開閉動作を行うように、シャッター眼鏡6に対する制御動作を行うようにしたので、シャッター眼鏡6の開閉動作の周期を短くする(開閉動作の周波数を高くする)ことができる。よって、シャッター眼鏡6を用いて映像を観察する際のフリッカの発生を低減することが可能となる。
また、各補間フレームの補間位置が、オリジナルフレーム間で均等となるように設定したので、映像を観察した際のジャダー(Judder)感を大幅に軽減し、スムーズな映像表示を行うことが可能となる。
<変形例>
続いて、本発明の変形例(変形例1〜4)について説明する。なお、上記実施の形態と同様の構成要素については、同一の符号を付し、適宜説明を省略する。
(変形例1)
図13は、変形例1に係る高フレームレート変換処理をタイミング図で表わしたものである。この図13において、(A)は入力映像信号Dinを、(B)は同期信号LRIDを、(C)は映像信号D1を、それぞれ示している。また、図13(D)は、この高フレームレート変換処理の際に用いられる補間係数Relposを、各補間フレームおよびそれらを補間生成する際に用いる2つのオリジナルフレーム(「frame1」,「frame2」)と対応付けて示している。
本変形例においても上記実施の形態と同様に、入力映像信号Din(左眼用のオリジナルフレームL0,L1,L2,…および右眼用のオリジナルフレームR0,R1,R2,…が左右で交互に出力される信号)に対して動きベクトルmvを用いた2.5倍速変換を行い、映像信号D1を生成する。これにより、上記実施の形態と同様に、例えば48Hzまたは50Hzの垂直周波数からなる入力映像信号Dinに対して、左眼用および右眼用の各映像について2.5倍速変換がなされ、例えば120Hzまたは125Hzの垂直周波数からなる映像信号D1が生成される。
ただし、本変形例では、各補間フレームの補間位置がオリジナルフレーム間で均等となるように設定されている上記実施の形態とは異なり、各補間フレームの補間位置が、オリジナルフレーム間で不均等となるように設定されている。具体的には、図13に示した例では、各補間フレームの補間位置が0.2または0.7の間隔で増加するように設定されている。換言すると、補間係数の値が0.2または0.7の間隔で増加し、5サイクルでオリジナルフレームの位置に設定されるようになっている。これにより、映像信号D1では、オリジナルフレームL0,R0とオリジナルフレームL2,R2との間に、補間フレームL0.2,R0.2,L0.9,R0.9,L1.1,R1.1,L1.8,R1.8がそれぞれ補間生成されている。すなわち、この例では、各補間フレームの補間位置が、オリジナルフレーム寄りの位置となるように設定されている。
このような構成により本変形例においても、上記実施の形態と同様の作用により同様の効果を得ることが可能である。すなわち、シャッター眼鏡6を用いて映像を観察する際のフリッカの発生を低減することが可能となる。
また、本変形例では、各補間フレームの補間位置が、オリジナルフレーム間で不均等となるように設定したので、映像を観察した際のジャダー(Judder)感をある程度軽減し、少しスムーズな映像表示を行うことが可能となる。
更に、本変形例では、各補間フレームの補間位置が、オリジナルフレーム寄りの位置となるように設定したので、映像の補間位置の隔たりが大きい補間フレームが存在するようになり、それらの補間フレームの間での映像の動きのかたつきを大きくすることができる。よって、例えば動きベクトルを用いてフィルム信号に対する高フレームレート変換処理を行った際に、高フレームレート変換処理によってジャダーを削減しつつ、その削減の度合いを弱めることが可能となる。
(変形例2)
図14は、変形例2に係る映像信号処理部(映像信号処理部41A)のブロック構成を表したものである。本変形例の映像信号処理部41Aは、上記実施の形態の映像信号処理部41において、入力映像信号Dinに対する4倍速変換を行うことにより映像信号D1を生成するようにしたものであり、他の構成は同様となっている。
具体的には、この映像信号処理部41Aでは、タイミングコントローラ85において、垂直同期信号Vsyncおよび水平同期信号Hsyncの周波数をそれぞれ4倍にして、メモリコントローラ82および補間部86へ出力する(図中の「4×Vsync」,「4×Hsync」で示した各同期信号を生成する)。また、メモリコントローラ82において、タイミングコントローラ85から供給される同期信号「4×Vsync」,「4×Hsync」を用いて、SuccのYUV信号およびPrevのYUV信号をそれぞれ、4倍速で読み出す。これにより、4倍速の周期からなるYUV信号(「4YUV(succ)」,「4YUV(prev)」)がそれぞれ、補間部86内のサーチレンジメモリ861へ出力されるようになっている。更に、このメモリコントローラ82では、同期信号「4×Vsync」,「4×Hsync」を用いて、動きベクトルmvも4倍速で読み出す。これにより、これにより、4倍速の周期からなるmv信号(「4mv」)が、補間部86内のインタポレータ862へ出力されるようになっている。
ここで、図15および図16はそれぞれ、変形例2に係る高フレームレート変換処理をタイミング図で表わしたものである。これら図15,図16において、(A)は入力映像信号Dinを、(B)は同期信号LRIDを、(C)は映像信号D1を、それぞれ示している。また、図15(D)および図16(D)はそれぞれ、これらの高フレームレート変換処理の際に用いられる補間係数Relposを、各補間フレームおよびそれらを補間生成する際に用いる2つのオリジナルフレーム(「frame1」,「frame2」)と対応付けて示している。
まず、図15に示した例では、入力映像信号Din(左眼用のオリジナルフレームL0,L1,L2,…および右眼用のオリジナルフレームR0,R1,R2,…が左右で交互に出力される信号)に対して動きベクトルmvを用いた4倍速変換を行い、映像信号D1を生成している。これにより、例えば48Hzまたは50Hzの垂直周波数からなる入力映像信号Dinに対して、左眼用および右眼用の各映像について4倍速変換がなされ、例えば192Hzまたは200Hzの垂直周波数からなる映像信号D1が生成される。また、この図15に示した例では、各補間フレームの補間位置がオリジナルフレーム間で均等となるように設定されている。具体的には、ここでは各補間フレームの補間位置が0.25ずつ増加するように設定されている。換言すると、補間係数の値が0.25ずつ増加し、4サイクルでオリジナルフレームの位置に設定されるようになっている。これにより、ここでは映像信号D1において、オリジナルフレームL0,R0とオリジナルフレームL1,R1との間に、補間フレームL0.25,R0.25,L0.5,R0.5,L0.75,R0.75がそれぞれ補間生成されている。
一方、図16に示した例においても、入力映像信号Din(左眼用のオリジナルフレームL0,L1,L2,…および右眼用のオリジナルフレームR0,R1,R2,…が左右で交互に出力される信号)に対して動きベクトルmvを用いた4倍速変換を行い、映像信号D1を生成している。これにより、この例においても、例えば48Hzまたは50Hzの垂直周波数からなる入力映像信号Dinに対して、左眼用および右眼用の各映像について4倍速変換がなされ、例えば192Hzまたは200Hzの垂直周波数からなる映像信号D1が生成される。ただし、この図16に示した例では、図15に示した例とは異なり、各補間フレームの補間位置がオリジナルフレーム間で不均等となるように設定されている。具体的には、各補間フレームの補間位置が0.15または0.55の間隔で増加するように設定されている。換言すると、補間係数の値が0.15または0.55の間隔で増加し、4サイクルでオリジナルフレームの位置に設定されるようになっている。これにより、ここでは映像信号D1において、オリジナルフレームL0,R0とオリジナルフレームL1,R1との間に、補間フレームL0.15,R0.15,L0.3,R0.3,L0.85,R0.85がそれぞれ補間生成されている。すなわち、この例では、各補間フレームの補間位置が、オリジナルフレーム寄りの位置となるように設定されている。
このような構成により本変形例においても、上記実施の形態または変形例1と同様の作用により同様の効果を得ることが可能である。すなわち、シャッター眼鏡6を用いて映像を観察する際のフリッカの発生を低減することが可能となる。
(変形例3)
図17は、変形例3に係る映像信号処理部(映像信号処理部41B)のブロック構成を表したものである。本変形例の映像信号処理部41Bは、上記実施の形態の映像信号処理部41において、以下説明する連続書き込み方式を採用したものであり、他の構成は同様となっている。
すなわち、本変形例の映像信号処理部41Bでは、映像信号処理部41と同様に、入力映像信号Dinに対して動きベクトルmvを用いた2.5倍速変換を行う。また、映像信号処理部41Bでは更に、高フレームレート変換処理後の各映像(左眼用映像および右眼用映像)が複数回(ここでは2回)ずつ連続して出力されると共に、出力対象の映像(左眼用映像または右眼用映像)が時分割的に順次切り換えられるように、出力制御を行う。すなわち、ここでは、1フレーム期間内において、左眼用映像→左眼用映像→右眼用映像→右眼用映像の順序で出力されるように、映像信号D1を生成している。これにより本変形例では、例えば48Hzまたは50Hzの垂直周波数からなる入力映像信号Dinに対して、左眼用および右眼用の各映像について5倍速変換がなされ、例えば240Hzまたは250Hzの垂直周波数からなる映像信号D1が生成されるようになっている。なお、本変形例では後述するように、シャッター制御部42において、2回目の映像(左眼用映像または右眼用映像)の書き込みが完了した後にシャッター眼鏡6が開状態となるように、制御信号CTLを生成している。
具体的には、この映像信号処理部41Bでは、タイミングコントローラ85において、垂直同期信号Vsyncおよび水平同期信号Hsyncの周波数をそれぞれ5倍にして、メモリコントローラ82および補間部86へ出力する(図中の「5×Vsync」,「5×Hsync」で示した各同期信号を生成する)。また、メモリコントローラ82において、タイミングコントローラ85から供給される同期信号「5×Vsync」,「5×Hsync」を用いて、SuccのYUV信号およびPrevのYUV信号をそれぞれ、5倍速で読み出す。これにより、5倍速の周期からなるYUV信号(「5YUV(succ)」,「5YUV(prev)」)がそれぞれ、補間部86内のサーチレンジメモリ861へ出力されるようになっている。更に、このメモリコントローラ82では、同期信号「5×Vsync」,「5×Hsync」を用いて、動きベクトルmvも5倍速で読み出す。これにより、これにより、5倍速の周期からなるmv信号(「5mv」)が、補間部86内のインタポレータ862へ出力されるようになっている。
詳細には、本変形例の高フレームレート変換処理では、例えば図18(A)〜(C)に示したようにして行っている。すなわち、入力映像信号Din(左眼用のオリジナルフレームL0,L1,L2,…および右眼用のオリジナルフレームR0,R1,R2,…が左右で交互に出力される信号)に対して動きベクトルmvを用いた5倍速変換を行い、映像信号D1を生成している。これにより、例えば48Hzまたは50Hzの垂直周波数からなる入力映像信号Dinに対して、左眼用および右眼用の各映像について5倍速変換がなされ、例えば240Hzまたは250Hzの垂直周波数からなる映像信号D1が生成される。また、この図18に示した例では、各補間フレームの補間位置がオリジナルフレーム間で均等となるように設定されている。具体的には、ここでは各補間フレームの補間位置が0.4ずつ増加するように設定されている。換言すると、補間係数の値が0.4ずつ増加し、5サイクルでオリジナルフレームの位置に設定されるようになっている。これにより、ここでは映像信号D1において、オリジナルフレームL0,R0とオリジナルフレームL2,R2との間に、補間フレームL0.4,R0.4,L0.8,R0.8,L1.2,R1.2,L1.6,R1.6がそれぞれ補間生成されている。また、上記したように、各映像(左眼用映像および右眼用映像)は、2回ずつ連続して出力されるようになっている。
ここで、図19は、変形例3に係る連続書き込み方式による立体映像表示動作をタイミング図で表したものであり、前述した図10,図12と同様に、(A)は映像の書き込み・表示動作を、(B)はシャッター眼鏡6(左眼用レンズ6L,右眼用レンズ6R)の状態を示している。
この連続書き込み方式による立体映像表示動作では、図19(A)に示したように、1フレーム期間のうちの各Lサブフレーム期間において、左眼用映像が連続して2回ずつ液晶表示パネル2に書き込まれ、これにより左眼用映像L0,L0.4等が表示される。また、同様に各Rサブフレーム期間において、右眼用映像が連続して2回ずつ液晶表示パネル2に書き込まれ、これにより右眼用映像R0,R0.4等が表示される。すなわち、ここでは1フレーム期間内において、例えば、左眼用映像L0→左眼用映像L0→右眼用映像R0→右眼用映像R0→左眼用映像L0.4→左眼用映像L0.4→右眼用映像R0.4→…の順に表示される。そして、図19(B)に示したように、各サブフレーム期間(Lサブフレーム期間,Rサブフレーム期間)において、2回目の映像(左眼用映像または右眼用映像)の書き込みが完了して、画面全体において液晶が所望の階調輝度を保持している期間に、シャッター眼鏡6が開状態となる。
これにより、本変形例では、映像信号D1の左眼用および右眼用の各映像における垂直周波数(Lサブフレーム期間,Rサブフレーム期間の周波数)が、例えば192Hzまたは200Hzである場合、シャッター眼鏡6における各眼側の開閉動作の周波数は以下のようになる。すなわち、左眼用(6L)および右眼用(6R)とも、開閉動作の周波数が上記実施の形態と同様の60Hzまたは62.5Hzとなり、前述した比較例1,2(48Hzまたは50Hz)と比べて高い周波数となる。したがって、本変形例においても、上記実施の形態と同様の作用により同様の効果を得ることが可能である。すなわち、シャッター眼鏡6を用いて映像を観察する際のフリッカの発生を低減することが可能となる。
また、本変形例では、連続書き込み方式による立体映像表示動作を行うようにしたので、連続書き込みによって液晶が十分に応答したのちに、シャッター眼鏡6を開状態にすることができる。よって、液晶の応答特性が補われるため、左眼用映像と右眼用映像との間のクロストークを抑制することが可能となる。
なお、本変形例では、各補間フレームの補間位置がオリジナルフレーム間で均等となるように設定されている場合について説明したが、各補間フレームの補間位置がオリジナルフレーム間で不均等となるように設定されていてもよい。
(変形例4)
図20は、変形例4に係る映像表示システム(マルチビューシステム)における映像表示動作の概要を模式的に表したものである。本変形例では、これまで説明した立体映像表示動作の代わりに、複数人の観察者(ここでは、2人の観察者)に対し、互いに異なる複数(ここでは、2つ)の映像を個別に観察することを可能とするマルチ映像表示動作を行うようになっている。
本変形例のマルチビューシステムでは、1人目の観察者に対応する第1の映像信号に基づく第1の映像と、2人目の観察者に対応する第2の映像信号に基づく第2の映像とが、時分割で交互に表示される。すなわち、これまでは、シャッター眼鏡6における左眼用レンズ6Lおよび右眼用レンズ6Rごとにそれぞれ対応する左眼用映像および右眼用映像が表示されるのに対し、本変形例では、観察者(ユーザ)ごとにそれぞれ対応する複数の映像が表示される。
具体的には、図20(A)に示したように、第1の映像V1の表示期間においては、制御信号CTL1により、観察者71が用いるシャッター眼鏡61において、右眼用レンズ6Rおよび左眼用レンズ6Lの双方が開状態となっている。また、制御信号CTL2により、観察者72が用いるシャッター眼鏡62において、右眼用レンズ6Rおよび左眼用レンズ6Lの双方が閉状態となっている。すなわち、観察者71のシャッター眼鏡61では、第1の映像V1に基づく表示光LV1を透過させ、観察者72のシャッター眼鏡62では、この表示光LV1を遮断させる。
一方、図20(B)に示したように、第2の映像V2の表示期間においては、制御信号CTL2により、観察者72が用いるシャッター眼鏡62において、右眼用レンズ6Rおよび左眼用レンズ6Lの双方が開状態となっている。また、制御信号CTL1により、観察者71が用いるシャッター眼鏡61において、右眼用レンズ6Rおよび左眼用レンズ6Lの双方が閉状態となっている。すなわち、観察者72のシャッター眼鏡62では、第2の映像V2に基づく表示光LV2を透過させ、観察者71のシャッター眼鏡61では、この表示光LV2を遮断させる。
そして、このような状態が時分割で交互に繰り返されることにより、2人の観察者71,72は、互いに異なる映像(映像V1,V2)を個別に観察することが可能となる(マルチビューモードが実現される)。
このように、本変形例のようなマルチ映像表示動作を行う場合においても、タイミング制御部43において、上記実施の形態等で説明したようなタイミング制御を行うことにより、上記実施の形態等と同様の効果を得ることができる。
なお、本変形例では、2人の観察者において互いに異なる2つの映像を個別に観察する場合について説明したが、3人以上の観察者において互いに異なる3つ以上の映像を個別に観察する場合にも、本発明を適用することが可能である。また、映像の数とシャッター眼鏡の数は必ずしも同数となっていなくともよい。すなわち、ある1つの映像に対応して開閉動作を行うシャッター眼鏡を複数個用意し、1つの映像を複数人の観察者で観察するようにしてもよい。
(その他の変形例)
以上、実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されず、種々の変形が可能である。
例えば、上記実施の形態等では、動きベクトルmvを用いたフレーム補間によって高フレームレート変換処理を行う場合について説明したが、例えば図21(A),(B)に示したように、オリジナルフレームを2度重ねて読み出すことにより、補間フレームを生成するようにしてもよい。このようにして補間フレームを生成することにより高フレームレート変換処理を行う場合であっても、2倍よりも高い高フレームレート変換処理を行うのであれば、上記実施の形態等と同様の効果を得ることが可能である。
また、上記実施の形態等では、入力映像信号Dinに対して2倍速、4倍速または5倍速の高フレームレート変換処理を行う場合について説明したが、これらの場合には限られず、2倍よりも高い高フレームレート変換処理であれば、他の倍速変換であってもよい。
更に、上記変形例3では、高フレームレート変換処理後の各映像(左眼用映像および右眼用映像)が2回ずつ連続して出力される場合について説明したが、この場合には限られず、例えば、高フレームレート変換処理後の各映像が3回以上ずつ連続して出力されるようにしてもよい。
加えて、上記実施の形態等では、映像表示装置の一例として、液晶素子を用いて構成された液晶表示部を備えた液晶表示装置を挙げて説明したが、本発明は他の種類の映像表示装置にも適用することが可能である。具体的には、本発明は、例えばPDP(Plasma Display Panel)や有機EL(Electro Luminescence)ディスプレイなどを用いた映像表示装置にも適用することが可能である。
また、上記実施の形態等において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。
1…液晶表示装置、2…液晶表示パネル、20…画素、21…TFT素子、22…液晶素子、23…補助容量素子、3…バックライト、41,41A,41B…映像信号処理部、42…シャッター制御部、43…タイミング制御部、50…バックライト駆動部、51…データドライバ、52…ゲートドライバ、6,61,62…シャッター眼鏡、6L…左眼用レンズ、6R…右眼用レンズ、7,71,72…観察者(ユーザ)、7L…左眼、7R…右眼、81…前処理部、82…メモリコントローラ、83…メモリ、84…動きベクトル検出部、85…タイミングコントローラ、86…補間部、861…サーチレンジメモリ、862…インタポレータ、Din(DL,DR)…入力映像信号、D1…映像信号、CTL,CTL0,CTL1,CTL2…制御信号、Hsync…水平同期信号、Vsync…垂直同期信号、Relpos…補間係数、D…データ線、G…ゲート線、Cs…補助容量線、L…左眼用映像、R…右眼用映像、V1,V2…映像、LL,LR,LV1,LV2…表示光。

Claims (11)

  1. 各々が時系列に沿った複数の単位映像からなる複数の映像ストリームにおける各単位映像に対して、それらのフレームレートを2倍よりも高くする高フレームレート変換処理を行い、この高フレームレート変換処理後の各単位映像を、前記複数の映像ストリームを時分割的に順次切り換えて映像表示を行う表示部に対して出力するフレームレート変換部と、
    前記高フレームレート変換処理後の各単位映像の表示タイミングと同期した開閉動作を行うように、シャッター眼鏡に対する制御動作を行うシャッター制御部と
    を備えた映像信号処理装置。
  2. 前記フレームレート変換部は、各単位映像のフレームレートが2.5倍となるように、前記高フレームレート変換処理を行う
    請求項1に記載の映像信号処理装置。
  3. 前記フレームレート変換部は、各単位映像のフレームレートが4倍となるように、前記高フレームレート変換処理を行う
    請求項1に記載の映像信号処理装置。
  4. 前記フレームレート変換部は、更に、
    前記高フレームレート変換処理後の各単位映像が複数回ずつ連続して前記表示部へ出力されると共に、出力対象の映像ストリームが時分割的に順次切り換えられるように、出力制御を行う
    請求項1ないし請求項3のいずれか1項に記載の映像信号処理装置。
  5. 前記フレームレート変換部は、動きベクトルを用いたフレーム補間によって前記高フレームレート変換処理を行う
    請求項1ないし請求項3のいずれか1項に記載の映像信号処理装置。
  6. 前記フレームレート変換部は、前記補間フレームの時間軸上の位置を、オリジナルフレーム間で不均等となるように設定する
    請求項5に記載の映像信号処理装置。
  7. 前記フレームレート変換部は、前記補間フレームの時間軸上の位置を、オリジナルフレーム間で均等となるように設定する
    請求項5に記載の映像信号処理装置。
  8. 前記複数の映像ストリームが、互いに視差を有する左眼用映像ストリームおよび右眼用映像ストリームである
    請求項1に記載の映像信号処理装置。
  9. 各々が時系列に沿った複数の単位映像からなる複数の映像ストリームにおける各単位映像に対して、それらのフレームレートを2倍よりも高くする高フレームレート変換処理を行うフレームレート変換部と、
    前記高フレームレート変換処理後の各単位映像を用いて、前記複数の映像ストリームを時分割的に順次切り換えて映像表示を行う表示部と、
    前記高フレームレート変換処理後の各単位映像の表示タイミングと同期した開閉動作を行うように、シャッター眼鏡に対する制御動作を行うシャッター制御部と
    を備えた映像表示装置。
  10. 前記表示部が、液晶素子を用いて構成された液晶表示部である
    請求項9に記載の映像表示装置。
  11. 各々が時系列に沿った複数の単位映像からなる複数の映像ストリームを、時分割的に順次切り換えて映像表示を行う映像表示装置と、
    前記映像表示装置における表示タイミングと同期した開閉動作を行うシャッター眼鏡と
    を備え、
    前記映像表示装置は、
    前記複数の映像ストリームにおける各単位映像に対して、それらのフレームレートを2倍よりも高くする高フレームレート変換処理を行うフレームレート変換部と、
    前記高フレームレート変換処理後の各単位映像を用いて、前記複数の映像ストリームを時分割的に順次切り換えて映像表示を行う表示部と、
    前記高フレームレート変換処理後の各単位映像の表示タイミングと同期した開閉動作を行うように、前記シャッター眼鏡に対する制御動作を行うシャッター制御部と
    を有する映像表示システム。
JP2010114653A 2010-05-18 2010-05-18 映像信号処理装置、映像表示装置および映像表示システム Expired - Fee Related JP5532232B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010114653A JP5532232B2 (ja) 2010-05-18 2010-05-18 映像信号処理装置、映像表示装置および映像表示システム
US13/081,969 US8780175B2 (en) 2010-05-18 2011-04-07 Picture signal processor, picture display and picture display system
CN201110121076.6A CN102256145B (zh) 2010-05-18 2011-05-11 画面信号处理器、画面显示器和画面显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010114653A JP5532232B2 (ja) 2010-05-18 2010-05-18 映像信号処理装置、映像表示装置および映像表示システム

Publications (3)

Publication Number Publication Date
JP2011244217A true JP2011244217A (ja) 2011-12-01
JP2011244217A5 JP2011244217A5 (ja) 2013-05-16
JP5532232B2 JP5532232B2 (ja) 2014-06-25

Family

ID=44972194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010114653A Expired - Fee Related JP5532232B2 (ja) 2010-05-18 2010-05-18 映像信号処理装置、映像表示装置および映像表示システム

Country Status (3)

Country Link
US (1) US8780175B2 (ja)
JP (1) JP5532232B2 (ja)
CN (1) CN102256145B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014042133A (ja) * 2012-08-22 2014-03-06 Mitsubishi Electric Corp 立体映像表示システム、立体映像表示装置およびフレームレート制御方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120092388A1 (en) * 2009-04-30 2012-04-19 Sharp Kabushiki Kaisha Display control device, liquid crystal display device, program and recording medium on which the program is recorded
WO2012117461A1 (ja) * 2011-03-03 2012-09-07 パナソニック株式会社 立体映像処理装置および方法ならびに立体映像表示装置
KR101890927B1 (ko) * 2011-06-28 2018-09-28 엘지디스플레이 주식회사 입체영상표시장치와 이의 구동방법
CN102542993A (zh) * 2012-03-12 2012-07-04 南京大学 一种基于高帧率视频显示的信息隐藏技术
CN103096110A (zh) * 2013-01-21 2013-05-08 深圳市摩西尔电子有限公司 一种3d倍频显示方法
KR102389487B1 (ko) * 2017-09-26 2022-04-21 엘지디스플레이 주식회사 표시 장치 및 표시 장치의 구동 방법
CN108206017B (zh) * 2018-01-25 2020-08-11 广州晶序达电子科技有限公司 改进液晶面板跳屏的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240212A (ja) * 1997-03-03 1998-09-11 Sony Corp 映像表示装置
JP2010158013A (ja) * 2009-12-24 2010-07-15 Toshiba Corp フレーム処理装置、テレビジョン受信装置及びフレーム処理方法
JP2011139222A (ja) * 2009-12-28 2011-07-14 Toshiba Corp 立体画像処理装置、tv受信機及び立体画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000004451A (ja) 1998-06-15 2000-01-07 Idemitsu Kosan Co Ltd 立体画像表示方法および装置
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US9185426B2 (en) * 2008-08-19 2015-11-10 Broadcom Corporation Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
US20100046623A1 (en) * 2008-08-19 2010-02-25 Chen Xuemin Sherman Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
JP4626779B2 (ja) * 2008-08-26 2011-02-09 ソニー株式会社 映像信号処理装置、画像表示装置および映像信号処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240212A (ja) * 1997-03-03 1998-09-11 Sony Corp 映像表示装置
JP2010158013A (ja) * 2009-12-24 2010-07-15 Toshiba Corp フレーム処理装置、テレビジョン受信装置及びフレーム処理方法
JP2011139222A (ja) * 2009-12-28 2011-07-14 Toshiba Corp 立体画像処理装置、tv受信機及び立体画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014042133A (ja) * 2012-08-22 2014-03-06 Mitsubishi Electric Corp 立体映像表示システム、立体映像表示装置およびフレームレート制御方法

Also Published As

Publication number Publication date
US20110285816A1 (en) 2011-11-24
CN102256145A (zh) 2011-11-23
JP5532232B2 (ja) 2014-06-25
CN102256145B (zh) 2015-11-18
US8780175B2 (en) 2014-07-15

Similar Documents

Publication Publication Date Title
JP5532232B2 (ja) 映像信号処理装置、映像表示装置および映像表示システム
JP5343714B2 (ja) 映像処理装置、表示装置および表示システム
JP5273478B2 (ja) 映像表示装置および映像表示システム
TWI435297B (zh) 影像顯示裝置及驅動影像顯示裝置之方法
JP5526628B2 (ja) 映像表示装置および映像表示システム
TWI439118B (zh) 影像顯示裝置及使用其之影像顯示系統
KR101738476B1 (ko) 표시 패널의 구동 방법 및 이를 수행하는 표시 장치
US20110007136A1 (en) Image signal processing apparatus and image display
JP5252223B2 (ja) 映像表示装置および映像表示システム
JP2011090079A (ja) 表示装置、表示方法およびコンピュータプログラム
JP2011018993A5 (ja)
US10102811B2 (en) Method of displaying three-dimensional image and display apparatus using the same
JP2009232249A (ja) 立体映像表示装置、立体映像表示方法及び液晶ディスプレイ
JP2010210712A (ja) 画像表示装置、画像表示観察システム及び画像表示方法
JP4840519B2 (ja) 立体画像表示装置
CN101895778B (zh) 减轻立体影像鬼影的方法及系统
JP2011186224A (ja) 液晶表示装置および映像表示システム
JP2011039194A (ja) 液晶シャッター眼鏡および映像表示システム
JP2006317660A (ja) 画像表示制御装置、ディスプレイ装置及び画像表示方法
JP2011075668A (ja) 画像表示装置およびその駆動方法
JP2013148703A (ja) 映像表示装置及び映像信号書き込み方法
WO2012073731A1 (ja) 液晶表示装置、立体表示システム、制御プログラムおよび記録媒体
US9473765B2 (en) Three-dimensional shutter glasses and grayscale driving method thereof
KR20120029803A (ko) 입체 영상 표시장치와 그 과구동 방법
JP2014174518A (ja) 画像処理装置、電気光学装置、電子機器および駆動方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130403

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140408

R151 Written notification of patent or utility model registration

Ref document number: 5532232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees