JP2012029220A - 立体映像出力装置およびバックライト制御方法 - Google Patents

立体映像出力装置およびバックライト制御方法 Download PDF

Info

Publication number
JP2012029220A
JP2012029220A JP2010168345A JP2010168345A JP2012029220A JP 2012029220 A JP2012029220 A JP 2012029220A JP 2010168345 A JP2010168345 A JP 2010168345A JP 2010168345 A JP2010168345 A JP 2010168345A JP 2012029220 A JP2012029220 A JP 2012029220A
Authority
JP
Japan
Prior art keywords
video
unit
backlight
eye
backlight control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010168345A
Other languages
English (en)
Other versions
JP5039182B2 (ja
Inventor
Kunihiko Kawahara
邦彦 河原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010168345A priority Critical patent/JP5039182B2/ja
Priority to US13/094,307 priority patent/US20120026304A1/en
Publication of JP2012029220A publication Critical patent/JP2012029220A/ja
Application granted granted Critical
Publication of JP5039182B2 publication Critical patent/JP5039182B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】コントラスト比の高い立体映像を実現する。
【解決手段】フレームシーケンシャル方式の立体視表示用の左目用映像フレーム及び右目用映像フレームに基づく立体視映像を表示する映像表示部3aと、映像表示部3aを背面から照射するバックライト部3b,3cと、左目用映像フレームに応じて、バックライト部3b,3cの発光量を制御する第1のバックライト制御部201Lと、右目用映像フレームに応じて、バックライト部3b,3cの発光量を制御する第2のバックライト制御部201Rと、左目映像用バックライト制御信号と右目映像用バックライト制御信号とを順番に並べてマージした新たなバックライト制御信号を生成する信号変換部と、左目用映像フレーム及び右目用映像フレームに同期させて、信号変換部で生成されたバックライト制御信号に基づいてバックライト部3b,3cを点灯させる点灯制御部と、を備える。
【選択図】図5

Description

本発明の実施形態は、立体映像出力装置およびバックライト制御方法に関する。
従来より、平面的な映像表示画面を用いて視聴者に立体感のある映像を認識させる技術の開発が進められている。この技術は、相互に人間の両目の間隔に対応した視差を有する2種類の映像を用意し、右目用映像を視聴者の右目に視認させ、左目用映像を視聴者の左目に視認させることにより立体視を行なうものである。具体的には、右目用映像と左目用映像とを時分割で出力して同一の映像表示画面に交互に表示させ、視聴者の装着した立体視用眼鏡に対して、右目用映像が表示されているとき左目のシャッタを閉じ、左目用映像が表示されているとき右目のシャッタを閉じるように制御することにより、視聴者に立体視映像を認識させる技術が存在している。
また、近年、LCD(Liquid Crystal Display)を背面から照射するバックライトにLED(発光ダイオード)を使用したLCDパネルが用いられた映像出力装置も開発されている。このようなバックライトにLEDを使用した映像出力装置によれば、明るさを調整しやすいというLEDの特徴を活かし、コントラスト比の高い映像を実現することができる。
特開2010−88092号公報
ところで、上述したようなバックライトにLEDを使用したLCDパネルを時分割方式の立体映像出力装置に用いる場合においては、右目用映像と左目用映像とを時分割で出力して同一の映像表示画面に交互に表示させるという特性上、高精度なLEDバックライト制御によって、コントラスト比の高い立体映像を実現することが望まれている。
本発明は、上記に鑑みてなされたものであって、コントラスト比の高い立体映像を実現することを目的とする。
実施形態の立体映像出力装置は、相互に視差を有する時分割された立体視表示用の左目用映像フレーム及び右目用映像フレームに基づく立体視映像を表示する映像表示部と、前記映像表示部を背面から照射するバックライト部と、前記左目用映像フレームに応じて、前記バックライト部の発光量を制御する第1のバックライト制御部と、前記右目用映像フレームに応じて、前記バックライト部の発光量を制御する第2のバックライト制御部と、前記第1のバックライト制御部で生成された左目映像用バックライト制御信号と、前記第2のバックライト制御部で生成された右目映像用バックライト制御信号とを順番に並べてマージした新たなバックライト制御信号を生成する信号変換部と、前記映像表示部からシーケンシャルに出力される前記左目用映像フレーム及び前記右目用映像フレームに同期させて、前記信号変換部で生成された前記バックライト制御信号に基づいて前記バックライト部を点灯させる点灯制御部と、を備える。
実施形態のバックライト制御方法は、相互に視差を有する時分割された立体視表示用の左目用映像フレーム及び右目用映像フレームに基づく立体視映像を表示する映像表示部と、前記映像表示部を背面から照射するバックライト部と、を備える立体映像出力装置におけるバックライト制御方法であって、前記左目用映像フレームに応じて、前記バックライト部の発光量を制御する第1のバックライト制御工程と、前記右目用映像フレームに応じて、前記バックライト部の発光量を制御する第2のバックライト制御工程と、前記第1のバックライト制御工程で生成された左目映像用バックライト制御信号と、前記第2のバックライト制御部で生成された右目映像用バックライト制御信号とを順番に並べてマージした新たなバックライト制御信号を生成する信号変換工程と、前記映像表示部からシーケンシャルに出力される前記左目用映像フレーム及び前記右目用映像フレームに同期させて、前記信号変換工程で生成された前記バックライト制御信号に基づいて前記バックライト部を点灯させる点灯制御工程と、を含む。
図1は、本実施形態にかかるデジタルテレビジョンの一例を示す外観斜視図である。 図2は、デジタルテレビジョンの信号処理系を示すブロック図である。 図3は、合成処理部の構成を示すブロック図である。 図4は、立体視用眼鏡の構成を示すブロック図である。 図5は、映像処理部の構成を示すブロック図である。 図6は、バックライト制御信号生成部の構成を示すブロック図である。
図1は、本実施形態にかかる立体映像出力装置であるデジタルテレビジョン1の一例を示す外観斜視図である。図1に示すように、デジタルテレビジョン1は、前方から見た正面視(前面に対する平面視)で、長方形状の外観を呈している。デジタルテレビジョン1は、筐体2と、LCD(Liquid Crystal Display)パネル3を備えている。LCDパネル3は、後述する映像処理部20(図2参照)から映像信号を受け取り、静止画や動画等の映像を表示する。また、筐体2は、支持部4に支持されている。
図2は、デジタルテレビジョン1の信号処理系を示すブロック図である。なお、このデジタルテレビジョン1は、通常の平面視(2次元)表示用の映像信号に基づく映像表示を行なうだけでなく、立体視(3次元)表示用の映像信号に基づく映像表示も行なうことができる。
図2に示すように、デジタルテレビジョン1は、アンテナ12で受信したデジタルテレビジョン放送信号を、入力端子13を介してチューナ部14に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。
デジタルテレビジョン1は、チューナ部14で選局された放送信号を、復調復号部15に供給してデジタルの映像信号及び音声信号等に復元した後、信号処理部16に出力する。
信号処理部16は、復調復号部15から供給されたデジタルの映像信号及び音声信号に対してそれぞれ所定のデジタル信号処理を施す。なお、信号処理部16が行なう所定のデジタル信号処理には、通常の平面視(2次元)表示用の映像信号を立体視(3次元)表示用の映像信号に変換する処理や、立体視表示用の映像信号を平面視表示用の映像信号に変換する処理等も含まれている。
また、信号処理部16は、デジタルの映像信号を合成処理部17に出力し、デジタルの音声信号を音声処理部18に出力している。このうち、合成処理部17は、信号処理部16から供給されるデジタルの映像信号に、OSD(On Screen Display)信号生成部19で生成される字幕、GUI(Graphical User Interface)、OSDなどの重畳用映像信号であるOSD信号を重畳して出力している。この場合、合成処理部17は、信号処理部16から供給される映像信号が通常の平面視表示用の映像信号であれば、その映像信号にOSD信号生成部19から供給されたOSD信号をそのまま重畳して出力している。また、合成処理部17は、信号処理部16から供給される映像信号が立体視表示用の映像信号である場合、OSD信号生成部19から供給されたOSD信号に対して、入力された立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのOSD信号を入力映像信号に重畳して出力している。
デジタルテレビジョン1は、合成処理部17から出力したデジタルの映像信号を、映像処理部20に供給する。映像処理部20は、入力されたデジタルの映像信号を、LCDパネル3で表示可能なフォーマットのアナログ映像信号に変換している。デジタルテレビジョン1は、映像処理部20から出力されたアナログ映像信号を、LCDパネル3に供給して映像表示に供する。
LCDパネル3は、図2に示すように、映像表示部として機能するLCD3aと、LCD3aを背面から照射するバックライト3bと、バックライト3bを駆動するバックライト駆動部3cとを有している。バックライト3bは、光源に多数のLED(発光ダイオード)が採用されており、バックライト駆動部3cによってエリアごとの発光制御が可能となっている。バックライト部は、バックライト3bとバックライト駆動部3cとで構成される。
音声処理部18は、入力されたデジタルの音声信号を、スピーカ22で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部18から出力されたアナログ音声信号が、スピーカ22に供給されることにより音声再生に供される。
ここで、デジタルテレビジョン1は、上記した各種の受信動作を含むその全ての動作を制御部23によって統括的に制御している。この制御部23は、CPU(Central Processing Unit)23aを内蔵しており、デジタルテレビジョン1の本体に設置された操作部24からの操作情報を受けて、または、リモートコントローラ25から送出され受信部26で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
制御部23は、メモリ部23bを利用している。メモリ部23bは、主として、CPU23aが実行する制御プログラムを格納したROM(Read Only Memory)と、該CPU23aに作業エリアを提供するためのRAM(Random Access Memory)と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。また、制御部23には、ディスクドライブ部27が接続されている。ディスクドライブ部27は、例えばDVD(Digital Versatile Disk)等の光ディスク28を着脱自在とするもので、装着された光ディスク28に対してデジタルデータの記録再生を行なう機能を有している。
制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、復調復号部15から得られるデジタルの映像信号及び音声信号を、記録再生処理部29によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部27に供給して光ディスク28に記録させるように制御することができる。
また、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、ディスクドライブ部27により光ディスク28からデジタルの映像信号及び音声信号を読み出させ、上記記録再生処理部29によって復号化した後、信号処理部16に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
制御部23には、HDD(Hard Disk Drive)30が接続されている。制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、復調復号部15から得られるデジタルの映像信号及び音声信号を、記録再生処理部29によって暗号化し所定の記録フォーマットに変換した後、HDD30に供給してハードディスク30aに記録させるように制御することができる。
また、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、HDD30によりハードディスク30aからデジタルの映像信号及び音声信号を読み出させ、記録再生処理部29によって復号化した後、信号処理部16に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
さらに、デジタルテレビジョン1には、入力端子31が接続されている。入力端子31は、デジタルテレビジョン1の外部からデジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子31を介して入力されたデジタルの映像信号及び音声信号は、制御部23の制御に基づいて、記録再生処理部29を介した後、信号処理部16に供給されて、以後、上記した映像表示及び音声再生に供される。
また、入力端子31を介して入力されたデジタルの映像信号及び音声信号は、制御部23の制御に基づいて、記録再生処理部29を介した後、ディスクドライブ部27による光ディスク28に対しての記録再生や、HDD30によるハードディスク30aに対しての記録再生に供される。
なお、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、ディスクドライブ部27とHDD30との間で、光ディスク28に記録されているデジタルの映像信号及び音声信号をハードディスク30aに記録したり、ハードディスク30aに記録されているデジタルの映像信号及び音声信号を光ディスク28に記録したりすることも制御している。
また、制御部23には、ネットワークインターフェース32が接続されている。このネットワークインターフェース32は、入出力端子33を介して外部のネットワーク34に接続されている。そして、このネットワーク34には、当該ネットワーク34を介した通信機能を利用して各種のサービスを提供するための複数(図示の場合は2つ)のネットワークサーバ35,36が接続されている。このため、制御部23は、ネットワークインターフェース32、入出力端子33及びネットワーク34を介して、所望のネットワークサーバ35,36にアクセスして情報通信を行なうことにより、そこで提供しているサービスを利用することができるようになっている。
デジタルテレビジョン1は、ディスクドライブ部27やHDD30から取得した映像や音声等の情報に対しては、リモートコントローラ25の再生停止キーや再生/一時停止キーを操作することにより、再生、停止、一時停止を行なうことが可能となる。また、デジタルテレビジョン1は、リモートコントローラ25の逆方向スキップキーや順方向スキップキーを操作することにより、ディスクドライブ部27やHDD30で再生している映像や音声等の情報を、その再生方向に対して逆方向や順方向に一定量ずつスキップさせる、いわゆる、逆方向スキップや順方向スキップを行なうことができる。さらに、デジタルテレビジョン1は、リモートコントローラ25の早戻しキーや早送りキー等を操作することにより、ディスクドライブ部27やHDD30で再生している映像や音声等の情報を、その再生方向に対して逆方向や順方向に連続的に高速で再生させる、いわゆる、早戻し再生や早送り再生を行なうことができる。
図3は、合成処理部17の構成を示すブロック図である。図3に示すように、合成処理部17は、信号処理部16から出力されるデジタルの映像信号を、入力端子37を介して映像生成部として機能する映像変換部38に供給する。
映像変換部38は、入力された映像信号が立体視(3次元)表示用の映像信号である場合、その映像信号を特定の映像フォーマットに変換して、画質制御部39及び視差量抽出部40に出力している。すなわち、立体視表示用の映像信号には、1フレーム同期期間内で左目用映像フレーム後に右目用映像フレームを送出するフレームパッキング(トップアンドボトム)方式や、1水平期間内で左目用映像ライン後に右目用映像ラインを送出するサイドバイサイド方式、インターリーブ方式等、様々な映像フォーマットが存在する。さらに、各映像フォーマットの中でも、映像のサイズや走査方式(インターレース/プログレッシブ)等が種々存在する。このため、本実施形態にかかるデジタルテレビジョン1においては、映像変換部38が、入力された立体視表示用の映像信号に対して、スケーリング処理やIP(Interlace/Progressive)変換処理等の適切な処理を施すことにより、水平方向1920画素×垂直方向1080ラインの映像サイズのフレームシーケンシャル方式の映像フォーマットに変換し、画質制御部39及び視差量抽出部40に出力するものとする。フレームシーケンシャル方式は、フレーム毎にL(左目用映像)とR(右目用映像)とを時分割で出力してLCDパネル3上において交互に表示させるものである。
すなわち、本実施形態にかかるデジタルテレビジョン1においては、フレームシーケンシャル方式の映像フォーマット以外の立体視表示用の様々な映像フォーマットにも対応可能である。
また、映像変換部38は、超解像処理を実行する。超解像処理とは、アップコンバートした仮の高解像度画像をダウンコンバートした仮の低解像度画像とオリジナルの入力画像にアンシャープマスクをかけて強調化した画像とを比較し、オリジナルの入力画像が本来持っているはずの画像信号を復元する技術である。なお、比較と復元の処理を繰り返すほどに、超解像処理の精度は向上する。従って、比較と復元の処理を1回だけ行う処理も超解像処理であるし、比較と復元の処理を複数回繰り返す処理も超解像処理である。時間に余裕がある場合、例えば録画した画像を後で視聴する場合や、超解像処理に生じるタイムラグが許容され得る場合には、比較と復元の処理を複数回繰り返す超解像処理を利用することができる。
ただし、映像変換部38における超解像処理の手法は、上記に限定されるものではなく、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を一例として、あらゆる手法を適用することができる。超解像処理には、映像そのものの解像度ヒストグラムを分析し、その解像度に応じて最適な高画質処理を行うことも含む。例えば、HD解像度(1920×1080)で受信した映像信号の、映像そのものの解像度ヒストグラムを分析し、その解像度(例えば、1920×1080の解像度)に応じた鮮鋭化処理を含む。この場合は、超解像処理による解像度の変更はないが、画像が視聴者にもたらす解像感を向上させることができる。
このように映像変換部38において、超解像処理を実行することにより、より解像度の高い立体映像を実現することができる。特に、フレームパッキング方式、サイドバイサイド方式、インターリーブ方式は、元映像の1/2の解像度で入力されるため、超解像により元映像の解像度に近い立体映像が得られる。
さらに、映像変換部38は、フレームを内挿又は外挿することによるフレームレートのアップコンバータ機能を有している。これにより、低フレームレートの映像をアップコンバートすることができる。特に、フレームシーケンシャル方式の映像データは、低フレームレートであることが多いので、アップコンバートでより高いフレームレートの立体映像を実現することができる。
画質制御部39は、入力された映像信号に対して、制御部23の制御に基づいた明るさ調整、コントラスト調整及び色相調整等の画質調整処理を施し、垂直同期信号に同期させて合成部41に出力する。
視差量抽出部40は、映像変換部38により、フレームシーケンシャル方式の映像フォーマットに変換された立体視表示用の映像信号に対して、その左目用映像フレームと右目用映像フレームとの間の映像の比較を行ない、視差量を抽出する。視差量抽出部40による視差量の抽出処理は、左目用映像フレームに表示されている物体の位置を基準として、右目用映像フレームに表示されている同じ物体の左右方向の位置ずれを、画素数で示すことによって行なわれる。この視差量抽出処理は、連続するフレームで表示される同じ物体の動き位置を検出するための動きベクトルの技術を利用することで容易に実現することができる。
具体的には、画面上で水平方向に1920個配列された画素に1〜1920の番号を振り、左目用映像フレームに表示されている物体の所定位置の画素の番号から、右目用映像フレームに表示されている物体の同じ所定位置の画素の番号を減算することにより、視差量を画素数で示すことができる。
この場合、視差量が負値のときは、左目用映像より右目用映像が右側に存在することになり、物体は画面よりも奥側で結像される映像となる。また、視差量が正値のときは、左目用映像より右目用映像が左側に存在することになり、物体は画面よりも手前で結像される映像となる。
そして、視差量抽出部40によって抽出された視差量は、映像生成部として機能するOSD位置算出部42に供給される。OSD位置算出部42は、入力された視差量に基づいて、OSDを立体視表示させる際の表示位置を補正する計算を行ない、その計算結果を示す視差制御信号を出力する。
なお、OSD位置算出部42は、視差量抽出部40で抽出した視差量が時間軸方向の変動がない状態、または、視差量が時間軸方向に緩やかに変動している映像表示状態のときに、OSDを立体視表示させる際の表示位置を補正する計算を実行する。すなわち、視差量が時間軸方向に激しく変動している場合は、映像が奥行き方向に激しく動いている状態であり、この状態では視聴者は映像に意識が向いているため、重畳するOSDも奥行き方向に激しく動くと見苦しくなるからである。このため、OSD位置算出部42は、視差量が激しく変動している状態では、視差量の変動がすくないときに算出した結果を示す視差制御信号を出力している。
OSD位置算出部42から出力される視差制御信号は、OSD立体変換部43に供給される。このOSD立体変換部43には、OSD信号生成部19から出力されるOSD信号が、入力端子44を介して供給されている。OSD立体変換部43は、視差制御信号に基づいて、入力されたOSD信号から、左目用映像フレームに重畳する左目用OSD信号と、右目用映像フレームに重畳する右目用OSD信号とを生成し、OSDバッファ45に出力し記憶させている。
具体的に言えば、OSD立体変換部43は、OSD信号生成部19から明るさ調整用のOSD信号が供給された場合、映像変換部38によって形成される水平方向1920画素×垂直方向1080ラインの映像サイズのフレームシーケンシャル方式の映像フォーマット上において、その左目用映像フレームと右目用映像フレームとに、視差制御信号に基づいた画素数分の水平方向の視差量(位置ずれ)を有する、左目用の明るさ調整用OSDと右目用の明るさ調整用OSDとをそれぞれ表示させるように、OSDバッファ45上に左目用OSD信号と右目用OSD信号とを記憶させている。そして、このOSDバッファ45に記憶された左目用OSD信号と右目用OSD信号とは、垂直同期信号に同期して合成部41に出力される。
このため、合成部41は、画質制御部39から出力される映像信号と、OSDバッファ45から出力される映像信号とを合成する。この場合、画質制御部39から出力される左目用映像フレームの映像信号にOSDバッファ45から出力される左目用OSD信号が重畳され、画質制御部39から出力される右目用映像フレームの映像信号にOSDバッファ45から出力される右目用OSD信号が重畳される。
そして、合成部41で合成された映像信号は、フレーム変換部46に供給されて、垂直同期周波数を2倍に変換されて、つまり、フレーム周波数を倍速化された後、出力端子47から上記映像処理部20を介してLCDパネル3のLCD3aに出力される。これにより、LCDパネル3のLCD3aでは、左目用OSD信号が重畳された左目用映像フレームと、右目用OSD信号が重畳された右目用映像フレームとが交互に表示される。すなわち、映像表示部として機能するLCD3aは、左目用映像フレームと右目用映像フレームとを時分割で出力する機能を有している。
また、フレーム変換部46で生成されるフレーム同期信号は、眼鏡制御部48に供給される。眼鏡制御部48は、フレーム変換部46から供給されたフレーム同期信号に基づいて左目用及び右目用のシャッタ制御信号を生成し、出力端子49を介して視聴者の掛けている立体視用眼鏡50に出力している。
図4は、立体視用眼鏡50の構成を示すブロック図である。図4に示すように、立体視用眼鏡50は、液晶シャッタ眼鏡51と、液晶シャッタ眼鏡制御装置52と、を備えている。
液晶シャッタ眼鏡51は、左眼の視界を開放または遮蔽するための左眼液晶シャッタ(Lシャッタ)511と、右眼の視界を開放または遮蔽するための右眼液晶シャッタ(Rシャッタ)512とを有しており、視聴者は、この液晶シャッタ眼鏡51を装着して、交互に表示される左眼用の画像と右眼用の画像とを左眼と右眼とで交互に鑑賞することにより、立体視を体感する。
図4に示すように、液晶シャッタ眼鏡制御装置52は、デジタルテレビジョン1に対して左眼用の画像と右眼用の画像とを交互に表示させるためのフレームデータを出力する合成処理部17が、当該フレームデータと共に出力するフレーム同期信号を入力し、このフレーム同期信号に基づき、Lシャッタ511およびRシャッタ512を開閉させるためのシャッタ制御信号Lおよびシャッタ制御信号Rを生成して液晶シャッタ眼鏡51に供給する。そして、液晶シャッタ眼鏡制御装置52は、このシャッタ制御信号Lおよびシャッタ制御信号Rを自動調整するための自動調整部521を備えている。
合成処理部17の眼鏡制御部48は、左目用映像が表示されているとき立体視用眼鏡50の右目のRシャッタ512を閉じ、右目用映像が表示されているとき立体視用眼鏡50の左目のLシャッタ511を閉じるように制御しており、これにより、視聴者に立体視映像を認識させるようにしている。
なお、信号処理部16から出力されるデジタルの映像信号が、通常の平面視(2次元)表示用の映像信号である場合、映像変換部38からフレームパッキング方式の映像フォーマットで出力される左目用映像フレームと右目用映像フレームとは、全く同じ映像となる。このため、視差量抽出部40で抽出される視差量は0となり、OSD立体変換部43は、OSD信号生成部19から供給されたOSD信号を、フレームシーケンシャル方式の映像フォーマットの左目用映像フレームと右目用映像フレームとで同じ位置に表示させるように、OSDバッファ45に記憶させる。これにより、合成部41からは、OSD信号の重畳された平面視(2次元)表示用の映像信号が出力されることとなり、その映像信号がフレーム変換部46でフレーム周波数を倍速変換された後、出力端子47から映像処理部20を介してLCDパネル3のLCD3aに出力され、通常の2次元表示用の映像として表示されることになる。
デジタルテレビジョン1によれば、OSDを表示する際、立体視表示する左目用映像フレームと右目用映像フレームとの視差量に基づいて、左目用OSD信号と右目用OSD信号との視差量を決定し、左目用及び右目用映像フレームの映像信号と左目用及び右目用OSD信号とを合成するようにしている。このため、OSDを立体視映像上に違和感なく表示させることが可能となり、視聴者が立体視映像の視聴中に表示されたOSDの判読や、立体視映像の視聴中にOSDを表示させて各種の調整及び設定等の操作を行なうことが容易にできるようになり、視聴者にとっての取り扱いを便利にすることができるようになる。
なお、本実施形態にかかるデジタルテレビジョン1では、立体視映像の表示中にOSDを表示させることについて説明したが、表示させる情報としてはOSDに限るものではなく、例えば、放送や、光ディスク28、ハードディスク30aまたはネットワークサーバ35,36等から取得した映像信号に基づく表示映像とは別個に、デジタルテレビジョン1が独自に発生して表示可能な画面表示信号に広く適用可能である。
次に、本実施形態にかかるデジタルテレビジョン1の特徴的な機能を有する映像処理部20について詳述する。図5は、映像処理部20の構成を示すブロック図である。図5に示すように、映像処理部20は、合成処理部17で生成された左目用映像フレームが供給される第1のバックライト制御部であるバックライト制御部201Lと、合成処理部17で生成された右目用映像フレームが供給される第2のバックライト制御部であるバックライト制御部201Rと、バックライト制御信号生成部202とを備えている。
バックライト制御部201Lおよびバックライト制御部201Rは、合成処理部17で生成された左目用映像フレームおよび右目用映像フレームに応じて、LCDパネル3のバックライト3bを構成する各LEDの発光量を制御する。より詳細には、画面(フレーム)を分割してエリアごとに、LCDパネル3のバックライト3bを構成する各LEDの発光量を制御する。例えば、エリアごとの明るさを検出して、ピーク輝度を明るくするなどの補正を追加する。これにより、光の明暗をエリアごとにコントロールすることができるので、メリハリのある映像を表示することができるようになる。このようにしてバックライト制御部201Lで生成された左目映像用バックライト制御信号と、バックライト制御部201Rで生成された右目映像用バックライト制御信号とは、バックライト制御信号生成部202に供給される。
加えて、バックライト制御部201Lおよびバックライト制御部201Rは、画面全体(フレーム全体)のヒストグラムを利用して黒面積を把握するとともに、エリアごとのバックライト3bを構成するLEDの点灯値に応じた映像最適化処理を実行する。これにより、各シーンでコントラスト感を高め、きめ細かい階調性を実現することができる。このようにしてバックライト制御部201Lで最適化された左目用映像フレームと、バックライト制御部201Rで最適化された右目用映像フレームとは、LCDパネル3のLCD3aに供給される。
バックライト制御信号生成部202は、概略的には、バックライト制御部201Lで生成された左目映像用バックライト制御信号と、バックライト制御部201Rで生成された右目映像用バックライト制御信号とを、マージしてバックライト制御信号を生成する。ここで、図6はバックライト制御信号生成部202の構成を示すブロック図である。図6に示すように、バックライト制御信号生成部202は、バックライト制御信号入力部301Lと、バックライト制御信号入力部301Rと、信号変換部302と、点灯制御部である遅延制御部303とを備えている。
バックライト制御信号入力部301Lは、バックライト制御部201Lで生成された左目映像用バックライト制御信号を入力する。また、バックライト制御信号入力部301Rは、バックライト制御部201Rで生成された右目映像用バックライト制御信号を入力する。
信号変換部302は、バックライト制御信号入力部301Lおよびバックライト制御信号入力部301Rで受け取ったバックライト制御信号(左目映像用バックライト制御信号および右目映像用バックライト制御信号)を、LCDパネル3のバックライト駆動部3cが受け取れる形に変換する。すなわち、信号変換部302は、左目映像用バックライト制御信号と右目映像用バックライト制御信号とを順番に並べてマージした新たなバックライト制御信号を生成する。
遅延制御部303は、LCDパネル3のLCD3aからシーケンシャルに出力される映像(左目用映像フレームおよび右目用映像フレーム)に同期させてバックライト3bを点灯させるために、信号変換部302で生成したバックライト制御信号を遅延させる。
そして、バックライト制御信号生成部202から出力されたバックライト制御信号を受け取ったLCDパネル3のバックライト駆動部3cは、バックライト制御信号に基づいてバックライト3bを点灯する。
このように本実施形態のデジタルテレビジョン1によれば、バックライト制御部201Lで生成された左目映像用バックライト制御信号と、バックライト制御部201Rで生成された右目映像用バックライト制御信号とを順番に並べてマージした新たなバックライト制御信号を信号変換部302で生成するとともに、LCDパネル3のLCD3aからシーケンシャルに出力される左目用映像フレーム及び右目用映像フレームに同期させて、信号変換部302で生成されたバックライト制御信号に基づいてバックライト3bを点灯させることにより、フレームシーケンシャル方式の映像フォーマットで送られた右目用映像と左目用映像とに対して高精度なバックライト制御を実行することができるので、コントラスト比の高い立体映像を実現することができる。
また、本実施形態のデジタルテレビジョン1によれば、左目用映像フレームおよび右目用映像フレームを、バックライト制御部201Lおよびバックライト制御部201Rによってそれぞれ処理するようにしたので、単一のバックライト制御部を用いる場合に比べて高いフレームレートを実現することができる。
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
1 立体映像出力装置
3a 映像表示部
3b、3c バックライト部
38 映像変換部
201L 第1のバックライト制御部
201R 第2のバックライト制御部
302 信号変換部
303 点灯制御部
実施形態の立体映像出力装置は、相互に視差を有する時分割された立体視表示用の左目用映像フレーム及び右目用映像フレームに基づく立体視映像を表示する映像表示部と、前記映像表示部を背面から照射するバックライト部と、前記左目用映像フレームに応じて、前記バックライト部の発光量を制御するための左目映像用バックライト制御信号を生成する第1のバックライト制御部と、前記右目用映像フレームに応じて、前記バックライト部の発光量を制御するための右目映像用バックライト制御信号を生成する第2のバックライト制御部と、前記第1のバックライト制御部で生成された前記左目映像用バックライト制御信号と、前記第2のバックライト制御部で生成された前記右目映像用バックライト制御信号とを順番に並べてマージした新たなバックライト制御信号を生成する信号変換部と、前記映像表示部からシーケンシャルに出力される前記左目用映像フレーム及び前記右目用映像フレームに同期させて、前記信号変換部で生成された前記バックライト制御信号に基づいて前記バックライト部を点灯させる点灯制御部と、を備える。
実施形態のバックライト制御方法は、相互に視差を有する時分割された立体視表示用の左目用映像フレーム及び右目用映像フレームに基づく立体視映像を表示する映像表示部と、前記映像表示部を背面から照射するバックライト部と、を備える立体映像出力装置におけるバックライト制御方法であって、前記左目用映像フレームに応じて、前記バックライト部の発光量を制御するための左目映像用バックライト制御信号を生成する第1のバックライト制御工程と、前記右目用映像フレームに応じて、前記バックライト部の発光量を制御するための右目映像用バックライト制御信号を生成する第2のバックライト制御工程と、前記第1のバックライト制御工程で生成された前記左目映像用バックライト制御信号と、前記第2のバックライト制御部で生成された前記右目映像用バックライト制御信号とを順番に並べてマージした新たなバックライト制御信号を生成する信号変換工程と、前記映像表示部からシーケンシャルに出力される前記左目用映像フレーム及び前記右目用映像フレームに同期させて、前記信号変換工程で生成された前記バックライト制御信号に基づいて前記バックライト部を点灯させる点灯制御工程と、を含む。
実施形態の立体映像出力装置は、相互に視差を有する立体視表示用の左目用映像フレーム及び右目用映像フレームに基づく立体視映像を出力する立体映像出力装置であって、前記左目用映像フレームに応じて、バックライトの発光量を制御するための左目映像用バックライト制御信号を生成する第1のバックライト制御部と、前記右目用映像フレームに応じて、前記バックライトの発光量を制御するための右目映像用バックライト制御信号を生成する第2のバックライト制御部と、前記第1のバックライト制御部で生成された前記左目映像用バックライト制御信号と、前記第2のバックライト制御部で生成された前記右目映像用バックライト制御信号とをマージした新たなバックライト制御信号を生成する信号変換部と、映像表示部からシーケンシャルに出力される前記左目用映像フレーム及び前記右目用映像フレームに同期させて、前記信号変換部で生成された前記バックライト制御信号に基づいて前記バックライトを点灯させる点灯制御部と、を備える。

Claims (8)

  1. 相互に視差を有する時分割された立体視表示用の左目用映像フレーム及び右目用映像フレームに基づく立体視映像を表示する映像表示部と、
    前記映像表示部を背面から照射するバックライト部と、
    前記左目用映像フレームに応じて、前記バックライト部の発光量を制御する第1のバックライト制御部と、
    前記右目用映像フレームに応じて、前記バックライト部の発光量を制御する第2のバックライト制御部と、
    前記第1のバックライト制御部で生成された左目映像用バックライト制御信号と、前記第2のバックライト制御部で生成された右目映像用バックライト制御信号とを順番に並べてマージした新たなバックライト制御信号を生成する信号変換部と、
    前記映像表示部からシーケンシャルに出力される前記左目用映像フレーム及び前記右目用映像フレームに同期させて、前記信号変換部で生成された前記バックライト制御信号に基づいて前記バックライト部を点灯させる点灯制御部と、
    を備えることを特徴とする立体映像出力装置。
  2. 前記バックライト部は、多数のLEDで構成されている、
    ことを特徴とする請求項1記載の立体映像出力装置。
  3. 前記第1のバックライト制御部および前記第2のバックライト制御部は、前記左目用映像フレーム及び前記右目用映像フレームを分割したエリアごとに、前記バックライト部を構成する前記各LEDの発光量を制御する、
    ことを特徴とする請求項2記載の立体映像出力装置。
  4. 前記第1のバックライト制御部および前記第2のバックライト制御部は、前記左目用映像フレーム及び前記右目用映像フレームの全体のヒストグラムを利用して黒面積を把握するとともに、前記左目用映像フレーム及び前記右目用映像フレームを分割したエリアごとの前記バックライト部を構成する前記各LEDの点灯値に応じた映像最適化処理を実行する、
    ことを特徴とする請求項2記載の立体映像出力装置。
  5. 前記左目用映像フレームと前記右目用映像フレームとを時分割で出力して前記映像表示部において交互に表示させるフレームシーケンシャル方式以外の立体視表示用の映像信号を、フレームシーケンシャル方式の立体視表示用の映像信号に変換する映像変換部を備える、
    ことを特徴とする請求項1ないし4のいずれか一記載の立体映像出力装置。
  6. 前記映像変換部は、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する超解像処理を実行する、
    ことを特徴とする請求項5記載の立体映像出力装置。
  7. 前記映像変換部は、フレームを内挿又は外挿することによるフレームレートのアップコンバータ処理を実行する、
    ことを特徴とする請求項5記載の立体映像出力装置。
  8. 相互に視差を有する時分割された立体視表示用の左目用映像フレーム及び右目用映像フレームに基づく立体視映像を表示する映像表示部と、前記映像表示部を背面から照射するバックライト部と、を備える立体映像出力装置におけるバックライト制御方法であって、
    前記左目用映像フレームに応じて、前記バックライト部の発光量を制御する第1のバックライト制御工程と、
    前記右目用映像フレームに応じて、前記バックライト部の発光量を制御する第2のバックライト制御工程と、
    前記第1のバックライト制御工程で生成された左目映像用バックライト制御信号と、前記第2のバックライト制御部で生成された右目映像用バックライト制御信号とを順番に並べてマージした新たなバックライト制御信号を生成する信号変換工程と、
    前記映像表示部からシーケンシャルに出力される前記左目用映像フレーム及び前記右目用映像フレームに同期させて、前記信号変換工程で生成された前記バックライト制御信号に基づいて前記バックライト部を点灯させる点灯制御工程と、
    を含むことを特徴とするバックライト制御方法。
JP2010168345A 2010-07-27 2010-07-27 立体映像出力装置およびバックライト制御方法 Expired - Fee Related JP5039182B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010168345A JP5039182B2 (ja) 2010-07-27 2010-07-27 立体映像出力装置およびバックライト制御方法
US13/094,307 US20120026304A1 (en) 2010-07-27 2011-04-26 Stereoscopic video output device and backlight control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010168345A JP5039182B2 (ja) 2010-07-27 2010-07-27 立体映像出力装置およびバックライト制御方法

Publications (2)

Publication Number Publication Date
JP2012029220A true JP2012029220A (ja) 2012-02-09
JP5039182B2 JP5039182B2 (ja) 2012-10-03

Family

ID=45526327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010168345A Expired - Fee Related JP5039182B2 (ja) 2010-07-27 2010-07-27 立体映像出力装置およびバックライト制御方法

Country Status (2)

Country Link
US (1) US20120026304A1 (ja)
JP (1) JP5039182B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013251592A (ja) * 2012-05-30 2013-12-12 Seiko Epson Corp 表示装置、及び、表示装置の制御方法
JP2014017742A (ja) * 2012-07-10 2014-01-30 Ns Solutions Corp 画像処理装置、画像処理方法及びプログラム
US9264701B2 (en) 2012-03-02 2016-02-16 Seiko Epson Corporation Video display apparatus and video display method

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101820497B1 (ko) * 2011-07-27 2018-01-22 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
JP5165802B1 (ja) * 2012-02-17 2013-03-21 シャープ株式会社 映像表示装置およびテレビ受信装置
US9654762B2 (en) 2012-10-01 2017-05-16 Samsung Electronics Co., Ltd. Apparatus and method for stereoscopic video with motion sensors
EP4201304A1 (en) * 2012-10-24 2023-06-28 Nidek Co., Ltd. Ophthalmic analysis apparatus
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
CN105549222B (zh) * 2016-01-25 2019-06-18 重庆工业职业技术学院 一种驾驶员专用光控墨镜
CN110475145A (zh) * 2019-08-23 2019-11-19 四川长虹网络科技有限责任公司 基于眼部识别的电视控制系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157775A (ja) * 2004-12-01 2006-06-15 Mitsubishi Electric Corp 立体画像表示装置
JP2008051905A (ja) * 2006-08-22 2008-03-06 Sharp Corp 液晶表示装置、及びそのバックライト駆動方法
JP2009296081A (ja) * 2008-06-03 2009-12-17 Hitachi Ltd 映像再生装置
JP2010034704A (ja) * 2008-07-25 2010-02-12 Sony Corp 再生装置及び再生方法
JP2010061105A (ja) * 2008-08-07 2010-03-18 Mitsubishi Electric Corp 画像表示装置および方法
JP2010066749A (ja) * 2009-06-19 2010-03-25 Toshiba Corp 液晶パネル、映像表示装置および映像表示方法
JP2010078985A (ja) * 2008-09-26 2010-04-08 Sharp Corp シーケンシャル型立体表示装置
JP2010081330A (ja) * 2008-09-26 2010-04-08 Panasonic Corp 立体画像表示における信号処理方法及び装置
JP2010078768A (ja) * 2008-09-25 2010-04-08 Toshiba Corp 立体映像撮影装置および立体映像撮影システム
JP2010091729A (ja) * 2008-10-07 2010-04-22 Sony Corp バックライト装置、表示装置、電子機器及びバックライトの駆動方法
JP2010156972A (ja) * 2008-12-26 2010-07-15 Samsung Electronics Co Ltd 液晶表示装置及びこれを利用した表示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008035488A1 (fr) * 2006-09-20 2008-03-27 Sharp Kabushiki Kaisha Dispositif d'affichage
JP5243439B2 (ja) * 2006-10-06 2013-07-24 スリーエム イノベイティブ プロパティズ カンパニー 自動立体3dディスプレイ装置用のバックライトモジュール及びlcdデバイス用の走査式バックライト
KR101362771B1 (ko) * 2008-09-17 2014-02-14 삼성전자주식회사 입체 영상 표시 방법 및 장치
JP2011019202A (ja) * 2009-07-10 2011-01-27 Sony Corp 映像信号処理装置および映像表示装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157775A (ja) * 2004-12-01 2006-06-15 Mitsubishi Electric Corp 立体画像表示装置
JP2008051905A (ja) * 2006-08-22 2008-03-06 Sharp Corp 液晶表示装置、及びそのバックライト駆動方法
JP2009296081A (ja) * 2008-06-03 2009-12-17 Hitachi Ltd 映像再生装置
JP2010034704A (ja) * 2008-07-25 2010-02-12 Sony Corp 再生装置及び再生方法
JP2010061105A (ja) * 2008-08-07 2010-03-18 Mitsubishi Electric Corp 画像表示装置および方法
JP2010078768A (ja) * 2008-09-25 2010-04-08 Toshiba Corp 立体映像撮影装置および立体映像撮影システム
JP2010078985A (ja) * 2008-09-26 2010-04-08 Sharp Corp シーケンシャル型立体表示装置
JP2010081330A (ja) * 2008-09-26 2010-04-08 Panasonic Corp 立体画像表示における信号処理方法及び装置
JP2010091729A (ja) * 2008-10-07 2010-04-22 Sony Corp バックライト装置、表示装置、電子機器及びバックライトの駆動方法
JP2010156972A (ja) * 2008-12-26 2010-07-15 Samsung Electronics Co Ltd 液晶表示装置及びこれを利用した表示方法
JP2010066749A (ja) * 2009-06-19 2010-03-25 Toshiba Corp 液晶パネル、映像表示装置および映像表示方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264701B2 (en) 2012-03-02 2016-02-16 Seiko Epson Corporation Video display apparatus and video display method
JP2013251592A (ja) * 2012-05-30 2013-12-12 Seiko Epson Corp 表示装置、及び、表示装置の制御方法
JP2014017742A (ja) * 2012-07-10 2014-01-30 Ns Solutions Corp 画像処理装置、画像処理方法及びプログラム
US9426445B2 (en) 2012-07-10 2016-08-23 Ns Solutions Corporation Image processing apparatus and image processing method and program using super-resolution and sharpening

Also Published As

Publication number Publication date
US20120026304A1 (en) 2012-02-02
JP5039182B2 (ja) 2012-10-03

Similar Documents

Publication Publication Date Title
JP5039182B2 (ja) 立体映像出力装置およびバックライト制御方法
JP5337218B2 (ja) 立体画像変換装置、立体画像出力装置および立体画像変換方法
US9021399B2 (en) Stereoscopic image reproduction device and method for providing 3D user interface
US7693221B2 (en) Apparatus for processing a stereoscopic image stream
CN102438157B (zh) 图像处理装置和方法
US20110096146A1 (en) Method and system for response time compensation for 3D video processing
US8830301B2 (en) Stereoscopic image reproduction method in case of pause mode and stereoscopic image reproduction apparatus using same
US20100265315A1 (en) Three-dimensional image combining apparatus
JP2012015774A (ja) 立体視映像処理装置および立体視映像処理方法
JP5740885B2 (ja) 表示装置、及び、表示方法
WO2011039928A1 (ja) 映像信号処理装置及び映像信号処理方法
WO2014155670A1 (ja) 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム
US20120032954A1 (en) Apparatus and method for reproducing stereoscopic images, providing a user interface appropriate for a 3d image signal
WO2012014489A1 (ja) 映像信号処理装置及び映像信号処理方法
JP5010732B2 (ja) 立体視映像処理装置及び立体視映像処理方法
JP2004104331A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5050094B2 (ja) 映像処理装置及び映像処理方法
JP5661364B2 (ja) 映像出力装置およびバックライト制御方法
JP5355758B2 (ja) 映像処理装置及び映像処理方法
JP5759728B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
KR101112085B1 (ko) 3d tv용 역 다중화 장치 및 방법
JP2012249295A (ja) 映像処理装置
JP2011234387A (ja) 映像信号処理装置及び映像信号処理方法
JP2012231251A (ja) 立体視映像処理装置及び立体視映像処理方法
JP2011199889A (ja) 映像信号処理装置、及び、映像信号処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120706

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees