JP2017062295A - 立体画像表示装置 - Google Patents

立体画像表示装置 Download PDF

Info

Publication number
JP2017062295A
JP2017062295A JP2015186329A JP2015186329A JP2017062295A JP 2017062295 A JP2017062295 A JP 2017062295A JP 2015186329 A JP2015186329 A JP 2015186329A JP 2015186329 A JP2015186329 A JP 2015186329A JP 2017062295 A JP2017062295 A JP 2017062295A
Authority
JP
Japan
Prior art keywords
image
optical system
display device
imaging
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015186329A
Other languages
English (en)
Other versions
JP6598362B2 (ja
Inventor
河北 真宏
Masahiro Kawakita
真宏 河北
直人 岡市
Naoto Okaichi
直人 岡市
洗井 淳
Jun Arai
淳 洗井
三科 智之
Tomoyuki Mishina
智之 三科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Priority to JP2015186329A priority Critical patent/JP6598362B2/ja
Publication of JP2017062295A publication Critical patent/JP2017062295A/ja
Application granted granted Critical
Publication of JP6598362B2 publication Critical patent/JP6598362B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】全方向に視差を有する立体画像(静止画像および動画像)を再生することのできる立体画像表示装置を提供する。【解決手段】表示装置(11,12)が、多視点画像を表示する。第1結像部(13)が、表示装置によって表示される複数の多視点画像を結像させる。投射結像光学系(15,16)が、複数の多視点画像の各々に対応し、多視点画像を投射する。第2結像部(17)が、投射結像光学系から投射される複数の多視点画像を結像させる。なお、投射結像光学系は、複数の多視点画像が第2結像部において重畳するように多視点画像を投射する。光方向制御光学系(18)が、第2結像部を透過した光線の方向を制御する。【選択図】図1

Description

本発明は、画像表示に関する。本発明は、特に立体画像表示装置に関する。
従来技術による投射型立体表示システムとして、複数のプロジェクターから、垂直方向に大きな拡散特性を有するスクリーンに映像を投射し、水平方向の視差による立体表示を行う方式が提案されている。特許文献1および特許文献2には、複数のプロジェクターを配置して立体表示を行うための装置等が記載されている。
特開2014−035353号公報 特開2010−081440号公報
特許文献1や特許文献2に記載されている方式では、プロジェクターユニットのサイズの制限により、横方向の視点間隔を密にできないという問題があった。具体的には、プロジェクターを横に並べるためには、プロジェクターとプロジェクターとの間隔を数十センチメートル空けて、設置せざるを得ない状況であった。また、このような横方向の間隔を回避するために、プロジェクターユニットを斜め配列にして、スクリーンに縦方向に大きく拡散するフィルムを使用し、水平のみの視差の立体表示を実現していた。
しかしながら、より質の高い立体表示を行うためには、水平方向および垂直方向の両方の視差を持つ自然な立体表示が求められる。水平方向および垂直方向の視差を有する立体像を実現するには、投射表示する多視点画像群を、高密度且つ多画素で表示する必要がある。
本発明は、上記の課題認識に基づいて行なわれたものであり、多視点画像群を高密度且つ多画素で表示することにより、全方向に視差を有する立体画像(静止画像および動画像)を再生することのできる立体画像表示装置を提供しようとするものである。
[1]上記の課題を解決するため、本発明の一態様による立体画像表示装置は、多視点画像を表示する表示装置と、前記表示装置によって表示される複数の多視点画像を結像させる第1結像部と、前記複数の多視点画像の各々に対応し、前記多視点画像を投射する投射結像光学系と、前記投射結像光学系から投射される複数の多視点画像を結像させる第2結像部と、前記第2結像部を透過した光線の方向を制御する光方向制御光学系と、を具備し、前記投射結像光学系は、前記複数の多視点画像が前記第2結像部において重畳するように前記多視点画像を投射する、ことを特徴とする。
[2]また、本発明の一態様は、上記の立体画像表示装置において、前記第1結像部における前記複数の多視点画像のうちの隣接しあう2つの多視点画像の光線同士が、前記光方向制御光学系の透過後になす角度が1度以下となるような配置間隔で、前記第1結像部における前記多視点画像を配置した、ことを特徴とする。
[3]また、本発明の一態様は、上記の立体画像表示装置において、前記第1結像部は、拡散スクリーンを有しており、前記投射結像光学系は、レンズアレイとアパーチャーアレイとで構成される、ことを特徴とする。
[4]また、本発明の一態様は、上記の立体画像表示装置において、前記第2結像部は、垂直方向の光拡散特性と水平方向の光拡散特性が異なる拡散スクリーンを有する、ことを特徴とする。
[5]また、本発明の一態様は、上記の立体画像表示装置において、前記光方向制御光学系は、垂直方向の焦点距離と水平方向の焦点距離とが異なるレンズである、ことを特徴とする。
[6]また、本発明の一態様は、上記の立体画像表示装置において、複数台の前記表示装置を具備し、複数台の前記表示装置は、その表示方向側から見て、縦方向の配列の方向と横方向の配列の方向とが略直交する直交格子状配置、横方向の配列位置が1行おきに同じである千鳥状配置、または、横方向の配列位置が1行ごとに所定量シフトしていくシフト状配置、のいずれかの配置で並べられている、ことを特徴とする。
[7]また、本発明の一態様は、上記の立体画像表示装置において、前記第1結像部における前記複数の多視点画像は、縦方向の配列の方向と横方向の配列の方向とが略直交する直交格子状配置、横方向の配列位置が1行おきに同じである千鳥状配置、または、横方向の配列位置が1行ごとに所定量シフトしていくシフト状配置、のいずれかの配置で並べられている、ことを特徴とする。
[8]また、本発明の一態様は、上記の立体画像表示装置において、複数台の前記表示装置を具備し、ある表示装置が表示する範囲である前記第1結像部上の領域と、隣接する他の表示装置が表示する範囲である前記第1結像部上の領域とは、少なくとも一部が重複している、ことを特徴とする。
[9]また、本発明の一態様は、上記の立体画像表示装置において、前記表示装置と前記第1結像部と前記投射結像光学系との組である投射結像光学ユニットを複数具備し、前記複数の投射結像光学ユニットから投射される光を合成する合成光学系、をさらに具備し、前記第2結像部は、前記合成光学系で合成された光による像を結像する、ことを特徴とする。
[10]また、本発明の一態様は、上記の立体画像表示装置において、少なくとも3組の前記投射結像光学ユニットを具備し、前記投射結像光学ユニットがそれぞれ赤色画像と緑色画像と青色画像とを投射することにより、前記第2結像部上にカラー画像を結像させる、ことを特徴とする。
本発明によれば、第1結像部では、高密度かつ高精細な多視点画像群を結像する。そして、投射結像光学系は、第1結像部で結像した上記の多視点画像群を第2結像部に重畳投射する。これにより、全方向に視差を持つ立体画像を再生することが可能となる。
本発明の第1実施形態による立体画像表示装置の構成、および光線の光路を示す概略図である。 同実施形態による複数のプロジェクターの配置パターンの例を示す概略図である。 同実施形態による第1結像面に表示される複数の多視点画像の配列のパターン例を示す概略図である。 第2実施形態による立体画像表示装置の構成、および光線の光路を示す概略図である。 第3実施形態による立体画像表示装置の構成、および光線の光路を示す概略図である。 第4実施形態による立体画像表示装置の構成、および光線の光路を示す概略図である。 第5実施形態による立体画像表示装置の構成、および光線の光路を示す概略図である。 実施形態の変形例4における多視点画像の配置間隔について説明するための概略図である。
[第1実施形態]
図1は、第1実施形態による立体画像表示装置の構成と、表示のための光線の光路を示す概略図である。なお、本実施形態の説明において、x軸、y軸、およびz軸で構成される直交座標系を用いる場合がある。x軸は、水平方向であって且つ画像の投射面に平行な方向であり、観察者側から投射面を見たときに向かって右側を正方向とする。y軸は、鉛直方向であって、上側を正方向とする。z軸は、水平方向であって且つ画像の投射面と垂直な方向であり、画像を投射する投射器側から観察者側に向かう方向を正方向とする。同図は、立体画像表示装置を上方向から(y軸の正側から負側を)平面視した場合の構成を示している。また、同図中に、x軸およびz軸の正方向を、それぞれ矢印とともに示している。
同図に示すように、立体画像表示装置1は、画像表示装置12と、第1結像面13と、多視点画像投射光学系15と、第2結像面17と、光方向制御光学系18とを含んで構成される。立体画像表示装置1を構成するこれらの要素は、観察者から見て遠い側から、画像表示装置12、第1結像面13、多視点画像投射光学系15、第2結像面17、光方向制御光学系18の順に配置される。観察者は、光方向制御光学系18から出力される光を見て、立体画像を認識する。
以下で、これら各部について個別に説明する。
プロジェクター11は、投射型ディスプレイ装置である。1つのプロジェクター11は、複数の多視点画像の群を投射する。これらの多視点画像群の配置については、後述する。なお、プロジェクター11が投射する多視点画像は、外部から入力される。これらの多視点画像群は、立体画像表示装置1が最終的に出力する立体画像(インテグラル画像)を基に、計算によっても求めることができるものである。もしくは、水平および垂直に移動するカメラや複数台のカメラで、多方向から実物体を撮影した多視点画像群でもよい。カメラで撮影した多視点画像が離散的で数が少ない場合は、画像処理により内挿補間して中間の多視点画像を生成し、画像数を増加してもよい。もしくは、実写やコンピュータグラフィックスの3次元モデルから生成された多視点画像群でもよい。なお、プロジェクター11が、静止画の多視点画像を投射するようにしてもよいし、動画の多視点画像を投射するようにしてもよい。また、プロジェクター11が、カラー画像を投射するようにしてもよいし、単色画像を投射するようにしても良い。カラー画像を投射する場合には、画素ごとにRGBの各色を割り当てるようにしてもよいし、時分割でRGBの各色の画像を出力するようにしても良い。時分割による方式を用いる場合には、小型のプロジェクター11を用いて且つ高精細な画像を出力することができる。
画像表示装置12は、複数のプロジェクター11を配置して構成される。つまり、画像表示装置12は、複数の多視点画像を表示する。
なお、プロジェクター11(投射型表示装置)の代わりに直視型表示装置を用いても良い。また、画像表示装置12を、プロジェクター11で構成する代わりに、単一の高精細な2次元画像表示装置を用いて構成するようにしても良い。
第1結像面13は、画像表示装置12から出力される複数の多視点画像を結像させるためのスクリーンである。第1結像面13を「第1結像部」とも呼ぶ。上記の画像表示装置12は、画像を投射することにより、この第1結像面13に高密度な画像を合成表示する。この第1結像面13には、複数の多視点画像14が所定の配置により結像表示されている。なお、この第1結像面13には拡散スクリーンを配置して、結像画像を拡散させるようにしてもよい。ただし、画像表示装置12内のプロジェクター11からの投射光が並行光に近い状態である場合には、この拡散スクリーンを省くことができる。
多視点画像投射光学系15は、第1結像面13に形成されている各々の多視点画像14を投射する。なお、多視点画像投射光学系15は、内部に複数の投射光学系16を配置して構成されている。
投射光学系16は、多視点画像投射光学系15内に配置される光学系(レンズ等)であり、各々の多視点画像14に対応して一式の投射光学系16が設けられている。各々の投射光学系16は、多視点画像14を拡大投射し、第2結像面17上に結像させる。
つまり、多視点画像投射光学系15は、複数の多視点画像14の各々に対応し、多視点画像14を投射するものである。例えば、レンズアレイとアパーチャーアレイとを用いて多視点画像投射光学系15を構成するようにする。
なお、多視点画像投射光学系15は、すべての多視点画像が第2結像面17に重畳して結像するように、調整されている。また、第1結像面13における個々の多視点画像14が、第2結像面17において結像する各要素画像内での画素に対応する。第2結像面17上においてすべての多視点画像の画角やレジストレーションが合うように、投射光学系16が設定されている。また、これらの多視点画像には画像補正処理がなされている。
第2結像面17は、多視点画像投射光学系15から投射される多視点画像を結像させるためのスクリーンである。第2結像面17を「第2結像部」とも呼ぶ。第2結像面17上には、拡散スクリーンを使用できる。この拡散スクリーンに関しては、垂直方向と水平方向の光拡散特性が同一であってもよいし、互いに異なっていてもよい。垂直方向と水平方向の光拡散特性が異なっている場合、水平方向の視域と垂直方向の視域が異なる立体画像を出力できるように制御することができる。第2結像面17上には、多数の要素画像が結像する。第1結像面13における多視点画像の数が、第2結像面17における各要素画像で再生される立体像の光線数に相当する。
光方向制御光学系18は、第2結像面17を透過した光の方向を制御するために設けられる光学系である。つまり、光方向制御光学系18の作用により、所望の方向に光線を再生するように、装置を構成する。再生された光は立体像として、観察者によって観察される。
光方向制御光学系18として、通常、垂直方向と水平方向とで焦点距離が同一であるレンズを用いる。ただし、光方向制御光学系18として、垂直方向の焦点距離と水平方向の焦点距離とが異なるレンズを用いてもよい。垂直方向と水平方向の焦点距離が異なる場合、出力する画像は、垂直方向または水平方向のいずれかに広がる。
図2は、本実施形態における複数のプロジェクターの配置パターンの例を示す概略図である。同図(a)、(b)、(c)は、それぞれ、観察者側から画像表示装置12を見たときのプロジェクター11の配置の例である。言い換えれば、同図(a)、(b)、(c)は、それぞれ、z軸の正側から負側を見たときのプロジェクター11の配置の例である。即ち、同図における横の方向がx軸の方向(右側がx軸の正の方向)であり、同図における縦の方向がy軸の方向(上側がy軸の正の方向)である。同図(a)は直交格子状配置のパターンを示し、同図(b)は千鳥状配置のパターンを示し、同図(c)はシフト状配置のパターンを示す。各パターンにおいて、配置されている長方形の箱が、それぞれプロジェクター11に相当する。また、個々のプロジェクター11のサイズは、すべて同一である。
同図(a)の直交格子状配置パターンでは、画像を投射する側を正面視したときに、同じ行にある複数のプロジェクター11の上端および下端の縦方向の位置がそろっている。また、同じ列にある複数のプロジェクター11の左端および右端の横方向の位置がそろっている。なお、直交格子状配置パターンの特殊な形態として正方格子状配置パターンとしてもよい。
同図(b)の千鳥状配置パターンでは、画像を投射する側を正面視したときに、同じ行にある複数のプロジェクター11の上端および下端の縦方向の位置がそろっている。また、奇数行目にある複数のプロジェクター11の左端および右端の横方向の位置がそろっている。同様に、偶数行目にある複数のプロジェクター11の左端および右端の横方向の位置がそろっている。しかしながら、奇数行目にあるプロジェクター11の左端および右端の横方向の位置と、偶数行目にあるプロジェクター11の左端および右端の横方向の位置とは、互いにずれている。つまり、各プロジェクター11の左端および右端の横方向の位置が、一行おきにそろっている。
このようにプロジェクターを千鳥状に配置することにより、例えば同図(a)のように直交格子状に配置する場合に比べて、最終的に出力される立体画像において、観察者に、プロジェクターの境界が認識されにくくなるという効果が得られる。つまり、出力される立体画像の質が向上する。プロジェクターの境界が観察者に認識され得る要因は、例えば、1台のプロジェクターから投射される画像の中央部分と周辺部分とで明度の差がある場合や、第1結像面13や第2結像面17の拡散板の光拡散特性などである。
同図(c)のシフト状配置パターンでは、画像を投射する側を正面視したときに、同じ行にある複数のプロジェクター11の上端および下端の縦方向の位置がそろっている。また、プロジェクターの左端および右端の位置が、第n行目、第n+1行目、第n+2行目、・・・(nは自然数)において、少しずつシフトしていく。つまり、1行分のx軸方向のシフト量をαとした場合、第n行目の中のあるプロジェクター11の左端のx軸方向の位置(x座標値)をx=xとした場合、第n+1行目の中には、左端のx軸方向の位置がx=x+αであるプロジェクターが存在する。また、第n+2行目の中には、左端のx軸方向の位置がx=x+2αであるプロジェクターが存在する。そして、第n+3行目以後においても同様である。
このようにプロジェクターをシフト状に配置することにより、例えば同図(a)のように直交格子状に配置する場合に比べて、最終的に出力される立体画像において、観察者に、プロジェクターの境界が認識されにくくなるという効果が得られる。その理由は、上の千鳥状の配置に関して述べたことと同様である。
つまり、立体画像表示装置1は、複数台のプロジェクター11を具備する。そして、これら複数台のプロジェクター11は、その表示方向側(投射方向側)から見て、縦方向の配列の方向と横方向の配列の方向とが略直交する直交格子状配置、横方向の配列位置が1行おきに同じである千鳥状配置、または、横方向の配列位置が1行ごとに所定量シフトしていくシフト状配置、のいずれかの配置で並べるようにすることができる。
プロジェクター11が投射する画像のサイズは、設計により適宜定めるようにする。一例として、1台のプロジェクター11が第1結像面13上に投射する画像(その画像は複数の多視点画像を含む)のサイズは、対角線長において数インチ(例えば5インチ)程度である。なお、1インチは約2.54センチメートルに相当する。また、一例として、1台のプロジェクター11が第1結像面13上に投射する画像は、横3840画素×縦2160画素(いわゆる「4k」)程度の解像度を有する。
次に、第1結像面13に表示される多視点画像群の配列について説明する。
図3は、第1結像面13に表示される複数の多視点画像14の配列のパターン例を示す概略図である。同図は、観察者側から第1結像面を見た場合の正面図であり、横方向がx軸方向に、縦方向がy軸方向にそれぞれ対応する。同図において、破線で囲って示す領域31および33は、それぞれ、異なるプロジェクター11によって投射され得る画像の表示範囲である。ここでは、便宜上、領域31を表示範囲とするプロジェクターをプロジェクター11−1とし、領域33を表示範囲とするプロジェクターをプロジェクター11−2とする。領域31と領域33とは、一部が互いに重なり合っている。具体的には、図示する例では、領域31と領域33とは、それぞれ5行4列の多視点画像の領域を含み、各領域内では多視点画像は直交格子状配置パターンを成している(図2(a)に示したパターン)。そして、領域31の第4列と領域33の第1列とが、重なり合っている。また、領域31の各行と領域33の各行とは、その上端および下端の縦方向の位置が合っている。また、プロジェクター11−1によって表示される多視点画像(多視点画像14−1とする)をハッチングパターン有りで示す。そして、プロジェクター11−2によって表示される多視点画像(多視点画像14−2とする)をハッチングパターンなし(つまり白色)で示している。そして、同図に例示する配置パターンでは、領域31内の第4列において、第1行と第3行と第5行の多視点画像のみが、プロジェクター11−1によって投射される多視点画像14−1である。そして、領域33内の第1列(領域31内の第4列と重なる位置)において、第2行と第4行の多視点画像のみが、プロジェクター11−2によって投射される多視点画像14−2である。つまり、同図に例示するパターンにおいては、異なるプロジェクター11−1と11−2による表示領域の一部のみが重なり合っており、そしてその重なった領域において、両プロジェクターによる多視点画像が交互に配置されている。
つまり、立体画像表示装置1は、複数台のプロジェクターを具備し、それらのうちの一部がプロジェクター11−1および11−2である。そして、ある表示装置(プロジェクター11−1)が表示する範囲である第1結像面上の領域(領域31)と、隣接する他の表示装置(プロジェクター11−2)が表示する範囲である第1結像面上の領域(領域33)とは、少なくとも一部が重複している。
なお、図3に示した配列パターンは、プロジェクター11からの投射画像の表示範囲を密に並べるためのパターンの一例である。多視点画像の配列のパターンは任意である。ただし、各プロジェクター11からの投射画像の表示範囲は、隣接する他のプロジェクター11からの投射画像の表示範囲との間の隙間が小さくなるようにすることが望ましい。
なお、多視点画像群の縦方向および横方向の数は、設計等により適宜定めればよい。多視点画像群の配列において、横方向(x軸方向)の多視点画像群の数を多くすることは有効である。この場合、最終的に出力される立体画像の、横方向(水平方向)の視域を広くとることができるようになる。
[第2実施形態]
次に第2実施形態について説明する。なお、上述の実施形態と共通の事項については説明を省略する場合があり、本実施形態特有の事項を中心に説明する。
図4は、第2実施形態による立体画像表示装置の構成と、表示のための光線の光路を示す概略図(斜視図)である。同図に示すように、立体画像表示装置2は、画像表示装置42と、第1結像面43と、多視点画像投射光学系45と、第2結像面47と、光方向制御光学系48とを含んで構成される。観察者は、光方向制御光学系48から出力される光を見て、立体画像を認識する。
画像表示装置42は、(M×N)個のプロジェクター41を含む表示装置である。画像表示装置42において、プロジェクター41は、横方向にM個、縦方向にN個、正面視した場合に全体として直交格子状に配置される。
プロジェクター41は、小型のプロジェクターであり、複数の多視点画像を第1結像面43に投射表示する。各プロジェクター41は、(P×Q)個の多視点画像を投射表示する。各プロジェクター41から投射される多視点画像は、横方向にP個、縦方向にQ個、直交格子状に配置されているものである。
第1結像面43は、画像表示装置42から投射される複数の多視点画像を結像させるためのスクリーンである。上記の通り、横方向にM個、縦方向にN個の合計(M×N)個のプロジェクター41のそれぞれから、横方向にP個、縦方向にQ個の合計(P×Q)個の多視点画像が投射表示される。第1結像面43上には、横方向に(P×M)個、縦方向に(Q×N)個の、合計(P×M×Q×N)個の多視点画像が形成される。
図4において、個々の多視点画像44は、第1結像面43上の四角形として示されている。
多視点画像投射光学系45は、各々の多視点画像44に対応した投射光学系46を直交格子状に配置して成るものである。多視点画像投射光学系45は、上記の(P×M×Q×N)個の多視点画像を拡大投影し、第2結像面47上に結像させる。このとき、多視点画像投射光学系45は、すべての多視点画像を第2結像面47上で重畳させる。つまり、各多視点画像の中心位置や画角がすべてそろうように調整されている。
第2結像面47には、拡散スクリーンが設けられている。
光方向制御光学系48(レンズ)は、第2結像面47から出力される光の光線方向を制御するレンズである。
多視点画像投射光学系45に含まれ各多視点画像に対応した投射光学系46の光軸と、光方向制御光学系48の光軸とはシフトしているので、レンズシフト方式で投射結像するようにする。あるいは、多視点画像投射光学系45の後に大きなコンデンサーレンズを設けて、投射結像方向を制御してもよい。
光方向制御光学系48の焦点距離を、ほぼ、多視点画像投射光学系45の焦点から第2結像面47までの光路長に設定すると、光方向制御光学系48を透過する光は、ほぼ平行光線として再生される。このとき、多視点画像44の数(P×M×Q×N)に相当する方向に光線を再生するいわゆるインテグラル立体視の状態での光線再生となり、水平に(P×M)方向、垂直に(Q×N)方向の光線を再生する立体表示となる。
もしくは、光方向制御光学系48の焦点距離を、各多視点画像44からの光が観察者の位置近辺に集光するように設定すれば、いわゆる多眼立体視の状態に近い光線再生となり、水平方向に(P×M)視点、垂直方向に(Q×N)視点の立体表示となる。
もしくは、光線再生をインテグラル立体と多眼立体の中間状態に設定してもよい。なお、本方式では、第2結像面47に設けられる拡散スクリーンの拡散特性が、立体像の解像度や輝度むらに影響を与えるために、各表示方式に応じて、スクリーンの垂直と水平方向の拡散特性を適宜設定することで、画質を向上させることができる。
なお、本実施形態において、プロジェクター41の配置のしかたは直交格子状配置には限られない。図2に示した千鳥状配置やシフト状配置等にしてもよい。また、本実施形態において、第1結像面43において結像する多視点画像の配列のしかたは、任意である。
[第3実施形態]
次に第3実施形態について説明する。なお、前述の実施形態と共通の事項については説明を省略する場合があり、本実施形態特有の事項を中心に説明する。
図5は、第3実施形態による立体画像表示装置の構成と、表示のための光線の光路を示す概略図である。同図に示すように、立体画像表示装置3は、プロジェクター51と、レンズ系52と、第1結像面53と、多視点画像投射光学系55と、コンデンサーレンズ56と、第2結像面57と、光方向制御光学系58とを含んで構成される。観察者は、光方向制御光学系58から出力される光を見て、立体画像を認識する。
プロジェクター51は、複数の多視点画像を投射する。
レンズ系52は、プロジェクター51からの投射光を屈折させる。プロジェクター51による投射光は、レンズ系52を経由することにより並行光に近い状態で第1結像面53に入力される。
第1結像面53は、レンズ系52からの光を結像させるためのスクリーンである。第1結像面53上には、複数の多視点画像54が結像する。
第1結像面53に到達する光が上記のように並行光である場合、または並行光に近い状態である場合、第1結像面53上に拡散スクリーンを設ける必要がない。したがって、拡散スクリーンを透過させずに直接、多視点画像投射光学系55に光を入射できるため、解像度の低下や光量のロスなどを防ぐことができる。
多視点画像投射光学系55は、多視点画像54を投射する。
コンデンサーレンズ56は、多視点画像投射光学系55からの投射光の投射結像方向を制御する。
第2結像面57は、コンデンサーレンズ56からの光を結像させるためのスクリーンである。この第2結像面57には、拡散スクリーンを用いる。
光方向制御光学系58は、第2結像面から出力される光の光線方向を制御する。
なお、本実施形態では、第2結像面57の拡散スクリーンの後に光方向制御光学系58を配置しているが、この拡散スクリーンの前に光方向制御光学系58を配置してもよく、同じ効果を出すことができる。
なお、本実施形態において、プロジェクター51の配置のしかたは直交格子状配置には限られない。図2に示した千鳥状配置やシフト状配置等にしてもよい。また、本実施形態において、第1結像面53において結像する多視点画像の配列のしかたは、任意である。
[第4実施形態]
次に第4実施形態について説明する。なお、前述の実施形態と共通の事項については説明を省略する場合があり、本実施形態特有の事項を中心に説明する。
図6は、第4実施形態による立体画像表示装置の構成と、表示のための光線の光路を示す概略図である。同図に示すように、立体画像表示装置4は、第1結像投射光学系61と、第2結像投射光学系62と、合成光学系63と、第2結像面67と、光方向制御光学系68とを含んで構成される。観察者は、光方向制御光学系68から出力される光を見て、立体画像を認識する。
第1結像投射光学系61と第2結像投射光学系62は、それぞれ、プロジェクターと第1結像面と多視点画像投射光学系とを少なくとも含むものである。例えば、第1結像投射光学系61と第2結像投射光学系62とが、それぞれ、第3実施形態において説明したプロジェクター51と、レンズ系52と、第1結像面53と、多視点画像投射光学系55と、コンデンサーレンズ56とを含むように構成する。なお、第1実施形態や第2実施形態などで説明した構成による第1結像投射光学系61と第2結像投射光学系62としてもよい。第1結像投射光学系61と第2結像投射光学系62とは、それぞれ、内部のプロジェクターから投射した複数の多視点画像を、内部の第1結像面で結像させて、内部の多視点画像投射光学系を経由して出射させる。これらの第1結像投射光学系61と第2結像投射光学系62からの光線は、合成光学系63を経由して第2結像面67に到達する。
つまり、立体画像表示装置4は、プロジェクター(表示装置)と第1結像面と多視点画像投射結像光学系との組である投射結像光学ユニット(第1結像投射光学系61や第2結像投射光学系62)を複数具備する。そして、合成光学系63は、これら複数の投射結像光学ユニットから投射される光を合成する。そして、第2結像面67は、合成光学系63で合成された光による像を結像する。
合成光学系63は、第1結像投射光学系61および第2結像投射光学系62からの多視点画像の投射光を合成して、第2結像面67で結像させるための光学系である。例えば、ハーフミラーを用いて合成光学系63を実現する。図示する構成においては、第1結像投射光学系61から投射された多視点画像は、合成光学系63(ハーフミラー)を透過して第2結像面67に到達する。また、第2結像投射光学系62から投射された多視点画像は、合成光学系63(ハーフミラー)で反射して第2結像面67に到達する。なお、第1結像投射光学系61と第2結像投射光学系62の出力光の偏光方向を、それぞれ水平と垂直にそろえておけば合成光学系63に偏光ビームスプリッタが使用でき、効率よく合成できる。
第1結像投射光学系61から投射される多視点画像と、第2結像投射光学系62から投射される多視点画像とは、第2結像面67において、重畳する。両者が正しく重なり合うように、各光学系は調整される。
光方向制御光学系68は、第2結像面67において合成結像した像を、立体再生する。
本実施形態による立体画像表示装置は、複数の結像投射光学系からの多視点画像の投射光を合成表示している。このような構成により、単一の結像投射光学系を用いる場合に比べて多視点画像の重畳数が増加するため、表示の輝度むらを低減したり、滑らかな運動視差が得られたり、奥行きの深い立体像を表示したりといったことを効果的に行える。
[第5実施形態]
次に第5実施形態について説明する。なお、前述の実施形態と共通の事項については説明を省略する場合があり、本実施形態特有の事項を中心に説明する。
図7は、第5実施形態による立体画像表示装置の構成と、表示のための光線の光路を示す概略図である。同図に示すように、立体画像表示装置5は、第1結像投射光学系71と、第2結像投射光学系72と、第3結像投射光学系73と、合成光学系74と、第2結像面77と、光方向制御光学系78とを含んで構成される。観察者は、光方向制御光学系78から出力される光を見て、立体画像を認識する。立体画像表示装置5は、前実施形態における立体画像表示装置4と同様に、複数の結像投射光学系から投射される光を、合成光学系で合成し、第2結像面で結像させる。前実施形態における立体画像表示装置4が2系統の結像投射光学系からの光を合成していたのに対して、本実施形態の立体画像表示装置5においては、第1結像投射光学系71と第2結像投射光学系72と第3結像投射光学系73の3系統からの光を合成光学系74で合成する。合成光学系74としてはハーフミラーや偏光ビームスプリッタを用いる。図示するように、立体画像表示装置5は2個の合成光学系74を備える。そして、第1結像投射光学系71および第2結像投射光学系72からの光を、第1の合成光学系74が合成する。そして、この合成された光と、第3結像投射光学系73からの光とを、第2の合成光学系74が合成する。こうして合成された第1結像投射光学系71と第2結像投射光学系72と第3結像投射光学系73からの投射画像は、第2結像面で重畳して結像する。そして、光方向制御光学系78は、第2結像面77において合成結像した像を、立体再生する。
つまり、立体画像表示装置5は、プロジェクター(表示装置)と第1結像面と多視点画像投射結像光学系との組である投射結像光学ユニット(第1結像投射光学系71や第2結像投射光学系72や第2結像投射光学系73)を複数具備する。そして、合成光学系74は、これら複数の投射結像光学ユニットから投射される光を合成する。そして、第2結像面77は、合成光学系74で合成された光による像を結像する。
本実施形態による立体画像表示装置は、複数(3系統)の結像投射光学系からの多視点画像の投射光を合成表示している。このような構成により、単一の結像投射光学系を用いる場合に比べて多視点画像の重畳数が増加するため、表示の輝度むら低減したり、滑らかな運動視差が得られたり、奥行きの深い立体像を表示したりといったことを効果的に行える。
また、立体画像表示装置5において、光の色の三原色を、これら3系統の結像投射光学系の各々に対応させるようにしても良い。具体的には、例えば、第1結像投射光学系71からは赤色(R)チャネルの画像を投射し、第2結像投射光学系72からは緑色(G)チャネルの画像を投射し、第3結像投射光学系73からは青色(B)チャネルの画像を投射するようにする。このように構成することにより、各チャネルの画素を高精細に保ちながら、且つ時分割方式を用いた場合のフレームレート(R・G・Bの各チャネルを一巡する周期の逆数)の低下を避けながら、三原色の混合によるカラー立体画像を表示することが可能となる。このときは、合成光学系74としては、光の波長に帯域に応じて光の透過と屈折を行うダイクロイックミラーを用いる。
また、各原色(R,G,B)について、複数の結像投射光学系を割り当てても良い。
つまり、これらの場合、立体画像表示装置5は、少なくとも3組の投射結像光学ユニット(結像投射光学系)を具備する。そして、これらの投射結像光学ユニットが、それぞれ赤色画像と緑色画像と青色画像とを投射することにより、第2結像面77上にカラー画像を結像させる。
以上、複数の実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
[変形例1]図3において第1結像面上での多視点画像群の配置を例示した。同図では直交格子状に多視点画像を配置するパターンを示し、そのパターンについて説明した。上述した各実施形態において、多視点画像群を直交格子状に配置する代わりに、例えば、千鳥状に配置したり、シフト状に配置したりするようにしても良い。そのために、プロジェクター11等から投射する画像内で、適切に多視点画像を配置するようにする。なお、ここでの「千鳥状」あるいは「シフト状」といった言葉の意味は、図2においてプロジェクターの配置に関して述べた「千鳥状」あるいは「シフト状」の意味と同様である。本変形例では、最終的に出力される立体画像において、観察者が明るさのムラ等を認識しにくくなる。つまり、最終的に出力される立体画像の質が向上する。
つまり、第1結像面における複数の多視点画像は、縦方向の配列の方向と横方向の配列の方向とが略直交する直交格子状配置、横方向の配列位置が1行おきに同じである千鳥状配置、または、横方向の配列位置が1行ごとに所定量シフトしていくシフト状配置、のいずれかの配置とすることができる。
[変形例2]図3において例示した多視点画像群の配置のしかたに代えて、上述した各実施形態において、多視点画像群をランダムに(または疑似ランダムに)配置するようにしても良い。本変形例においては、隣接(ないしは近接)する多視点画像同士の、縦方向の間隔および横方向の間隔がそれぞれ一定ではなくランダムである(または疑似的にランダムである、あるいはランダム性が高い)ように、多視点画像群を配置する。こうすることにより、多視点画像の配置についての規則性が小さくなり、最終的に出力される立体画像において、観察者が明るさのムラ等を認識しにくくなる。つまり、最終的に出力される立体画像の質が向上する。
[変形例3]上述した各実施形態およびその変形例において、各多視点画像の画素数や画素サイズを不均一とする。これにより、多視点画像についての規則性が小さくなり、最終的に出力される立体画像において、観察者が明るさのムラ等を認識しにくくなる。つまり、最終的に出力される立体画像の質が向上する。
[変形例4]この変形例では、第1結像面において結像する多視点画像を密に配置するようにする。
図8は、変形例4における多視点画像の配置間隔について説明するための概略図(断面図)である。第3実施形態の場合を例にとり、図示するように、多視点画像の配置間隔(ピッチ)をpとする。隣接しあうこれら2つの多視点画像が、多視点画像投射光学系55およびコンデンサーレンズ56を通して第2結像面57で結像し、さらに光方向制御光学系58を透過した後に、両者光線がなす角度をθとする。また、多視点画像投射光学系55の主点から光方向制御光学系58の主点までの距離をLとする。pに対してLが充分に長い場合、pとLとθの関係は、θ=2atan(p/2L)と表せる。つまり、p=2L・tan(θ/2)である。ここで、tan()は正接関数であり、atan()は逆正接関数である。θが所定の角度以下のときに、高密度に光線を再生することができる。具体的には、θを1度(degree)以下としたときに、第2結像面57と観察者の間の距離(視距離)が1m(メートル)の場合、第2結像面57の面内のある1点からの観察者の両眼の間隔内(約6cm(センチメートル))に再生される角度の異なる光線数は3本以上となり、光線が高密度であり、観察者の動きに応じたなめらかな運動視差のある立体像を再生できる。
つまり、本変形例では、上に示した式にしたがって、θが1度以下になるようにpを定め、多視点画像群がこの条件を満たして第1結像面上に配置されるように構成する。つまり、第1結像面における複数の多視点画像のうちの隣接しあう2つの多視点画像の光線同士が、光方向制御光学系の透過後になす角度が1度以下となるような配置間隔で、第1結像面における多視点画像を配置する。即ち、プロジェクターは、そのような多視点画像の配置で画像の投射を行う。その結果として、高品質の立体像を再生することができる。
なお、ここでは第3実施形態を例にとって説明したが、他の実施形態において同様に大典画像群の配置間隔を定めるようにしてもよい。
なお、上に述べた各実施形態および変形例の構成のうち、技術的に組み合わせることのできるものは、組み合わせて実施するようにしてもよい。
以上、この発明の実施形態およびその変形例について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、画像(静止画像や動画像)を表示する装置として利用可能である。例えば、本発明を立体テレビ受像機として利用可能である。
1,2,3,4,5 立体画像表示装置
11,11−1,11−2,41,51 プロジェクター(表示装置)
12,42 画像表示装置(表示装置)
13,43,53 第1結像面(第1結像部)
14,14−1,14−2,44,54 多視点画像
15,45,55 多視点画像投射光学系
16,46,56 投射光学系
17,47,57,67,77 第2結像面(第2結像部)
18,48,58,68,78 光方向制御光学系
52 レンズ系
56 コンデンサーレンズ
61,71 第1結像投射光学系
62,72 第2結像投射光学系
63,74 合成光学系
73 第3結像投射光学系

Claims (10)

  1. 多視点画像を表示する表示装置と、
    前記表示装置によって表示される複数の多視点画像を結像させる第1結像部と、
    前記複数の多視点画像の各々に対応し、前記多視点画像を投射する投射結像光学系と、
    前記投射結像光学系から投射される複数の多視点画像を結像させる第2結像部と、
    前記第2結像部を透過した光線の方向を制御する光方向制御光学系と、
    を具備し、
    前記投射結像光学系は、前記複数の多視点画像が前記第2結像部において重畳するように前記多視点画像を投射する、
    ことを特徴とする立体画像表示装置。
  2. 前記第1結像部における前記複数の多視点画像のうちの隣接しあう2つの多視点画像の光線同士が、前記光方向制御光学系の透過後になす角度が1度以下となるような配置間隔で、前記第1結像部における前記多視点画像を配置した、
    ことを特徴とする請求項1に記載の立体画像表示装置。
  3. 前記第1結像部は、拡散スクリーンを有しており、
    前記投射結像光学系は、レンズアレイとアパーチャーアレイとで構成される、
    ことを特徴とする請求項1または2に記載の立体画像表示装置。
  4. 前記第2結像部は、垂直方向の光拡散特性と水平方向の光拡散特性が異なる拡散スクリーンを有する、
    ことを特徴とする請求項1から3までのいずれか一項に記載の立体画像表示装置。
  5. 前記光方向制御光学系は、垂直方向の焦点距離と水平方向の焦点距離とが異なるレンズである、
    ことを特徴とする請求項1から4までのいずれか一項に記載の立体画像表示装置。
  6. 複数台の前記表示装置を具備し、
    複数台の前記表示装置は、その表示方向側から見て、縦方向の配列の方向と横方向の配列の方向とが略直交する直交格子状配置、横方向の配列位置が1行おきに同じである千鳥状配置、または、横方向の配列位置が1行ごとに所定量シフトしていくシフト状配置、のいずれかの配置で並べられている、
    ことを特徴とする請求項1から5までのいずれか一項に記載の立体画像表示装置。
  7. 前記第1結像部における前記複数の多視点画像は、縦方向の配列の方向と横方向の配列の方向とが略直交する直交格子状配置、横方向の配列位置が1行おきに同じである千鳥状配置、または、横方向の配列位置が1行ごとに所定量シフトしていくシフト状配置、のいずれかの配置で並べられている、
    ことを特徴とする請求項1から6までのいずれか一項に記載の立体画像表示装置。
  8. 複数台の前記表示装置を具備し、
    ある表示装置が表示する範囲である前記第1結像部上の領域と、隣接する他の表示装置が表示する範囲である前記第1結像部上の領域とは、少なくとも一部が重複している、
    ことを特徴とする請求項1から7までのいずれか一項に記載の立体画像表示装置。
  9. 前記表示装置と前記第1結像部と前記投射結像光学系との組である投射結像光学ユニットを複数具備し、
    前記複数の投射結像光学ユニットから投射される光を合成する合成光学系、
    をさらに具備し、
    前記第2結像部は、前記合成光学系で合成された光による像を結像する、
    ことを特徴とする請求項1から8までのいずれか一項に記載の立体画像表示装置。
  10. 少なくとも3組の前記投射結像光学ユニットを具備し、
    前記投射結像光学ユニットがそれぞれ赤色画像と緑色画像と青色画像とを投射することにより、前記第2結像部上にカラー画像を結像させる、
    ことを特徴とする請求項9に記載の立体画像表示装置。
JP2015186329A 2015-09-24 2015-09-24 立体画像表示装置 Active JP6598362B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015186329A JP6598362B2 (ja) 2015-09-24 2015-09-24 立体画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015186329A JP6598362B2 (ja) 2015-09-24 2015-09-24 立体画像表示装置

Publications (2)

Publication Number Publication Date
JP2017062295A true JP2017062295A (ja) 2017-03-30
JP6598362B2 JP6598362B2 (ja) 2019-10-30

Family

ID=58430033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015186329A Active JP6598362B2 (ja) 2015-09-24 2015-09-24 立体画像表示装置

Country Status (1)

Country Link
JP (1) JP6598362B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019200395A (ja) * 2018-05-18 2019-11-21 シャープ株式会社 立体表示装置
JP2020024345A (ja) * 2018-08-09 2020-02-13 日本放送協会 立体映像表示装置
JP2021076730A (ja) * 2019-11-11 2021-05-20 三星電子株式会社Samsung Electronics Co.,Ltd. 立体表示装置、立体表示方法および撮影方法
JP2022508016A (ja) * 2018-09-28 2022-01-19 アヴァロン ホログラフィックス インク. 直接投影型ライト・フィールド・ディスプレイ
WO2023021732A1 (ja) * 2021-08-20 2023-02-23 ソニーグループ株式会社 表示装置及び表示方法
JP7388623B1 (ja) * 2022-10-20 2023-11-29 Lineヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003140083A (ja) * 2001-11-02 2003-05-14 Japan Science & Technology Corp 立体表示方法及びその装置
JP2003279894A (ja) * 2002-03-22 2003-10-02 Hitachi Ltd マルチプロジェクション立体映像表示装置
JP2003307709A (ja) * 2002-02-13 2003-10-31 Canon Inc 立体表示装置および立体表示システム
JP2010020037A (ja) * 2008-07-10 2010-01-28 Victor Co Of Japan Ltd 三次元画像表示方法及び三次元画像表示装置
JP2010122424A (ja) * 2008-11-19 2010-06-03 Hitachi Ltd 裸眼立体視ディスプレイ
JP2011002824A (ja) * 2009-05-20 2011-01-06 Tokyo Univ Of Agriculture & Technology 立体画像表示装置
JP2013054210A (ja) * 2011-09-05 2013-03-21 Nippon Hoso Kyokai <Nhk> 立体像表示装置用集光レンズ及び立体像表示装置
US20130182319A1 (en) * 2010-07-24 2013-07-18 Hyunin CHUNG Three-dimensional image display panel structure
CN103809293A (zh) * 2012-11-08 2014-05-21 北京三星通信技术研究有限公司 基于子像素的3d集成成像显示设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003140083A (ja) * 2001-11-02 2003-05-14 Japan Science & Technology Corp 立体表示方法及びその装置
JP2003307709A (ja) * 2002-02-13 2003-10-31 Canon Inc 立体表示装置および立体表示システム
JP2003279894A (ja) * 2002-03-22 2003-10-02 Hitachi Ltd マルチプロジェクション立体映像表示装置
JP2010020037A (ja) * 2008-07-10 2010-01-28 Victor Co Of Japan Ltd 三次元画像表示方法及び三次元画像表示装置
JP2010122424A (ja) * 2008-11-19 2010-06-03 Hitachi Ltd 裸眼立体視ディスプレイ
JP2011002824A (ja) * 2009-05-20 2011-01-06 Tokyo Univ Of Agriculture & Technology 立体画像表示装置
US20130182319A1 (en) * 2010-07-24 2013-07-18 Hyunin CHUNG Three-dimensional image display panel structure
JP2013054210A (ja) * 2011-09-05 2013-03-21 Nippon Hoso Kyokai <Nhk> 立体像表示装置用集光レンズ及び立体像表示装置
CN103809293A (zh) * 2012-11-08 2014-05-21 北京三星通信技术研究有限公司 基于子像素的3d集成成像显示设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019200395A (ja) * 2018-05-18 2019-11-21 シャープ株式会社 立体表示装置
JP7079146B2 (ja) 2018-05-18 2022-06-01 シャープ株式会社 立体表示装置
JP2020024345A (ja) * 2018-08-09 2020-02-13 日本放送協会 立体映像表示装置
JP7153501B2 (ja) 2018-08-09 2022-10-14 日本放送協会 立体映像表示装置
JP2022508016A (ja) * 2018-09-28 2022-01-19 アヴァロン ホログラフィックス インク. 直接投影型ライト・フィールド・ディスプレイ
JP7178137B2 (ja) 2018-09-28 2022-11-25 アヴァロン ホログラフィックス インク. 直接投影型ライト・フィールド・ディスプレイ
US11536878B2 (en) 2018-09-28 2022-12-27 Avalon Holographics Inc. Direct projection light field display
JP2021076730A (ja) * 2019-11-11 2021-05-20 三星電子株式会社Samsung Electronics Co.,Ltd. 立体表示装置、立体表示方法および撮影方法
JP7395322B2 (ja) 2019-11-11 2023-12-11 三星電子株式会社 立体表示装置、立体表示方法および撮影方法
WO2023021732A1 (ja) * 2021-08-20 2023-02-23 ソニーグループ株式会社 表示装置及び表示方法
JP7388623B1 (ja) * 2022-10-20 2023-11-29 Lineヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
JP6598362B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
JP6598362B2 (ja) 立体画像表示装置
JP4327758B2 (ja) 立体画像表示装置
JP2008228199A (ja) 立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造
TWI452342B (zh) 裸眼立體顯示裝置
JP2005331844A (ja) 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP5772688B2 (ja) 裸眼立体ディスプレイ装置
KR101531135B1 (ko) 화상 표시 장치
US20090190096A1 (en) Autostereoscopic display
US9958691B2 (en) Multi-view display device
JP4631812B2 (ja) 多視点映像表示装置、多視点映像撮像装置、及び多視点映像生成装置
JP2014115447A (ja) 画像表示装置
JP2008058583A (ja) 三次元画像表示装置および三次元画像表示方法
JP5424342B2 (ja) 立体画像表示装置
JP2007264261A (ja) 投射型立体表示装置
JP6335623B2 (ja) 立体映像表示装置
JP2003307709A (ja) 立体表示装置および立体表示システム
JP4393496B2 (ja) 立体映像表示装置
TWI584632B (zh) 立體顯示裝置與立體顯示方法
US20160057409A1 (en) Three-dimensional image display apparatus using laser beam scanning projection optical systems
KR101023042B1 (ko) 3차원 영상 디스플레이 장치
JP2021064834A (ja) 立体画像表示システム
JP2013213963A (ja) 裸眼立体視ディスプレイ、および裸眼立体視ディスプレイに用いる二次元映像の表示装置
JP2006133455A (ja) 三次元画像表示装置
JP2014035353A (ja) 裸眼立体表示装置
JP7445627B2 (ja) 立体表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180730

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190930

R150 Certificate of patent or registration of utility model

Ref document number: 6598362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250