JP2015220527A - 3次元ディスプレイ及びデータ生成方法 - Google Patents

3次元ディスプレイ及びデータ生成方法 Download PDF

Info

Publication number
JP2015220527A
JP2015220527A JP2014101339A JP2014101339A JP2015220527A JP 2015220527 A JP2015220527 A JP 2015220527A JP 2014101339 A JP2014101339 A JP 2014101339A JP 2014101339 A JP2014101339 A JP 2014101339A JP 2015220527 A JP2015220527 A JP 2015220527A
Authority
JP
Japan
Prior art keywords
voxel
light emitting
color
color information
multicolor light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014101339A
Other languages
English (en)
Other versions
JP6393518B2 (ja
Inventor
晶則 浜田
Akinori Hamada
晶則 浜田
昊哲 李
Koutetsu LEE
昊哲 李
寿之 猪子
Toshiyuki Inoko
寿之 猪子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TEAM LAB Inc
Original Assignee
TEAM LAB Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TEAM LAB Inc filed Critical TEAM LAB Inc
Priority to JP2014101339A priority Critical patent/JP6393518B2/ja
Priority to CN201580024235.7A priority patent/CN106664399B/zh
Priority to US15/311,189 priority patent/US10140759B2/en
Priority to PCT/JP2015/063512 priority patent/WO2015174378A1/ja
Publication of JP2015220527A publication Critical patent/JP2015220527A/ja
Application granted granted Critical
Publication of JP6393518B2 publication Critical patent/JP6393518B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/001Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Abstract

【課題】立体画像をリアルタイムにレンダリングする3次元ディスプレイ及びデータ生成方法を提供する。【解決手段】3次元方向に並べられた複数の多色発光素子を備える3次元ディスプレイ用の発光データを生成する方法であって,3Dポリゴンモデルを取得するモデリング工程と,3Dポリゴンモデルを複数のボクセルで表現し各ボクセルの位置情報を計算するボクセル化工程と,3Dポリゴンモデルについてある特定の視点に対する正面側表面のカラー情報と,当該ある特定の視点に対する背面側表面のカラー情報とを計算する表面カラー計算工程と,位置情報を参照し正面側表面と背面側表面の間に位置するボクセルのカラー情報を,正面側表面のカラー情報と背面側表面のカラー情報に基づいて計算する内部カラー計算工程と,位置情報を参照し各ボクセルのカラー情報を2次元の相対位置にマッピングして,発光データを生成するマッピング工程と,を含む。【選択図】図4

Description

本発明は,画素となる多色発光素子が3次元的に配置された3次元ディスプレイと,その3次元ディスプレイ用の発光データを生成する方法に関する。具体的に説明すると,本発明は,3次元的に配置された多色発光素子を発光させることで,体積(ボリューム)のある立体画像を表示することのできる技術に関するものである。
従来から,体積のある立体画像を360度全方位から視認することのできる立体画像表示装置が知られている。このような立体画像表示装置は,例えば,イベントや展覧会で用いられたり,広告目的で用いられたりしている。また,立体画像表示装置をゲーム機などのアミューズメント機器に搭載することも知られている。
例えば,従来から,画素が平面マトリクス状に配置された透明表示器を回転させることで,体積のある立体画像を表示する立体画像表示装置が知られている(特許文献1,特許文献2等)。この立体画像表示装置は,自発光する画素をドットマトリクス状に配置してなる透明表示器と,この透明表示器を回転駆動する駆動機構と,を有している。そして,この立体画像表示装置は,透明表示器の回転角に同期して当該透明表示器に画像を表示させることで,観察者に立体的な画像を視認させるように制御されている。このような透明表示器を回転させる構成の装置によれば,特殊な眼鏡のような機材を使用することなく,観者が裸眼の状態でも立体画像を視認させることが可能である。
特開2005−173212号公報 特表2002−517789号公報
ところで,ユーザ参加型のイベントやゲームなどにおいては,ユーザの要望や操作に応じて,リアルタイムに立体画像をレンダリングして,立体画像表示装置に表示することが求められる場合もある。例えば近年では,ユーザが所有する携帯型情報端末(スマートフォン)と立体画像表示装置が無線通信によって接続されており,携帯型情報端末に入力された指示情報に応じて,立体画像表示装置に表示される立体画像が変化するような技術も普及している。このように,ユーザの要望や操作に応じて,リアルタイムに立体画像が動いたり切り替わったりすることで,ユーザにより魅力的な体験を提供することができる。
しかしながら,特許文献1や2に示された従来の立体画像表示装置は,透明表示器の回転角に同期してこの透明表示器に画像を表示させることが必要であり,表示器に画像を表示させるタイミングを調節することが難しい。このため,従来の立体画像表示装置は,複雑な形状の立体画像を表示することが困難であるとされていた。また,従来の立体画像表示装置は,立体画像を表示するための制御が難いことから,例えばユーザの要望や操作に応じて,リアルタイムに立体画像をレンダリングして表示することは容易ではなかった。
さらに,従来の立体画像表示装置は,透明表示器を高速回転させて立体画像を表示するものであるため,その装置自体を大型化することが難しいとされていた。すなわち,装置が大型になると,大型の透明表示器が必要となるばかりでなく,その大型の透明表示器を高速回転させるために出力の大きい駆動機構が必要となる。また,いかに出力の大きい駆動機構を用いたとしても,立体画像が視認可能な程度に大型の透明表示器を高速回転させることは困難であった。さらに,立体画像表示装置は,透明表示器を回転させる必要があることから,例えば風が吹く屋外でのイベント等においては,安全に使用することができないものであった。
以上のような観点から,本発明は,360度全方位から視認可能な体積のある立体画像を,リアルタイムにレンダリングすることのできる方法を提供することを解決課題とする。また,本発明は,体積のある立体画像を適切に表示することのできる新規な3次元ディスプレイを提供することを解決課題とする。さらに,本発明は,大型化することができ,しかも屋外でも使用可能な3次元ディスプレイを提供することを解決課題としている。本発明は,これらの課題のうちの少なくとも一つの解決手段を提供するものである。
本発明の第1の側面は,3次元ディスプレイ用の発光データを生成する方法に関する。ここにいう3次元ディスプレイとは,左右方向,上下方向,及び奥行方向に,3次元的に並べられた複数の多色発光素子を備える。なお,左右方向,上下方向,及び奥行方向とは,互いに立体的に直交する3次元空間の直交座標系を形成する方向である。
本発明の方法は,モデリング工程と,ボクセル化工程と,表面カラー計算工程と,内部カラー計算工程と,マッピング工程と,を含む。
モデリング工程は,3Dポリゴンモデルを取得する工程である。3Dポリゴンモデルは,コンピュータを用いて作成してもよいし,コンピュータの内部又は外部の記録装置などから取得してもよいし,情報通信回線(インターネット)を介してダウンロードしたものであってもよい。
ボクセル化工程は,3Dポリゴンモデルを複数のボクセルで表現し,各ボクセルの位置情報を計算する工程である。ボクセル化(Voxelization)とは,3Dポリゴンモデルを小さな体積の立方体の集合体として表現する手法である。このため,各ボクセルは,体積を表現する一つの要素となる。
表面カラー計算工程は,3Dポリゴンモデルについて,ある特定の視点に対する正面側表面のカラー情報と,当該ある特定の視点に対する背面側表面のカラー情報とを計算する工程である。
内部カラー計算工程は,各ボクセルの位置情報を参照し,正面側表面と背面側表面の間に位置するボクセルのカラー情報を,正面側表面のカラー情報と背面側表面のカラー情報に基づいて計算する工程である。
マッピング工程は,各ボクセルの位置情報を参照し,各ボクセルのカラー情報を2次元の相対位置にマッピングして,発光データを生成する工程である。すなわち,ボクセル化された3Dモデルを3次元ディスプレイに表示するために,各ボクセルのカラー情報を,3次元ディスプレイにおいて処理し易い2次元で表された発光データに置き換える。
上記のように,本発明の方法では,3Dポリゴンモデルをボクセル化して,各ボクセルのカラー情報を計算する。ここで,3次元ディスプレイ装置は,多数の多色発光素子を3次元的に配置した構成を有している。このため,この3次元ディスプレイ装置を用いてモデルの画像を表示する(すなわちモデルの体積を表現する)ためには,モデルの表面を形成するボクセルだけでなく,モデルの内部を形成するボクセルのカラー情報をも計算する必要がある。従来の2次元ディスプレイにおいて,ボクセル化したモデルの画像を表示する際には,内部に隠れるボクセルについてはカラー情報を計算する必要がなかった。この点において,本発明に係る3次元ディスプレイ装置用の画像処理と,従来の2次元ディスプレイ用の画像処理は明確に異なっている。そして,本発明の方法では,モデルの内部を形成するボクセルのカラー情報を,モデルの表面を形成するボクセルのカラー情報に基づいて計算することとしている。具体的には,モデルの正面側表面と背面側表面のカラー情報を計算し,その後,この正面側表面と背面側表面の間に位置する内部のボクセルのカラー情報については,正面側表面と背面側表面のカラー情報を参照して決定する。例えば,内部のボクセルのカラー情報は,正面側表面と背面側表面のカラー情報の中間色であってもよいし,正面側表面から背面側表面にかけて徐々に色が移り変わるようなグラデーション色であってもよい。このように,内部のボクセルのカラー情報を,正面側表面と背面側表面のカラー情報に基づいて間接的に計算することで,処理の高速化を実現できる。従って,本発明の方法によれば,360度全方位から視認可能な体積のある立体画像を,リアルタイムにレンダリングすることが可能となる。
本発明の方法において,3次元ディスプレイは,上下方向に複数個連なった多色発光素子が円周方向に複数列並んで層を形成し,この多色発光素子の層が同心円状に複数層形成されたものであることが好ましい。
この場合において,本発明の方法のマッピング工程では,各ボクセルの位置情報を参照し,各ボクセルのカラー情報を多色発光素子の層のそれぞれに対応する2次元の相対位置にマッピングして,多色発光素子の層ごとの発光データを生成することが好ましい。
上記のように,3次元ディスプレイでは,略円筒状の層をなすように,多数の多色発光素子が,上下方向及び円周方向に並んで配置される。また,略円筒状の多色発光素子の層が,同心円状に複数層形成されることにより,3次元ディスプレイが構築されている。このように,本発明では,多色発光素子の一つの層だけをみると,多色発光素子が上下方向及び円周方向の2次元的配置(2D)で並列されていることとなる。そして,多色発光素子の層が複数層奥行きをもって配置されることで,3次元的配置(3D)を構築している。このため,それぞれの層について,多色発光素子の発光色を計算することができる。すなわち,3次元ディスプレイに対しては,発光データを3次元的配置のデータとして提供する必要がなく,発光データを2次元的配置のデータとして提供すれば済むこととなる。これにより,3次元ディスプレイに提供する発光データの生成が簡便になり,より高速に処理することが可能となる。また,3次元ディスプレイの形状を略円筒状とすることで,360度全方位から,モデルの立体画像を視認しやすくなる。
本発明の方法において,ボクセル化工程は,第1工程と,第2工程と,第3工程とを含むことが好ましい。
第1工程は,3Dポリゴンモデルについて,ある特定の視点に対して正面に位置するボクセルの位置情報を計算し,当該正面に位置するボクセルよりも背面側にもボクセルが存在するものと推定してレンダリングする工程である。
第2工程は,3Dポリゴンモデルについて,前記のある特定の視点に対して背面に位置するボクセルの位置情報を計算し,当該背面に位置するボクセルよりも背面側にもボクセルが存在するものと推定してレンダリングする工程である。
第3工程は,第1工程のレンダリング結果と第2工程のレンダリング結果の排他的論理和を求めることにより,3Dポリゴンモデルを構成する各ボクセルの位置情報を得る工程である。
上記のように,排他的論理和によって3Dポリゴンモデルを構成する各ボクセルの位置情報を計算することで,特定の視点の位置を動かさずに,又は3Dポリゴンモデルを動かさずに,ボクセルの位置を求めることが可能となる。これにより,ボクセル化工程におけるコンピュータの処理を高速化することができる。結果として,本発明によれば,モデルの立体画像をリアルタイムにレンダリングすることが可能となる。
本発明の第2の側面は,3次元ディスプレイに関する。
本発明の3次元ディスプレイは,左右方向,上下方向,及び奥行方向に並べられた複数の多色発光素子を備える。
具体的には,本発明の3次元ディスプレイでは,上下方向に複数個連なった多色発光素子が,円周方向に複数列並んで層を形成し,多色発光素子の層が同心円状に複数層形成されている。
上記構成のように,3次元ディスプレイを略円筒状の層が多層に重なった構造とすることで,360度全方位からモデルの立体画像を視認できるようになる。また,上述したとおり,本発明の3次元ディスプレイは,2次元的な層を複数層に重ねて3次元的な配置としているため,2次元的構造の発光データを扱うことができる。このため,本発明の3次元ディスプレイによれば,立体画像を高速に処理することができる。
本発明の3次元ディスプレイは,連結部材と,上枠体と,下枠体とを備えることが好ましい。連結部材は,複数の多色発光素子を上下に連結する紐状の部材である。
上枠体は,連結部材の上端が繋ぎ止められる部材であり,下枠体は,連結部材の下端が繋ぎ止められる部材である。
上記構成のように,複数の多色発光素子を1本の連結部材で連結し,その連結部材の上端と下端をそれぞれ上枠体と下枠体に接続することで,3次元ディスプレイの構造を簡素化することができる。このため,3次元ディスプレイを比較的安価で大型化することができる。また,連結部材の上端と下端を上枠体と下枠体に固定することで,各多色発光素子の位置を簡易的に固定することができる。例えば,3次元ディスプレイを,風が吹き抜ける屋外に設置した場合であっても,各多色発光素子の位置が変動することを防止できるため,適切に立体画像を表示することが可能となる。
本発明によれば,360度全方位から視認可能な体積のある立体画像を,リアルタイムにレンダリングすることができる。
本発明によれば,体積のある立体画像を適切に表示することのできる新規な3次元ディスプレイを提供することができる。本発明の3次元ディスプレイは,比較的簡易的に大型化することができ,しかも屋外において安全に使用することが可能である。
図1は,本発明に係る3次元ディスプレイの構造を簡易的に示した模式図である。 図2は,本発明に係る3次元ディスプレイの構造を概念的に展開して示した模式図である。 図3は,本発明に係る立体画像のレンダリング工程を示したフローチャートである。 図4は,本発明に係る立体画像のレンダリング工程を概念的に示した模式図である。 図5は,ボクセル化工程の一例を概念的に示した模式図である。 図6は,ボクセル化工程の他の例を概念的に示した模式図である。
以下,図面を用いて本発明を実施するための形態について説明する。本発明は,以下に説明する形態に限定されるものではなく,以下の形態から当業者が自明な範囲で適宜修正したものも含む。
[3次元ディスプレイ]
図1は,本発明に係る3次元ディスプレイ100の構造を簡易的に示している。図1に示されるように,3次元ディスプレイ100は,複数の球状の多色発光素子10が,上下方向,左右方向,及び奥行方向に,3次元的に配置された構造となっている。ここにいう,「上下方向」,「左右方向」,及び「奥行方向」とは,それぞれ立体的に直交する3次元空間の直交座標系を形成する方向である。このように,複数の多色発光素子10を3次元的に配置することにより,3次元ディスプレイ100は,体積(ボリューム)のある立体画像を表示することができる。すなわち,各多色発光素子10は,立体画像を表示するための画素として機能する。なお,図1では,3次元ディスプレイ100の構造を分かり易くするために,多色発光素子10の密度(画素数)を粗くして描画しているが,多色発光素子10の密度(画素数)をより緊密にすることにより,立体画像の解像度を向上させることができる。
具体的に説明すると,図1に示されるように,3次元ディスプレイ100は,複数の多色発光素子10が,一本の紐状の連結部材20によって,上下方向に連結されている。連結部材20に設けられている複数の多色発光素子10は,それぞれ,上下方向に等間隔に配置されていることが好ましい。この複数の多色発光素子10と一本の連結部材20とにより,上下に延びる一連の多色発光素子群10aが形成される。
また,多色発光素子群10aは,円周方向に沿って,複数本並列されている。このとき,複数本の多色発光素子群10aは,円周方向に沿って等間隔に配置されていることが好ましい。このように,複数本の多色発光素子群10aが円周上に配置されることで,多色発光素子10の層(多色発光素子層10bという)が形成される。
多色発光素子層10bは,略円筒状に形成された層である。図1に示されるように,多色発光素子層10bは,複数層形成される。すなわち,円筒状の多色発光素子層10bは,同心円状に,複数層形成されることとなる。図1は,多色発光素子層10bが,3層形成された例を示している。なお,多色発光素子層10bの数は,3層以上とすることも可能である。多色発光素子層10bは,10層以上であることが好ましい。多色発光素子層10bは,外側に位置するものほど円周が長くなっており,内側に位置するものほど円周が短くなっている。このようにすることで,3次元ディスプレイ100を,円筒状(若しくは円柱状)の形状とすることができる。
また,3次元ディスプレイ100は,上枠体30と下枠体40とを備える。上枠体30と下枠体40とは,上下方向に対向する位置に配置されている。上枠体30と下枠体40の間には,複数の多色発光素子10が位置する。つまり,多色発光素子群10aを形成する紐状の連結部材20は,その上端が上枠体30に繋ぎ止められており,その下端が下枠体40に繋ぎ止められている。上枠体30には,吊り下げ部材(図示省略)などを介して,天井やクレーンなどに吊り下げられていればよい。また,下枠体40は,地面に接していてもよいし,空中に位置していてもよい。ただし,下枠体40を空中に吊り下げる場合には,下枠体40が搖動しないように,他の固定部材(図示省略)を利用して,地面に固定しておくことが好ましい。このように,多色発光素子群10aを上枠体30と下枠体40の間に懸けて吊るすことにより,各多色発光素子10の位置を,簡単に固定することが可能となる。
図2は,3次元ディスプレイ100を構成する複数の多色発光素子層10bを,概念的に展開して示している。図2に示されるように,本来は円筒状である多色発光素子層10bを展開すると,2次元の平面として捉えることができる。つまり,各多色発光素子層10bでは,複数の多色発光素子10が,行方向と列方向に規則的な間隔で,ドットマトリクス状に配置されている。このため,3次元ディスプレイ100に対して,多色発光素子層10bのそれぞれに対応させた2次元構造(2D)の発光データを提供することで,3次元ディスプレイ100は,画像を表示することができる。具体的には,体積のある3Dモデルのカラー情報を,複数の多色発光素子層10bのそれぞれに対応するように,2Dの相対位置にマッピングして,この2Dのマッピングデータを多色発光素子10の発光データとして扱うことが可能となる。よって,3次元ディスプレイ100に提供する発光データが簡易になるため,3次元ディスプレイ100は,発光データを高速で処理して表示することができる。
多色発光素子10は,少なくとも2色以上で発光することのできる発光体である。多色発光素子10としては,例えばLED(Light Emitting Diode:発光ダイオード)などの公知の光源を用いることができる。例えば,多色発光素子10は,赤色,緑色,青色に発光する3つのLEDが1つにパッケージされた3色LEDを用いることとしてもよいし,2色LEDであってもよい。多色発光素子10は,それぞれ,制御装置(図示省略)に電気的に接続されている。これにより,多色発光素子10は,制御装置からの制御信号に基づいて,発光する色を変化させることができる。多色発光素子10は,それぞれが独立して,制御装置によって発光色を制御されている。このように,複数の多色発光素子10それぞれの発光色を個別に制御することで,複雑な立体画像を表現することが可能となる。
上記構成の3次元ディスプレイ100は,多色発光素子10の発光の有無,及び多色発光素子10の発光色を制御することにより,体積(ボリューム)のある立体画像を表示することができる。すなわち,3次元ディスプレイ100は,立体画像の表面に相当する多色発光素子10だけでなく,立体画像の内部に相当する多色発光素子10をも発光させることで,ボリューム感のある立体画像を表示することが可能である。また,3次元ディスプレイ100は,円筒状(若しくは円柱状)の形状を有するため,観察者は,360度全方位からこの立体画像を視認することができる。しかも,観察者の見る角度や立ち位置によって,立体画像の様々な部分を見ることができる。このため,3次元ディスプレイ100は,あたかもその場にモデルが存在するかのような臨場感のある立体画像を提供することができる。
[発光データの生成方法]
続いて,上述した3次元ディスプレイ100に提供する多色発光素子10の発光データの生成方法について説明する。発光データとは,3次元ディスプレイ100が備える複数の多色発光素子10のうち,どの多色発光素子10を,どの色で発光させるかを特定するためのデータである。すなわち,発光データとは,3次元ディスプレイ100の発酵態様を制御するためのデータであるともいえる。発光データの生成方法は,画像処理用のコンピュータにより実行される。
図3は,発光データの生成方法の示したフローチャートである。また,図4は,発光データの生成方法を模式的に示している。図3及び図4に示されるように,発光データの生成方法は,モデリング工程(ステップS1),ボクセル化工程(ステップS2),表面カラー計算工程(ステップS3),内部カラー計算工程(ステップS4),及びマッピング工程(ステップS5)を含む。以下,それぞれの工程について説明する。
モデリング工程(ステップS1)は,3Dポリゴンモデルを取得する工程である。3Dポリゴンモデルは,公知のコンピュータ・ソフトウェアを利用して作成することとしてもよいし,外部の記憶媒体に記憶されているもの又はコンピュータ内部の記憶装置に記憶されているものを読み出すこととしてもよい。また,3Dポリゴンモデルは,インターネットを経由して,ダウンロードしたものであってもよい。3Dポリゴンモデルは,立体的形状を持つ図形を,複数のポリゴン(三角形)の組み合わせで表現したものである。なお,3Dポリゴンモデルが表現される座標系を,モデリング座標系(P,Q,R)ともいう。また,図4において,円状の点線は,3次元ディスプレイ100の画像表示範囲を想定して描画したものである。3次元ディスプレイ100は,3Dポリゴンモデルを多角的に画像として表示できる。このため,3Dポリゴンモデルが表現されているモデリング座標系(P,Q,R)と,3次元ディスプレイ100が立体画像を表示するディスプレイ座標系(X,Y,Z)は,基本的に一致していることが好ましい。その他,3Dポリゴンモデルを取得する工程は,コンピュータグラフィックスの技術分野において公知となっている方法を適宜採用することができる。
ボクセル化工程(ステップS2)は,モデリング工程で得られた3Dポリゴンモデルを複数のボクセルで表現し,各ボクセルの位置情報を計算する工程である。図3に示されるように,3Dポリゴンモデルは,複数の立方体(ボクセル)の集合により表現される。本発明は,上述したように,3次元的に配置された複数の多色発光素子10により構成された3次元ディスプレイ100を利用して,3Dポリゴンモデルを立体画像として表示する。このため,3Dポリゴンモデルをボクセル化する解像度は,3次元ディスプレイ100の画素数(多色発光素子10の数)に対応させることが好ましい。特に,3Dポリゴンモデルを表現する一つのボクセルが,3次元ディスプレイ100を構成する一つの多色発光素子10に相当するようにボクセル化すると,画像処理計算が容易になる。ただし,ボクセル数と画素数は必ずしも一致している必要はない。例えば,2×2×2のボクセルが,一つの多色発光素子10に相当するように処理することもできる。
ボクセルの位置情報は,それぞれのボクセルの相対位置に基づいて算出することとしてもよいし,それぞれのボクセルに座標値を付与することにより算出することとしてもよい。また,ボクセル化の処理は,3Dポリゴンモデルを含むボクセル空間内で行われる。ボクセル空間は,3次元ディスプレイ100が立体画像を表示可能な円柱状の形状に合わせて,円柱状の空間とすることが好ましい。ボクセル空間の例は,2値ボクセル空間である。2値ボクセル空間は,3Dポリゴンモデルがあるかどうかを示す値(例えば1か0)により表現される。3Dポリゴンモデルに相当するボクセルは“1”で表現されて実体化し,3Dポリゴンモデルに相当しないボクセルは“0”で表現されて実体化されない。なお,ボクセル化工程の好ましい形態については,図5及び図6を参照して後ほど詳しく説明する。その他,3Dポリゴンモデルをボクセル化する処理は,コンピュータグラフィックスの技術分野において公知となっている方法を適宜採用することができる。
表面カラー計算工程(ステップS3)は,ボクセル化された3Dモデルについて,ある特定の視点に対する正面側の表面部分と,背面側の表面部分のカラー情報を計算する工程である。図4において,ある特定の視点(パス)が,点線の矢印で示されている。視点に対して,正面側に位置するボクセルと,背面側に位置するボクセルのカラー情報を求める。カラー情報の計算手法は公知である。例えば,ポリゴンの頂点に付与されたカラー値に基づいて,各ボクセルのカラー情報を求めればよい。各ボクセルのカラー情報は,基本的に一色のカラー値で特定されることが好ましい。
内部カラー計算工程(ステップS4)は,上記した表面カラー計算工程によって算出された3Dモデルの正面側の表面部分のカラー情報と,背面側の表面部分のカラー情報に基づいて,3Dモデルの内部を構成するボクセルのカラー情報を求める工程である。すなわち,この内部カラー計算工程では,正面側表面に存在するボクセルと背面側表面に存在するボクセルとの間に位置するボクセルのカラー情報を求める。各ボクセルの位置関係は,各ボクセルの位置情報を参照すれば把握できる。このため,各ボクセルの位置情報を参照すれば,ある特定の視点方向(点線の矢印)に対して,正面側表面を形成する正面ボクセルと,背面側表面を形成する背面ボクセルと,これらの間に位置する内部ボクセルとを求めることができる。そして,内部ボクセルのカラー情報は,正面ボクセルのカラー情報と背面ボクセルのカラー情報とに基づいて,算出される。例えば,内部ボクセルのカラー情報は,正面ボクセルと背面ボクセルのカラー情報の平均値(中間値)として算出すればよい。また,内部ボクセルのカラー情報は,正面ボクセルのカラー情報から,背面ボクセルのカラー情報へと徐々に移り変わるようなグラデーション色としてもよい。このように,本発明では,内部ボクセルのカラー情報を,正面ボクセルと背面ボクセルのカラー情報を参照してまとめて計算することができる。内部ボクセルのカラー情報を,それぞれ一つ一つ計算していると情報処理量が膨大になり,リアルタイムなレンダリングを実現することが難しい。これに対し,内部ボクセルのカラー情報を,正面ボクセルと背面ボクセルのカラー情報を参照してまとめて計算するようにすることで,処理の高速化を図ることができるため,リアルタイムなレンダリングを実現可能となる。
マッピング工程(ステップS5)は,各ボクセルの位置情報を参照しながら,各ボクセルのカラー情報を,3次元ディスプレイ100が取り扱うことのできる2次元の発光データへとマッピングする工程である。図4では,発光データのデータ構造を模式的に示している。図4に示されるように,発光データは,行方向と列方向に区切られたドットマトリクス状に表すことができる。発光データのドットマトリクスは,3次元ディスプレイ100を構成する多色発光素子10の各層10bのドットマトリクス(図2参照)のそれぞれに,対応している。特に,発光データのドットマトリクスの座標値と,多色発光素子10の各層10bのドットマトリクスの座標値が互いに対応していることが好ましい。すなわち,上述したように,3次元ディスプレイ100の多色発光素子層10bは,2次元のマトリクスで構成されている。このため,多色発光素子層10bを発光させるための発光データも,多色発光素子層10bのマトリクスに対応したマトリクス状に構成されている。これにより,各ボクセルのカラー情報を,マトリクス上の発光データへとマッピングすることで,3次元ディスプレイ100の各多色発光素子10を発光させて,立体画像を表現することができる。
このように,マッピング工程では,3Dモデルを構築する各ボクセルのカラー情報を,2Dの相対位置にマッピングする。このとき,モデリング座標系(3次元)における各ボクセルの位置情報を参照しながら,各ボクセルの座標を,発光データを示す2次元の座標(マッピング座標系)へと変換すればよい。マッピング処理は,各ボクセルの座標情報を参照しながら行うこともできるし,インデックスを利用して処理の効率化を図ることもできる。
上記ステップS1〜S5の各工程を経て,画像処理用のコンピュータにより発光データが生成される。発光データは,画像処理用のコンピュータから,3次元ディスプレイ100の制御装置(LEDコントローラ)へとエクスポートされる。そして,3次元ディスプレイ100は,得られた発光データに基づいて,複数の多色発光素子10のそれぞれの発光の有無や,発光色を制御する。これにより,360度全方位から視認可能な体積のある立体画像を,3次元ディスプレイ100によって表示することができる。
続いて,図5及び図6を参照して,ボクセル化工程についてさらに詳しく説明する。
図5は,中実構造の標準的な3Dポリゴンモデルをボクセル化する場合の例を示している。図5の例では,32bitのテクスチャーにレンダリングする場合の例を示している。
まず,図5(a)に示すように,32bitのテクスチャーをオールクリアする。すなわち,ここでは,テクスチャーのbitをすべて“0”にする。
次に,図5(b)に示すように,ある特定の視点に対して正面を向いているポリゴンを特定する。ある特定の視点に対して正面を向いているポリゴンを特定するには,各ポリゴンの法線ベクトル(ノーマルベクトル)を参照すればよい。すなわち,標準の状態において,ポリゴンの法線ベクトルは,モデルの外側を向いている。このため,ある特定の視点と各ポリゴンの法線ベクトルを参照し,両者のなす角が鋭角になるポリゴンを,正面を向いているポリゴンであると判断すればよい。そして,この正面側のポリゴンの位置情報(デプス)をマッピングし,この正面側のポリゴンよりも背面側に位置するbitを,すべて“1”にする。このようにして,ボクセル化の第1工程では,3Dポリゴンモデルについて,ある特定の視点に対して正面に位置するボクセルの位置情報を計算し,当該正面に位置するボクセルよりも背面側にもボクセルが存在するものと推定してレンダリングを行う。
次に,図5(c)に示すように,ある特定の視点に対して背面を向いているポリゴンを特定する。ある特定の視点に対して背面を向いているポリゴンを特定するには,各ポリゴンの法線ベクトルを反転すればよい。すなわち,反転した状態において,ポリゴンの法線ベクトルは,モデルの内側を向いている。このため,ある特定の視点と各ポリゴンの法線ベクトル(反転状態)を参照し,両者のなす角が鋭角になるポリゴンを,背面を向いているポリゴンであると判断すればよい。そして,この背面側のポリゴンの位置情報(デプス)をマッピングし,この背面側のポリゴンよりも背面側に位置するbitを,すべて“1”にする。このようにして,ボクセル化の第2工程では,3Dポリゴンモデルについて,ある特定の視点に対して背面に位置するボクセルの位置情報を計算し,当該背面に位置するボクセルよりも背面側にもボクセルが存在するものと推定してレンダリングを行う。
最後に,図6(d)に示すように,図5(b)及び図5(c)に示したレンダリング結果について,排他的論理和(XOF)を求める。排他的論理和は,与えられた2つの命題のいずれか一方のみが真であるときに真となる論理演算である。具体的には,第1工程(図5(b))と第2工程(図5(c))のレンダリング結果を踏まえ,どちらか一方が“1”でありどちらか他方が“0”であるbitを1とする。反対に,第1工程と第2工程のレンダリング結果の両方が“0”又は“1”であるbitを“0”とする。これにより,排他的論理和によって,第1工程のレンダリング結果と第2工程のレンダリング結果の排他的論理和を求めることにより,3Dポリゴンモデルを構成する各ボクセルの位置情報を得ることができる。
図6は,中空構造の3Dポリゴンモデルをボクセル化する場合の例を示している。図6の例では,図5の例と同様に,32bitのテクスチャーにレンダリングする場合の例を示している。
まず,図6(a)に示すように,32bitのテクスチャーをオールクリアする。すなわち,ここでは,テクスチャーのbitをすべて“0”にする。
次に,図5(b)に示すように,ある特定の視点に対して正面を向いているポリゴンを特定する。ある特定の視点に対して正面を向いているポリゴンを特定するには,各ポリゴンの法線ベクトル(ノーマルベクトル)を参照すればよい。図6に示された例では,正面を向いているポリゴンが複数存在する。この場合には,複数の正面側のポリゴンのそれぞれについて,位置情報(デプス)をマッピングする。そして,複数の正面側のポリゴンのそれぞれについて,これらの正面側のポリゴンよりも背面側に位置するbitを,すべて“1”にする。このようにして,ボクセル化の第1工程では,3Dポリゴンモデルについて,ある特定の視点に対して正面に位置するボクセルの位置情報を計算し,当該正面に位置するボクセルよりも背面側にもボクセルが存在するものと推定してレンダリングを行う。
次に,図6(c)に示すように,ある特定の視点に対して背面を向いているポリゴンを特定する。ある特定の視点に対して背面を向いているポリゴンを特定するには,各ポリゴンの法線ベクトルを反転すればよい。図6に示された例では,背面を向いているポリゴンも複数存在する。この場合には,複数の背面側のポリゴンのそれぞれについて,位置情報(デプス)をマッピングする。そして,複数の背面側のポリゴンのそれぞれについて,これらの背面側のポリゴンよりも背面側に位置するbitを,すべて“1”にする。このようにして,ボクセル化の第2工程では,3Dポリゴンモデルについて,ある特定の視点に対して背面に位置するボクセルの位置情報を計算し,当該背面に位置するボクセルよりも背面側にもボクセルが存在するものと推定してレンダリングを行う。
最後に,図6(d)に示すように,図6(b)及び図6(c)に示したレンダリング結果について,それぞれのbit毎に,排他的論理和(XOF)を求める。具体的には,bitごとに,第1工(図6(b))と第2工程(図6(c))のレンダリング結果を踏まえ,どちらか一方が“1”でありどちらか他方が“0”であるbitを1とする。反対に,第1工程と第2工程のレンダリング結果の両方が“0”か“1”であるbitを“0”とする。これにより,排他的論理和によって,第1工程のレンダリング結果と第2工程のレンダリング結果の排他的論理和を求めることにより,3Dポリゴンモデルを構成する各ボクセルの位置情報を得ることができる。
上記のように,ボクセル化工程では,3Dポリゴンモデルが中実構造であっても中空構造であっても問題なくボクセル化できる。そして,上記のボクセル化工程は,ボクセル化する際に,視点を移動させたり,3Dモデルを回転させたりする必要がない。これにより,ボクセル化工程におけるコンピュータの処理を高速化することができる。結果として,本発明によれば,モデルの立体画像をリアルタイムにレンダリングすることが可能となる。
以上,本願明細書では,本発明の内容を表現するために,図面を参照しながら本発明の実施形態の説明を行った。ただし,本発明は,上記実施形態に限定されるものではなく,本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。
本発明は,立体画像を表示可能な3次元ディスプレイ及びその発光データ生成方法に関する。従って,本発明は,コンピュータ関連産業やアミューズメント産業において好適に利用しうる。
10…多色発光素子
10a…多色発光素子群
10b…多色発光素子層
20…連結部材
30…上枠体
40…下枠体
100…3次元ディスプレイ

Claims (5)

  1. 左右方向,上下方向,及び奥行き方向に並べられた複数の多色発光素子を備える3次元ディスプレイ用の発光データを生成する方法であって,
    3Dポリゴンモデルを取得する,モデリング工程と,
    前記3Dポリゴンモデルを複数のボクセルで表現し,各ボクセルの位置情報を計算する,ボクセル化工程と,
    前記3Dポリゴンモデルについて,ある特定の視点に対する正面側表面のカラー情報と,当該ある特定の視点に対する背面側表面のカラー情報とを計算する,表面カラー計算工程と,
    前記位置情報を参照し,前記正面側表面と前記背面側表面の間に位置するボクセルのカラー情報を,前記正面側表面のカラー情報と前記背面側表面のカラー情報に基づいて計算する,内部カラー計算工程と,
    前記位置情報を参照し,前記各ボクセルのカラー情報を2次元の相対位置にマッピングして,前記発光データを生成する,マッピング工程と,を含む
    方法。
  2. 前記3次元ディスプレイは,
    上下方向に複数個連なった前記多色発光素子が,円周方向に複数列並んで層を形成し,
    前記多色発光素子の層が,同心円状に複数層形成されたものであり,
    前記方法において,
    前記マッピング工程は,前記各ボクセルの位置情報を参照し,前記各ボクセルのカラー情報を前記多色発光素子の層のそれぞれに対応する2次元の相対位置にマッピングして,前記多色発光素子の層ごとの発光データを生成する
    請求項1に記載の方法。
  3. 前記ボクセル化工程は,
    前記3Dポリゴンモデルについて,ある特定の視点に対して正面に位置するボクセルの位置情報を計算し,当該正面に位置するボクセルよりも背面側にもボクセルが存在するものと推定してレンダリングする第1工程と,
    前記3Dポリゴンモデルについて,当該ある特定の視点に対して背面に位置するボクセルの位置情報を計算し,当該背面に位置するボクセルよりも背面側にもボクセルが存在するものと推定してレンダリングする第2工程と,
    前記第1工程のレンダリング結果と前記第2工程のレンダリング結果の排他的論理和を求めることにより,前記3Dポリゴンモデルを構成する各ボクセルの位置情報を得る第3工程と,を含む
    請求項1又は請求項2に記載の方法。
  4. 左右方向,上下方向,及び奥行き方向に並べられた複数の多色発光素子を備える3次元ディスプレイであって,
    上下方向に複数個連なった前記多色発光素子が,円周方向に複数列並んで層を形成し,
    前記多色発光素子の層が,同心円状に複数層形成されている
    3次元ディスプレイ。
  5. 複数の前記多色発光素子を上下に連結する連結部材と,
    前記連結部材の上端が繋ぎ止められた上枠体と,
    前記連結部材の下端が繋ぎ止められた下枠体と,を備える
    請求項4に記載の3次元ディスプレイ。
JP2014101339A 2014-05-15 2014-05-15 3次元ディスプレイ及びデータ生成方法 Active JP6393518B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014101339A JP6393518B2 (ja) 2014-05-15 2014-05-15 3次元ディスプレイ及びデータ生成方法
CN201580024235.7A CN106664399B (zh) 2014-05-15 2015-05-11 3维显示器及数据产生方法
US15/311,189 US10140759B2 (en) 2014-05-15 2015-05-11 Three-dimensional display and data generation method
PCT/JP2015/063512 WO2015174378A1 (ja) 2014-05-15 2015-05-11 3次元ディスプレイ及びデータ生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014101339A JP6393518B2 (ja) 2014-05-15 2014-05-15 3次元ディスプレイ及びデータ生成方法

Publications (2)

Publication Number Publication Date
JP2015220527A true JP2015220527A (ja) 2015-12-07
JP6393518B2 JP6393518B2 (ja) 2018-09-19

Family

ID=54479917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014101339A Active JP6393518B2 (ja) 2014-05-15 2014-05-15 3次元ディスプレイ及びデータ生成方法

Country Status (4)

Country Link
US (1) US10140759B2 (ja)
JP (1) JP6393518B2 (ja)
CN (1) CN106664399B (ja)
WO (1) WO2015174378A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967715A (zh) * 2016-10-19 2018-04-27 富士施乐株式会社 数据处理装置、三维物体创建系统以及数据处理方法
CN108932752A (zh) * 2017-05-24 2018-12-04 富士施乐株式会社 用于三维形状数据的编辑装置和编辑三维形状数据的方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016107406A (ja) * 2014-12-02 2016-06-20 株式会社リコー 画像処理装置、画像処理システム、画像処理プログラムおよび立体物の生産方法
CN111034054A (zh) * 2017-07-31 2020-04-17 惠普发展公司,有限责任合伙企业 三维模型的体素的异或处理
US10726626B2 (en) * 2017-11-22 2020-07-28 Google Llc Interaction between a viewer and an object in an augmented reality environment
US10459706B1 (en) * 2018-03-12 2019-10-29 State Farm Mutual Automobile Insurance Company System and methods for simplifying three-dimensional models
JP7174397B2 (ja) * 2018-06-18 2022-11-17 チームラボ株式会社 映像表示システム,映像表示方法,及びコンピュータプログラム
CN110889903B (zh) * 2019-11-26 2020-10-30 南京理工大学 一种基于切层策略的三维模型快速体素化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000254123A (ja) * 1993-08-05 2000-09-19 Olympus Optical Co Ltd 超音波画像診断装置
JP2006267390A (ja) * 2005-03-23 2006-10-05 Nec Corp 表示装置並びに発光素子の製造方法
JP2007071919A (ja) * 2005-09-02 2007-03-22 Kanazawa Inst Of Technology 三次元画像表示方法および三次元画像表示装置
WO2013121341A1 (en) * 2012-02-13 2013-08-22 Koninklijke Philips Electronics N.V. Simultaneous ultrasonic viewing of 3d volume from multiple directions

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL140035A0 (en) 1998-06-03 2002-02-10 United Syndicate Insurance Ltd A high definition volumetric display system
JP4296918B2 (ja) 2003-12-11 2009-07-15 株式会社デンソー 立体画像表示装置
JP2008103401A (ja) * 2006-10-17 2008-05-01 C I Kasei Co Ltd 上下電極型発光ダイオード用パッケージおよび上下電極型発光ダイオード用パッケージの製造方法
KR20090067180A (ko) * 2006-10-17 2009-06-24 씨. 아이. 카세이 가부시기가이샤 상하전극형 발광 다이오드용 패키지 집합체와 그것을 이용한 발광장치의 제조방법
US20110082667A1 (en) * 2009-10-06 2011-04-07 Siemens Corporation System and method for view-dependent anatomic surface visualization
JP5752638B2 (ja) * 2012-04-26 2015-07-22 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
US9434108B2 (en) * 2014-03-10 2016-09-06 Microsoft Technology Licensing, Llc Fabricating full color three-dimensional objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000254123A (ja) * 1993-08-05 2000-09-19 Olympus Optical Co Ltd 超音波画像診断装置
JP2006267390A (ja) * 2005-03-23 2006-10-05 Nec Corp 表示装置並びに発光素子の製造方法
JP2007071919A (ja) * 2005-09-02 2007-03-22 Kanazawa Inst Of Technology 三次元画像表示方法および三次元画像表示装置
WO2013121341A1 (en) * 2012-02-13 2013-08-22 Koninklijke Philips Electronics N.V. Simultaneous ultrasonic viewing of 3d volume from multiple directions

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967715A (zh) * 2016-10-19 2018-04-27 富士施乐株式会社 数据处理装置、三维物体创建系统以及数据处理方法
CN107967715B (zh) * 2016-10-19 2023-11-07 富士胶片商业创新有限公司 数据处理装置、三维物体创建系统以及数据处理方法
CN108932752A (zh) * 2017-05-24 2018-12-04 富士施乐株式会社 用于三维形状数据的编辑装置和编辑三维形状数据的方法
JP2018197973A (ja) * 2017-05-24 2018-12-13 富士ゼロックス株式会社 三次元形状データの編集装置、及び三次元形状データの編集プログラム

Also Published As

Publication number Publication date
CN106664399B (zh) 2018-08-28
JP6393518B2 (ja) 2018-09-19
WO2015174378A1 (ja) 2015-11-19
US20170084079A1 (en) 2017-03-23
US10140759B2 (en) 2018-11-27
CN106664399A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
JP6393518B2 (ja) 3次元ディスプレイ及びデータ生成方法
US11850511B2 (en) Systems and methods for rendering a virtual content object in an augmented reality environment
JP4901539B2 (ja) 立体映像表示システム
CN108885352A (zh) 三维图像的显示
KR102486439B1 (ko) Rgbg 픽셀 구조를 가지는 광 필드 3차원 표시 장치의 구동 방법, 및 광 필드 3차원 표시 장치
CN107193372A (zh) 从多个任意位置矩形平面到可变投影中心的投影方法
Geng A volumetric 3D display based on a DLP projection engine
US10127711B2 (en) Method and apparatus rendering caustics
CN104732592A (zh) 一种基于二维led旋转屏的实时三维数据生成方法
US10325403B2 (en) Image based rendering techniques for virtual reality
RU2013151445A (ru) Индикатор положения для трехмерного дисплея
JP6017795B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム画像生成方法
JP4772952B2 (ja) 立体視画像生成装置及び情報記憶媒体
JP2007249965A (ja) ポイント基盤のレンダリング装置及び方法
Sawalha et al. A large 3D swept-volume video display
CN101540056B (zh) 面向ERDAS Virtual GIS的植入式真三维立体渲染方法
CN101521828B (zh) 面向esri三维gis模块的植入式真三维立体渲染方法
CN101511034A (zh) 面向Skyline的真三维立体显示方法
US20230350223A1 (en) Apparatus and method for a volumetric display
US20230350222A1 (en) Method and system for generating a visual representation of a real-world object in three physical dimensions
JP2010233158A (ja) プログラム、情報記憶媒体及び画像生成装置
JP2018084629A (ja) 画像表示装置
JP2009092786A (ja) 立体ディスプレイシステム
CN101488230B (zh) 面向VirtualEarth的真三维立体显示方法
CN101488232B (zh) 面向C Tech软件的植入式真三维立体显示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180827

R150 Certificate of patent or registration of utility model

Ref document number: 6393518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250