JP2007249965A - ポイント基盤のレンダリング装置及び方法 - Google Patents

ポイント基盤のレンダリング装置及び方法 Download PDF

Info

Publication number
JP2007249965A
JP2007249965A JP2007058953A JP2007058953A JP2007249965A JP 2007249965 A JP2007249965 A JP 2007249965A JP 2007058953 A JP2007058953 A JP 2007058953A JP 2007058953 A JP2007058953 A JP 2007058953A JP 2007249965 A JP2007249965 A JP 2007249965A
Authority
JP
Japan
Prior art keywords
point
splat
rendering
radius
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007058953A
Other languages
English (en)
Other versions
JP4960119B2 (ja
Inventor
Lee Shin-Jun
李 信 俊
Gyeong-Ja Jang
張 敬 子
Seok-Yun Jeong
鄭 錫 潤
Alexei Sosnov
ソスノフ アレクセイ
Do-Kyoon Kim
金 道 均
Keunho Kim
根 豪 金
Alexander Zhirkov
ジルコフ アレクサンデル
Alexander Parshin
パルシン アレクサンデル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2007249965A publication Critical patent/JP2007249965A/ja
Application granted granted Critical
Publication of JP4960119B2 publication Critical patent/JP4960119B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41KSTAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
    • B41K1/00Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
    • B41K1/02Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with one or more flat stamping surfaces having fixed images
    • B41K1/06Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with one or more flat stamping surfaces having fixed images with means for locating the image to be obtained
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41KSTAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
    • B41K1/00Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
    • B41K1/08Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters
    • B41K1/20Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters with means for locating the image to be obtained
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41KSTAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
    • B41K1/00Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
    • B41K1/36Details
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Generation (AREA)

Abstract

【課題】 ポイント基盤のレンダリング装置及び方法を提供する。
【解決手段】 与えられたポイントモデルを投影して複数のレンダリングポイントを生成する投影部と、レンダリングポイントごとに、予め設定された解像度に相応して半径を演算する半径演算部と、演算された半径を有する半球または球形のスプラットをレンダリングポイントごとに生成するスプラット生成部とを備える。
【選択図】 図3

Description

本発明は、スプラッティングに係り、さらに詳細には、ポイントモデルが投影された生成された各ポイントごとに球(または、半球)形状のスプラットを生成することによって、そのポイントモデルのレンダリングを行うポイント基盤のレンダリング装置及び方法に関する。
映像データのレンダリングとは、映像データの視覚化、すなわち、映像データが視覚的に認識されるように、その映像データを処理することを意味する。本明細書上で言及する‘ポイントモデル’は、そのような映像データの一例である。
ポイントの組み合わせで構成され、3次元形状を有するモデルであるポイントモデルをレンダリングする方案には、複数の多角形を適切に組み合わせすることによりレンダリングを行うポリゴン基盤レンダリング法と、ポイントモデルが投影されて生成された各ポイントごとに、四角形や円のような平面的スプラットを生成することによりレンダリングを行うポイント基盤のレンダリング法とがある。
従来のポリゴン基盤レンダリング法は、複数の多角形の生成及び組み合わせに長時間がかかるので、ポイントモデルのデータサイズが大きいほど、またはポイントモデルの形状が複雑になるほど、多角形の生成及び組み合わせのための演算量が急激に増加して、レンダリング速度が顕著に低下するという問題点を有する。
また、従来のポイント基盤のレンダリング法は、ポイントモデルが投影されて生成されたポイントを視点で近いポイント順に整列し、その整列順に、四角形や円のような平面的スプラットを生成するので、一つのスプラットで他の一つのスプラットによって覆われた部分の画素情報は、いずれも損失されるという問題点がある。一方、このようにスプラットが覆われれば、スプラットの形状が鱗のような形状に見える、いわゆる、スケール効果(scale effect)が発生し、これは、レンダリングされたポイントモデルの美観を阻害する。さらに、従来のポイント基盤のレンダリング法によれば、視点が移動する場合、その投影されて生成されたポイントが再整列され、それにより、スプラットで画素情報が損失される部分が変わる。結局、従来のポイント基盤のレンダリング法によれば、レンダリングされたポイントモデルの画質が視点によって大きく低下しうる。
図1A及び図1Bは、前記の従来のポイント基盤のレンダリング法の問題点を説明する参考図である。
図1Aの(a)は、ポイントモデルが投影されて生成されたポイント110、112、114を示し、図1Aの(b)は、四角形のスプラット120、122、124を示し、図1Aの(c)は、円形のスプラット130、132、134を示す。ここで、識別番号120(または、130)で表記された平面的スプラットは、識別番号110で表記されたポイントのスプラットであり、識別番号122(または、132)で表記された平面的スプラットは、識別番号112で表記されたポイントのスプラットであり、識別番号124(または、134)で表記された平面的スプラットは、識別番号114で表記されたポイントのスプラットである。図1Aの(b)及び(c)に示すように、従来のポイント基盤のレンダリング法によれば、一つのスプラット122(または132)で他の一つのスプラット124(または134)で覆われた部分の画素情報は、全て損失され、レンダリングされたポイントモデルの美観は、スケール効果によって阻害される。
一方、図1Bに示すように、視点が識別番号140で表記された視点である場合、いかなるスプラットによっても覆われていないスプラットは、識別番号134で表記されたスプラットであり、画素情報が損失された部分は、識別番号130及び132で表記されたスプラットの上位部分である。一方、視点が識別番号142で表記された視点である場合、いかなるスプラットによっても覆われていないスプラットは、識別番号132で表記されたスプラットであり、画素情報が損失された部分は、識別番号130で表記されたスプラットの上位部分と識別番号134で表記されたスプラットの下位部分とである。また、視点が識別番号144で表記された視点である場合、いかなるスプラットによっても覆われていないスプラットは、識別番号130で表記されたスプラットであり、画素情報が損失された部分は、識別番号132及び134で表記されたスプラットの下位部分である。結局、図1Bを参照するに、レンダリングされたポイントモデルの画質が視点によって変化しうる。
本発明が解決しようとする技術的課題は、ポイントモデルが投影されて生成された各ポイントごとに球(または、半球)形状のスプラットを生成することによって、そのポイントモデルをレンダリングするポイント基盤のレンダリング装置を提供するところにある。
本発明が解決しようとする他の技術的課題は、ポイントモデルが投影されて生成された各ポイントごとに球(または、半球)形状のスプラットを生成することによって、そのポイントモデルをレンダリングするポイント基盤のレンダリング方法を提供するところにある。
本発明が解決しようとするさらに他の技術的課題は、ポイントモデルが投影されて生成された各ポイントごとに球(または、半球)形状のスプラットを生成することによって、そのポイントモデルをレンダリングするコンピュータプログラムを保存するコンピュータで読み取り可能な記録媒体を提供するところにある。
前記課題を達成するために、本発明によるポイント基盤のレンダリング装置は、与えられたポイントモデルを投影して複数のレンダリングポイントを生成する投影部と、前記レンダリングポイントごとに、予め設定された解像度に相応して半径を演算する半径演算部と、前記演算された半径を有する半球または球形のスプラットを前記レンダリングポイントごとに生成するスプラット生成部とを備えることが望ましい。
前記課題を達成するために、本発明によるポイント基盤のレンダリング装置は、与えられたポイントモデルを投影して複数のレンダリングポイントを生成する投影部と、予め設定された解像度に相応して体積を演算する半径演算部と、前記演算された体積を有する立体的スプラットを前記レンダリングポイントごとに生成するスプラット生成部とを備えることが望ましい。
前記他の課題を達成するために、本発明によるポイント基盤のレンダリング方法は、与えられたポイントモデルを投影して複数のレンダリングポイントを生成する(a)段階と、予め設定された解像度に相応して半径を演算する(b)段階と、前記演算された半径を有する半球または球形のスプラットを生成する(c)段階とからなり、前記(b)及び(c)段階は、前記レンダリングポイントごとに行われることが望ましい。
前記他の課題を達成するために、本発明によるポイント基盤のレンダリング方法は、与えられたポイントモデルを投影して複数のレンダリングポイントを生成する(a)段階と、予め設定された解像度に相応して体積を求める(b)段階と、前記求められた体積を有する立体的スプラットを生成する(c)段階とからなり、前記(b)及び(c)段階は、前記レンダリングポイントごとに行われることが望ましい。
前記さらに他の課題を達成するために、本発明によるコンピュータで読み取り可能な記録媒体は、与えられたポイントモデルを投影して複数のレンダリングポイントを生成する(a)段階と、予め設定された解像度に相応して半径を演算する(b)段階と、前記演算された半径を有する半球または球形のスプラットを生成する(c)段階とを行うコンピュータプログラムを保存することが望ましい。
本発明によるポイント基盤のレンダリング装置及び方法によれば、ポイントモデルが投影されて生成された各ポイントごとに球(または、半球)形のスプラットが生成されることによって、そのポイントモデルがレンダリングされるので、従来の平面スプラッティングを利用したポイント基盤のレンダリング法と違って、スケール効果が発生せず、それにより、本発明によるポイント基盤のレンダリング装置及び方法は、レンダリング映像の画質を改善する効果を有する。また、本発明によるポイント基盤のレンダリング装置及び方法は、スプラットの形状が球または半球であるので、従来の平面スプラッティングを利用したポイント基盤のレンダリング法と違って、レンダリングされた結果が視点に影響を受けず、それにより、視点が移動しても画質が一定のレンダリング映像を提供する効果を有する。さらに、本発明によるポイント基盤のレンダリング装置及び方法は、予め設定された解像度に相応して演算された半径を有するスプラットを利用してレンダリング映像を生成するので、複数の多角形を適切に組み合わせすることでレンダリング映像を生成する従来のポリゴン基盤レンダリング法と違って、レンダリングを迅速に行う効果も有する。
本発明とその動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の望ましい実施形態を例示する添付図面及びその添付図面を説明する内容を参照せねばならない。
以下、本発明によるポイント基盤のレンダリング装置及び方法を添付した図面を参照して説明する。
図2は、本発明によるポイント基盤のレンダリング装置を説明する一実施形態のブロック図であって、データ入力部210、解像度選択部220、深さ演算部230、及びスプラッティング部240からなる。
データ入力部210は、ポイントモデルを入力端子IN1を介して入力する。ここで、ポイントモデルは、前述したように、ポイントの組み合わせにより構成される。以下、ポイントモデルをなすポイントをイメージポイントと称する。このようなイメージポイントは、3次元データを有し、それにより、ポイントモデルは、3次元形状を有する。
イメージポイントのデータフォーマットは多様でありうる。シンプルテクスチャー(ST:Simple Texture)フォーマット、ポイントクラウド(PC:Point Cloud)フォーマットは、そのようなデータフォーマットの一例である。ここで、シンプルテクスチャーフォーマットとは、イメージポイントのデータを色相情報及び深さ情報として表現するフォーマットを意味する。このとき、色相情報は、イメージポイントの色相に関する情報を意味し、深さ情報とは、視点とイメージポイントとの距離に関する情報を意味する。一方、ポイントクラウドフォーマットとは、イメージポイントのデータを色相情報及び幾何情報として表現するフォーマットを意味する。このとき、色相情報は、イメージポイントの色相に関する情報を意味し、幾何情報は、イメージポイントの位置に関する情報を意味する。
ポイントクラウドフォーマットは、イメージポイントの望ましいデータフォーマットである。したがって、データ入力部210は、イメージポイントのデータフォーマットがポイントクラウドフォーマットではない場合に、これをポイントクラウドフォーマットに変換することが望ましい。このために、データ入力部210は、入力したイメージポイントのデータフォーマットがポイントクラウドフォーマットであるか否かを検査する。この場合、その入力したイメージポイントのデータフォーマットがポイントクラウドフォーマットではないと検査されれば、データ入力部210は、その入力したイメージポイントのデータフォーマットをポイントクラウドフォーマットに変換する。一方、その入力したイメージポイントのデータフォーマットがポイントクラウドフォーマットであると検査されれば、データ入力部210は、その入力したイメージポイントをそのまま出力する。
解像度選択部220は、イメージポイントの解像度を複数の有効解像度のうちから選択する。このとき、解像度選択部220は、イメージポイントの解像度をイメージポイントの深さ別に選択できる。ここで、イメージポイントの深さとは、視点からイメージポイントまでの距離を意味する。例えば、有効解像度には、LOD(Level Of Detail)1ないし4があり、解像度選択部220は、イメージポイントの深さが0以上25未満である時はLOD1の解像度を選択し、イメージポイントの深さが25以上50未満である時はLOD2の解像度を選択し、イメージポイントの深さが50以上75未満である時はLOD3の解像度を選択し、イメージポイントの深さが75以上100以下である時はLOD4の解像度を選択しうる。ここで、解像度は、LOD1>LOD2>LOD3>LOD4であり、深さが100であるイメージポイントは、視点から最も離隔されたイメージポイントを意味する。
また、解像度選択部220は、イメージポイントの解像度を視点別に異なって選択できる。例えば、a視点では、視点から近いイメージポイントであるほどイメージポイントの解像度が高く設定される一方、b視点では、視点から遠いイメージポイントであるほどイメージポイントの解像度が高く設定されうる。
深さ演算部230は、それぞれのイメージポイントごとにイメージポイントの深さを演算する。
スプラッティング部240は、ポイントモデルを所定の画面上に投影する。このとき、スプラッティング部240は、ポイントモデルをなすイメージポイントのいずれも投影するか、またはポイントモデルの一部分だけを投影できる。本明細書において、画面は、視点に垂直であり、視点から所定の距離ほど離隔された平面を意味する。レンダリングポイントを含むレンダリングされたポイントモデルは、このような画面に表示される。一方、そのような投影により、画面には複数のレンダリングポイントが生成される。すなわち、レンダリングポイントとは、イメージポイントが投影された結果を意味する。したがって、イメージポイントは、3次元データを有するに反して、レンダリングポイントは、2次元データを有する。また、レンダリングポイントは、イメージポイントが有する色相情報及び位置情報を有している。一方、画面は、複数のピクセルから構成され、一つのレンダリングポイントは、一つのピクセルに表示される。一つのレンダリングポイントは、一つのピクセルの全領域に表示されるか、または一つのピクセルの一部領域に表示されうる。一方、一つのピクセルには、一つのレンダリングポイントのみ表示されるか、複数のレンダリングポイントが表示されうる。
スプラッティング部240は、レンダリングポイントごとに、立体的スプラッティングを行い、遂行結果を出力端子OUT1を介して出力する。すなわち、スプラッティング部240は、レンダリングポイントごとに、立体的スプラットを生成する。ここで、スプラットとは、レンダリングポイントの視覚化、すなわち、レンダリングのために生成された客体を意味する。本明細書において、スプラットの形状は、従来のポイント基盤のレンダリング法と違って立体的である。説明の便宜上、本発明によるスプラットの形状は、球形または半球形と仮定する。以下、球スプラッティングは、球形のスプラットを生成することを意味し、半球スプラッティングは、半球形のスプラットを生成することを意味する。
スプラッティングを行うスプラッティング部240の動作を具体的に開示すれば、次の通りである。Bというイメージポイントが投影されて生成されたAというレンダリングポイントのスプラットを生成するために、スプラッティング部240は、レンダリングポイントAの解像度に反比例する体積を演算し、演算された体積を有する立体的スプラットをそのレンダリングポイントAのスプラットとして生成する。例えば、スプラッティング部240は、レンダリングポイントAの解像度に反比例する半径を演算し、中心がレンダリングポイントであり、半径がその演算された半径である球または半球形のスプラットをそのレンダリングポイントAのスプラットとして生成する。このような、レンダリングポイントAの解像度は、イメージポイントBの解像度である。
スプラッティング部240で生成されたスプラットは、出力端子OUT1を介して、液晶パネルのような‘画面’が設けられたディスプレイ装置に入力されて表示される。
図3は、図2に示す解像度選択部220の動作を説明する参考図である。ここで、識別番号310または320は、本発明によるポイント基盤のレンダリング装置に与えられたポイントモデルがレンダリングされた結果、すなわち、レンダリング映像を示し、識別番号330は、レンダリング映像が表示される画面を表す。
図3を参照するに、解像度選択部220は、視点から近いレンダリング映像310が視点から遠いレンダリング映像320より解像度が高いように、イメージポイントの解像度を選択するか、視点から遠いレンダリング映像320が視点から近いレンダリング映像310より解像度が高いように、イメージポイントの解像度を選択することができる。
図4は、図2に示す深さ演算部230の動作を説明する参考図である。図4を参照するに、深さd1とは、視点410とイメージポイント420との距離を意味し、深さd2とは、視点410とイメージポイント430との距離を意味する。この場合、深さ演算部230は、深さd1と深さd2とを演算する。
図5A及び図5Bは、図2に示すスプラッティング部240の動作を説明する参考図である。
具体的に、図5Aの(a)は、イメージポイント510、512、514を示す図であり、図5Aの(b)は、レンダリングポイント511、513、515と各レンダリングポイントのスプラット520、522、524とを示す図である。
ここで、レンダリングポイント511は、イメージポイント510が投影された結果であり、レンダリングポイント513は、イメージポイント512が投影された結果であり、レンダリングポイント515は、イメージポイント514が投影された結果である。
まず、スプラッティング部240は、レンダリングポイント511、513、515ごとに、球形のスプラット520、522、524を生成する。ただし、スプラット522、524の間に重なる部分が存在する場合、スプラッティング部240は、一つのスプラット522から他の一つのスプラット524に含まれる部分を除去することによって、スプラット522の形状を球形から図5Aの(b)に示すように更新する。これと共に、スプラッティング部240は、他の一つのスプラット524から一つのスプラット522に含まれる部分を除去することによって、スプラット524の形状を球形から図5Aの(b)に示すように更新する。
一方、図5Bの(a)は、ポイントモデル530を示す図であり、図5Bの(b)は、レンダリング映像535と視点540とを示す図であり、図5Bの(c)は、レンダリング映像535と視点542とを示す図である。ここで、レンダリング映像535は、前述したように、ポイントモデル530がレンダリングされた結果を意味する。具体的に、レンダリング映像535は、ポイントモデル530をなすそれぞれのイメージポイントが投影されて生成されたそれぞれのレンダリングポイントごとに、球形のスプラットを生成した結果を意味する。
スプラットの覆われる部分が視点の移動によって変わるので、画質が視点によって変化しうる従来のポイント基盤のレンダリング法と違って、スプラッティング部240は、球または半球形のスプラットを生成するので、レンダリング映像535の画質が視点に影響を受けない。すなわち、図5Bの(b)及び(c)に示すように、視点が識別番号540で表記された視点から識別番号542で表記された視点に変更されても、レンダリング映像535の画質は変わらない。
図6の(a)及び(b)は、本発明によるスプラットの形状は、球形と半球形とがいずれも可能であることを説明する図である。図示されているように、本発明によるスプラット610、620が有しうる形状の一例は、視点615で球と観測される形状である。ここで、球と観測される形状は、スプラット610のように球形であるか、スプラット620のように半球形でありうる。
図7は、図2に示すスプラッティング部240の本発明の望ましい一実施形態(240A)を説明するブロック図であって、投影部710、半径演算部720、テンプレート保存部730、スプラット生成部740、及びスプラット更新部750からなる。
投影部710は、入力端子IN2を介して入力されたポイントモデルを投影して複数のレンダリングポイントを生成する。ここで、入力端子IN2は、入力端子IN1に該当する。
半径演算部720は、レンダリングポイントごとに、そのレンダリングポイントに対して予め設定された解像度に相応して半径を演算する。具体的に、半径演算部720は、レンダリングポイントごとに、そのレンダリングポイントに対して予め設定された解像度に反比例する半径を演算する。ここで、そのレンダリングポイントに対して予め設定された解像度は、そのレンダリングポイントに対応するイメージポイントに対して予め設定された解像度を意味し、これは、前述したように、視点及びそのイメージポイントの深さに相応して予め設定される。すなわち、そのレンダリングポイントに対して予め設定された解像度は、図2に示す解像度選択部220で選択された解像度を意味する。
テンプレート保存部730は、半径をアドレスとしてテンプレートを保存する。本明細書において、テンプレートとは、スプラットを具現する客体を意味する。このようなテンプレートは、画面上で所定数のサブピクセルを占める。ここで、サブピクセルは、ピクセルであるか、画面にピクセルより小さなサイズに設けられる領域でありうる。このとき、テンプレートに含まれるそれぞれのサブピクセルは、画素情報を有する。ここで、画素情報は、サブピクセルの色相に関する情報である色相情報とサブピクセルの深さに関する情報である深さ情報とを含む。
スプラット生成部740は、レンダリングポイントごとに、中心がそのレンダリングポイントであり、半径が半径演算部720で演算された半径である半球または球形のスプラットを生成する。このために、スプラット生成部740は、テンプレート検索部742及びテンプレート割当部744からなりうる。ここで、テンプレート検索部742は、半径演算部720で演算された半径をアドレスとして有するテンプレートをテンプレート保存部730に保存されたテンプレートから検索する。また、テンプレート割当部744は、その検索されたテンプレートをそのレンダリングポイントのスプラットとして出力する。
スプラット更新部750は、スプラット生成部740で生成されたスプラットの間に重なる部分が存在する場合、一つのスプラットから他の一つのスプラットに含まれる部分を除去することによって、スプラットの形状を更新する。
図8の(a)〜(c)は、テンプレートを説明する参考図である。図8に示すテンプレートは、本発明によるスプラットの形状が半球である場合の可能なテンプレートの一例である。具体的に、図8の(a)は、半球の半径が2[無単位]である場合のテンプレート810であり、図8の(b)は、半球の半径が2.5である場合のテンプレート820であり、図8の(c)は、半球の半径が3である場合のテンプレート830である。
図8の(a)に示すように、一つのテンプレート810は、画面上で16個のサブピクセルを占める。このとき、各サブピクセルは、各ピクセル固有の深さ情報を有する。例えば、スプラットの形状が半球であるので、16個のピクセルのうち角部に存在するサブピクセルの深さは、0[無単位」である。また、16個のサブピクセルそれぞれの深さのうち、最も深いサブピクセルは、16個のサブピクセルのうち中央部に存在する4個のサブピクセルである。このとき、その中央部に存在するサブピクセルが有する深さ情報は、レンダリングポイントに対応するイメージポイントの深さに関する情報である。一方、一つのテンプレート810に含まれたあらゆるサブピクセルのうち、深さ情報を有するあらゆるサブピクセルの色相情報は、レンダリングポイントの色相情報と同一である。
図8の(b)に示すように、一つのテンプレート820は、画面上で25個のサブピクセルを占める。この場合、25個のサブピクセルのうち角部に存在するサブピクセルの深さは0である。また、25個のサブピクセルそれぞれの深さのうち、最も深いサブピクセルは、25個のサブピクセルのうち中央部に存在するサブピクセルである。このとき、その中央部に存在するサブピクセルが有する深さ情報は、レンダリングポイントに対応するイメージポイントの深さに関する情報である。一方、一つのテンプレート820に含まれたあらゆるサブピクセルのうち、深さ情報を有するあらゆるサブピクセルの色相情報は、レンダリングポイントの色相情報と同一である。
また、図8の(c)に示すように、一つのテンプレート830は、画面上で36個のサブピクセルを占める。この場合、36個のサブピクセルのうち角部に存在するサブピクセルの深さは0である。また、36個のサブピクセルそれぞれの深さのうち、最も深いサブピクセルは、36個のサブピクセルのうち中央部に存在する4個のサブピクセルである。このとき、その中央部に存在するサブピクセルが有する深さ情報は、レンダリングポイントに対応するイメージポイントの深さに関する情報である。一方、一つのテンプレート830に含まれたあらゆるサブピクセルのうち、深さ情報を有するあらゆるサブピクセルの色相情報は、レンダリングポイントの色相情報と同一である。
図9は、図7に示すスプラット更新部750の動作を説明する参考図である。示すように、スプラット910、920の間に重なる部分が存在する場合、スプラット更新部750は、一つのスプラット910から他の一つのスプラット920に含まれる部分を除去する。これと共に、スプラット更新部750は、一つのスプラット920から他の一つのスプラット910に含まれる部分を除去する。
このために、スプラット更新部750は‘画面上で同じサブピクセルに表示される’一つのスプラット910の一部分950と他の一つのスプラット920の一部分940それぞれの深さを比較し、このうち深さが小さな一部分940を除去することによって、スプラット920を更新する。同様に、スプラット更新部750は、‘画面上で同じサブピクセルに表示される’他の一つのスプラット920の一部分970と一つのスプラット910の一部分960それぞれの深さを比較し、このうち深さが小さな一部分960を除去することによって、スプラット910を更新する。ここで、一部分の深さとは、一部分と視点930との距離を意味する。
図10は、本発明によるポイント基盤のレンダリング方法を説明する一実施形態のフローチャートであって、視点及びイメージポイントの深さ別に解像度を選択し、イメージポイントごとに深さを求め、立体的スプラットを生成する段階(第1010〜1040段階)から構成される。
まず、データ入力部210は、イメージポイントのデータフォーマットがポイントクラウドフォーマットではない場合、イメージポイントのデータフォーマットをポイントクラウドフォーマットに変換する(第1010段階)。
第1010段階後に、解像度選択部220は、‘視点’及び‘イメージポイントの深さ’別に解像度を選択し(第1020段階)、深さ演算部230は、イメージポイントごとに深さを演算する(第1030段階)。
第1030段階後に、スプラッティング部240は、ポイントモデルを投影して生成されたレンダリングポイントごとに半球または球形のスプラットを生成する(第1040段階)。
図11は、図10に示す第1040段階の本発明による望ましい一実施形態(1040A)のフローチャートであって、ポイントモデルが投影されて生成された各ポイントごとに、球(または、半球)形のスプラットを生成することによって、そのポイントモデルをレンダリングする段階(第1110〜1150段階)からなる。
まず、投影部710は、ポイントモデルを投影して複数のレンダリングポイントを生成し(第1110段階)、半径演算部720は、そのレンダリングポイントごとに、第1020段階で選択された解像度に反比例する半径を演算する(第1120段階)。
第1120段階後に、テンプレート検索部742は、第1120段階で演算された半径に対応するテンプレートを予め設けられたテンプレートから検索し(第1130段階)、テンプレート割当部744は、第1130段階で検索されたテンプレートをそのレンダリングポイントのスプラットとして利用する(第1140段階)。
このような、第1120ないし第1140段階は、第1110段階で生成されたレンダリングポイントごとに行われる。
一方、第1140段階で生成されたスプラットの間に重なる部分が存在する場合、スプラット更新部750は、一つのスプラットから他の一つのスプラットに含まれる部分を除去することによって、スプラットの形状を更新する(第1150段階)。
図12の(a)〜(c)は、本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第1参考図である。具体的に、図12の(a)は、四角形の平面スプラットを生成する従来のポイント基盤のレンダリング法によりレンダリングされた映像1210の一例を示す図であり、図12の(b)は、円形の平面スプラットを生成する従来のポイント基盤のレンダリング法によりレンダリングされた映像1220の一例を示す図であり、図12の(c)は、球または半球形の立体的スプラットを生成する本発明によるポイント基盤のレンダリング装置によりレンダリングされた映像1230の一例を示す図である。図示されているように、図12の(a)から(c)に行くほど、スケール効果は除去され、かつ画質は改善される。
図13の(a)及び(b)は、本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第2参考図である。具体的に、図13の(a)は、四角形の平面スプラットを生成する従来のポイント基盤のレンダリング法によりレンダリングされた映像1310と、そのうち一部映像1320を拡大させた映像1330との一例を示す図であり、図13の(b)は、球または半球形の立体的スプラットを生成する従来のポイント基盤のレンダリング法によりレンダリングされた映像1340と、そのうち一部映像1350を拡大させた映像1360との一例を示す図である。図示されているように、図13の(a)から(b)に行くほど、スケール効果は除去され、かつ画質は改善される。
図14の(a)及び(b)は、本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第3参考図である。具体的に、識別番号1410は、ポイントモデルを含む映像、すなわち、レンダリングしようとする3次元映像の一例を示し、識別番号1430は、その3次元映像1410の一部映像1420を四角形の平面スプラットを生成する、従来のポイント基盤のレンダリング法によってレンダリングした結果を示し、識別番号1440は、その3次元映像1410の一部映像1420を球または半球形の立体的スプラットを生成する、本発明によるポイント基盤のレンダリング装置によってレンダリングした結果を示す。図示されているように、識別番号1440で表記された映像の画質が識別番号1430で表記された映像の画質より優れている。
図15の(a)及び(b)は、本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第4参考図である。具体的に、識別番号1510は、ポイントモデルを含む映像、すなわち、レンダリングしようとする3次元映像の一例を示し、識別番号1530は、その3次元映像1510の一部映像1520を四角形の平面スプラットを生成する、従来のポイント基盤のレンダリング法によってレンダリングした結果を示し、識別番号1540は、その3次元映像1510の一部映像1520を球または半球形の立体的スプラットを生成する、本発明によるポイント基盤のレンダリング装置によってレンダリングした結果を示す。図示されているように、識別番号1540で表記された映像の画質が識別番号1530で表記された映像の画質より優れている。
図16は、本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第5参考図である。具体的に、識別番号1610は、ポイントモデルを含む映像、すなわち、レンダリングしようとする3次元映像の一例を示し、識別番号1620は、その3次元映像1610を四角形の平面スプラットを生成する、従来のポイント基盤のレンダリング法によってレンダリングした結果を示し、識別番号1630は、その3次元映像1610を球または半球形の立体的スプラットを生成する、本発明によるポイント基盤のレンダリング装置によってレンダリングした結果を示す。図示されているように、識別番号1630(特に、識別番号1635)で表記された映像の画質が識別番号1620(特に、識別番号1625)で表記された映像の画質より優れている。
図17Aないし図17Cは、本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第6参考図である。具体的に、図17Aは、従来のポリゴン基盤レンダリング法によってレンダリングされた映像の一例を示し、図17Bは、四角形の平面スプラットを生成する従来のポイント基盤のレンダリング法によってレンダリングされた映像の一例を示し、図17Cは、球または半球形のスプラットを生成する本発明によるレンダリング装置によってレンダリングされた映像の一例を示す。図示されているように、図17Cの画質が図17A及び図17Bの画質より優れている。
本発明は、また、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがあり、またキャリアウェーブ(例えば、インターネットを介した伝送)の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。
以上、図面及び明細書で最適の実施例が開示された。ここで特定の用語が使われたが、これは単に本発明を説明するための目的として使われたものに過ぎず、意味限定や特許請求の範囲上に記載された本発明の範囲を制限するために使われたものではない。したがって、当業者ならば、これより多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は特許請求の範囲の技術的思想により決定されなければならない。
本発明は、3次元映像のグラフィック関連の技術分野に好適に用いられる。
従来のポイント基盤のレンダリング法を説明する参考図である。 従来のポイント基盤のレンダリング法を説明する参考図である。 本発明によるポイント基盤のレンダリング装置を説明するブロック図である。 図2に示す解像度選択部の動作を説明する参考図である。 図2に示す深さ演算部の動作を説明する参考図である。 図2に示すスプラッティング部の動作を説明する参考図である。 図2に示すスプラッティング部の動作を説明する参考図である。 本発明によるスプラットの形状は、球形と半球形のいずれも可能であることを説明する図である。 図2に示すスプラッティング部の本発明の望ましい一実施形態を説明するブロック図である。 テンプレートを説明する参考図である。 図7に示すスプラット更新部の動作を説明する参考図である。 本発明によるポイント基盤のレンダリング方法を説明するフローチャートである。 図10に示す第1040段階の本発明による望ましい一実施形態(1040A)のフローチャートである。 本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第1参考図である。 本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第2参考図である。 本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第3参考図である。 本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第4参考図である。 本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第5参考図である。 本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第6参考図である。 本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第6参考図である。 本発明によるポイント基盤のレンダリング装置及び方法の効果を説明する第6参考図である。
符号の説明
210 データ入力部
220 解像度選択部
230 深さ演算部
240 スプラッティング部
310、320、535 レンダリング映像
330 画面
410、540、542、615、930 視点
420、430、510、512、514 イメージポイント
511、513、515 レンダリングポイント
520、522、524、610、620、910、920 スプラット
530 ポイントモデル
710 投影部
720 半径演算部
730 テンプレート保存部
740 スプラット生成部
742 テンプレート検索部
744 テンプレート割当部
750 スプラット更新部
810、820、830 テンプレート
940、950、960、970 スプラットの一部分
d1、d2 距離
IN1、IN2 入力端子
OUT1 出力端子

Claims (13)

  1. 与えられたポイントモデルを投影して複数のレンダリングポイントを生成する投影部と、
    前記レンダリングポイントごとに、予め設定された解像度に相応して半径を演算する半径演算部と、
    前記演算された半径を有する半球または球形のスプラットを前記レンダリングポイントごとに生成するスプラット生成部と、を備えることを特徴とするポイント基盤のレンダリング装置。
  2. 前記ポイント基盤のレンダリング装置は、
    一つの前記スプラットから他の一つの前記スプラットに含まれる部分を除去することによって、前記スプラットを更新するスプラット更新部をさらに備えることを特徴とする請求項1に記載のポイント基盤のレンダリング装置。
  3. 前記スプラット生成部は、
    半径をアドレスとしてテンプレートを保存するテンプレート保存部と、
    前記演算された半径をアドレスとして有するテンプレートを前記保存されたテンプレートから検索するテンプレート検索部と、
    前記検索されたテンプレートを前記スプラットとして出力するテンプレート割当部と、を備えることを特徴とする請求項1に記載のポイント基盤のレンダリング装置。
  4. 前記ポイント基盤のレンダリング装置は、
    前記ポイントモデルをなすイメージポイントそれぞれの深さを演算する深さ演算部をさらに備え、
    前記半径演算部は、前記イメージポイントの深さ別に予め設定された解像度に相応して前記半径を演算することを特徴とする請求項1に記載のポイント基盤のレンダリング装置。
  5. 前記半径演算部は、
    視点及び前記イメージポイントの深さ別に予め設定された解像度に相応して前記半径を演算することを特徴とする請求項4に記載のポイント基盤のレンダリング装置。
  6. 前記半径演算部は、
    前記レンダリングポイントごとに、予め設定された解像度に反比例する前記半径を演算することを特徴とする請求項4に記載のポイント基盤のレンダリング装置。
  7. 与えられたポイントモデルを投影して複数のレンダリングポイントを生成する投影部と、
    予め設定された解像度に相応して体積を演算する半径演算部と、
    前記演算された体積を有する立体的スプラットを前記レンダリングポイントごとに生成するスプラット生成部と、を備えることを特徴とするポイント基盤のレンダリング装置。
  8. (a)与えられたポイントモデルを投影して複数のレンダリングポイントを生成する段階と、
    (b)予め設定された解像度に相応して半径を演算する段階と、
    (c)前記演算された半径を有する半球または球形のスプラットを生成する段階と、を含み、
    前記(b)及び(c)段階は、前記レンダリングポイントごとに行われることを特徴とするポイント基盤のレンダリング方法。
  9. 前記ポイント基盤のレンダリング方法は、
    (d)一つの前記スプラットから他の一つの前記スプラットに含まれる部分を除去することによって、前記スプラットを更新する段階をさらに含むことを特徴とする請求項8に記載のポイント基盤のレンダリング方法。
  10. 前記(d)段階は、
    (d1)前記一つのスプラットの画素と前記他の一つのスプラットの画素とが同じ領域に表示されるか否かを判断する段階と、
    (d2)前記一つのスプラットの画素と前記他の一つのスプラットの画素とが同じ領域に表示されると判断されれば、前記一つのスプラットの画素が前記他の一つのスプラットの画素より深いか否かを判断する段階と、
    (d3)前記一つのスプラットの画素が前記他の一つのスプラットの画素より深いと判断されれば、前記一つのスプラットの画素が有する情報を除去する段階と、を含むことを特徴とする請求項9に記載のポイント基盤のレンダリング方法。
  11. 前記(a)段階は、
    (a1)前記演算された半径に相応するテンプレートを予め設けられたテンプレートから検索する段階と、
    (a2)前記検索されたテンプレートを前記スプラットとして利用する段階と、を含むことを特徴とする請求項8に記載のるポイント基盤のレンダリング方法。
  12. (a)与えられたポイントモデルを投影して複数のレンダリングポイントを生成する段階と、
    (b)予め設定された解像度に相応して体積を求める段階と、
    (c)前記求められた体積を有する立体的スプラットを生成する段階と、を含み、
    前記(b)及び(c)段階は、前記レンダリングポイントごとに行われることを特徴とするポイント基盤のレンダリング方法。
  13. (a)与えられたポイントモデルを投影して複数のレンダリングポイントを生成する段階と、
    (b)予め設定された解像度に相応して半径を演算する段階と、
    (c)前記演算された半径を有する半球または球形のスプラットを生成する段階と、を含み、
    前記(b)及び(c)段階は、前記レンダリングポイントごとに行われることを特徴とするポイント基盤のレンダリング方法を行うコンピュータプログラムを保存するコンピュータで読み取り可能な記録媒体。
JP2007058953A 2006-03-16 2007-03-08 ポイント基盤のレンダリング装置及び方法 Active JP4960119B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060024267A KR100723422B1 (ko) 2006-03-16 2006-03-16 포인트 기반 렌더링 장치와 방법 및 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체
KR10-2006-0024267 2006-03-16

Publications (2)

Publication Number Publication Date
JP2007249965A true JP2007249965A (ja) 2007-09-27
JP4960119B2 JP4960119B2 (ja) 2012-06-27

Family

ID=38278734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007058953A Active JP4960119B2 (ja) 2006-03-16 2007-03-08 ポイント基盤のレンダリング装置及び方法

Country Status (3)

Country Link
US (1) US7825926B2 (ja)
JP (1) JP4960119B2 (ja)
KR (1) KR100723422B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241222A1 (ja) * 2020-05-26 2021-12-02 ソニーグループ株式会社 画像処理装置および方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100858086B1 (ko) 2007-01-30 2008-09-10 삼성전자주식회사 렌더링 장치 및 방법
CN103281345B (zh) * 2013-02-16 2016-01-20 赞奇科技发展有限公司 基于云计算架构的三维数字模型实时渲染的实现方法及云服务系统
US10198856B2 (en) * 2013-11-11 2019-02-05 Oxide Interactive, LLC Method and system of anti-aliasing shading decoupled from rasterization
KR102197064B1 (ko) * 2014-10-10 2020-12-30 삼성전자 주식회사 Lod를 조절할 수 있는 그래픽스 프로세싱 유닛, 이의 작동 방법, 및 상기 그래픽스 프로세싱 유닛을 포함하는 장치들
US20160225179A1 (en) * 2015-01-29 2016-08-04 Institute Of Environmental Science And Research Limited Three-dimensional visualization of a scene or environment
US11436783B2 (en) 2019-10-16 2022-09-06 Oxide Interactive, Inc. Method and system of decoupled object space shading
CN112138386A (zh) * 2020-09-24 2020-12-29 网易(杭州)网络有限公司 一种体积渲染方法、装置、存储介质及计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293041A (ja) * 1995-04-24 1996-11-05 Daikin Ind Ltd 高速レンダリング方法およびその装置
JP2005038426A (ja) * 2003-07-14 2005-02-10 Samsung Electronics Co Ltd 映像基盤レンダリングおよび編集の方法ならびにその装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2731637B2 (ja) * 1991-03-18 1998-03-25 インターナショナル・ビジネス・マシーンズ・コーポレイション コンピュータ・グラフィクス装置において二次元表示画面上に立体を複数の点により三次元的に描く方法およびその装置
US5555352A (en) * 1991-04-23 1996-09-10 International Business Machines Corporation Object-based irregular-grid volume rendering
JP2002163679A (ja) 2000-11-24 2002-06-07 Fukuoka Prefecture 三次元物体モデル生成装置及び三次元物体モデル生成方法
RU2216781C2 (ru) * 2001-06-29 2003-11-20 Самсунг Электроникс Ко., Лтд Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта
CN1708996A (zh) 2002-11-01 2005-12-14 皇家飞利浦电子股份有限公司 三维显示器
US7257237B1 (en) * 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293041A (ja) * 1995-04-24 1996-11-05 Daikin Ind Ltd 高速レンダリング方法およびその装置
JP2005038426A (ja) * 2003-07-14 2005-02-10 Samsung Electronics Co Ltd 映像基盤レンダリングおよび編集の方法ならびにその装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241222A1 (ja) * 2020-05-26 2021-12-02 ソニーグループ株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
US7825926B2 (en) 2010-11-02
JP4960119B2 (ja) 2012-06-27
US20070216676A1 (en) 2007-09-20
KR100723422B1 (ko) 2007-05-30

Similar Documents

Publication Publication Date Title
JP4960119B2 (ja) ポイント基盤のレンダリング装置及び方法
US10522116B2 (en) Projection method with multiple rectangular planes at arbitrary positions to a variable projection center
JP4896761B2 (ja) 立体地図表示システム、立体地図の表示方法、及びそのプログラム
US11069124B2 (en) Systems and methods for reducing rendering latency
US10529117B2 (en) Systems and methods for rendering optical distortion effects
US8154547B2 (en) Method and system for early Z test in title-based three-dimensional rendering
EP2282245B9 (en) Cutting process simulation display device, method for displaying cutting process simulation, and cutting process simulation display program
US10140000B2 (en) Multiscale three-dimensional orientation
JP2009080578A (ja) 多視点データ生成装置、方法及びプログラム
US10699467B2 (en) Computer-graphics based on hierarchical ray casting
US10553012B2 (en) Systems and methods for rendering foveated effects
CN107168534B (zh) 一种基于cave系统的渲染优化方法及投影方法
KR20090031230A (ko) 다시점 영상을 렌더링하기 위한 장치 및 방법
CN102163340A (zh) 计算机系统中实现三维动态几何图形数据信息标注的方法
US10325403B2 (en) Image based rendering techniques for virtual reality
US9401044B1 (en) Method for conformal visualization
JP2007249968A (ja) ポイント補間によるレンダリング方法及び装置
JP2003233836A (ja) モデリング時の距離成分を用いてレンダリング陰影処理を行う画像処理装置とその方法
JP4642431B2 (ja) 地図表示装置、地図表示システム、地図表示方法およびプログラム
JPWO2019049457A1 (ja) 画像生成装置および画像生成方法
JP2007249966A (ja) フィルタリング方法及び装置
JP2006171889A (ja) 3次元形状表示システム、3次元形状表示方法及び3次元形状表示プログラム
JP2001043394A (ja) 画像表示方法および装置
JP2010003136A (ja) 3次元モデルデータを生成する装置および方法
JP2002216150A (ja) 画像作成方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120322

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150330

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4960119

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250