JP2009175866A - 立体像生成装置、その方法およびそのプログラム - Google Patents

立体像生成装置、その方法およびそのプログラム Download PDF

Info

Publication number
JP2009175866A
JP2009175866A JP2008011694A JP2008011694A JP2009175866A JP 2009175866 A JP2009175866 A JP 2009175866A JP 2008011694 A JP2008011694 A JP 2008011694A JP 2008011694 A JP2008011694 A JP 2008011694A JP 2009175866 A JP2009175866 A JP 2009175866A
Authority
JP
Japan
Prior art keywords
image
pixel
virtual
virtual camera
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008011694A
Other languages
English (en)
Other versions
JP4928476B2 (ja
Inventor
Yuichi Iwadate
祐一 岩舘
Yoshikazu Katayama
美和 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2008011694A priority Critical patent/JP4928476B2/ja
Publication of JP2009175866A publication Critical patent/JP2009175866A/ja
Application granted granted Critical
Publication of JP4928476B2 publication Critical patent/JP4928476B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】3次元形状モデルから、折り返し雑音を抑制した立体像データを生成可能な立体像生成装置を提供する。
【解決手段】立体像生成装置1は、3次元仮想空間に設定された要素画像の画素位置ごとに、要素レンズのピンホール位置に対する単位ベクトルを生成する単位ベクトル生成手段21と、単位ベクトルと所定距離とに基づいて仮想カメラの位置および撮影方向を算出する仮想カメラ位置・方向算出手段22と、仮想カメラから3次元形状モデルを撮影した仮想撮影画像を生成する仮想カメラ撮影画像生成手段23と、仮想撮影画像の中心画素値をピンホール位置の画素値とする画素値決定手段24とを備え、画素値決定手段24は、仮想撮影画像を区分領域ごとに画素値を平均化することで、ピンホール位置に対応する画素の画素値を算出することを特徴とする。
【選択図】図1

Description

本発明は、3次元形状モデルから、立体表示装置に表示するための立体像データを生成する立体像生成装置、その方法およびそのプログラムに関する。
近年、立体表示装置の研究開発が進み、パララックスバリア方式、レンチキュラ方式等、特殊なメガネを用いなくても観察者に立体像を視認させることが可能な裸眼方式の立体表示装置が開発されている。このパララックスバリア方式は、液晶ディスプレイ等の平面型表示パネルの前面に設置した、垂直方向にスリットを有するパララックスバリアを障壁として、右眼用映像、左眼用映像を垂直方向に分割して表示し、観察者の右眼と左眼とで異なる映像を視認させることで水平視差を再現し立体像を提示するものである。また、レンチキュラ方式は、半円筒型レンズが連なったレンズ板を、平面型表示パネルの前面に設置することで、パララックスバリア方式と同様、観察者の右眼と左眼とで異なる映像を視認させることで立体像を提示するものである。
これに対し、最近では、インテグラルフォトグラフィの原理を応用し、水平視差に加え、垂直視差も再現することが可能な立体表示装置(インテグラル立体表示装置)が開発されている(例えば、特許文献1参照)。この特許文献1に開示されている技術は、複数の要素レンズからなるレンズアレイを通して、超高精細カメラで被写体を撮影し、その撮影された映像を超高精細ディスプレイで表示し、レンズアレイを通して観察者が観視することで、観察者がメガネなしで立体像(インテグラル立体像)を視認することができるものである。
また、一方で、コンピュータグラフィックスにおける3次元形状モデルをインテグラル立体像に変換する技術が存在する(例えば、非特許文献1参照)。この技術によれば、コンピュータグラフィックスの3次元オブジェクトを被写体とし、3次元仮想空間内にレンズアレイ、奥行き制御用のレンズを設置し、光線追跡法により、被写体のインテグラル立体像を生成するものである。
なお、3次元形状モデルを生成するには、静止物体の3次元形状モデルの場合であれば、例えば、レンジファインダ等を用いることで生成することができる。また、人間等の動的な被写体の3次元形状モデルの場合であれば、複数のカメラで被写体を撮影した映像から画像処理により3次元形状モデルを生成することができる(例えば、特許文献2参照)。
特許第3836550号公報 特許第4014140号公報 Athineos,Spyros S, :"Physical modeling of a microlens array setup for use in computer generated IP"、Proceedings of the SPIE,Volume 5664,pp.472-479(2005).
前記した特許文献1で開示されている技術によれば、被写体をレンズアレイを通して撮影した映像から、メガネなしで視認可能な立体像を生成することは可能である。しかし、立体撮像装置で撮像した映像からしか立体像を生成することができないため、コンピュータグラフィックス等の3次元形状モデルから立体像を生成する技術が望まれていた。
これに対し、非特許文献1で開示されている技術によれば、3次元形状モデルから立体像を生成することが可能である。しかし、非特許文献1で開示されている技術では、光線追跡法により立体像を生成するため、観察者が立体像を観視する際に、視点位置とレンズアレイのピンホール位置に応じた光線のみが観察者の眼に入射されることになる。これは、視点位置に応じて光線がサンプリングされることと等価であり、サンプリングに起因する折り返し雑音が発生してしまうという問題がある。
本発明は、以上のような課題を解決するためになされたものであり、コンピュータグラフィックス等の3次元形状モデルから、折り返し雑音を抑制した立体像データを生成することが可能な立体像生成装置、その方法およびそのプログラムを提供することを目的とする。
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の立体像生成装置は、表示対象の3次元形状モデルから、表示面に対向して複数の要素レンズからなるレンズアレイを備えた立体表示装置に前記表示対象を表示するための立体像データを生成する立体像生成装置であって、3次元仮想空間設定手段と、単位ベクトル生成手段と、仮想カメラ位置・方向算出手段と、仮想カメラ撮影画像生成手段と、画素値決定手段と、を備える構成とした。
かかる構成において、立体像生成装置は、3次元仮想空間設定手段によって、表示面を構成する要素画像の画素間隔と、要素レンズのレンズ間隔および焦点距離とに基づいて、3次元仮想空間における要素レンズの中心をピンホールとみなしたピンホール位置と要素画像の画素位置とを、立体像を表示させる立体表示装置のモデル化データとして生成する。さらに、立体像生成装置は、3次元仮想空間設定手段によって、3次元形状モデルを3次元仮想空間に対応付ける。これによって、同一の3次元仮想空間(3次元座標)上に、立体表示装置と3次元形状モデルとが仮想的に配置されることになる。このとき、3次元形状モデルは、3次元仮想空間の自由な位置に配置することができるため、表示面の前(手前側)または後(奥側)のいずれにも配置することができる。
そして、立体像生成装置は、単位ベクトル生成手段によって、要素画像の画素位置ごとに、当該画素位置から要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成する。これによって、要素画像の画素位置から要素レンズのピンホール位置への方向が特定されることになる。
そして、立体像生成装置は、仮想カメラ位置・方向算出手段によって、単位ベクトル生成手段で生成された単位ベクトルと、3次元仮想空間に対応付けられた立体表示装置から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する。これによって、ピンホールを通過して、当該画素位置を視認する仮想カメラ、すなわち、立体表示装置で実際に観察者が視認する視点の位置および視線の方向を、特定することができる。
さらに、立体像生成装置は、仮想カメラ撮影画像生成手段によって、仮想カメラの位置および撮影方向を基準として、3次元形状モデルを所定画角の画像平面に投影変換することで、3次元形状モデルを仮想的に撮影した仮想撮影画像を生成する。この仮想撮影画像は、仮想カメラの位置から撮影方向のベクトル上に存在する3次元形状モデルのデータを画像平面に投影することで得ることができる。
そして、立体像生成装置は、画素値決定手段によって、仮想撮影画像の中心画素の画素値を、仮想カメラの位置および撮影方向におけるピンホール位置に対応する画素の画素値として決定する。このとき、画素値決定手段は、仮想撮影画像をピンホールごとの所定領域に区分した区分領域ごとに画素値を平均化することで、ピンホール位置に対応する画素の画素値を算出することとする。これによって、ピンホールごとにサンプリングされて視認されることになる要素画像の画素値が、周辺画素の画素値によりフィルタリングされることになる。
また、請求項2に記載の立体像生成方法は、表示対象の3次元形状モデルから、表示面に対向して複数の要素レンズからなるレンズアレイを備えた立体表示装置に前記表示対象を表示するための立体像データを生成する立体像生成方法であって、3次元仮想空間設定ステップと、単位ベクトル生成ステップと、仮想カメラ位置・方向算出ステップと、仮想カメラ撮影画像生成ステップと、画素値決定ステップと、を含む手順とした。
かかる手順において、立体像生成方法は、3次元仮想空間設定ステップで、表示面を構成する要素画像の画素間隔と、要素レンズのレンズ間隔および焦点距離とに基づいて、3次元仮想空間における要素レンズの中心をピンホールとみなしたピンホール位置と要素画像の画素位置とを、立体像を表示させる立体表示装置のモデル化データとして生成する。さらに、立体像生成方法は、3次元仮想空間設定ステップで、3次元形状モデルを3次元仮想空間に対応付ける。
そして、立体像生成方法は、単位ベクトル生成ステップで、要素画像の画素位置ごとに、当該画素位置から要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成する。
そして、立体像生成方法は、仮想カメラ位置・方向算出ステップで、単位ベクトル生成手段で生成された単位ベクトルと、3次元仮想空間に対応付けられた立体表示装置から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する。
さらに、立体像生成方法は、仮想カメラ撮影画像生成ステップで、仮想カメラの位置および撮影方向を基準として、3次元形状モデルを所定画角の画像平面に投影変換することで、3次元形状モデルを仮想的に撮影した仮想撮影画像を生成する。
そして、立体像生成方法は、画素値決定ステップで、仮想撮影画像の中心画素の画素値を、仮想カメラの位置および撮影方向におけるピンホール位置に対応する画素の画素値として決定する。なお、画素値決定ステップでは、仮想撮影画像をピンホールごとの所定領域に区分した区分領域ごとに画素値を平均化することで、ピンホール位置に対応する画素の画素値を算出することとする。
さらに、請求項3に記載の立体像生成プログラムは、表示対象の3次元形状モデルから、表示面に対向して複数の要素レンズからなるレンズアレイを備えた立体表示装置に前記表示対象を表示するための立体像データを生成するために、コンピュータを、3次元仮想空間設定手段、単位ベクトル生成手段、仮想カメラ位置・方向算出手段、仮想カメラ撮影画像生成手段、画素値決定手段、として機能させる構成とした。
かかる構成において、立体像生成プログラムは、3次元仮想空間設定手段によって、表示面を構成する要素画像の画素間隔と、要素レンズのレンズ間隔および焦点距離とに基づいて、3次元仮想空間における要素レンズの中心をピンホールとみなしたピンホール位置と要素画像の画素位置とを、立体像を表示させる立体表示装置のモデル化データとして生成する。さらに、立体像生成プログラムは、3次元仮想空間設定手段によって、3次元形状モデルを3次元仮想空間に対応付ける。
そして、立体像生成プログラムは、単位ベクトル生成手段によって、要素画像の画素位置ごとに、当該画素位置から要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成する。
そして、立体像生成プログラムは、仮想カメラ位置・方向算出手段によって、単位ベクトル生成手段で生成された単位ベクトルと、3次元仮想空間に対応付けられた立体表示装置から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する。
さらに、立体像生成プログラムは、仮想カメラ撮影画像生成手段によって、仮想カメラの位置および撮影方向を基準として、3次元形状モデルを所定画角の画像平面に投影変換することで、3次元形状モデルを仮想的に撮影した仮想撮影画像を生成する。
そして、立体像生成プログラムは、画素値決定手段によって、仮想撮影画像の中心画素の画素値を、仮想カメラの位置および撮影方向におけるピンホール位置に対応する画素の画素値として決定する。このとき、画素値決定手段は、仮想撮影画像をピンホールごとの所定領域に区分した区分領域ごとに画素値を平均化することで、ピンホール位置に対応する画素の画素値を算出することとする。
本発明によれば、3次元形状モデルから立体表示装置で立体像を観察者に視認させることが可能な立体像データを生成することができる。また、本発明によれば、3次元形状モデルを、3次元仮想空間の任意の位置に配置することができるため、立体表示装置の表示面の手前側、あるいは、奥側のいずれにも立体像を視認することが可能な立体像データを生成することができる。さらに、本発明によれば、立体表示装置をピンホールでモデル化した場合であっても、ピンホール位置に対応する画素を近傍画素の画素値でフィルタリングするため、サンプリングに起因する折り返し雑音を抑制した立体像データを生成することができる。
以下、本発明の実施の形態について図面を参照して説明する。
[立体像生成装置の構成]
まず、図1を参照して、本発明の実施の形態に係る立体像生成装置の構成について説明する。図1は、本発明の実施の形態に係る立体像生成装置の全体構成を示すブロック図である。
立体像生成装置1は、表示対象の3次元形状モデルから、表示パネルと当該表示パネルに対面して設けられた複数の要素レンズからなるレンズアレイとを備えた立体表示装置(インテグラル立体表示装置)に表示するための立体像データを生成するものである。ここでは、立体像生成装置1は、3次元仮想空間設定手段10と、要素画像生成手段20とを備える。
3次元仮想空間設定手段10は、立体表示装置をモデル化するためのパラメータと、表示対象の3次元形状モデルのデータとを入力し、立体表示装置および表示対象(3次元形状モデル)を、3次元仮想空間(3次元座標)に対応付けるものである。ここで、立体表示装置をモデル化するためのパラメータは、例えば、表示パネルの表示面を構成する画素の画素間隔、レンズアレイの要素レンズのレンズ間隔および焦点距離等である。
ここで、図2および図3を参照して、立体表示装置のモデル化について説明する。図2は、立体表示装置の構造を模式的に示した図であって、(a)は立体像の表示の様子、(b)はレンズアレイと表示面との関係を示している。また、図3は、立体表示装置を3次元仮想空間に対応付けた図であって、(a)は立体表示装置を対応付けた3次元仮想空間のYZ面、(b)は立体表示装置を対応付けた3次元仮想空間のXY面を示している。
図2に示すように、立体表示装置2は、液晶ディスプレイ等の表示パネルの表示面Dに立体撮像装置(図示せず)で撮影した被写体(表示対象)の要素画像Gを複数表示する。そして、観察者Mは、レンズアレイLの要素レンズLを通して、それぞれの要素画像Gを観視することで、立体像Zを視認することができる。
このような立体表示装置2を、図3に示すように、要素レンズLをピンホールとみなして3次元仮想空間に対応付ける。ここでは、立体表示装置2をモデル化するためのパラメータを以下のように定義することとする。
P : 要素画像Gの画素間隔(表示面Dを構成する画素Pの画素間隔)
: 要素レンズL(ピンホールP)の水平間隔
: 要素レンズL(ピンホールP)の垂直間隔
F : 要素レンズLの焦点距離(要素レンズLと要素画像Gとの距離)
また、3次元仮想空間の原点Oは、レンズアレイLの中央に位置する要素レンズの光学主点に置くこととする。このとき、要素レンズLは、横一行ごとにR/2分オフセットしているため、n列目、m行目の要素レンズのピンホール位置H(n,m)は、以下の(1)式で表される。
Figure 2009175866
なお、“%”の記号は剰余演算を示している。また、nは−Nから+Nまでの整数、mは−Mから+Mまでの整数であり、“2N+1”が一行あたりの要素レンズ数、“2M+1”が一列あたりの要素レンズ数になる。
ただし、要素レンズLのピンホール間隔は必ずしも要素画像Gの画素間隔の整数倍になっていないため、ここでは、ピンホールPに最も近い画素位置を要素画像Gの中心画素位置とする。この要素画像Gの中心画素位置は、以下の(2)式で表される。
Figure 2009175866
なお、“<a>”の記号は、“a”の小数点以下を四捨五入して整数化することを示している。このとき、この(2)式で表された中心画素位置を原点とするローカル座標(u,v)を用いると、n列目、m行目の要素画像Gの画素の位置In,m(u,v)は以下の(3)式で表される。
Figure 2009175866
ここで、uは−Uから+Uまでの整数、vは−Vから+Vまでの整数であり、“2U+1”が要素画像Gの水平画素数、“2V+1”が要素画像Gの垂直画素数になる。
以上説明したように、3次元仮想空間設定手段10は、3次元仮想空間に立体表示装置2を仮想的に配置することで、表示対象の3次元形状モデルと同一の3次元座標で処理することが可能になる。
図1に戻って、立体像生成装置1の構成について説明を続ける。
要素画像生成手段20は、要素画像の各画素の画素値を決定し、要素画像ごとの画像データを生成するものである。すなわち、要素画像生成手段20は、3次元仮想空間設定手段10で設定されたピンホール位置がH(n,m)〔前記(1)式参照〕の要素レンズと対をなす要素画像のIn,m(u,v)〔前記(3)式参照〕の画素値を決定することで、要素画像の画像データを生成するものである。
ここで、要素画像生成手段20は、単位ベクトル生成手段21と、仮想カメラ位置・方向算出手段22と、仮想カメラ撮影手段23と、画素値決定手段24とを備える。なお、以下の説明においては、適宜図4を参照することとする。図4は、3次元仮想空間に表示対象となる3次元形状モデルと立体表示装置とを配置した例を示した模式図である。
単位ベクトル生成手段21は、要素画像Gの画素位置In,m(u,v)ごとに、当該画素位置から要素画像Gに対応する要素レンズのピンホール位置H(n,m)に対する単位ベクトルを生成するものである。この単位ベクトルは、当該単位ベクトルの延長線上に当該画素位置In,m(u,v)の画素値が視認される方向を示すことになる。ここでは、単位ベクトル生成手段21は、単位ベクトルi(i,i,i)を以下の(4)式により生成する。
Figure 2009175866
この単位ベクトル生成手段21で生成された単位ベクトルは、仮想カメラ位置・方向算出手段22に出力される。
仮想カメラ位置・方向算出手段22は、単位ベクトル生成手段21で生成された単位ベクトルと、3次元仮想空間に対応付けられた立体表示装置2から予め定めた距離とに基づいて、仮想カメラCの位置および撮影方向を算出するものである。この仮想カメラCは、観察者が立体表示装置2を観視する際の眼の位置を表すことになる。ここでは、仮想カメラCの立体表示装置2からの距離を、レンズアレイLの原点Oからの距離Lとする。また、この仮想カメラCは、原点Oから、表示対象の3次元形状モデルよりも離れて配置されるものとする。
このとき、仮想カメラ位置・方向算出手段22は、仮想カメラCの位置を、単位ベクトルiと距離Lとに基づいて、以下の(5)式により算出する。
Figure 2009175866
また、仮想カメラ位置・方向算出手段22は、仮想カメラCの撮影方向を、単位ベクトルiの逆方向として算出する。この仮想カメラ位置・方向算出手段22で算出された仮想カメラの位置および撮影方向は、仮想カメラ撮影手段23に出力される。
仮想カメラ撮影手段(仮想カメラ撮影画像生成手段)23は、仮想カメラ位置・方向算出手段22で算出された仮想カメラの位置および撮影方向から、3次元形状モデルを仮想的に撮影した画像を生成するものである。この仮想カメラ撮影手段23は、単位ベクトルiの逆方向に存在するピンホール位置H(n,m)を中心に、その近傍のピンホールを含んだ画角で、仮想配置された立体表示装置を仮想的に撮影する。
すなわち、仮想カメラ撮影手段23は、単位ベクトルiの逆方向に存在するピンホール位置H(n,m)を仮想撮影画像の中心として、要素画像Gの各画素位置と仮想カメラCの光学主点とを結んだ直線上に存在する3次元形状モデルの表面の色を仮想平面(仮想カメラCの焦点位置)に投影変換することで仮想撮影画像を生成する。この仮想カメラ撮影手段23が撮影する画像は、図5に示すように、ピンホール位置H(n,m)を中心とした画像となる。また、この撮影された画像は画素値決定手段24に出力される。
なお、仮想カメラ撮影手段23は、3次元形状モデルを仮想的に撮影した画像を生成する場合、図4に示すように、3次元形状モデルを表示面Dよりも手前側に配置(表面A)することとしてもよいし、表示面Dよりも奥側に配置(表面B)することとしてもよい。このように、仮想カメラ撮影手段23は、仮想カメラCを視点として、単位ベクトルの逆方向に存在する3次元形状モデルを撮影することになるため、3次元形状モデルを表示面Dの位置に関係なく撮影することができる。
画素値決定手段24は、仮想カメラ撮影手段23で生成された仮想撮影画像に基づいて、仮想カメラCの位置および撮影方向で撮影した画像中心のピンホール位置に対応する画素の画素値を決定するものである。
なお、仮想カメラ撮影手段23で生成された仮想撮影画像の中心の画素の画素値は、ピンホール位置H(n,m)に対応する画素の画素値である。しかし、実際の立体表示装置では、図5で示した仮想撮影画像でも分かるように、ピンホール位置に対応する画素の光線のみが観察者の眼に入射されることになり、観察者の視点位置に応じて光線がサンプリングされ、折り返し雑音が発生することになる。
そこで、ここでは、画素値決定手段24は、帯域制限手段24aを備え、画像中心のピンホール位置に対応する画素の画素値を、当該ピンホール位置の近傍領域に対して帯域制限フィルタ(2次元フィルタ)処理を施すことにより求めることとする。
帯域制限手段24aは、仮想カメラ撮影手段23で生成された仮想撮影画像の画像中心の近傍領域に対して帯域制限フィルタ処理を施し、画像中心のピンホール位置に対応する画素の画素値を算出するものである。なお、この帯域制限フィルタは、ピンホールごとに重なりを持たないフィルタとすることが望ましい。そこで、ここでは、帯域制限手段24aは、図6に示すように、水平方向の大きさが仮想撮影画像内におけるピンホールの水平間隔S、垂直方向の大きさが仮想撮影画像内におけるピンホールの垂直間隔Sの2倍となるフィルタ(ここでは、ひし形形状の帯域制限フィルタF)を用いる。
また、ここでは、要素レンズ(ピンホール位置)を横一行ごとにR/2分オフセットを持たせているため(図3参照)、帯域制限フィルタFをひし形形状としたが、オフセットがなくピンホール位置が碁盤目状に配置される場合は、帯域制限フィルタFは、水平方向の大きさが水平間隔S、垂直方向の大きさが垂直間隔Sの矩形形状とする。
なお、帯域制限手段24aは、仮想撮影画像内におけるピンホールの水平間隔S、垂直間隔Sを、以下の(6)式により求めることとする。
Figure 2009175866
この(6)式において、仮想カメラCが撮影する画像の横縦の大きさをW×W、画素数をG×G、仮想カメラCの焦点距離をLとする。また、立体表示装置の大きさに対して距離Lが十分大きいものとする。なお、距離Lが短い場合は、仮想カメラCから撮影した仮想撮影画像は、表示面Dに対してある角度を有しているため、その角度に応じて水平間隔S、垂直間隔Sを計算すればよい。
また、帯域制限手段24aが用いる帯域制限フィルタFは、具体的には、例えば、当該フィルタ内の画素値を平均化する平均化フィルタであって、帯域制限手段24aは、平均化フィルタ処理により画像中心の画素値をフィルタに対応する画像内の平均値として求めることとする。また、この帯域制限フィルタは、フィルタの中心に重みを設けて平均化を行う加重平均フィルタであってもよい。
そして、画素値決定手段24は、帯域制限手段24aによって帯域制限フィルタが施された画素値を、ピンホール位置H(n,m)における画素位置In,m(u,v)の座標値とする。
これによって、ピンホール位置H(n,m)における画素位置In,m(u,v)の1画素分の画素値が求められることになる。そこで、立体像生成装置1は、処理を単位ベクトル生成手段21に戻し、画素位置In,m(u,v)の画素位置を順次ずらすことで、ピンホール位置、すなわち、要素レンズLに対応する要素画像Gのすべての画素値を求める。さらに、立体像生成装置1は、すべての要素画像Gにおいて前記の処理を行い、画像データ(インテグラル立体像データ)として出力する。
以上、立体像生成装置1の構成について説明したが、本発明はこれに限定されるものではない。ここでは、立体像生成装置1がインテグラル立体像を生成する例について説明したが、要素画像の縦方向の画素数を“1”とすることで、パララックスバリア方式、レンチキュラ方式等の水平方向の視差により立体像を視認することが可能な立体像データを生成することができる。
なお、ここでは、要素レンズのピンホール間隔と、要素画像の画素間隔とが整数倍の関係にない場合について説明したが、整数倍の関係にある場合は、前記(2)式、(3)式を簡略化し、四捨五入の整数化処理を省くことができる。
また、立体像生成装置1は、図示を省略したCPUやメモリを搭載した一般的なコンピュータで実現することができる。このとき、立体像生成装置1は、コンピュータを、前記した各手段として機能させる立体像生成プログラムによって動作する。また、立体像生成プログラムは、OpenGL等のグラフィックライブラリを用いて実現することが可能である。
[立体像生成装置の動作]
次に、図7および図8を参照(構成については適宜図1参照)して、本発明の実施の形態に係る立体像生成装置の動作について説明する。図7は、本発明の実施の形態に係る立体像生成装置の全体動作を示すフローチャートである。図8は、本発明の実施の形態に係る立体像生成装置の要素画像生成手段における要素画像の生成動作を示すフローチャートである。
(全体動作)
最初に、図7を参照(適宜図1参照)して、立体像生成装置1の全体動作について説明する。
まず、立体像生成装置1は、3次元仮想空間設定手段10によって、立体表示装置をモデル化するためのパラメータと、表示対象の3次元形状モデルのデータとから、立体表示装置および表示対象(3次元形状モデル)を、3次元仮想空間(3次元座標)に対応付ける(ステップS1)。具体的には、3次元仮想空間設定手段10は、要素レンズをピンホールとしたときの3次元仮想空間におけるピンホール位置H(n,m)を前記(1)式により算出するとともに、ピンホール位置H(n,m)に対応する要素画像の画素位置In,m(u,v)を前記(3)式により算出することで立体表示装置をモデル化する。さらに、3次元仮想空間設定手段10は、3次元形状モデルを立体表示装置の表示位置に対応するように3次元座標に対応付ける。
そして、立体像生成装置1は、要素画像生成手段20によって、要素画像の各画素の画素値を決定し、要素画像の画像データを生成する(ステップS2)。なお、このステップS2の動作については、図8を参照して後で説明することとする。
その後、立体像生成装置1は、要素画像生成手段20において、立体表示装置のすべての要素レンズ分の要素画像を生成したか否かを判定する(ステップS3)。
そして、すべての要素レンズ分の要素画像を生成した場合(ステップS3でYes)、立体像生成装置1は、生成した要素画像のデータ(立体像データ)を出力し(ステップS4)、動作を終了する。一方、すべての要素レンズ分の要素画像を生成していない場合(ステップS3でNo)、立体像生成装置1は、ステップS2に戻って、他の要素レンズに対応する要素画像を順次生成する。
以上の動作によって、立体像生成装置1は、立体表示装置のすべての要素レンズに対応する要素画像を生成することができる。
(要素画像生成動作)
次に、図8を参照(適宜図1および図4参照)して、立体像生成装置1の要素画像生成動作について説明する。この動作は、図7で説明したステップS2の動作(要素画像生成手段20の動作)に相当するものである。
まず、立体像生成装置1は、要素画像生成手段20の単位ベクトル生成手段21によって、要素画像の画素位置In,m(u,v)において、当該画素位置から要素画像に対応する要素レンズのピンホール位置H(n,m)に対する単位ベクトルi(i,i,i)を生成する(ステップS21)。ここでは、単位ベクトル生成手段21が、前記(1)式および(2)式でモデル化された立体表示装置の要素画像の画素位置In,m(u,v)からピンホール位置H(n,m)に対する単位ベクトルを前記(4)式により算出する。
そして、立体像生成装置1は、仮想カメラ位置・方向算出手段22によって、ステップS21で生成された単位ベクトルと、3次元仮想空間に対応付けられた立体表示装置2から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する(ステップS22)。ここでは、仮想カメラ位置・方向算出手段22が、単位ベクトルと立体表示装置からの距離とに基づいて、仮想カメラの位置を前記(5)式により算出するとともに、単位ベクトルの逆方向のベクトルを仮想カメラの撮影方向として算出する。
その後、立体像生成装置1は、仮想カメラ撮影手段23によって、ステップS22で算出された仮想カメラの位置および撮影方向から、3次元形状モデルを仮想的に撮影した画像を生成する(ステップS23)。ここでは、仮想カメラ撮影手段23が、ピンホール位置H(n,m)を仮想撮影画像の中心として、要素画像Gの各画素位置と仮想カメラCの光学主点とを結んだ直線上に存在する3次元形状モデルの表面の色を仮想平面(仮想カメラCの焦点位置)に対応付けることで図5に示すような仮想撮影画像を生成する。
そして、立体像生成装置1は、画素値決定手段24の帯域制限手段24aによって、ステップS23で生成された仮想撮影画像の画像中心の近傍領域に対して帯域制限フィルタ処理を施すことで、画像中心のピンホール位置に対応する画素の画素値を決定する(ステップS24)。ここでは、帯域制限手段24aが、仮想撮影画像内におけるピンホールの水平間隔S、垂直間隔Sを前記(6)式により算出し、水平間隔S、垂直間隔Sで特定される帯域制限フィルタF(図6参照)の領域内の画素値を平均化することで、画素位置In,m(u,v)の画素値とする。
そして、立体像生成装置1は、画素値決定手段24において、要素画像内のすべての画素値が決定されたか否かを判定する(ステップS25)。
そして、要素画像内のすべての画素の画素値が決定した場合(ステップS25でYes)、立体像生成装置1は、要素画像生成手段20による動作を終了する。この場合、図7のステップS3に動作が移行する。一方、要素画像内のすべての画素の画素値が決定していない場合(ステップS25でNo)、立体像生成装置1は、ステップS21に戻って、要素画像内における他の画素を処理対象として動作を継続する。
以上の動作によって、立体像生成装置1は、個々の要素レンズに対応する要素画像の画像データを生成することができる。
以上、本発明の実施の形態に係る立体像生成装置1の構成および動作について説明したが、立体像生成装置1は、静止物体の3次元形状モデルを対象に立体像を生成するだけでなく、人物等の動的3次元形状モデルを対象に立体像を生成することも可能である。
[動的3次元形状モデルへの応用]
以下、図9を参照して、立体像生成装置1を用いて、動的3次元形状モデルの立体像(インテグラル立体映像)を生成する手法について説明する。図9は、動的3次元形状モデルのインテグラル立体映像を生成する立体映像生成システムの構成を模式的に示す構成図である。
図9に示すように、立体映像生成システムSは、3次元モデリング装置3と、立体像生成装置1とを備える。
3次元モデリング装置3は、複数のカメラを、被写体を取り囲むように配置し、その複数のカメラ画像から動的な3次元形状モデルを生成するものである。この3次元モデリング装置3は、例えば、特許第4014140号公報で開示されている3次元モデリング装置を用いることができる。
これによって、立体映像生成システムSは、3次元モデリング装置3において、複数のカメラ画像から映像フレームごとに動的3次元形状モデルを生成し、立体像生成装置1において、動的3次元形状モデルからインテグラル立体像を生成する。これによって、立体像生成装置1は、映像フレームごとにインテグラル立体像を生成することで、動画像(インテグラル立体映像)を生成することができる。
本発明の実施の形態に係る立体像生成装置の全体構成を示すブロック図である。 立体表示装置の構造を模式的に示した図であって、(a)は立体像の表示の様子、(b)はレンズアレイと表示面との関係を示している。 立体表示装置を3次元仮想空間に対応付けた図であって、(a)は立体表示装置を対応付けた3次元仮想空間のYZ面、(b)は立体表示装置を対応付けた3次元仮想空間のXY面を示している。 3次元仮想空間に表示対象となる3次元形状モデルと立体表示装置とを配置した例を示した模式図である。 仮想カメラ撮影手段が撮影した仮想撮影画像を示す図である。 帯域制限フィルタを説明するための説明図である。 本発明の実施の形態に係る立体像生成装置の全体動作を示すフローチャートである。 本発明の実施の形態に係る立体像生成装置の要素画像生成手段における要素画像の生成動作を示すフローチャートである。 動的3次元形状モデルのインテグラル立体映像を生成する立体映像生成システムの構成を示す構成図である。
符号の説明
1 立体像生成装置
10 3次元仮想空間設定手段
20 要素画像生成手段
21 単位ベクトル生成手段
22 仮想カメラ位置・方向算出手段
23 仮想カメラ撮影手段(仮想カメラ撮影画像生成手段)
24 画素値決定手段
24a 帯域制限手段
S 立体映像生成システム

Claims (3)

  1. 表示対象の3次元形状モデルから、表示面に対向して複数の要素レンズからなるレンズアレイを備えた立体表示装置に前記表示対象を表示するための立体像データを生成する立体像生成装置であって、
    前記表示面を構成する要素画像の画素間隔と、前記要素レンズのレンズ間隔および焦点距離とに基づいて、3次元仮想空間における前記要素レンズの中心であるピンホール位置と前記要素画像の画素位置とを、立体像を表示させる立体表示装置のモデル化データとして生成するとともに、前記3次元形状モデルを前記3次元仮想空間に対応付ける3次元仮想空間設定手段と、
    前記要素画像の画素位置ごとに、当該画素位置から前記要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成する単位ベクトル生成手段と、
    この単位ベクトル生成手段で生成された単位ベクトルと、前記3次元仮想空間に対応付けられた立体表示装置から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する仮想カメラ位置・方向算出手段と、
    この仮想カメラ位置・方向算出手段で算出された仮想カメラの位置および撮影方向を基準として、前記3次元形状モデルを所定画角の画像平面に投影変換することで、前記3次元形状モデルを仮想的に撮影した仮想撮影画像を生成する仮想カメラ撮影画像生成手段と、
    この仮想カメラ撮影画像生成手段で生成された仮想撮影画像の中心画素の画素値を、前記仮想カメラの位置および撮影方向における前記ピンホール位置に対応する画素の画素値とする画素値決定手段と、を備え、
    前記画素値決定手段は、前記仮想撮影画像を前記ピンホールごとの所定領域に区分した区分領域ごとに画素値を平均化することで、前記ピンホール位置に対応する画素の画素値を算出することを特徴とする立体像生成装置。
  2. 表示対象の3次元形状モデルから、表示面に対向して複数の要素レンズからなるレンズアレイを備えた立体表示装置に前記表示対象を表示するための立体像データを生成する立体像生成方法であって、
    3次元仮想空間設定手段により、前記表示面を構成する要素画像の画素間隔と、前記要素レンズのレンズ間隔および焦点距離とに基づいて、3次元仮想空間における前記要素レンズの中心であるピンホール位置と前記要素画像の画素位置とを、立体像を表示させる立体表示装置のモデル化データとして生成するとともに、前記3次元形状モデルを前記3次元仮想空間に対応付ける3次元仮想空間設定ステップと、
    単位ベクトル生成手段により、前記要素画像の画素位置ごとに、当該画素位置から前記要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成する単位ベクトル生成ステップと、
    仮想カメラ位置・方向算出手段により、前記単位ベクトルと、前記3次元仮想空間に対応付けられた立体表示装置から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する仮想カメラ位置・方向算出ステップと、
    仮想カメラ撮影画像生成手段により、前記仮想カメラの位置および撮影方向を基準として、前記3次元形状モデルを所定画角の画像平面に投影変換することで、前記3次元形状モデルを仮想的に撮影した仮想撮影画像を生成する仮想カメラ撮影画像生成ステップと、
    画素値決定手段により、前記仮想撮影画像の中心画素の画素値を、前記仮想カメラの位置および撮影方向における前記ピンホール位置に対応する画素の画素値とする画素値決定ステップと、を含み、
    前記画素値決定ステップは、前記仮想撮影画像を前記ピンホールごとの所定領域に区分した区分領域ごとに画素値を平均化することで、前記ピンホール位置に対応する画素の画素値を算出することを特徴とする立体像生成方法。
  3. 表示対象の3次元形状モデルから、表示面に対向して複数の要素レンズからなるレンズアレイを備えた立体表示装置に前記表示対象を表示するための立体像データを生成するために、コンピュータを、
    前記表示面を構成する要素画像の画素間隔と、前記要素レンズのレンズ間隔および焦点距離とに基づいて、3次元仮想空間における前記要素レンズの中心であるピンホール位置と前記要素画像の画素位置とを、立体像を表示させる立体表示装置のモデル化データとして生成するとともに、前記3次元形状モデルを前記3次元仮想空間に対応付ける3次元仮想空間設定手段、
    前記要素画像の画素位置ごとに、当該画素位置から前記要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成する単位ベクトル生成手段、
    この単位ベクトル生成手段で生成された単位ベクトルと、前記3次元仮想空間に対応付けられた立体表示装置から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する仮想カメラ位置・方向算出手段、
    この仮想カメラ位置・方向算出手段で算出された仮想カメラの位置および撮影方向を基準として、前記3次元形状モデルを所定画角の画像平面に投影変換することで、前記3次元形状モデルを仮想的に撮影した仮想撮影画像を生成する仮想カメラ撮影画像生成手段、
    この仮想カメラ撮影画像生成手段で生成された仮想撮影画像の中心画素の画素値を、前記仮想カメラの位置および撮影方向における前記ピンホール位置に対応する画素の画素値とする画素値決定手段、として機能させ、
    前記画素値決定手段は、前記仮想撮影画像を前記ピンホールごとの所定領域に区分した区分領域ごとに画素値を平均化することで、前記ピンホール位置に対応する画素の画素値を算出することを特徴とする立体像生成プログラム。
JP2008011694A 2008-01-22 2008-01-22 立体像生成装置、その方法およびそのプログラム Expired - Fee Related JP4928476B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008011694A JP4928476B2 (ja) 2008-01-22 2008-01-22 立体像生成装置、その方法およびそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008011694A JP4928476B2 (ja) 2008-01-22 2008-01-22 立体像生成装置、その方法およびそのプログラム

Publications (2)

Publication Number Publication Date
JP2009175866A true JP2009175866A (ja) 2009-08-06
JP4928476B2 JP4928476B2 (ja) 2012-05-09

Family

ID=41030912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008011694A Expired - Fee Related JP4928476B2 (ja) 2008-01-22 2008-01-22 立体像生成装置、その方法およびそのプログラム

Country Status (1)

Country Link
JP (1) JP4928476B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191645A (ja) * 2010-03-16 2011-09-29 Nippon Hoso Kyokai <Nhk> 分割三次元オブジェクトデータ抽出装置、要素画像生成装置、分割三次元オブジェクトデータ抽出プログラム、および要素画像生成プログラム
JP2011234142A (ja) * 2010-04-28 2011-11-17 Nippon Hoso Kyokai <Nhk> 立体像生成装置およびそのプログラム
JP2015002535A (ja) * 2013-06-18 2015-01-05 日本放送協会 画像生成装置およびプログラム
JP2016224656A (ja) * 2015-05-29 2016-12-28 日本放送協会 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム
JP2017073710A (ja) * 2015-10-08 2017-04-13 日本放送協会 要素画像群生成装置及びそのプログラム
JP2018067750A (ja) * 2016-10-17 2018-04-26 日本放送協会 要素画像生成装置およびそのプログラム
CN110412770A (zh) * 2019-07-28 2019-11-05 成都工业学院 无串扰的均匀分辨率集成成像3d显示装置
JP2019535150A (ja) * 2016-07-15 2019-12-05 ライト フィールド ラボ、インコーポレイテッド ホログラフィック感覚データ生成、操作および伝送システムおよび方法
JP2021048459A (ja) * 2019-09-17 2021-03-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11650354B2 (en) 2018-01-14 2023-05-16 Light Field Lab, Inc. Systems and methods for rendering data from a 3D environment
WO2024190107A1 (ja) * 2023-03-16 2024-09-19 マクセル株式会社 空中浮遊映像表示装置およびキャラクター表示装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287592A (ja) * 2005-03-31 2006-10-19 Namco Bandai Games Inc 画像生成装置、電子機器、画像生成方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287592A (ja) * 2005-03-31 2006-10-19 Namco Bandai Games Inc 画像生成装置、電子機器、画像生成方法及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191645A (ja) * 2010-03-16 2011-09-29 Nippon Hoso Kyokai <Nhk> 分割三次元オブジェクトデータ抽出装置、要素画像生成装置、分割三次元オブジェクトデータ抽出プログラム、および要素画像生成プログラム
JP2011234142A (ja) * 2010-04-28 2011-11-17 Nippon Hoso Kyokai <Nhk> 立体像生成装置およびそのプログラム
JP2015002535A (ja) * 2013-06-18 2015-01-05 日本放送協会 画像生成装置およびプログラム
JP2016224656A (ja) * 2015-05-29 2016-12-28 日本放送協会 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム
JP2017073710A (ja) * 2015-10-08 2017-04-13 日本放送協会 要素画像群生成装置及びそのプログラム
US11874493B2 (en) 2016-07-15 2024-01-16 Light Field Lab, Inc. System and methods of universal parameterization of holographic sensory data generation, manipulation and transport
JP2019535150A (ja) * 2016-07-15 2019-12-05 ライト フィールド ラボ、インコーポレイテッド ホログラフィック感覚データ生成、操作および伝送システムおよび方法
JP7279283B2 (ja) 2016-07-15 2023-05-23 ライト フィールド ラボ、インコーポレイテッド ホログラフィック感覚データ生成、操作および伝送システムおよび方法
JP2018067750A (ja) * 2016-10-17 2018-04-26 日本放送協会 要素画像生成装置およびそのプログラム
US11650354B2 (en) 2018-01-14 2023-05-16 Light Field Lab, Inc. Systems and methods for rendering data from a 3D environment
CN110412770A (zh) * 2019-07-28 2019-11-05 成都工业学院 无串扰的均匀分辨率集成成像3d显示装置
CN110412770B (zh) * 2019-07-28 2024-04-05 成都航空职业技术学院 无串扰的均匀分辨率集成成像3d显示装置
JP2021048459A (ja) * 2019-09-17 2021-03-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7395296B2 (ja) 2019-09-17 2023-12-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2024190107A1 (ja) * 2023-03-16 2024-09-19 マクセル株式会社 空中浮遊映像表示装置およびキャラクター表示装置

Also Published As

Publication number Publication date
JP4928476B2 (ja) 2012-05-09

Similar Documents

Publication Publication Date Title
JP4928476B2 (ja) 立体像生成装置、その方法およびそのプログラム
CN102164298B (zh) 全景成像系统中基于立体匹配的元素图像获取方法
JP5456020B2 (ja) 情報処理装置および方法
CN101729920B (zh) 一种自由视角立体视频显示方法
JP4489610B2 (ja) 立体視可能な表示装置および方法
JP5522794B2 (ja) 立体像生成装置およびそのプログラム
JP6406853B2 (ja) 光フィールド映像を生成する方法及び装置
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
JP2011081272A (ja) 画像表示装置および画像表示方法
JP5452801B2 (ja) 立体像生成装置およびそのプログラム
JP2006162945A (ja) 立体視表示装置
JP2011141381A (ja) 立体画像表示装置及び立体画像表示方法
JP4523538B2 (ja) 立体映像撮影表示装置
KR101634225B1 (ko) 다시점 입체 영상 보정 장치 및 방법
CN106851246B (zh) 用于确定三维图像或视频的视觉疲劳度的方法和设备
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
JP7324605B2 (ja) 立体画像生成装置及びそのプログラム
TWI508526B (zh) 產生視角平移影像之方法及其可攜式電子設備
JP2011182003A (ja) パノラマカメラ及び360度パノラマ立体映像システム
JPH08116556A (ja) 画像処理方法および装置
JP5243359B2 (ja) 立体画像生成システムおよびプログラム
JP6768431B2 (ja) 画像生成装置及びプログラム
KR101883883B1 (ko) 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법
JP6543096B2 (ja) 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム
JP2019185283A (ja) 3次元モデル生成装置及びそのプログラム、並びに、ip立体像表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4928476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees