JP2002112094A - パノラマプロジェクタ装置およびパノラマ撮影装置 - Google Patents

パノラマプロジェクタ装置およびパノラマ撮影装置

Info

Publication number
JP2002112094A
JP2002112094A JP2000297092A JP2000297092A JP2002112094A JP 2002112094 A JP2002112094 A JP 2002112094A JP 2000297092 A JP2000297092 A JP 2000297092A JP 2000297092 A JP2000297092 A JP 2000297092A JP 2002112094 A JP2002112094 A JP 2002112094A
Authority
JP
Japan
Prior art keywords
image
optical system
wide
panoramic
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000297092A
Other languages
English (en)
Other versions
JP4423777B2 (ja
Inventor
Nobutatsu Nakamura
暢達 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000297092A priority Critical patent/JP4423777B2/ja
Publication of JP2002112094A publication Critical patent/JP2002112094A/ja
Application granted granted Critical
Publication of JP4423777B2 publication Critical patent/JP4423777B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 全周囲投影可能なパノラマプロジェクタ装置
において、一台の投影装置で広視野に投影しながら、任
意の領域を高精細に表示するパノラマプロジェクタ装置
を提供する。また、一台の撮影装置で全周囲を撮影しな
がら、撮影領域の一部を高精細に撮像するパノラマ撮影
装置を提供する。 【解決手段】 一台の投影機を有し、投影機は、広視野
映像をパノラマスクリーンに投影する広視野映像投影光
学系と、広視野映像よりも詳細な解像度の詳細映像をパ
ノラマスクリーンの任意の領域に投影する詳細映像投影
光学系と、詳細映像投影光学系を制御し、詳細映像を投
影する領域を制御する投影方向制御部と、広視野映像と
詳細映像を補正する投影映像処理部と、を有する。ま
た、パノラマ撮影装置は、この投影機をカメラに変更す
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、パノラマプロジェ
クタ装置およびパノラマ撮影装置に関する。
【0002】
【従来の技術】従来、パノラマ映像等の広視野映像を投
影する装置としては、プラネタリウム等の全周投影機が
知られている。例えば、特開昭59−31994号公報
に開示されたパノラマ投影装置は、双曲面鏡等の凸面鏡
を用いることで、投影方向を全周囲に反射し、広視野映
像投影を実現している。
【0003】
【発明が解決しようとする課題】しかしながら、上記従
来技術によれば、一台のプロジェクタ装置で全周囲映像
を表示するため、解像度が粗くなり、高精細な映像を表
示することは困難であった。また、上記従来技術によれ
ば、投射光の中心部は、双曲面鏡でスクリーンとは正反
対のカメラ方向に反射されてしまうため、スクリーンに
投影されず、無駄になってしまう。
【0004】これに対し、複数のプロジェクタ装置を用
いることで、全周囲に高精細な映像を表示する技術が、
特開平8−168039号公報、特開平8−30773
5号公報、特開平9−197582号公報などに記載さ
れているが、装置が大きくなり、また複数のプロジェク
タ装置の投影映像間での調整が困難となってしまうとい
う問題点を有している。
【0005】これらの問題点は、パノラマ画像を撮影す
る撮影機についても当てはまることである。
【0006】本発明は、上記問題点に鑑みなされたもの
であり、全周囲投影可能なパノラマプロジェクタ装置に
おいて、一台の投影装置で広視野に投影しながら、任意
の領域を高精細に表示するパノラマプロジェクタ装置を
提供することを目的とする。また、一台の撮影装置で全
周囲を撮影しながら、撮影領域の一部を高精細に撮像す
るパノラマ撮影装置を提供することを目的とする。
【0007】
【課題を解決するための手段】かかる目的を達成するた
めに、請求項1記載のパノラマプロジェクタ装置の発明
は、一台の投影機を有するパノラマプロジェクタ装置で
あって、投影機は、広視野映像をパノラマスクリーンに
投影する広視野映像投影光学系と、広視野映像よりも詳
細な解像度の詳細映像をパノラマスクリーンの任意の領
域に投影する詳細映像投影光学系と、詳細映像投影光学
系を制御し、詳細映像を投影する領域を制御する投影方
向制御部と、パノラマスクリーンに広視野映像投影光学
系、および詳細映像投影光学系が投影する映像を処理・
補正し、パノラマスクリーンに歪みなく正常に映像を表
示させる投影映像処理部と、を有することを特徴として
いる。
【0008】請求項2記載の発明は、請求項1のパノラ
マプロジェクタ装置において、広視野映像投影光学系
は、投影機の光軸と一致する中心軸を有する環状鏡を有
し、環状鏡は、広視野映像をパノラマスクリーン方向に
拡大投影する光学系を有することを特徴としている。
【0009】請求項3記載の発明は、請求項1のパノラ
マプロジェクタ装置において、広視野映像投影光学系
は、投影機の光軸と一致する中心軸を有する複数の環状
鏡を有し、広視野映像は、環状鏡の内、少なくとも2以
上に反射され、パノラマスクリーンに拡大投影されるこ
とを特徴としている。
【0010】請求項4記載の発明は、請求項1のパノラ
マプロジェクタ装置において、広視野映像投影光学系
は、広視野レンズを有し、広視野レンズは、広視野映像
をパノラマスクリーン方向に拡大投影する光学系を有す
ることを特徴としている。
【0011】請求項5記載の発明は、請求項1から4の
いずれか1のパノラマプロジェクタ装置において、詳細
映像投影光学系は、投影機の光軸及び光軸に垂直な軸の
少なくとも1の軸を回転軸とし回転可能な回転鏡を有
し、回転鏡は、詳細映像を、パノラマスクリーンの任意
の領域に投影する光学系を有し、投影方向制御部は、回
転鏡の回転位置を制御し、詳細映像をパノラマスクリー
ンの任意の領域に投影させることを特徴としている。
【0012】請求項6記載の発明は、請求項1から4の
いずれか1のパノラマプロジェクタ装置において、利用
者から詳細映像を投影する領域を入力される入力装置部
と、入力装置部から入力された入力信号から、詳細映像
をパノラマスクリーンに投影する位置座標を解析する操
作解析部と、をさらに有し、詳細映像投影光学系は、投
影機の光軸及び光軸に垂直な軸の少なくとも1の軸を回
転軸とし回転可能な回転鏡を有し、回転鏡は、詳細映像
を、パノラマスクリーンの任意の領域に投影する光学系
を有し、投影方向制御部は、回転鏡の回転位置を、操作
解析部により解析された位置座標に詳細映像を投影可能
な位置に制御することを特徴としている。
【0013】請求項7記載の発明は、請求項5のパノラ
マプロジェクタ装置において、詳細映像を投影するパノ
ラマスクリーン上の位置座標を時間毎に記憶する記憶手
段をさらに有し、詳細映像投影光学系は、投影機の光軸
及び光軸に垂直な軸の少なくとも1の軸を回転軸とし回
転可能な回転鏡を有し、回転鏡は、詳細映像を、パノラ
マスクリーンの任意の領域に投影する光学系を有し、投
影方向制御部は、回転鏡の回転位置を、詳細映像を記憶
手段に記憶されたパノラマスクリーン上の位置座標に投
影可能な位置に制御することを特徴としている。
【0014】請求項8記載のパノラマ撮影装置は、一台
のカメラを有するパノラマ撮影装置であって、パノラマ
撮影装置は、広視野映像を撮影する広視野映像撮影光学
系と、任意の領域を、広視野映像よりも詳細な解像度の
詳細映像として撮影する詳細映像撮影光学系と、詳細映
像撮影光学系を制御し、詳細映像を撮影する領域を制御
する撮影方向制御部と、広視野映像撮影光学系と、詳細
映像撮影光学系の撮影映像を歪みなく正常なものとする
撮影映像処理部と、を有することを特徴としている。
【0015】請求項9記載の発明は、請求項8のパノラ
マ撮影装置において、広視野映像撮影光学系は、カメラ
の光軸と一致する中心軸を有する環状鏡を有し、環状鏡
は、周辺映像をカメラに縮小投影する光学系を有するこ
とを特徴としている。
【0016】請求項10記載の発明は、請求項8のパノ
ラマ撮影装置において、広視野映像撮影光学系は、カメ
ラの光軸と一致する中心軸を有する複数の環状鏡を有
し、広視野映像は、環状鏡の内、少なくとも2以上に反
射され、カメラに縮小投影されることを特徴としてい
る。
【0017】請求項11記載の発明は、請求項8のパノ
ラマ撮影装置において、広視野映像撮影光学系は、広視
野レンズを有し、広視野レンズは、広視野映像をカメラ
に縮小投影する光学系を有することを特徴としている。
【0018】請求項12記載の発明は、請求項8から1
1のいずれか1のパノラマ撮影装置において、詳細映像
撮影光学系は、カメラの光軸及び光軸に垂直な軸の少な
くとも1の軸を回転軸とする回転可能な回転鏡を有し、
回転鏡は、詳細映像を、カメラに縮小投影する光学系を
有し、撮影方向制御部は、回転鏡の回転位置を制御する
ことを特徴としている。
【0019】請求項13記載の発明は、請求項8から1
1のいずれか1のパノラマ撮影装置において、利用者か
ら詳細映像を撮影する領域の位置を入力される入力装置
部と、入力装置部から入力された入力信号から、詳細映
像を撮影する領域の位置座標を解析する操作解析部と、
をさらに有し、詳細映像撮影光学系は、カメラの光軸及
び光軸に垂直な軸の少なくとも1の軸を回転軸とする回
転可能な回転鏡を有し、回転鏡は、詳細映像を、カメラ
に縮小投影する光学系を有し、撮影方向制御部は、回転
鏡の回転位置を、操作解析部の解析結果に従い制御する
ことを特徴としている。
【0020】請求項14記載の発明は、請求項8から1
1のいずれか1のパノラマ撮影装置において、詳細映像
を撮影する位置座標を記憶する記憶手段をさらに有し、
詳細映像撮影光学系は、カメラの光軸及び光軸に垂直な
軸の少なくとも1の軸を回転軸とする回転可能な回転鏡
を有し、回転鏡は、詳細映像を、カメラに縮小投影する
光学系を有し、撮影方向制御部は、回転鏡の回転位置
を、記憶手段に記憶された位置座標に従い、時間毎に制
御することを特徴としている。
【0021】
【発明の実施の形態】以下、本発明の実施の形態を添付
図面を参照しながら詳細に説明する。本発明によるパノ
ラマプロジェクタ装置、およびパノラマ撮影装置は、従
来技術による全周投影機等で利用されている凸面鏡また
は凹レンズ系の拡大光学系とは別に、一台の投影映像に
対して回転鏡等を用いて投影方向を変更制御可能とする
機構を設ける。
【0022】[パノラマプロジェクタ装置]本発明に係
るパノラマプロジェクタ装置は、一台の投影機を有し、
この投影機は、広視野映像をパノラマスクリーンに投影
する広視野映像投影光学系と、広視野映像よりも詳細な
解像度の詳細映像をパノラマスクリーンの任意の領域に
投影する詳細映像投影光学系と、詳細映像投影光学系を
制御し、詳細映像を投影する領域を制御する投影方向制
御部と、パノラマスクリーンに広視野映像投影光学系、
および詳細映像投影光学系が投影する映像を処理し、パ
ノラマスクリーンに歪みなく正常に映像を表示させる投
影映像処理部と、を有する。
【0023】上記広視野映像投影光学系は、パノラマス
クリーンの全体、または全域に、背景映像である広視野
映像を投影する光学系である。上記詳細映像投影光学系
は、パノラマスクリーンの任意の領域に、上記広視野映
像よりも高画質の映像を投影する光学系である。このよ
うに、このプロジェクタ装置は、パノラマスクリーン全
体に映像を投影するとともに、任意の領域を詳細映像を
投影することができるため、利用者が注目する領域には
高画質な映像を投影するパノラマ画像を提供することが
可能となる。また、このようなパノラマ画像を一台の投
影機で実現することが可能となる。なお、上記広視野映
像の内、上記詳細映像を投影する領域については、この
領域を削除したり、黒塗りにしてもよい。
【0024】また、投影方向制御部は、詳細映像を投影
するパノラマプロジェクタ上の位置座標を制御する。こ
れにより、詳細映像を投影する位置は、固定されること
なく、任意に変更可能なものとなる。さらに、投影映像
処理部を設けることで、上記広視野映像や詳細映像を、
パノラマスクリーンの形状などにあわせて、補正し、歪
みのない映像を利用者に提供することを可能としてい
る。これは、従来技術を用いて実現することができる。
以下、第一のパノラマプロジェクタ装置について、詳述
する。
【0025】(第1のパノラマプロジェクタ装置)図1
は、本発明の第一のパノラマプロジェクタ装置の構成を
示す構成図である。図1によれば、この第一のパノラマ
プロジェクタ装置は、液晶プロジェクタ等の投影機1
と、環状鏡2と、回転鏡3と、投影方向制御部4と、投
影映像処理部5と、パノラマスクリーン6と、を有す
る。
【0026】環状鏡2は、中心軸が投影機1の光軸と一
致するように設置される広視野映像投影光学系の一部で
ある。投影機1の投影光の一部は、環状鏡2によってパ
ノラマスクリーン6全体、または全域に投影される。環
状鏡2の形状は、パノラマスクリーン6に映像を投影し
たときに生じる歪みの補正が容易なように設計する。例
えば、パノラマスクリーン6が投影機の光軸を中心軸と
する円筒型上である場合、双曲面形状の環状鏡2とす
る。この場合、投影機1に入力する映像は、映像中心を
極座標中心とした、線形の極座標系の映像とすればよ
い。なお、投影映像を生成する際の映像変換処理で、投
影機1と、環状鏡2と、パノラマスクリーン6と、の光
学系をシミュレートして入力映像を補正することで、任
意形状の環状鏡2または/および任意形状のパノラマス
クリーン6に対応することが可能となる。
【0027】回転鏡3は、投影機1の光軸、および光軸
に垂直な1の軸の少なくとも1の軸に関して回転可能な
反射鏡で、詳細映像投影光学系の一部である。この回転
中心は、光軸上になるよう設置される。鏡の方向は、投
影方向制御部4で変更制御され、パノラマスクリーン6
の一部に、環状鏡2によって反射投影された広視野映像
と重ねて映像を表示する。投影映像は、光軸周りの回転
により、パン方向の移動が可能であり、もう一方の軸に
関する回転によってチルト方向の移動が可能である。
【0028】この回転鏡3に反射された映像は、前記広
視野映像よりも高画質・高精細な映像となる。すなわ
ち、回転鏡3からの反射投影は、環状鏡2からの反射映
像と比較して、拡大率が小さく設定されるからである。
回転鏡3および投影方向制御部4は、公知の技術を用い
ることができる。また、2軸制御も、公知の手法を用い
ることができる。
【0029】環状鏡2は、回転中心部が開口しているも
のとする。これにより、一台の投影機1から照射された
投影光は、環状鏡2と回転鏡3にそれぞれ反射し、パノ
ラマスクリーン6に投影される。すなわち、光軸の中心
投影領域(詳細映像を投影する領域)は、回転鏡3によ
り反射され、周辺投影領域は、環状鏡2で反射される。
この中心投影領域は、前記したように周辺領域(広視野
映像を投影する領域)と比較して高精細な映像が投影さ
れ、利用者の注視する周辺領域の映像に利用される。一
方、周辺領域は、パノラマスクリーン全体の広視野映像
の投影が投影され、背景領域の映像に利用される。この
ように、2つの光学系に対応した投影映像を生成する処
理を投影映像処理部5で行う。この処理を、図2を参照
しながら説明する。
【0030】投影映像処理部5は、映像が入力されると
(ステップS110)、これに詳細映像生成処理(ステ
ップS130)と、背景映像生成処理(ステップS12
0)とを施す。なお、投影される映像は、実際に撮影し
て得られた撮影映像であってもよく、コンピュータで作
成されたCG映像であってもよく、また、他の映像であ
ってもよい。また、背景映像生成処理(ステップS12
0)と詳細映像生成処理(ステップS130)とを行う
順番は問わない。図2には、処理時間を短縮するため、
並列処理する場合のフローを示す。まず、背景映像生成
処理(広視野映像生成処理;ステップS120)につい
て説明する。
【0031】背景映像生成処理(ステップS120)に
おいては、投影映像処理部5は、まず、入力映像から背
景映像領域(広視野映像を投影する領域)を抽出し(ス
テップS121)、これを環状鏡2の光学系に対応した
座標系に変換する(ステップS122)。この座標変換
には、歪み補正を含むようにしてもよい。この歪みの補
正は、公知の方法を用いて行うことができる。
【0032】なお、図2に示すように、背景映像中で詳
細領域と重なる部分を黒抜きにするようにしてもよい
(ステップS123)。これにより、詳細領域と重なる
部分が黒抜きされて表示されなくなり、詳細領域と重畳
表示したときに生じるずれを回避することが可能とな
る。次に、詳細映像生成処理(ステップS130)につ
いて説明する。
【0033】詳細映像生成処理(ステップS130)に
おいては、投影映像処理部5は、まず、投影方向メモリ
から投影方向情報を読み出す(ステップS131)。
【0034】次いで、この投影方向に光軸が交差するよ
う、回転鏡を制御したときの詳細領域のスクリーン形状
を算出する。これは、スクリーン形状データを読み込み
(ステップS132)、投影機のレンズ中心を原点と
し、光軸をz軸とし、xy軸を投影映像のxy軸とする
座標変換を行う(ステップS133)ことで得られる。
【0035】入力映像から詳細領域を抽出した後(ステ
ップS134)、映像を補正する(ステップS13
5)。すなわち、スクリーン形状が光軸に垂直な平面で
ない場合、ゆがんだ映像が投影されてしまうため、公知
の方法で映像を補正する。例えば、この歪み補正の計算
には、スクリーン形状とレンズ焦点距離等の投影機の内
部パラメータを用いる。
【0036】上記注視点の座標から、投影方向制御部4
のための回転鏡制御パラメータを求め、投影方向制御部
4に回転鏡3を制御させる(ステップS140)。
【0037】投影映像処理部5は、詳細映像生成処理に
より生成された注視点領域映像(詳細映像)と、背景映
像生成処理により生成された背景領域映像(広視野映
像)と、を結合し、1の投影機から投影する1枚の映像
を生成する(ステップS150)。
【0038】このように、一台の投影機で、背景映像で
ある広視野映像をパノラマスクリーン全体、または全域
に投影するとともに、投影方向制御部に制御された回転
鏡により、詳細映像がパノラマスクリーン上の任意の領
域に投影されるため、パノラマ映像を提供し、かつ、利
用者が注視する領域は高精細な映像を投影することを可
能としている。また、前記したように、公知の方法を用
いて歪みなどの補正を行うことで、より精細なパノラマ
画像を提供することを可能としている。
【0039】なお、広視野映像投影光学系は、複数の鏡
を用いて構成するようにしてもよい。この構成を、図3
を用いて説明する。このパノラマプロジェクタ装置は、
上記広視野映像投影光学系が投影機の光軸と一致する中
心軸を有する複数の環状鏡を有し、広視野映像が環状鏡
の内、少なくとも2以上に反射され、パノラマスクリー
ンに拡大投影されるものである。
【0040】すなわち、上記パノラマプロジェクタ装置
は、投影機1からの投影光をまず第一の鏡11で反射さ
せ、この反射光を環状鏡12で反射させることで、図1
に示す環状鏡3と同様に、広視野映像をパノラマスクリ
ーン全体、または全域に投影する効果を実現する。この
ように、複数の鏡を用いることで、投影機1からパノラ
マスクリーン6までの光学距離を長くとることが可能と
なり、より広視野の背景映像を得ることが可能となる。
そのため、投影映像において、背景画像(広視野映像)
に割り当てる領域を小さくし、詳細映像に割り当てる領
域を大きくすることが可能となる。すなわち、詳細映像
は、より高精細な画像となる。なお、ここでは、広視野
映像は、鏡2枚に反射されパノラマスクリーンに投影さ
れる形態を示したが、本発明は、これに限定されるもの
ではない。
【0041】ここで、第1の鏡11の中心部は、開口し
ており、この開口部を通り回転鏡4に入射した映像がパ
ノラマスクリーン上の任意の領域に投影されることは、
前記同様に行うことができる。
【0042】また、図4に示すように、魚眼レンズ等の
広視野レンズ13を用いることで、図1に示す環状鏡3
と同様の効果を実現することが可能となる。すなわち、
魚眼レンズなどの広視野レンズ13により、広視野映像
をパノラマスクリーン方向に拡大投影する光学系を用
い、広視野映像をパノラマスクリーン全体、または全域
に投影する。また、詳細映像は、前記同様、回転鏡4を
用いた光学系により投影される。このように広視野レン
ズを用いることで、光学装置の部品数(広視野映像投影
光学系の部品数)を少なくすることが可能となり、パノ
ラマスクリーン装置の小型化を図ることが可能となる。
【0043】(第2のパノラマプロジェクタ装置)次
に、本発明の第2の実施の形態におけるパノラマプロジ
ェクタ装置について、図面を参照しながら説明する。図
5によれば、この第2のパノラマプロジェクタ装置は、
上記第1のパノラマプロジェクタ装置に入力装置部21
と操作解析部22とが付加されている。
【0044】入力装置部21は、利用者30から入力さ
れる信号を操作解析部22に入力する。この信号は、詳
細映像を投影するパノラマスクリーン上の領域に関する
信号である。入力装置部21としては、利用者30が指
示を的確に入力できるもの、すなわち、詳細映像を投影
する領域を的確に指示できるものであれば特に限定され
ない。例えば、図5にあるような頭部に装着可能な磁気
センサ等の頭部方向検出装置である頭部搭載磁気センサ
31、カメラを用いた視線検出装置である視線検出器3
2、リモコン33等としてもよい。このように、利用者
の行動に対して自動的に注視点領域の位置(詳細映像の
投影領域)を変更可能な装置を用いることで、自然な操
作を実現可能となる。
【0045】操作解析部22の動作を、図6を参照しな
がら詳細に説明する。操作解析部22は、初期状態にお
いて、入力装置部21から操作イベント(信号)が入力
されるか監視する(ステップS121)。操作イベント
(信号)が入力された場合(ステップS121/YE
S)、発生したイベントに従って回転鏡3の回転方向が
保持されている投影方向メモリの値を更新する(ステッ
プS202)。この投影方向メモリは、例えば、投影方
向制御部4内にあり、投影方向制御部4は、このメモリ
に保持された位置に回転鏡3を回転させる。上記操作イ
ベント(信号)は、あらかじめ定められた詳細映像の投
影方向の中から利用者が選択した方向に関するものとし
てもよく、詳細映像を投影する方向に関するものとして
もよい。また、上記投影方向メモリには、詳細映像を投
影する方向を格納するようにしてもよく、また、詳細映
像の投影方向から計算された回転鏡3の回転位置を格納
するようにしてもよい。投影映像処理部5は、ステップ
S131における投影方向抽出処理において、ステップ
S202で更新された投影方向メモリの投影方向情報を
読み出す。
【0046】このように、第2の実施の形態では、利用
者の操作に対応して詳細映像領域の位置を対話的に変更
することが可能となり、利用者が希望する領域を高精細
に表示可能となる。
【0047】(第3のパノラマプロジェクタ装置)次
に、本発明の第3の実施の形態におけるパノラマプロジ
ェクタ装置について、図面を参照しながら説明する。図
7は、この第3のパノラマプロジェクタ装置の構成を示
す構成図である。図7に示すように、この第3のパノラ
マプロジェクタ装置は、上記第2のパノラマプロジェク
タ装置において、入力装置部21と利用者指示位置抽出
部22の代わりに、投影方向更新プログラム実行部41
を有する。以下、この動作を、図8を参照しながら説明
する。
【0048】投影方向更新プログラム実行部41は、詳
細映像を投影する領域を、時間毎に記憶している。これ
は、データであってもよく、プログラムであってもよ
い。以下、詳細映像を投影する領域を時間毎に指定する
プログラムが投影方向更新プログラム実行部41が参照
するものとして説明する。
【0049】投影方向更新プログラム実行部41は、ま
ず、このプログラムを読み込み(ステップS301)、
撮影を開始してから時間を計測する(ステップS30
2)。なお、この時間は、撮影を開始してからの時間に
限定されず、例えば、所定の時刻から計測を始めてもよ
い。
【0050】次いで、投影方向制御部4の詳細映像を投
影する方向を、時間毎に制御する(ステップS30
3)。これは、投影方向制御部4が詳細映像を投影する
方向を記憶する投影方向メモリを更新することで行うよ
うにしてもよい。上記処理を、プログラムが終了するま
で行う(ステップS304)。
【0051】なお、前記したように撮影を開始してから
の時間毎に詳細映像を投影する領域を決めるのではな
く、所定の時刻毎に領域を決めるようにしてもよい。
【0052】このように、第3の実施の形態では、詳細
映像を投影する領域を、自動的に動かすことが可能とな
る。以下、パノラマ撮影装置について説明する。
【0053】[パノラマ撮影装置]本発明に係るパノラ
マ撮影装置は、一台のカメラを有するパノラマ撮影装置
であって、パノラマ撮影装置は、広視野映像を撮影する
広視野映像撮影光学系と、任意の領域を、広視野映像よ
りも詳細な解像度の詳細映像として撮影する詳細映像撮
影光学系と、詳細映像撮影光学系を制御し、詳細映像を
撮影する領域を制御する撮影方向制御部と、広視野映像
撮影光学系と、詳細映像撮影光学系の撮影映像を歪みな
く正常なものとする撮影映像処理部と、を有する。
【0054】上記カメラは、上記パノラマプロジェクタ
装置における撮影機の位置に配置される。上記広視野映
像撮影光学系は、上記パノラマプロジェクタ装置におけ
る広視野映像投影光学系に対応する。ただし、広視野映
像投影光学系は、カメラから投影された広視野映像をパ
ノラマスクリーン方向に拡大投影する光学系であったの
に対し、広視野映像撮影光学系は、周辺映像(背景映
像)である広視野映像を反射し、カメラに縮小入力する
光学系である点で異なる。上記詳細映像撮影光学系は、
上記パノラマプロジェクタ装置における詳細映像投影光
学系に対応する。ただし、詳細映像投影光学系は、カメ
ラから投影された詳細映像をパノラマスクリーン上の任
意の領域に拡大投影する光学系であったのに対し、詳細
映像撮影光学系は、周辺映像の内、詳細に撮影する領域
の映像をカメラに縮小投影する光学系である。上記撮影
方向制御部は、上記投影方向制御部に対応する。ただ
し、投影方向制御部は、詳細映像を投影する領域を制御
するのに対し、撮影方向制御部は、詳細な映像を撮影す
る方向を制御する。上記撮影映像処理部は、上記投影映
像処理部に対応する。ただし、投影映像処理部は、パノ
ラマスクリーンに投影する映像を補正処理するのに対
し、撮影映像処理部は、カメラに入力された映像を補正
処理する。
【0055】このような構成を採用することで、一台の
カメラで、背景映像(周辺映像、広視野映像)を撮影す
るとともに、任意の領域をより高精細な画像として撮影
することが可能となる。以下、詳述する。
【0056】(第1のパノラマ撮影装置)図9は、第1
のパノラマ撮影装置の構成を示す図である。図9によれ
ば、この第1のパノラマ撮影装置は、上記第1のパノラ
マプロジェクタ装置における投影機1の代わりにカメラ
51が、投影方向制御部4の代わりに撮影方向制御部5
4が、投影映像処理部5の代わりに映像取り込み部55
が、設けられ、さらに、映像取り込み部55に詳細映像
出力部56と広視野映像出力部57とを有する。
【0057】環状鏡2は、広視野映像をカメラ51に縮
小投影する広視野映像撮影光学系の一部である。回転鏡
3は、詳細映像をカメラ51に縮小投影する詳細映像撮
影光学系の一部である。環状鏡2、および回転鏡3は、
上述したパノラマプロジェクタ装置のものと同様であ
る。従って、回転鏡3に反射され入力された映像は、環
状鏡2に反射され入力された映像よりも高精細なものと
なる。また、環状鏡2は、上記同様、中央部が開口し、
回転鏡3に反射された詳細映像がカメラに入力可能なよ
うに加工される。
【0058】映像取り込み部55は、カメラ51に入力
された映像を取り込み、広視野映像出力部57と詳細映
像出力部56に入力する。この入力される映像は、環状
鏡2に反射され縮小された広視野映像と、回転鏡3に反
射され縮小された詳細映像である。詳細映像出力部56
は、この映像から詳細詳細映像(詳細撮影領域)のみを
抽出し、この映像に補正し、また、座標変換処理を施
し、詳細領域の映像を出力する。この補正や座標変換処
理は、公知の方法を用いることができる。広視野映像出
力部57は、上記映像から広視野映像(背景映像領域)
のみを抽出し、この映像に補正し、また、座標変換処理
を施し、広視野映像を出力する。この補正や座標変換処
理は、公知の方法を用いることができる。撮影方向制御
部54は、回転鏡3の方向を、前記した投影方向制御部
4と同様に制御する。これにより、任意の領域(位置)
の詳細映像を撮影することが可能となる。
【0059】このように、第1のパノラマ撮影装置で
は、1台のカメラで、広視野の映像を撮影しながら、そ
の一部分のみを詳細に撮影することを可能とし、また、
この詳細に撮影する領域を移動させることが可能とな
る。
【0060】また、図3を用いて説明したパノラマプロ
ジェクタ装置のように、複数の鏡を用いた光学系として
もよく、図4を用いて説明したパノラマプロジェクタ装
置のように、広視野レンズを用いた光学系としてもよ
い。
【0061】(第2のパノラマ撮影装置)第2のパノラ
マ撮影装置は、上記第2のパノラマプロジェクタ装置と
同様に、上記第1のパノラマ撮影装置に、入力装置部2
1と操作解析部22をさらに有する。これにより、利用
者の操作に対応して、詳細映像を撮影する領域の位置
を、利用者と対話的に変更することが可能となり、利用
者が希望する領域を高精細に撮影することが可能とな
る。
【0062】(第3のパノラマ撮影装置)第3のパノラ
マ撮影装置は、上記第3のパノラマプロジェクタ装置と
同様に、上記第1のパノラマ撮影装置に、投影方向更新
プログラム実行部41と同様の撮影方向更新プログラム
実行部をさらに有する。この撮影方向更新プログラム実
行部は、投影方向更新プログラム実行部41同様、撮影
方向制御部54を制御し、回転鏡3を時間毎に制御する
ことで、詳細な映像を撮影する領域を時間毎に動かすこ
とを可能としている。
【0063】
【発明の効果】以上の説明から明らかなように、本発明
によれば、一台の投影機で、広視野の映像を投影しなが
ら、その任意の領域を詳細に表示することが可能とな
る。これは、投影映像の中心領域(詳細映像の領域)
は、パノラマスクリーンの任意の部分に投影されるのに
対し、投影映像の周辺領域は、環状鏡でパノラマスクリ
ーンの全体に投影されるからである。
【0064】また、回転鏡の制御状態、パノラマスクリ
ーンの形状、投影機の位置に応じて投影映像を補正・生
成可能にしたことで、歪みのない正常な映像を利用者に
提供することが可能となる。
【0065】本発明によれば、一台の投影機で、広視野
の映像を投影しながら、利用者の指示するパノラマスク
リーン上の任意の領域に詳細な映像を投影することが可
能となる。これは、利用者が操作する入力処理部からの
利用者の指示に応じて、回転鏡を制御し、また映像を補
正して投影しているためである。
【0066】本発明によれば、一台の投影機で、広視野
の映像を投影しながら、任意の領域には詳細な映像を投
影することが可能となり、また、この任意の領域を、時
間毎に、あらかじめ定めることで、詳細映像を投影する
領域を、自動的に移動させることを可能としている。
【0067】また、本発明によれば、一台のカメラで、
広視野の映像を撮影しながら、任意の領域を詳細に撮影
することが可能となる。これは、撮影映像の中心領域
(詳細映像の領域)を回転鏡を用いて撮影し、周辺領域
(広視野映像の領域)を環状鏡を用いて撮影するためで
ある。また、回転鏡の制御状態、カメラの光学系などに
応じて、撮影映像を補正・生成するため、歪みのない正
常な映像を得ることが可能となる。
【0068】本発明によれば、一台のカメラで、広視野
の映像を撮影しながら、利用者が指示する任意の領域を
詳細に撮影することが可能となる。これは、利用者が操
作する入力部を設け、この指示に応じて、回転鏡を制御
し、映像を補正するからである。
【0069】本発明によれば、一台のカメラで、広視野
の映像を撮影しながら、任意の領域に詳細な映像を投影
し、かつ、この領域を時間的に移動することが可能とな
る。これは、詳細映像を撮影する領域を時間毎に記憶
し、これに基づいて回転鏡を制御し、映像を補正するか
らである。
【図面の簡単な説明】
【図1】本発明による第一の実施の形態におけるパノラ
マプロジェクタ装置の構成を示す構成図である。
【図2】本発明による第一の実施の形態における投影映
像処理の動作を説明するためのフローチャートである。
【図3】本発明による第一の実施の形態におけるパノラ
マプロジェクタ装置を複数の反射鏡を用いて構成する場
合の構成図である。
【図4】本発明による第一の実施の形態におけるパノラ
マプロジェクタ装置を広視野レンズを用いて構成する場
合の構成図である。
【図5】本発明による第二の実施の形態におけるパノラ
マプロジェクタ装置の構成を示す構成図である。
【図6】本発明による操作解析処理の流れを説明するた
めのフローチャートである。
【図7】本発明による第三の実施の形態におけるパノラ
マプロジェクタ装置の構成を示す構成図である。
【図8】本注視点更新プログラム実行処理の流れを説明
するためのフローチャートである。
【図9】本発明によるパノラマ撮影装置の構成を示す構
成図である。
【符号の説明】
1 投影機(プロジェクタ) 2、12 環状鏡 3 回転鏡 4 投影方向制御部 5 投影映像処理部 6 パノラマスクリーン 11 第1の鏡 13 広視野レンズ 21 入力装置部 22 装置解析部 30 利用者 31 頭部搭載磁気センサ 32 視線検出器 33 リモコン 41 投影方向更新プログラム実行部 51 カメラ 54 投影方向制御部 55 映像取り込み部 56 詳細映像出力部 57 広視野映像出力部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/262 H04N 5/262

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 一台の投影機を有するパノラマプロジェ
    クタ装置であって、 前記投影機は、 広視野映像をパノラマスクリーンに投影する広視野映像
    投影光学系と、 前記広視野映像よりも詳細な解像度の詳細映像を前記パ
    ノラマスクリーンの任意の領域に投影する詳細映像投影
    光学系と、 前記詳細映像投影光学系を制御し、前記詳細映像を投影
    する領域を制御する投影方向制御部と、 前記広視野映像と詳細映像を補正する投影映像処理部
    と、 を有することを特徴とするパノラマプロジェクタ装置。
  2. 【請求項2】 前記広視野映像投影光学系は、 前記投影機の光軸と一致する中心軸を有する環状鏡を有
    し、 前記環状鏡は、 前記広視野映像をパノラマスクリーン方向に拡大投影す
    る光学系を有することを特徴とする請求項1記載のパノ
    ラマプロジェクタ装置。
  3. 【請求項3】 前記広視野映像投影光学系は、 前記投影機の光軸と一致する中心軸を有する複数の環状
    鏡を有し、前記広視野映像を、該環状鏡の内の少なくと
    も2以上に反射して前記パノラマスクリーンに拡大投影
    する光学系を有することを特徴とする請求項1記載のパ
    ノラマプロジェクタ装置。
  4. 【請求項4】 前記広視野映像投影光学系は、 広視野レンズを有し、 前記広視野レンズは、 前記広視野映像をパノラマスクリーン方向に拡大投影す
    る光学系を有することを特徴とする請求項1記載のパノ
    ラマプロジェクタ装置。
  5. 【請求項5】 前記詳細映像投影光学系は、 前記投影機の光軸及び該光軸に垂直な軸の少なくとも1
    の軸を回転軸とする回転鏡を有し、 前記投影方向制御部は、 前記回転鏡の回転位置を制御し、前記詳細映像をパノラ
    マスクリーンの任意の領域に投影させることを特徴とす
    る請求項1から4のいずれか1項に記載のパノラマプロ
    ジェクタ装置。
  6. 【請求項6】 利用者から前記詳細映像を投影する領域
    を指定される入力装置部と、 前記入力装置部から入力された入力信号から、前記詳細
    映像を前記パノラマスクリーンに投影する位置座標を解
    析する操作解析部と、 をさらに有し、 前記詳細映像投影光学系は、 前記投影機の光軸及び該光軸に垂直な軸の少なくとも1
    の軸を回転軸とする回転鏡を有し、 前記投影方向制御部は、 前記回転鏡の回転位置を、前記操作解析部により解析さ
    れた位置座標に前記詳細映像を投影可能な位置に制御す
    ることを特徴とする請求項1から4のいずれか1項に記
    載のパノラマプロジェクタ装置。
  7. 【請求項7】 前記詳細映像を投影するパノラマスクリ
    ーン上の位置座標を時間毎に記憶する記憶手段をさらに
    有し、 前記詳細映像投影光学系は、 前記投影機の光軸及び該光軸に垂直な軸の少なくとも1
    の軸を回転軸とする回転鏡を有し、 前記投影方向制御部は、 前記回転鏡の回転位置を、前記詳細映像を前記記憶手段
    に記憶されたパノラマスクリーン上の位置座標に投影可
    能な位置に制御することを特徴とする請求項1から4の
    いずれか1項に記載のパノラマプロジェクタ装置。
  8. 【請求項8】 一台のカメラを有するパノラマ撮影装置
    であって、 前記パノラマ撮影装置は、 広視野映像を撮影する広視野映像撮影光学系と、 任意の領域を、前記広視野映像よりも詳細な解像度の詳
    細映像として撮影する詳細映像撮影光学系と、 前記詳細映像撮影光学系を制御し、前記詳細映像を撮影
    する領域を制御する撮影方向制御部と、 前記広視野映像と詳細映像を補正する撮影映像処理部
    と、 を有することを特徴とするパノラマ撮影装置。
  9. 【請求項9】 前記広視野映像撮影光学系は、 前記カメラの光軸と一致する中心軸を有する環状鏡を有
    し、前記広視野映像を該環状鏡に反射させて前記カメラ
    に縮小投影する光学系を有することを特徴とする請求項
    8記載のパノラマ撮影装置。
  10. 【請求項10】 前記広視野映像撮影光学系は、 前記カメラの光軸と一致する中心軸を有する複数の環状
    鏡を有し、前記広視野映像を、該環状鏡の少なくとも2
    以上に反射し、前記カメラに縮小投影する光学系を有す
    ることを特徴とする請求項8記載のパノラマ撮影装置。
  11. 【請求項11】 前記広視野映像撮影光学系は、 広視野レンズを有し、 前記広視野レンズは、 前記広視野映像を前記カメラに縮小投影する光学系を有
    することを特徴とする請求項8記載のパノラマ撮影装
    置。
  12. 【請求項12】 前記詳細映像撮影光学系は、 前記カメラの光軸及び該光軸に垂直な軸の少なくとも1
    の軸を回転軸とする回転鏡を有し、 前記撮影方向制御部は、 前記回転鏡の回転位置を制御することを特徴とする請求
    項8から11のいずれか1項に記載のパノラマ撮影装
    置。
  13. 【請求項13】 利用者から詳細映像を撮影する領域の
    位置を入力される入力装置部と、 前記入力装置部から入力された入力信号から、前記詳細
    映像を撮影する領域の位置座標を解析する操作解析部
    と、 をさらに有し、 前記詳細映像撮影光学系は、 前記カメラの光軸及び該光軸に垂直な軸の少なくとも1
    の軸を回転軸とする回転鏡を有し、 前記撮影方向制御部は、 前記回転鏡の回転位置を、前記操作解析部の解析結果に
    従い制御することを特徴とする請求項8から11のいず
    れか1項に記載のパノラマ撮影装置。
  14. 【請求項14】 前記詳細映像を撮影する位置座標を時
    間毎に記憶する記憶手段をさらに有し、 前記詳細映像撮影光学系は、 前記カメラの光軸及び該光軸に垂直な軸の少なくとも1
    の軸を回転軸とする回転鏡を有し、 前記撮影方向制御部は、 前記回転鏡の回転位置を、前記記憶手段に記憶された位
    置座標に従い、前記時間毎に制御することを特徴とする
    請求項8から11のいずれか1項に記載のパノラマ撮影
    装置。
JP2000297092A 2000-09-26 2000-09-26 パノラマプロジェクタ装置およびパノラマ撮影装置 Expired - Fee Related JP4423777B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000297092A JP4423777B2 (ja) 2000-09-26 2000-09-26 パノラマプロジェクタ装置およびパノラマ撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000297092A JP4423777B2 (ja) 2000-09-26 2000-09-26 パノラマプロジェクタ装置およびパノラマ撮影装置

Publications (2)

Publication Number Publication Date
JP2002112094A true JP2002112094A (ja) 2002-04-12
JP4423777B2 JP4423777B2 (ja) 2010-03-03

Family

ID=18779258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000297092A Expired - Fee Related JP4423777B2 (ja) 2000-09-26 2000-09-26 パノラマプロジェクタ装置およびパノラマ撮影装置

Country Status (1)

Country Link
JP (1) JP4423777B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003104891A1 (ja) 2002-06-05 2003-12-18 ソニー株式会社 表示装置および表示方法
WO2006027855A1 (ja) * 2004-09-10 2006-03-16 Hitachi, Ltd. 表示装置及び撮像装置
JP2007218945A (ja) * 2006-02-14 2007-08-30 Seiko Epson Corp プロジェクションシステム
JP2007243712A (ja) * 2006-03-09 2007-09-20 Sony Corp マルチプロジェクション画像の提示装置および提示方法
JP2010266714A (ja) * 2009-05-15 2010-11-25 Seiko Epson Corp 映像処理装置、映像表示装置および映像処理方法
JP2011013310A (ja) * 2009-06-30 2011-01-20 Dainippon Printing Co Ltd 画像投影装置
WO2015108161A1 (ja) * 2014-01-17 2015-07-23 株式会社ニコン 電子機器、撮像装置及び通信装置
WO2019107482A1 (ja) * 2017-11-30 2019-06-06 富士フイルム株式会社 プロジェクタ
WO2020031740A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 制御装置および制御方法、並びにプログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003104891A1 (ja) 2002-06-05 2003-12-18 ソニー株式会社 表示装置および表示方法
US8310409B2 (en) 2002-06-05 2012-11-13 Sony Corporation Display device and display method
JP4643583B2 (ja) * 2004-09-10 2011-03-02 株式会社日立製作所 表示装置及び撮像装置
JPWO2006027855A1 (ja) * 2004-09-10 2008-05-08 株式会社日立製作所 表示装置及び撮像装置
US7771054B2 (en) 2004-09-10 2010-08-10 Hitachi, Ltd. Display system and camera system
WO2006027855A1 (ja) * 2004-09-10 2006-03-16 Hitachi, Ltd. 表示装置及び撮像装置
JP2007218945A (ja) * 2006-02-14 2007-08-30 Seiko Epson Corp プロジェクションシステム
US8152312B2 (en) 2006-03-09 2012-04-10 Sony Corporation Apparatus and method that present projection image
JP2007243712A (ja) * 2006-03-09 2007-09-20 Sony Corp マルチプロジェクション画像の提示装置および提示方法
JP4696979B2 (ja) * 2006-03-09 2011-06-08 ソニー株式会社 画像提示装置および画像提示方法
JP2010266714A (ja) * 2009-05-15 2010-11-25 Seiko Epson Corp 映像処理装置、映像表示装置および映像処理方法
JP2011013310A (ja) * 2009-06-30 2011-01-20 Dainippon Printing Co Ltd 画像投影装置
WO2015108161A1 (ja) * 2014-01-17 2015-07-23 株式会社ニコン 電子機器、撮像装置及び通信装置
WO2019107482A1 (ja) * 2017-11-30 2019-06-06 富士フイルム株式会社 プロジェクタ
US11119393B2 (en) 2017-11-30 2021-09-14 Fujifilm Corporation Projector
US11506958B2 (en) 2017-11-30 2022-11-22 Fujifilm Corporation Projector
WO2020031740A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 制御装置および制御方法、並びにプログラム

Also Published As

Publication number Publication date
JP4423777B2 (ja) 2010-03-03

Similar Documents

Publication Publication Date Title
CN107026973B (zh) 图像处理装置、图像处理方法与摄影辅助器材
JP5865941B2 (ja) 撮影装置、携帯型情報処理端末、撮影装置のモニタ表示方法およびプログラム
JP5163409B2 (ja) 撮像装置、撮像方法、およびプログラム
JP4770924B2 (ja) 撮像装置、撮像方法、およびプログラム
JP5096302B2 (ja) 撮像装置
US20040218833A1 (en) System and method for displaying an image indicating a positional relation between partially overlapping images
US20110157386A1 (en) Control apparatus and control method therefor
JPH10333088A (ja) 投射画像の表示方法および投射型画像表示装置
JP2010136302A (ja) 撮像装置、撮像方法、およびプログラム
JP2006262030A (ja) 画角調整装置、カメラシステムおよび画角調整方法
JP3817302B2 (ja) 画像生成装置
JP2010088084A (ja) 撮像装置、撮像方法、およびプログラム
JP2010136303A (ja) 撮像装置、撮像方法、およびプログラム
JP2007208741A (ja) 遠隔指示システム及び遠隔指示方法
JP2007288731A (ja) リアルタイムパノラマ画像合成方法及びその装置
JP2003134375A (ja) 画像撮影システム
JPH0888788A (ja) 撮像装置
JP4423777B2 (ja) パノラマプロジェクタ装置およびパノラマ撮影装置
JP7150456B2 (ja) 撮像システム、情報処理装置、情報処理装置の制御方法、及び、プログラム
JP2007071891A (ja) 3次元計測装置
JPH1118007A (ja) 全方向性画像表示システム
EP3595287A1 (en) Capturing video content with at least two cameras of a multi-camera rig
KR100736565B1 (ko) 파노라마 영상 촬영 방법 및 이를 수행하기 위한이동통신단말기
JP4099378B2 (ja) プロジェクタ装置、画像投影方法、この方法のプログラム、このプログラムを記録した記録媒体
JP2003087689A (ja) プロジェクタの画像補正装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091130

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131218

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees