JP2008033607A - 撮像装置および撮像システム - Google Patents

Abstract

【課題】視線の仰角が大きい場合であっても、あるいは小さい場合であっても違和感を生じることがない矩形画像を生成すること。
【解決手段】撮像装置１は、魚眼レンズ２２と、受光面３４に魚眼レンズ２２による円形の像が結像し、円形画像を有する撮像画像のデータを生成する撮像手段２７，４１と、生成する矩形画像の注視点の仰角に応じて、矩形画像中の注視点の位置を、注視点の仰角が９０度となるとき矩形画像の中心付近となり、画像の注視点の仰角が０度となるとき矩形画像の下端縁となるように決定する注視点位置決定手段５５と、注視点位置決定手段５５により決定された矩形画像中の注視点の位置を基準として、撮像手段２７，４１が生成する撮像画像へ矩形画像を投影したときの対応関係に基づいて、撮像画像中の円形画像の一部を切り出してなる矩形画像を生成する矩形画像生成手段５３と、を有する。
【選択図】図２

Description

本発明は、撮像装置および撮像システムに関する。

特許文献１は、監視システムを開示する。この監視システムは、魚眼レンズを備えて監視対象領域の全体を一括して等角度撮像する全方位カメラと、それによる全方位画像中の注目すべき監視領域を選択的に指定する指定手段と、指定された監視領域の画像を平面視展開して画像表示する画像変換手段と、を備える。特許文献１の監視システムでは、魚眼レンズによる撮像画像中の一部を切り出して、矩形画像を生成することができる。

特開２００５−２８６８２０号公報（要約、図１など）

ところで、このような魚眼レンズによる撮像画像に基づく矩形画像においても、一般のカメラで撮像した画像と同じように、画像の注視点（視線）が矩形画像の中心付近となるようにするのが望ましい。画像の注視点（視線）が矩形画像の中心付近となることにより、画像の閲覧者は、矩形画像を自然な視野（目線）により得られたものと感じるようになる。

しかしながら、魚眼レンズによる撮像画像中の一部を切り出して矩形画像を生成する場合、その矩形画像の生成には、像が写っている画素しか利用することができない。たとえば、撮像画像中に、魚眼レンズによる円形画像が結像している場合、その円形画像中の画素しか利用することができない。

そのため、画像の注視点（視線）を矩形画像の中心付近とした場合、注視点（視線）よりも下側の画像が必要となる。そのため、視線を下げても、視線の仰角を０度とすることはできない。視線の仰角の最小値は、０度より大きい値となってしまう。仮に視線の仰角を０度とした場合、矩形画像の注視点より下側の画像を生成することができない。

このように視線の仰角を０度まで下げることができないため、視線を最も下げたときに、矩形画像中の被写体や背景が手前へ傾いているかのように見えてしまうことがある。視線の仰角を最も下げて得られる画像を仰角０度の方向を見たものであると思って見ると、閲覧者は、矩形画像中の被写体や背景が手前へ傾いているかのように感じてしまうことがある。魚眼レンズが１８０度以上の広い画角を有するものであったとしても、切り出しにより生成される矩形画像において、像倒れが生じているかのように見えてしまうことがある。このため閲覧者は、矩形画像に違和感を抱いてしまうことがある。

本発明は、視線の仰角が大きい場合であっても、あるいは小さい場合であっても違和感を生じることがない矩形画像を生成することができる撮像装置および撮像システムを得ることを目的とする。

本発明に係る撮像装置は、魚眼レンズと、受光面に魚眼レンズによる円形の像が結像し、円形画像を有する撮像画像のデータを生成する撮像手段と、生成する矩形画像の注視点の仰角に応じて、矩形画像中の注視点の位置を、注視点の仰角が９０度となるとき矩形画像の中心付近となり、画像の注視点の仰角が０度となるとき矩形画像の下端縁となるように決定する注視点位置決定手段と、注視点位置決定手段により決定された矩形画像中の注視点の位置を基準として、撮像手段が生成する撮像画像へ矩形画像を投影したときの対応関係に基づいて、撮像画像中の円形画像の一部を切り出してなる矩形画像を生成する矩形画像生成手段と、を有するものである。

この構成を採用すれば、画像の注視点（視線）の仰角がたとえば９０度などの大きな仰角であるとき、画像の注視点は矩形画像の中心付近となる。したがって、矩形画像の閲覧者は、矩形画像を自然な視野（目線）で見たものと感じることができる。

また、画像の注視点（視線）の仰角が０度となるとき、画像の注視点は矩形画像の下端縁となる。したがって、矩形画像生成手段は、画像の注視点（視線）の仰角が最も下がった０度にあるときの矩形画像を、円形画像に基づいて生成することができる。また、画像の注視点（視線）の仰角が０度となっているので、この矩形画像の閲覧者は、被写体や背景が手前に傾いているかのように見えてしまうことはない。

したがって、この構成を採用すれば、画像の注視点（視線）の仰角が大きい場合であっても、あるいは小さい場合であっても違和感を生じることがない矩形画像を生成することができる。

本発明に係る撮像装置は、上述した発明の構成に加えて以下の特徴を有するものである。すなわち、注視点位置決定手段は、画像の注視点の、矩形画像中のその下端縁からの高さ位置を、矩形画像の下縁から上縁までを、画像の注視点の仰角の半分と、９０度からその仰角の半分を減算した値との比により分割する位置とする。

この構成を採用すれば、画像の注視点の、矩形画像中の高さ位置は、仰角の大小に応じて変化する。しかも、仰角が０度から９０まで変化する間に、注視点の矩形画像中の高さ位置が急激に変化することはない。したがって、画像の注視点の高さ位置を、その仰角に応じて変化させていることを、画像の閲覧者に意識させないようにすることができる。

本発明に係る撮像装置は、上述した発明の各構成に加えて以下の特徴を有するものである。すなわち、矩形画像生成手段は、矩形画像の各表示画素の撮像画像の受光面への投影座標を演算し、演算した各座標にある撮像画像の画素の画素値を、各表示画素の画素値として取得する。

この構成を採用すれば、撮像画像中の円形画像の画素の画素値をそのまま用いた矩形画像を生成することができる。各表示画素の画素値そのものを演算により求める必要がない。演算により各表示画素の画素値を得る場合のように、演算による画質劣化が発生することはなく、しかも、画像の生成時間を短縮することができる。また、１つの矩形画像を生成する時間が短くて済むので、この矩形画像の生成処理を連続的に繰り返すことで、連続的な動きのある動画を得ることができる。

本発明に係る撮像装置は、上述した発明の各構成に加えて以下の特徴を有するものである。すなわち、魚眼レンズは、立体射影方式のものである。そして、立体射影方式の魚眼レンズの入射角と像高との関係を示す入射角像高テーブル、および撮像画像中の矩形画像の生成に利用する範囲を示す外円境界データを記憶するメモリと、メモリに記憶される外円境界データの位置あるいはサイズを更新した後に、メモリに、その更新後の外円境界データの位置あるいはサイズと入射角像高テーブルとに基づいて、矩形画像生成手段が各表示画素の投影座標を演算する際に使用する投影補正テーブルを記憶させるユーザ更新手段と、を有するものである。

この構成を採用すれば、撮像画像中の矩形画像の生成に利用する範囲を示す外円境界の位置やサイズが変更されると、その外円境界の内側の範囲の、複数の画素による分割割合が変化する。この構成を採用すれば、投影補正テーブルを、撮像画像中の矩形画像の生成に利用する範囲を示す外円境界と適合するものに維持することができる。矩形画像生成手段は、この投影補正テーブルを用いて、各表示画素の投影座標を演算することができる。

本発明に係る撮像システムは、上述した発明の各構成に係る撮像装置と、その撮像装置が生成する矩形画像を、表示あるいは保存するコンピュータ装置と、を有するものである。

この構成を採用すれば、画像の注視点の仰角が大きい場合であっても、あるいは小さい場合であっても違和感を生じることがない矩形画像を表示したり、記録したりすることができる。

本発明では、視線の仰角が大きい場合であっても、あるいは小さい場合であっても違和感を生じることがない矩形画像を生成することができる。

以下、本発明の実施の形態に係る撮像装置および撮像システムを、図面に基づいて説明する。

図１は、本発明の実施の形態に係る撮像システムを示すシステム構成図である。撮像システムは、撮像装置１と、コンピュータ装置としてのＰＣ（パーソナルコンピュータ）２と、を有する。撮像装置１とＰＣ２とは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル３により接続されている。

ＰＣ２は、ＵＳＢコネクタ１１、液晶表示デバイス１２、スピーカ１３、入力デバイス１４などを有する。また、ＰＣ２の図示外のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）が、ＰＣ２の図示外の記憶デバイスからプログラムを読み込んで実行することで、ＰＣ２には、通信処理部１６、再生処理部１７、コマンド生成部１８などが実現される。

通信処理部１６は、ＵＳＢコネクタ１１を用いたデータ通信を制御する。再生処理部１７は、液晶表示デバイス１２で表示される内容などを制御し、スピーカ１３に音を出力させる。コマンド生成部１８は、入力デバイス１４から入力される入力データに基づいてコマンドを生成する。入力デバイス１４には、たとえばキーボード、ポインティングデバイスなどがある。

撮像装置１は、立方体形状のハウジング２１を有する。ハウジング２１には、魚眼レンズ２２、ＵＳＢコネクタ２３、ビデオ出力コネクタ２４、音声出力コネクタ２５などが配設される。魚眼レンズ２２は、ハウジング２１の上面に配設される。ハウジング２１の上面には、マイクロフォン３３用の通気孔２６が形成される。ＵＳＢコネクタ２３、ビデオ出力コネクタ２４および音声出力コネクタ２５は、ハウジング２１の側面に配設される。

図２は、図１中の撮像装置１の電気回路を示すブロック図である。撮像装置１のハウジング２１の内部には、魚眼レンズ２２により撮像される撮像画像から矩形画像（矩形静止画）を生成するための電気回路が組み込まれている。

撮像装置１は、魚眼レンズ２２、ＵＳＢコネクタ２３、ビデオ出力コネクタ２４、音声出力コネクタ２５の他に、撮像手段の一部としてのイメージセンサ２７、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）２８、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２９、外部メモリ３０、音声ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）３１、ビデオエンコーダ３２、マイクロフォン３３などを有する。

図３は、図２中の魚眼レンズ２２と、イメージセンサ２７との光学的な配置を示す説明図である。

イメージセンサ２７には、たとえばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ ）イメージセンサ２７がある。イメージセンサ２７は、受光面３４を有する。受光面３４には、図示外の複数の受光素子がたとえば縦横３：４の比率でマトリックス状に配列される。各受光素子は、受光光量に応じた値を出力する。イメージセンサ２７は、複数の受光素子から出力される複数の受光光量値を有する輝度分布データを生成する。イメージセンサ２７は、所定の周期で、輝度分布データを生成する。

魚眼レンズ２２は、たとえば１８０度以上の広視野角を有するものであり、立体射影方式のものである。立体射影方式の魚眼レンズ２２は、一般的な等距離射影方式の魚眼レンズ２２に比べて、それにより結像される画像中の周辺部のゆがみが少なく、且つ、周辺部の情報量が多くなる。魚眼レンズ２２の射影方式としては、立体射影方式や等距離射影方式の他にも、等立体射影方式や正射影方式などを採用することが可能である。但し、たとえば撮像装置１を会議室のテーブル上に魚眼レンズ２２が上向きとなる姿勢で置いて撮像する場合、周辺部に写る人物や黒板などの情報量が多くなるため、立体射影方式のものが最適である。

この魚眼レンズ２２は、イメージセンサ２７の受光面３４の上方に配設される。これにより、イメージセンサ２７の受光面３４には、魚眼レンズ２２による円形の像（以下、円形画像とよぶ）が結像する。イメージセンサ２７は、輝度分布データを周期的に生成し、ＦＰＧＡ２８へ出力する。ＦＰＧＡ２８には、撮像手段の一部としての色変換処理部４１が実現される。

色変換処理部４１は、図示外の色変換テーブルを用いて、輝度分布データの各画素のデータを置き換える。色変換処理部４１は、たとえば円形画像中の画素のデータを、輝度分布データにおけるその画素の値および周辺画素の値を用いて、所定の色データへ置き換える。これにより、適当な色データを有する撮像画像データが生成される。

図４は、図２中の色変換処理部４１がイメージセンサ２７の輝度分布データに基づいて生成する撮像画像の一例を示す図である。図４に示すように、撮像画像は、その中央部に、円形画像を有する。円形画像の内部には、被写体の像が結像する。色変換処理部４１は、生成した撮像画像データを、ＤＳＰ２９へ出力する。

マイクロフォン３３は、音声に応じた波形信号を生成する。波形信号は、音声ＩＣ３１により、音声信号へ変換され、音声出力コネクタ２５へ供給される。音声出力コネクタ２５には、たとえばスピーカユニット、ヘッドフォンなどが接続可能である。音声出力コネクタ２５に接続されるスピーカユニットやヘッドフォンなどにより、音声を聞くことができる。また、音声ＩＣ３１には、音声保存処理部４２が実現される。音声保存処理部４２は、マイクロフォン３３から供給される波形信号をサンプリングし、そのサンプリングにより生成した音声データ６２を、外部メモリ３０に保存する。

ＤＳＰ２９は、メモリとしてのＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：不揮発性メモリの一種）４３を有する。ＥＥＰＲＯＭ４３は、視線方向データ４４、入射角像高テーブル４５、矩形切出枠データ４６、投影補正テーブルとしてのマップレシオテーブル４７、外円境界データ４８などを記憶する。

図５は、図２の撮像装置１における撮像画像に、外円境界データ４８による外円境界の位置およびサイズを示す円形の枠線７１と、矩形切出枠データ４６による矩形切出枠の位置およびサイズを示す略扇形状の枠線７２と、を重ねた説明図である。外円境界は、矩形静止画に利用する画像のおおよその範囲を指定する境界である。外円境界の円形の枠線７１は、撮像画像中の円形画像の輪郭と略一致して、あるいは円形画像の輪郭より若干小さく設定されている。矩形切出枠の略扇形状の枠線７２は、外円境界の円形の枠線７１の内側に位置する。この略扇形状の枠線７２の内側の画像が、矩形静止画として切り出される。

図６は、図２中の立体射影方式の魚眼レンズ２２の像高（画角差）特性図である。横軸は、魚眼レンズ２２の光軸方向を画角度としたときの相対画角であり、縦軸は、像高（画角差）である。図６の特性の立体射影方式の魚眼レンズ２２を用いると、たとえば魚眼レンズ２２の頂点の方向に存在する被写体の像高（画角差）が約０．１の像高（画角差）となるとき、仰角０度付近方向に存在する被写体の像高（画角差）は、約０．２の大きさとなる。これは、魚眼レンズ２２の周辺方向にある被写体は、中央方向にある被写体に比べて約倍の大きさで結像することを意味する。また、被写体が周辺部から中央部にかけて写るとき、そのバランスが崩れることを意味する。入射角像高テーブル４５は、この魚眼レンズ２２の画角に対する像高（画角差）の特性をデータ化したものである。

魚眼レンズ２２を使用したとき、一般的に、１つの被写体の画像は、周辺へ行く程ひずむ。このひずみ具合を軽減し、周辺の情報量を多くする方式として立体射影方式が存在する。この立体射影方式の魚眼レンズ２２を使用すると、被写体は、画角的に中心部に撮像される場合に比べて、周辺部に撮像される場合の方が大きく撮像される。中心部に撮像される被写体は、周辺部に撮像される被写体より画角的に小さく結像する。このことは、図６にイメージセンサ２７の中心部寄りの４つの受光素子と、周辺部寄りの４つの受光素子とを図示するように、イメージセンサ２７の画角度０度に近い部位、すなわち天頂付近の受光素子には、イメージセンサ２７の画角度９０度に近い部位、すなわち真横方向の画像を受けるの受光素子に比べて、広い画角の像が結像することを意味する。

このように立体射影方式は、従来の等距離射影方式の魚眼レンズと比べれば、周辺の情報が多いため、死角が少なくなり、ゆがみが少ない画像となる。しかし、ゆがみは少なくなるが、零とはならない。これに対して、矩形画像では、被写体は、本来の大きさのバランスで表示されることが望ましい。マップレシオテーブル４７は、立体射影方式の魚眼レンズ２２によりイメージセンサ２７に結像する画像の中の、外円境界内の画像から、被写体が本来のバランスとして写る展開画像を得るための補正データを記憶する。

図７は、図２の撮像装置１により生成される矩形静止画の一例を示す図である。図７の矩形静止画は、図５中の略扇形状の枠線７２の画像に基づいて得られる矩形静止画である。また、図７中には、画面の下半分において交差する縦点線と横点線とが描画されている。この縦点線と横点線との交点が、注視点となる。視線方向データ４４は、図５中の円形の枠線７１（外円境界）が水平方向であるとした場合の、この注視点の方向（たとえば仰角および方向）を示すデータである。仰角と方向との組合せの場合、注視点の仰角は、０から９０度の範囲で変化し、注視点の方向は、０から３６０度の範囲で変化することになる。

また、ＤＳＰ２９は、図示外のＣＰＵを有する。このＣＰＵがプログラムを実行することで、ＤＳＰ２９には、図２に示すように、静止画保存処理部５１、撮像静止画生成部５２、矩形画像生成手段としての矩形静止画生成部５３、ストリーミング生成部５４、注視点位置決定手段およびユーザ更新手段としての処理管理部５５、通信処理部５６などが実現される。

また、ＤＳＰ２９には、外部メモリ３０が接続される。外部メモリ３０は、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）やＤＤＲ−ＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）などの記憶デバイスにより構成され、ＤＳＰ２９のＣＰＵがアクセス可能である。

外部メモリ３０は、静止画データ６１、音声データ６２、２つの表示静止画データ６３，６４などを記憶する。また、外部メモリ３０は、第一ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）エリア６５と、第二ＶＲＡＭエリア６６と、を有する。２つの表示静止画データ６３，６４の中の一方は、第一ＶＲＡＭエリア６５に記憶され、他方は、第二ＶＲＡＭエリア６６に記憶される。図２では、第一ＶＲＡＭエリア６５に、第ｎ−１表示静止画データ６３が記憶され、第二ＶＲＡＭエリア６６に、第ｎ表示静止画データ６４が記憶されている状態である。

ＤＳＰ２９に実現される静止画保存処理部５１は、色変換処理部４１から、新たな撮像画像データが供給されると、その撮像画像データを、外部メモリ３０に静止画データ６１として保存する。

撮像静止画生成部５２は、外部メモリ３０に記憶される静止画データ６１から、撮像画像を表示するための表示静止画データ６３，６４を生成する。撮像画像を表示するための表示静止画データ６３，６４は、撮像画像の画素数を間引くなどして所定の表示画素数としたものである。撮像静止画生成部５２は、生成した撮像画像を表示するための表示静止画データ６３，６４を、第一ＶＲＡＭエリア６５および第二ＶＲＡＭエリア６６に交互に保存する。

矩形静止画生成部５３は、外部メモリ３０に記憶される静止画データ６１から、表示のための矩形画像データを生成する。表示のための矩形画像データは、撮像画像の中の、矩形切出枠データ４６により指定される範囲の画像を切り出して生成する静止画データ６１である。矩形静止画生成部５３は、生成した矩形画像データを、第一ＶＲＡＭエリア６５および第二ＶＲＡＭエリア６６に交互に保存する。

ストリーミング生成部５４は、外部メモリ３０から、表示静止画データ６３，６４および音声データ６２を読み込み、これらのコンテンツデータを有するストリーミングデータを生成する。ストリーミングデータとしては、ＭＰＥＧ方式、ｄｉｖ−Ｘ（ディビックス）方式などのストリーミングフォーマットを採用すればよい。

通信処理部５６は、ＵＳＢコネクタ２３を用いたデータ通信を制御する。

処理管理部５５は、静止画保存処理部５１、撮像静止画生成部５２、矩形静止画生成部５３、ストリーミング生成部５４、通信処理部５６などの実行を管理する。処理管理部５５は、静止画保存処理部５１、撮像静止画生成部５２、矩形静止画生成部５３、ストリーミング生成部５４、通信処理部５６などへ、それらの起動や停止などを指示する。

ビデオエンコーダ３２は、外部メモリ３０から、表示静止画データ６３，６４を読み込み、ビデオ信号を生成する。ビデオ信号には、たとえばＮＴＳＣ（Ｎａｔｉｏｎａｌ ＴＶ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）方式やＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）方式のものがある。ビデオエンコーダ３２は、生成したビデオ信号を、ビデオ出力コネクタ２４へ出力する。ビデオ出力コネクタ２４には、テレビジョン受信機などが接続可能である。ビデオ出力コネクタ２４に接続されるテレビジョン受信機などにより、ビデオ信号を再生し、その映像を鑑賞することができる。

次に、以上の構成を有する撮像システムの動作を説明する。

撮像装置１にたとえばＵＳＢケーブル３から電力が供給されると、ＤＰＳなどが動作し、撮像装置１に、色変換処理部４１、音声保存処理部４２、静止画保存処理部５１、撮像静止画生成部５２、矩形静止画生成部５３、ストリーミング生成部５４、処理管理部５５などが実現される。処理管理部５５は、静止画保存処理部５１、撮像静止画生成部５２、矩形静止画生成部５３、ストリーミング生成部５４、処理管理部５５などへそれらの起動を指示する。

撮像装置１のイメージセンサ２７には、魚眼レンズ２２により集光される光による像が結像する。イメージセンサ２７は、円形画像の輝度分布を含む輝度分布データを生成する。色変換処理部４１は、図示外の色変換テーブルを用いて、輝度分布データから、図４に例示するような、円形画像を有する撮像画像データを生成する。静止画保存処理部５１は、撮像画像データを、静止画データ６１として外部メモリ３０に保存する。また、イメージセンサ２７は、周期的に輝度分布データを生成する。そのため、外部メモリ３０の静止画データ６１は、所定の周期毎に、新たな撮像静止画のデータへ更新される。

図８は、図２中の処理管理部５５による詳細な処理の流れを示すフローチャートである。外部メモリ３０に静止画データ６１が記憶され始めると、処理管理部５５は、まず、撮像静止画生成部５２に境界表示画像の生成を指示する（ステップＳＴ１）。その後、処理管理部５５は、コマンド待ち状態になる。図８では、処理管理部５５は、境界変更コマンドと、視線変更コマンドと、矩形表示コマンドとを待っている（ステップＳＴ２、ＳＴ３、ＳＴ４）。

境界表示が指示されると、撮像静止画生成部５２は、更新された静止画データ６１から、撮像画像に重ねて境界表示を表示するための表示静止画データ６３，６４を生成する。具体的にはたとえば、撮像静止画生成部５２は、まず、外部メモリ３０から静止画データ６１を読み込むとともに、ＥＥＰＲＯＭ４３から外円境界データ４８および矩形切出枠データ４６を読み込み、静止画データ６１による撮像画像に、外円境界の位置およびサイズを示す円形の枠線７１と、矩形切出枠の位置およびサイズを示す略扇形状の枠線７２とを重ねた画像を生成する。撮像静止画生成部５２は、たとえば図５のような撮像静止画を生成する。次に、撮像静止画生成部５２は、その枠線が重ねられている画像の画素数を表示画素数に間引き、所定の表示画素数の表示静止画データ６３，６４を生成する。撮像静止画生成部５２は、生成した表示静止画データ６３，６４を、第一ＶＲＡＭエリア６５あるいは第二ＶＲＡＭエリア６６に保存する。

外部メモリ３０の第一ＶＲＡＭエリア６５あるいは第二ＶＲＡＭエリア６６に、境界などを表示するための表示静止画データ６３，６４が保存されると、ストリーミング生成部５４は、第一ＶＲＡＭエリア６５および第二ＶＲＡＭエリア６６から、その表示静止画データ６３，６４を順番に読込み、且つ、外部メモリ３０から音声データ６２を読み込み、これらのコンテンツデータを有するストリーミングデータを生成する。

ストリーミング生成部５４は、生成したストリーミングデータを通信処理部５６へ供給する。撮像装置１の通信処理部５６は、ＵＳＢコネクタ２３、ＵＳＢケーブル３およびＰＣ２のＵＳＢコネクタ１１を介して、ＰＣ２の通信処理部１６へストリーミングデータを送信する。

ＰＣ２の通信処理部１６は、受信したストリーミングデータを再生処理部１７へ供給する。ＰＣ２の再生処理部１７は、ストリーミングデータから、境界などを表示するための表示静止画データ６３，６４を抽出し、抽出した表示静止画データ６３，６４を表示データとして液晶表示デバイス１２へ供給する。液晶表示デバイス１２は、境界などを表示するための表示静止画データ６３，６４による画像を表示する。ＰＣ２の液晶表示デバイス１２には、図５に示すような画像、すなわち撮像装置１が撮像している画像と、撮像装置１に設定されている外円境界と、撮像装置１に設定されている矩形切出枠と、が表示される。

また、ＰＣ２の再生処理部１７は、ストリーミングデータから音声データ６２を抽出し、スピーカ１３へ供給する。スピーカ１３は、抽出された音声データ６２に基づく音を出力する。

これにより、ユーザは、撮像画像中の外円境界の位置およびサイズや、矩形切出枠の位置およびサイズを把握することができる。ユーザは、たとえば外円境界の位置やサイズを変更したいとき、視野を変更したいとき、矩形画像を表示したいとき、ＰＣ２の入力デバイス１４を操作する。ユーザは、たとえば図５に示す矩形画像から、図７に示す矩形画像へ表示を切り替える操作をする。詳細は後述する。

ＰＣ２の入力デバイス１４に対して外円境界の位置やサイズを変更する操作がなされると、ＰＣ２のコマンド生成部１８は、入力デバイス１４から入力される入力データに基づいて、外円境界の位置やサイズの変更データを有する境界変更コマンドを生成する。ＰＣ２の通信処理部１６は、境界変更コマンドを、ＵＳＢケーブル３を介して撮像装置１の通信処理部５６へ送信する。撮像装置１の通信処理部５６は、受信した境界変更コマンドを処理管理部５５へ供給する。

境界変更コマンドが供給されると、図８の処理においてコマンド待ちとなっていた処理管理部５５は、ステップＳＴ２においてＹｅｓと判断し、境界変更コマンド中の、外円境界の位置やサイズの変更データにより、ＥＥＰＲＯＭ４３に記憶される外円境界データ４８を更新する（ステップＳＴ５）。引き続き、処理管理部５５は、更新した外円境界データ４８と、ＥＥＰＲＯＭ４３に記憶される魚眼レンズ２２の入射角像高テーブル４５とを用いて、ＥＥＰＲＯＭ４３に記憶されるマップレシオテーブル４７を更新する（ステップＳＴ６）。これにより、マップレシオテーブル４７は、外円境界内に含まれる撮像画像の画素数に応じたデータへ更新される。その後、処理管理部５５は、再びコマンド待ち状態になる（ステップＳＴ２、ＳＴ３、ＳＴ４）。

ＰＣ２の入力デバイス１４に対して視野の変更操作がなされると、ＰＣ２のコマンド生成部１８は、入力デバイス１４から入力される入力データに基づいて、操作された新たな視野を得るための視線方向（たとえば水平面内の方角および水平面からの仰角）を計算し、視線変更コマンドを生成する。ＰＣ２の通信処理部１６は、視線変更コマンドを、撮像装置１の通信処理部５６へ送信する。撮像装置１の通信処理部５６は、受信した視線変更コマンドを処理管理部５５へ供給する。

視線変更コマンドが供給されると、図８の処理においてコマンド待ちとなっている処理管理部５５は、ステップＳＴ３においてＹｅｓと判断し、視線変更コマンド中の、視線方向の変更データにより、ＥＥＰＲＯＭ４３に記憶される視線方向データ４４を更新する（ステップＳＴ７）。引き続き、処理管理部５５は、更新した視線での矩形切出枠の範囲を演算し、ＥＥＰＲＯＭ４３に記憶される矩形切出枠データ４６をその演算結果で更新する（ステップＳＴ８）。その後、処理管理部５５は、再びコマンド待ち状態になる（ステップＳＴ２、ＳＴ３、ＳＴ４）。

図９は、図２中の処理管理部５５による矩形切出範囲の決定の仕方を示す説明図である。図９の上段は、イメージセンサ２７および色変換処理部４１により生成される撮像画像である。この撮像画像中の円は、外円境界の円形の枠線７１である。図９の下段は、イメージセンサ２７の側面図である。イメージセンサ２７の受光面３４上には、外円境界と同じ半径の半球面が描画されている。以下、この半球面を仮想視野球面９１とよぶ。仮想視野球面９１の天頂方向は、魚眼レンズ２２の光軸方向と略一致する。

そして、図９に示すように、視線方向がイメージセンサ２７の受光面３４に対して角度θの方向であるとき、処理管理部５５は、矩形画像の画像面９２を、その視線と垂直で且つ仮想視野球面９１と接する面として設定する。

また、処理管理部５５は、この矩形画像の画像面９２と仮想視野球面９１との接点が、注視点９３となるように、矩形画像の画像面９２の位置を決定する。具体的には、処理管理部５５は、注視点９３より上側の矩形画像の高さＨ１と、注視点９３より下側の矩形画像の高さＨ２との比が、「（Ｈ１：Ｈ２）＝９０度−θ／２：θ／２」となるように、矩形画像の位置を決定する。

処理管理部５５は、以上の演算処理により決定した位置の矩形画像の画像面９２の輪郭を、受光面３４に写像し、矩形切出枠の輪郭データを生成する。処理管理部５５は、ＥＥＰＲＯＭ４３の矩形切出枠データ４６を、この矩形切出枠の輪郭データで更新する。図９上段の撮像画像に、一点鎖線により矩形切出枠を図示する。これにより、矩形切出枠データ４６は、視線方向に応じたデータへ更新される。その後、処理管理部５５は、再びコマンド待ち状態になる（ステップＳＴ２、ＳＴ３、ＳＴ４）。

なお、このようにＥＥＰＲＯＭ４３に記憶される外円境界データ４８や矩形切出枠データ４６などが更新されている間およびその更新後においても、撮像静止画生成部５２は、外部メモリ３０から静止画データ６１を読み込むとともに、ＥＥＰＲＯＭ４３から外円境界データ４８および矩形切出枠データ４６を読み込み、それらに基づく表示静止画データ６３，６４を生成する。ストリーミング生成部５４は、その表示静止画データ６３，６４を有するストリーミングデータを生成し、撮像装置１の通信処理部５６は、ストリーミングデータをＰＣ２へ送信する。したがって、ＰＣ２の液晶表示デバイス１２には、更新された外円境界データ４８や矩形切出枠データ４６の位置およびサイズが、撮像画像に重ねて表示される。

ＰＣ２の入力デバイス１４に対して矩形画像の表示操作がなされると、ＰＣ２のコマンド生成部１８は、入力デバイス１４から入力される入力データに基づいて、矩形画像の表示を指示する矩形表示コマンドを生成する。ＰＣ２の通信処理部１６は、矩形表示コマンドを、ＵＳＢケーブル３を介して撮像装置１の通信処理部５６へ送信する。撮像装置１の通信処理部５６は、受信した矩形表示コマンドを処理管理部５５へ供給する。

矩形表示コマンドが供給されると、図８の処理においてコマンド待ちとなっていた処理管理部５５は、ステップＳＴ４においてＹｅｓと判断し、矩形表示処理を開始する（ステップＳＴ９）。具体的には、処理管理部５５は、矩形静止画生成部５３へ矩形画像の生成を指示する。また、処理管理部５５は、撮像静止画生成部５２に、画像の生成中断を指示する。その後、処理管理部５５は、再びコマンド待ち状態になる（ステップＳＴ２、ＳＴ３、ＳＴ４）。矩形画像の生成が指示された矩形静止画生成部５３は、外部メモリ３０から静止画データ６１を読み込み、矩形静止画データの生成処理を開始する。

図１０は、図２中の矩形静止画生成部５３による矩形静止画データの生成処理の流れを示すフローチャートである。矩形静止画生成部５３は、まず、生成する矩形静止画の左上の表示画素を特定する（ステップＳＴ１１）。１つの表示画素を特定した後、矩形静止画生成部５３は、まず、生成する矩形静止画の注視点９３が図９中の仮想視野球面９１と所定の位置関係で接するものと仮定した上で、特定表示画素９６の仮想視野空間中の位置を演算する（ステップＳＴ１２）。

図１１は、矩形静止画の注視点９３を、図９中の仮想視野球面９１のＸ軸上において接するように対応付けた状態を示す説明図である。以下の説明において、Ｘ軸、Ｙ軸およびＺ軸は、この図１１を基準として説明する。矩形静止画の注視点９３がＸ軸上にあると仮定するとき、矩形静止画中の特定表示画素（ＶＸ，ＶＹ）９６の座標は、図１１の仮想視野空間において（Ｒ，ＶＸ−ＶＣＸ，−（ＶＹ−ＶＣＹ））となる。図１１の仮想視野空間の原点は、仮想視野球面９１の中心である。また、Ｒは、仮想視野空間の半径、すなわち外円境界の半径である。（ＶＣＸ，ＶＣＹ）は、矩形静止画中での注視点９３の座標である。図１１の仮想視野空間において、矩形静止画中での注視点９３の座標は、（Ｒ，０，０）となる。

なお、図１１において、仮定上の特定表示画素（ＶＸ，ＶＹ）９６の仰角θｈは、視線方向データ４４の仰角であり、仮定上の特定表示画素（ＶＸ，ＶＹ）９６の水平面内の方角θｓは、視線方向データ４４の方角である。

また、図１１において、矩形静止画は、倍率１（Ｚｏｏｍ＝１）の場合のものである。倍率が１以外の場合、図１１において、矩形静止画は、その倍率で拡縮される。この場合、仮定上の特定表示画素（ＶＸ，ＶＹ）９６の座標は、図１１の仮想視野空間において（Ｒ，（ＶＸ−ＶＣＸ）×Ｚｏｏｍ，−（ＶＹ−ＶＣＹ））×Ｚｏｏｍ）となる。この式において、「Ｚｏｏｍ」は、倍率である。

図１１の仮定上の特定表示画素９６の仮想視野空間中の位置を演算した後、矩形静止画生成部５３は、下記式１により、仮定上の特定表示画素９６を仮想視野球面９１へ投影するためのマッピング係数ｉｒを演算する（ステップＳＴ１３）。下記式１において、（ｘ１，ｙ１）は、特定表示画素９６の、矩形静止画での注視点９３からの距離であり、（ＶＸ−ＶＣＸ，ＶＹ−ＶＣＹ）である。

ｉｒ ＝ Ｒ÷（Ｒ^２＋ｘ１^２＋ｙ１^２）^１／２ ・・・式１

図１２は、図２中の矩形静止画生成部５３によるマッピング係数ｉｒの演算の仕方の説明図である。矩形静止画は、図１１のＸ軸上の注視点９３において、半径Ｒの仮想視野球面９１に接する。図１２に示すように、矩形静止画生成部５３は、特定表示画素９６と原点とを結ぶ線分Ｌ１の長さを求め、その長さＬ１で仮想視野球面９１の半径Ｒを割ることで、マッピング係数ｉｒを求める。特定表示画素９６の座標にマッピング係数ｉｒを乗算すると、上記線分と仮想視野球面９１との交点１０１の座標が得られる。

マッピング係数ｉｒを演算した後、矩形静止画生成部５３は、矩形静止画を、本来の注視点（ＥＥＰＲＯＭ４３に記憶される視線方向データ４４での注視点、すなわち図９での注視点９３）の仰角により回転したときの特定表示画素９６の座標を演算する（ステップＳＴ１４）。

図１３は、図２中の矩形静止画生成部５３による、特定表示画素１１１を注視点９３の仰角で回転させる演算処理の説明図である。図１３中の特定表示画素１１１は、注視点９３の仰角θｈにより回転されると、座標１１２へ移動する。座標（Ｒ，ｘ２，ｙ２）の特定表示画素１１１は、座標（Ｒ×ｃｏｓθｈ＋ｙ２×ｓｉｎθｈ，ｘ２，Ｒ×ｓｉｎθｈ−ｙ２×ｃｏｓθｈ）の特定表示画素１１２となる。なお、図示および説明の便宜上、図１３中の特定表示画素１１１の位置は、図９の特定表示画素９６の位置とは異なっている。そのため、図１３の説明では特定表示画素の符号を替えている。

矩形静止画を本来の注視点９３の仰角により回転したときの特定表示画素９６の座標を演算した後、矩形静止画生成部５３は、下記式２により、その特定表示画素９６の投影倍率ｍｒを演算する（ステップＳＴ１５）。ＭＲ［ｙ２×ｉｒ］は、「ｙ２×ｉｒ」によりマップレシオテーブル４７を参照した場合に得られる補正データである。

ｍｒ ＝ ｉｒ×ＭＲ［ｙ２×ｉｒ］ ・・・式２

特定表示画素９６の投影倍率ｍｒを演算することで、特定表示画素９６に対応するＸ−Ｙ面（水平面）上の投影座標を演算するための前準備、すなわち受光面３４への投影座標を演算するための前準備が終わる。矩形静止画生成部５３は、特定表示画素９６のＸ−Ｙ面（水平面）への投影座標を実際に演算する。具体的には、矩形静止画生成部５３は、まず、本来の注視点９３の仰角θｈのみを考慮して、特定表示画素９６のＸ−Ｙ面（水平面）の投影座標（ｘ３，ｙ３，ｚ３）を下記式３により演算する（ステップＳＴ１６）。

（ｘ３，ｙ３，ｚ３） ＝（ｍｒ×ｘ２，ｍｒ×ｘ１，０） ・・・式３

次に、矩形静止画生成部５３は、式３により演算した座標を、下記式４により注視点９３の水平面内の方角θｓで回転し、特定表示画素９６のＸ−Ｙ面（水平面）への投影座標、すなわち受光面３４への投影座標（ｘ４，ｙ４，ｚ４）を演算する（ステップＳＴ１７）。下記式４において、（ＩＯＸ，ＩＯＹ）は、図９に示すように、撮像静止画の左上角を原点としたときの、画像中心の座標である。

（ｘ４，ｙ４，ｚ４） ＝（ＩＯＸ＋ｘ３×ｃｏｓθｓ＋ｙ３ｓｉｎθｓ，ＩＯＹ＋ｘ３×ｃｏｓθｓ−ｙ３ｓｉｎθｓ，０） ・・・式４

特定表示画素９６の受光面３４への投影座標（ｘ４，ｙ４，ｚ４）を演算すると、矩形静止画生成部５３は、その投影座標にある元画像（撮像画像）中の画素を特定し、その特定した画素の画素値を取得する。矩形静止画生成部５３は、取得した画素値を、特定表示画素９６の画素値として、矩形静止画のデータに取り込み、外部メモリ３０に保存する（ステップＳＴ１８）。

以上のように矩形静止画生成部５３は、特定した表示画素９６の受光面３４への投影座標を演算し、その投影座標に対応する円形画像中の画素の画素値を取得し、その取得した画素値を特定表示画素の画素値として外部メモリ３０に保存する。１つの表示画素に対する処理を終えると、矩形静止画生成部５３は、生成する矩形静止画中の複数の表示画素の中に、画素値を決定していない表示画素が残っているか否かを判断し、画素値を決定していない表示画素が無くなるまで、以上の表示画素の画素値の決定処理を繰り返す。

具体的にはたとえば、矩形静止画生成部５３は、まず、生成する矩形静止画の一列分の表示画素について画素値の決定が終了したか否かを判断する（ステップＳＴ１９）。そして、一列分が終了してない場合（ステップＳＴ１９でＮｏの場合）、矩形静止画生成部５３は、同じ列の次の行の表示画素を特定し（ステップＳＴ２０）、その特定表示画素の画素値を決定する（ステップＳＴ１２〜ＳＴ１８）。

一列分の表示画素についての画素値の決定が終了している場合（ステップＳＴ１９でＹｅｓの場合）、矩形静止画生成部５３は、さらに生成する矩形静止画のすべての列について画素値の決定が終了したか否かを判断する（ステップＳＴ２１）。そして、すべての列について終了してない場合（ステップＳＴ２１でＮｏの場合）、矩形静止画生成部５３は、次の列の上端（最も上の行）の表示画素を特定し（ステップＳＴ２２）、その特定表示画素の画素値を決定する（ステップＳＴ１２〜ＳＴ１８）。

生成する矩形静止画のすべての列について画素値の決定が終了した場合（ステップＳＴ２１でＹｅｓの場合）、矩形静止画生成部５３は、図１０の矩形静止画データの生成処理を終了する。これにより、外部メモリ３０の第一ＶＲＡＭエリア６５あるいは第二ＶＲＡＭエリア６６には、静止画データ６１に基づく、矩形静止画のデータが保存される。

外部メモリ３０の第一ＶＲＡＭエリア６５あるいは第二ＶＲＡＭエリア６６に矩形静止画のデータが保存されると、ストリーミング生成部５４は、第一ＶＲＡＭエリア６５および第二ＶＲＡＭエリア６６から、その矩形静止画のデータを順番に読込み、且つ、外部メモリ３０から音声データ６２を読み込み、これらのコンテンツデータを有するストリーミングデータを生成する。

ストリーミング生成部５４は、生成したストリーミングデータを通信処理部５６へ供給する。撮像装置１の通信処理部５６は、ＵＳＢコネクタ２３、ＵＳＢケーブル３およびＰＣ２のＵＳＢコネクタ１１を介して、ＰＣ２の通信処理部１６へストリーミングデータを送信する。

ＰＣ２の通信処理部１６は、受信したストリーミングデータを再生処理部１７へ供給する。ＰＣ２の再生処理部１７は、ストリーミングデータから、矩形静止画データを抽出して復号し、液晶表示デバイス１２へ供給する。液晶表示デバイス１２は、矩形静止画を表示する。液晶表示デバイス１２には、たとえば図７に示すような矩形静止画が表示される。また、ＰＣ２の再生処理部１７は、ストリーミングデータから音声データ６２を抽出し、スピーカ１３へ供給する。スピーカ１３は、抽出された音声データ６２に基づく音を出力する。

なお、上述したように撮像装置１のイメージセンサ２７は、周期毎に輝度分布データを生成する。色変換処理部４１は、輝度分布データから撮像画像データを生成する。静止画保存処理部５１は、外部メモリ３０の静止画データ６１をこの周期毎に生成される撮像画像データで更新する。矩形静止画生成部５３は、外部メモリ３０から静止画データ６１を読込み、読み込んだ静止画データ６１に基づく矩形静止画のデータを、第一ＶＲＡＭエリア６５および第二ＶＲＡＭエリア６６に交互に書込む。ストリーミング生成部５４は、この第一ＶＲＡＭエリア６５あるいは第二ＶＲＡＭエリア６６に書込まれた矩形静止画のデータを読み込んで、ストリーミングデータを生成する。

したがって、ストリーミング生成部５４が、第一ＶＲＡＭエリア６５および第二ＶＲＡＭエリア６６の中の一方のＶＲＡＭエリアから、矩形静止画のデータを読み込む間に、矩形静止画生成部５３は他方のＶＲＡＭエリアに矩形静止画を書込むことができる。ストリーミング生成部５４は、イメージセンサ２７が周期毎に生成する輝度分布データに基づく矩形静止画を、画像抜け（フレーム抜け）を生じることなくストリーミングデータに割り付けることができる。これにより、ＰＣ２の液晶表示デバイス１２には、イメージセンサ２７により周期的に生成される輝度分布データに基づく矩形静止画による動画が表示される。

以上のように、この実施の形態によれば、処理管理部５５は、視線方向データ４４の仰角θに応じて矩形静止画の切出し範囲および矩形切出枠データ４６を更新する。特に、注視点より上側の矩形画像の高さＨ１と、注視点より下側の矩形画像の高さＨ２との比が「９０度−θ／２：θ／２」となるように矩形静止画の切出し範囲を更新する。処理管理部５５は、視線方向データ４４の仰角θが９０度となるとき矩形画像の中心付近となり、視線方向データ４４の仰角θが０度となるとき矩形画像の下端縁となるように注視点を決定する。また、矩形静止画生成部５３は、その注視点で仮想視野球面９１と接する矩形画像を生成する。

したがって、この構成を採用すれば、視線方向データ４４（画像の注視点）の仰角がたとえば９０度などの大きな仰角であるとき、画像の注視点は矩形画像の中心付近となる。矩形画像の閲覧者は、矩形画像を自然な視野（目線）で見たものと感じることができる。

また、視線方向データ４４（画像の注視点）の仰角が０度となるとき、画像の注視点は矩形画像の下端縁となる。矩形静止画生成部５３は、画像の注視点（視線）の仰角が最も下がった０度にあるときの矩形画像を、円形画像に基づいて生成することができる。画像の注視点（視線）の仰角が０度となっているので、この矩形画像の閲覧者は、被写体や背景が手前に傾いているかのように見えてしまうことはない。

その結果、この実施の形態によれば、視線方向データ４４（画像の注視点）の仰角が大きい場合であっても、あるいは小さい場合であっても違和感を生じることがない矩形画像を生成することができる。また、ＰＣ２は、画像の注視点の仰角が大きい場合であっても、あるいは小さい場合であっても違和感を生じることがない矩形画像を表示することができる。

また、この実施の形態では、図９に示すように、処理管理部５５は、注視点より上側の矩形画像の高さＨ１と、注視点より下側の矩形画像の高さＨ２との比が、「（Ｈ１：Ｈ２）９０度−θ／２：θ／２」となるように、矩形画像の位置を決定する。画像の注視点の、矩形画像中のその下端縁からの高さ位置は、矩形画像の下縁から上縁までを、画像の注視点の仰角θの半分と、９０度からその仰角θの半分を減算した値との比により分割する位置となる。

したがって、画像の注視点の、矩形画像中の高さ位置Ｈ２は、仰角の大小に応じて変化する。しかも、仰角が０度から９０まで変化するとき、注視点の矩形画像中の高さ位置Ｈ２が急激に変化することはない。画像の注視点の高さ位置Ｈ２を、その仰角に応じて変化させていることを、画像の閲覧者に意識させないようにすることができる。

また、この実施の形態では、矩形静止画生成部５３は、矩形画像の各表示画素の撮像画像の受光面３４への投影座標（ｘ４，ｙ４，ｚ４）を演算し、演算した座標（ｘ４，ｙ４，ｚ４）にある撮像画像の画素の画素値を、各表示画素の画素値として取得する。別な言い方をすれば、矩形静止画生成部５３は、空間の受光面３４への投影関係に基づく写像関係に基づいて矩形画像中の各表示画像の受光面３４への写像座標を演算し、演算した座標（ｘ４，ｙ４，ｚ４）にある撮像画像の画素の画素値を、各表示画素の画素値として取得する。したがって、撮像画像中の円形画像の画素の画素値をそのまま用いた矩形画像を生成することができる。各表示画素の画素値そのものを演算により求める必要がない。演算により各表示画素の画素値を得る場合のように、演算による画質劣化が発生することはなく、しかも、画像の生成時間を短縮することができる。また、１つの矩形画像を生成する時間が短くて済むので、この矩形画像の生成処理を連続的に繰り返すことで、連続的な動きのある動画を得ることができる。１秒間に１０フレーム以上となる矩形静止画を生成することができる。滑らかな動きの動画とすることができる。

また、この実施の形態では、立体射影方式の魚眼レンズ２２を使用している。立体射影方式の魚眼レンズ２２による撮像画像では、外円境界の位置やサイズが変更されると、その外円境界の内側の範囲の、複数の画素による分割割合が変化する。しかしながら、処理管理部５５は、外円境界データ４８を更新すると、その更新後の外円境界データ４８の位置あるいはサイズと入射角像高テーブル４５とを用いてマップレシオテーブル４７を更新する。したがって、マップレシオテーブル４７を外円境界データ４８と適合するものに維持することができる。矩形静止画生成部５３は、このマップレシオテーブル４７用いて、各表示画素の投影座標を演算することができる。

以上の実施の形態は、本発明の好適な実施の形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形や変更が可能である。

たとえば上記実施の形態では、立体射影方式の魚眼レンズ２２を使用している。この他にもたとえば、等距離射影方式の魚眼レンズ、等立体射影方式の魚眼レンズ、正射影方式の魚眼レンズなどを使用してもよい。

上記実施の形態では、処理管理部５５は、注視点より上側の矩形画像の高さＨ１と、注視点より下側の矩形画像の高さＨ２との比が、「（Ｈ１：Ｈ２）９０度−θ／２：θ／２」となるように、矩形画像の注視点の位置を決定している。この他にもたとえば、処理管理部５５は、仰角θの範囲毎に予め定められた複数の矩形画像の注視点の位置の中から、仰角θにより選択するようにしてもよい。また、仰角θがたとえば４０度から９０度までの範囲では、矩形画像の注視点の位置をたとえば画像の中心位置に固定するようにしてもよい。

上記実施の形態では、処理管理部５５は、外円境界データ４８を更新する度に、マップレシオテーブル４７を更新している。この他にもたとえば、ＥＥＰＲＯＭ４３は、外円境界の設定可能範囲を複数の区間に分け、その区間毎に予め定められた複数のマップレシオテーブルを記憶し、処理管理部５５は、更新する外円境界データ４８に応じてその中の１つを選択するようにしてもよい。

上記実施の形態では、矩形静止画生成部５３は、１つの静止画データ６１から１つの矩形静止画を生成している。この他にもたとえば、矩形静止画生成部５３は、１つの静止画データ６１から２つ以上の複数の矩形静止画を生成するようにしてもよい。

上記実施の形態では、ＰＣ２は、ストリーミングデータから抽出した矩形静止画による動画を液晶表示デバイス１２に表示する。この他にもたとえば、ＰＣ２は、ストリーミングデータから抽出した矩形静止画による動画を図示外の記憶デバイスなどに保存し、その記憶デバイスなどに保存されている矩形静止画による動画を液晶表示デバイス１２に表示するようにしてもよい。

上記実施の形態では、撮像装置１には、ＵＳＢケーブル３によりＰＣ２が接続されている。この他にもたとえば、撮像装置１には、ＵＳＢケーブル３などによりたとえばコマンドを出力する入力ボードなどが接続されていてもよい。

本発明は、会議の様子などを矩形画像として撮像する撮像装置および撮像システムなどとして、広く利用することができる。

図１は、本発明の実施の形態に係る撮像システムを示すシステム構成図である。 図２は、図１中の撮像装置の電気回路を示すブロック図である。 図３は、図２中の魚眼レンズと、イメージセンサとの光学的な配置を示す説明図である。 図４は、図２中の色変換処理部がイメージセンサの輝度分布データに基づいて生成する撮像画像の一例を示す図である。 図５は、図２の撮像装置における撮像画像に、外円境界を示す円形の枠線と、矩形切出枠を示す略扇形状の枠線と、を重ねた説明図である。 図６は、図２中の立体射影方式の魚眼レンズの像高（画角差）特性図である。 図７は、図２の撮像装置により生成される矩形静止画の一例を示す図である。 図８は、図２中の処理管理部による詳細な処理の流れを示すフローチャートである。 図９は、図２中の処理管理部による矩形切出範囲の決定の仕方を示す説明図である。 図１０は、図２中の矩形静止画生成部による矩形静止画データの生成処理の流れを示すフローチャートである。 図１１は、矩形静止画の注視点が図９中の仮想視野球面のＸ軸上において接する状態を示す説明図である。 図１２は、図２中の矩形静止画生成部によるマッピング係数ｉｒの演算の仕方の説明図である。 図１３は、図２中の矩形静止画生成部による、特定表示画素を注視点の仰角で回転させる演算処理の説明図である。

符号の説明

１ 撮像装置
２ ＰＣ（パーソナルコンピュータ、コンピュータ装置）
２２ 魚眼レンズ
２７ イメージセンサ（撮像手段の一部）
３４ 受光面
４１ 色変換処理部（撮像手段の一部）
４３ ＥＥＰＲＯＭ（メモリ）
４５ 入射角像高テーブル
４７ マップレシオテーブル（投影補正テーブル）
４８ 外円境界データ
５３ 矩形静止画生成部（矩形画像生成手段）
５５ 処理管理部（注視点位置決定手段、ユーザ更新手段）

Claims (5)

1. 魚眼レンズと、
   受光面に上記魚眼レンズによる円形の像が結像し、円形画像を有する撮像画像のデータを生成する撮像手段と、
   生成する矩形画像の注視点の仰角に応じて、矩形画像中の注視点の位置を、注視点の仰角が９０度となるとき矩形画像の中心付近となり、画像の注視点の仰角が０度となるとき矩形画像の下端縁となるように決定する注視点位置決定手段と、
   上記注視点位置決定手段により決定された上記矩形画像中の注視点の位置を基準として、上記撮像手段が生成する上記撮像画像へ上記矩形画像を投影したときの対応関係に基づいて、上記撮像画像中の円形画像の一部を切り出してなる矩形画像を生成する矩形画像生成手段と、
   を有することを特徴とする撮像装置。
2. 前記注視点位置決定手段は、前記画像の注視点の、前記矩形画像中のその下端縁からの高さ位置を、前記矩形画像の下縁から上縁までを、前記画像の注視点の仰角の半分と、９０度からその仰角の半分を減算した値との比により分割する位置とすることを特徴とする請求項１記載の撮像装置。
3. 前記矩形画像生成手段は、前記矩形画像の各表示画素の前記撮像画像の受光面への投影座標を演算し、演算した各座標にある撮像画像の画素の画素値を、各表示画素の画素値として取得することを特徴とする請求項１または２記載の撮像装置。
4. 前記魚眼レンズは、立体射影方式のものであり、
   前記立体射影方式の魚眼レンズの入射角と像高との関係を示す入射角像高テーブル、および前記撮像画像中の矩形画像の生成に利用する範囲を示す外円境界データを記憶するメモリと、
   上記メモリに記憶される外円境界データの位置あるいはサイズを更新した後に、上記メモリに、その更新後の外円境界データの位置あるいはサイズと上記入射角像高テーブルとに基づいて、前記矩形画像生成手段が各表示画素の投影座標を演算する際に使用する投影補正テーブルを記憶させるユーザ更新手段と、
   を有することを特徴とする請求項３記載の撮像装置。
5. 請求項１から４の中のいずれか１項記載の前記撮像装置と、
   前記撮像装置が生成する矩形画像を、表示あるいは保存するコンピュータ装置と、
   を有することを特徴とする撮像システム。

Images