JP2003324636A

JP2003324636A - 広角画像生成装置

Info

Publication number: JP2003324636A
Application number: JP2002146994A
Authority: JP
Inventors: Kenichi Hayashi; 謙一林; Yasushi Sogabe; 靖曽我部; Shigeki Murata; 茂樹村田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-05-25
Filing date: 2002-05-22
Publication date: 2003-11-14
Anticipated expiration: 2022-05-22
Also published as: JP4175832B2

Abstract

(57)【要約】【課題】回転対称凸面形状を有した反射鏡を用いて略
±９０度分の広角画像を撮像し、演算処理を施すことに
よって展開画像を得る広角画像生成装置において、反射
面の回転中心軸が、０度の方向に垂直な面内において鉛
直方向から傾いた場合、得られる展開画像は、その内容
が、反射面の回転中心軸の傾斜分だけ傾いたものとな
り、見る者に違和感を与えるという問題点が発生する。【解決手段】本発明は、反射鏡１を用いて略±９０度
分の広角画像を撮像する撮像装置内に角度センサ１２を
設け、０度の方向に垂直な面内の傾きを測る。その値を
用いて、演算処理装置１１で展開処理とともに展開画像
の回転処理を行い、展開画像内の水平と出力モニタ１３
の水平を一致させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は反射面による反射光
を撮像し、広角画像を生成する広角画像生成装置に関す
るものである。

【０００２】

【従来の技術】反射面を用いた広角撮像装置の従来例と
して特許２９３９０８７号に記載のいわゆる全方位カメ
ラがある。これはカメラの光軸周りの軸回転対称の形状
を有した反射面により、回転軸周りの３６０度の方向の
画像を一度に撮像面に結像することができるものであ
る。また、撮像により得られる全方位画像に対して画像
変換処理を行うことにより、いわゆるパノラマ画像を得
るものである。

【０００３】全方位カメラは、監視領域が周囲３６０度
の場合には有効である。しかし監視領域が略１８０度で
よい場合には、全方位カメラは略１８０度分の不要な領
域を撮像することになり、撮像素子の使い方として非効
率である。

【０００４】そこで反射面のつくる反射像のうち、その
反射面の回転中心軸に垂直な任意の方向を基準方向とし
てその略±９０度分のみを撮像するような広角撮像装置
を考える。

【０００５】このような広角撮像装置で得られた画像
（以下、広角画像と呼ぶ）に対しても、特許２９３９０
８７号で示された全方位カメラの場合と同様に、演算処
理を施すことによって、通常の画角のカメラで撮った画
像をつなぎ合わせた様な画像である展開画像を得ること
ができる。

【０００６】以下に展開処理について説明する。図３３
は展開処理の説明のために広角撮像装置８を模式的に示
したものである。座標軸を、紙面から手前方向にＸ軸、
紙面の左右方向にＹ軸、紙面の上下方向にＺ軸とする。
またＺ軸は鉛直方向に一致している。

【０００７】広角撮像装置８は、軸回転対称の形状を有
した双曲面反射鏡１と結像レンズ２と撮像素子３とで構
成されている。撮像装置は結像レンズ２と撮像素子３と
で構成されている。

【０００８】双曲面反射鏡１は双曲面の回転中心軸周り
の±９０度分の反射面を有している。その０度の方向を
基準光軸方向とし、ここではＹ軸方向と一致するものと
する。４は双曲面反射鏡１の内部焦点である。６は双曲
面反射鏡１の回転中心軸であり、Ｚ軸と一致している。

【０００９】空間内の任意点Ｐ(Ｘ，Ｙ，Ｚ)から発せら
れ、内部焦点４に向かって入射した光線は、双曲面反射
鏡１の反射面で反射し、回転中心軸６上の外部焦点（図
示せず）へと集光される。この外部焦点の位置と結像レ
ンズ２の主点７の位置は略々一致するように配置されて
おり、結像レンズ２を介して光線が撮像素子３の撮像面
５上に結像する。

【００１０】また、２１は広角画像から展開画像への写
像を考える際の仮想の投影面である仮想円筒面である。
仮想円筒面２１はその回転中心軸が双曲面反射鏡１の回
転中心軸６と一致している。

【００１１】空間内の任意点Ｐ(Ｘ，Ｙ，Ｚ)に対応する
撮像面５上の点（即ち、広角画像上の点）ｐ(x，y)を考
える。双曲面反射鏡１の双曲面形状は下記（式１）で表
される。

【００１２】（Ｘ²＋Ｙ²）／ａ²−Ｚ²／ｂ² ＝ −１（式１）ここでａ，ｂは双曲面の形状を決定する定数である。ま
たｃ＝ (ａ²+ｂ²)^0.5 （式２）である。また式３〜式５が成立する。

【００１３】Ｚ＝ (Ｘ²+Ｙ²)^0.5・tanβ+ｃ（式３） tanβ ＝｛(ｂ²+ｃ²)・sinα−２ｂｃ｝／｛(ｂ²−ｃ²)・cosα｝（式４） tanα ＝Ｆ／ (ｘ²+ｙ²)^0.5 （式５）ここでＦは結像レンズ２と撮像素子３からなる撮像装置
の焦点距離である。角度αおよびβについては図３３を
参照のこと。

【００１４】（式３）〜（式５）よりＸ，Ｙ，Ｚ及び
ｂ，ｃ，Ｆが決まれば(ｘ²+ｙ²)^0.5、即ち、撮像面５上
の回転中心軸６との交点から点ｐまでの距離が決まる。
また、内部焦点４に向かう光線は、双曲面反射鏡１で反
射して外部焦点へ向かうという双曲面の性質から、ＸＹ
平面およびｘｙ平面における点Ｐ、点ｐの方向は一致す
る。従って、Ｙ／Ｘ＝ｙ／ｘ（式６）（式６）よりＸ，Ｙが求まれば、点ｐの方向も決まり、
よって、Ｐ(Ｘ，Ｙ，Ｚ)に対応する撮像面５上の点（即
ち広角画像上の点）ｐ(x、y)を一意に決定することがで
きる。即ち、略±９０度分の視野を撮像するような広角
撮像装置においても、全方位カメラの場合と同様に、展
開画像の投影面（仮想円筒面２１）を決め、広角画像か
ら投影面への写像を考えることによって展開画像の各画
素の広角画像における対応点を決定し、それに従って展
開画像の全画素の輝度値を決定することにより展開画像
を生成することができる。

【００１５】しかし、ここで反射面の回転中心軸が、基
準方向に垂直な面内において鉛直方向から傾いた場合、
この傾きを無視して、その広角撮像装置から得られた画
像に対して演算処理を行い、略±９０度分の広角画像を
展開画像へと変換すると、展開画像の外枠は反射面の回
転中心軸の傾きが無い時と変わらない。一方、展開画像
の内容は、反射面の回転中心軸の傾斜分だけ傾いたもの
となり、見る者に違和感を与えるという問題点が発生す
る。

【００１６】また、このような広角撮像装置の回転軸方
向の視野は、仰角をβ、俯角をγとする場合に（図３３
参照）、一般に｜β｜＜｜γ｜となる。そのため、展開
画像中の仰角が０となる位置（以下、視線中心と呼ぶ）
は、展開画像の短手方向のどちらかに片寄ってしまう。
この時、展開画像中の視線中心から遠い部分は、他の部
分よりも斜めに見ることになるために、他の部分に比べ
て歪んで見えてしまうという問題がある。

【００１７】また、図３４を用いて全方位カメラについ
て説明する。図３４の（ａ）は全方位カメラの基本構成
を示している。全方位カメラ１００は、軸回転対称形状
を有した反射面としての双曲面反射鏡１０１と、結像レ
ンズ１０２と、ＣＣＤなどの撮像素子１０３とで構成さ
れている。

【００１８】１０４は双曲面反射鏡１０１の内部焦点で
ある。１０５は撮像素子１０３の撮像面である。１０６
は双曲面反射鏡１０１の回転中心軸であり、ここではＺ
軸と一致しているとする。またこの双曲面反射鏡１０１
の回転中心軸に垂直な任意の方向をＹ軸方向とする。１
０７は結像レンズ１０２の主点である。内部焦点１０４
と主点１０７を結ぶ直線を２等分する点を座標系の原点
Ｏとする。

【００１９】また、１０８ａ，１０８ｂは双曲面反射鏡
１０１に入射する光線であり、１０９ａ，１０９ｂは光
線１０８ａ，１０８ｂの双曲面反射鏡１０１に対する入
射点である。１１０ａ，１１０ｂは入射点１０９ａ，１
０９ｂで反射した光線１０８ａ，１０８ｂの撮像面１０
５における結像点である。

【００２０】ＹＺ平面内のある点から発せられ、内部焦
点１０４に向かって入射し、双曲面反射鏡１０１上の入
射点１０９ａ，１０９ｂに到達した光線１０８ａ，１０
８ｂは、双曲面反射鏡１０１の反射面で反射し、回転中
心軸１０６上の外部焦点（図示せず）へと集光される。
この外部焦点の位置と結像レンズ１０２の主点１０７の
位置は略々一致するように配置されており、結像レンズ
１０２を介して光線１０８ａ，１０８ｂは撮像素子１０
３の撮像面１０５上の結像点１１０ａ，１１０ｂに結像
する。

【００２１】図３４の（ｂ）は撮像面１０５上における
結像の様子を示す。図示しているように紙面上向きがＹ
軸方向とする。また紙面垂直方向がＺ軸方向とする。光
線１０８ａ，１０８ｂを含む、全方位カメラ１００の回
転中心軸１０６の周囲３６０度から内部焦点１０４に向
かって双曲面反射鏡１０１に入射する光束（図示せず）
が、光線１０８ａ，１０８ｂと同じように、双曲面反射
鏡１０１の外部焦点（図示せず）を通り、結像レンズ１
０２を介して撮像面１０５上に円状の像１１１を形成す
る。また、円状の像１１１でＹ方向の両端が光線１０８
ａ，１０８ｂの結像点１１０ａ，１１０ｂとなる。

【００２２】以上のようにして得られた円状の全方位画
像をパノラマ画像に変換する展開処理について以下に説
明する。図３５は展開処理の説明のために全方位カメラ
１００を模式的に示したものである。双曲面反射鏡１０
１、結像レンズ１０２、撮像素子１０３、内部焦点１０
４、撮像面１０５、回転中心軸１０６、主点１０７は、
図３４で説明したものと同じである。

【００２３】１１２は、円状の全方位画像から展開画像
への写像を考える際の仮想の投影面である仮想円筒面で
ある。仮想円筒面１１２はその回転中心軸が双曲面反射
鏡１０１の回転中心軸１０６と一致している。座標軸
は、紙面から手前方向にＸ軸、紙面の左右方向にＹ軸、
紙面の上下方向にＺ軸とする。またＺ軸は回転中心軸１
０６と一致するものとする。

【００２４】既に説明したように、空間内の任意点Ｐ
(Ｘ_P，Ｙ_P，Ｚ_P)から発せられ、内部焦点１０４に向か
って入射した光線は、双曲面反射鏡１０１の反射面で反
射し、回転中心軸１０６上の外部焦点（図示せず）へと
集光される。この外部焦点の位置と結像レンズ１０２の
主点１０７の位置は略々一致するように配置されてお
り、結像レンズ１０２を介して光線が撮像素子１０３の
撮像面１０５上に結像する。

【００２５】空間内の任意点Ｐ（Ｘ_P，Ｙ_P，Ｚ_P）に対
応する撮像面１０５上の点、すなわち、円状の全方位画
像上の点であるｐ（ｘ_p，ｙ_p）を考える。双曲面反射鏡
１０１の双曲面形状は（式７）で表される。

【００２６】 (Ｘ²+Ｙ²)／ａ²−Ｚ²／ｂ²＝−１（式７）ここでａ，ｂは双曲面の形状を決定する定数である。ま
たｃ＝(ａ²+ｂ²)^0.5 （式８）である。また（式９）〜（式１１）が成立する。

【００２７】Ｚ＝(Ｘ²+Ｙ²)^0.5・tanα+ｃ（式９） tanα＝｛(ｂ²+ｃ²)・sinβ−２ｂｃ｝／｛(ｂ²−ｃ²)・cosβ｝（式１０） tanβ＝Ｆ／ (ｘ²+ｙ²)^0.5 （式１１）ここでＦは結像レンズ１０２と撮像素子１０３からなる
撮像装置の焦点距離である。角度αは、内部焦点１０４
と任意点Ｐを結ぶ直線とＸＹ平面のなす角度である。角
度βは、主点１０７（双曲面反射鏡１０１の外部焦点と
略々一致）と撮像面１０５上の点ｐを結ぶ直線とＸＹ平
面のなす角度である。（式９）〜（式１１）よりＸ_P，
Ｙ_P，Ｚ_Pおよびｂ、ｃ、Ｆが決まれば(ｘ_p ²＋
ｙ_p ²)^0.5、すなわち、撮像面１０５上の回転中心軸１０
６との交点から点ｐまでの距離が決まる。

【００２８】また、内部焦点１０４に向かう光線は、双
曲面反射鏡１０１で反射して外部焦点へ向かうという双
曲面の性質から、ＸＹ平面およびｘｙ平面における点
Ｐ、点ｐの方向は一致する。従ってＹ／Ｘ＝ｙ／ｘ（式１２）（式１２）よりＸ_P，Ｙ_Pが求まれば、点ｐの方向も決ま
る。

【００２９】以上より、Ｐ（Ｘ_P，Ｙ_P，Ｚ_P）に対応す
る撮像面５上の点（すなわち、円状の全方位画像上の
点）ｐ（ｘ_p，ｙ_p）を一意に決定することができる。従
って、展開画像の投影面（仮想円筒面１１２）を決め、
円状の全方位画像から投影面への写像を考えることによ
って、展開画像の各画素に対する円状の全方位画像にお
ける対応点を決定し、それに従って展開画像の全画素の
輝度値を決定することにより展開画像を生成することが
できる。

【００３０】全方位カメラは、監視領域が周囲３６０度
の場合には有効である。しかし監視領域が略１８０度で
よい場合には、全方位カメラは略１８０度分の不要な領
域を撮像することになり、撮像素子の使い方として非効
率である。

【００３１】

【発明が解決しようとする課題】本発明は、広角撮像装
置をその回転中心軸が基準光軸方向に垂直な面内で鉛直
方向に対して傾けた状態としても、広角画像生成装置と
しての出力は画像内の水平方向がＴＶモニタの水平方向
と一致した画像となり、見る人に違和感を与えない広角
画像生成装置を提供することを目的とする。

【００３２】また、本発明は、反射面のつくる反射像の
うち、その反射面の回転中心軸に垂直な任意の方向を基
準方向としてその略±９０度分のみを撮像するような広
角画像生成装置を考えた場合に、広角画像に対して全方
位カメラの場合と同様の処理を適用し展開画像を得よう
とすると、撮像装置の光軸の傾きや光学収差に起因する
像の変形のために得られる展開画像は正しいものになら
ないという課題があるが、これを解決できる広角画像生
成装置を提供することを目的とする。

【００３３】

【課題を解決するための手段】本発明の請求項１記載の
広角画像生成装置は、広角撮像装置と演算処理装置から
なる広角画像生成装置であって、広角撮像装置は、回転
対称体の回転中心軸に対して垂直な任意の方向に基準光
軸をとり前記基準光軸の方向を０度として少なくとも角
度θの範囲（θ１≦θ≦θ２、−９０°≦θ１≦９０
°、−９０°≦θ２≦９０°、θ１＜θ２）の凸面形状
の反射面を有する反射鏡と、前記反射鏡の回転中心軸上
に主点を有し、前記反射鏡の反射像を結像して前記反射
鏡の回転中心軸周りの少なくとも角度θの範囲の対象物
を撮像する撮像装置からなり、前記基準光軸に対して垂
直な平面内で、前記反射鏡の回転中心軸を任意の回転中
心軸面内傾斜方向に傾けて設置し、演算処理装置は、前
記広角撮像装置より得られる画像に対して演算処理を行
い展開画像を生成する展開画像生成部と、前記回転中心
軸面内傾斜方向に応じて前記展開画像を傾斜させ前記展
開画像のデータ形式を出力用の形式に変換し出力画像と
して生成する出力画像生成部とからなることを特徴とす
る。

【００３４】本発明の請求項２記載の広角画像生成装置
は、広角撮像装置と演算処理装置からなる広角画像生成
装置であって、広角撮像装置は、回転対称体の回転中心
軸に対して垂直な任意の方向に基準光軸をとり前記基準
光軸の方向を０度として少なくとも角度θの範囲（θ１
≦θ≦θ２、−９０°≦θ１≦９０°、−９０°≦θ２
≦９０°、θ１＜θ２）の凸面形状の反射面を有する反
射鏡と、前記反射鏡の回転中心軸上に主点を有し、前記
反射鏡の反射像を結像して前記反射鏡の回転中心軸周り
の少なくとも角度θの範囲の対象物を撮像する撮像装置
からなり、前記基準光軸に対して垂直な平面内で、前記
反射鏡の回転中心軸を任意の回転中心軸面内傾斜方向に
傾けて設置し、演算処理装置は、前記広角撮像装置によ
り得られる画像に対して演算処理を行い前記回転中心軸
面内傾斜方向に応じて傾斜させた展開画像を生成する展
開画像生成部と、前記展開画像のデータ形式を出力用の
形式に変換し出力画像として生成する出力画像生成部と
からなることを特徴とする。

【００３５】本発明の請求項３記載の広角画像生成装置
は、請求項１または請求項２において、前記反射鏡が、
回転中心軸上に内部焦点を持つ双曲面形状であり、前記
双曲面形状の外部焦点の位置と前記撮像装置の主点の位
置を一致または略々一致させたことを特徴とする。

【００３６】本発明の請求項４記載の広角画像生成装置
は、請求項１〜請求項３の何れかにおいて、前記回転中
心軸面内傾斜方向を水平方向と一致または略一致させた
ことを特徴とする。

【００３７】本発明の請求項５記載の広角画像生成装置
は、請求項１〜請求項４の何れかにおいて、前記広角撮
像装置もしくは前記演算処理装置に、前記回転中心軸面
内傾斜方向を検出する回転中心軸面内傾斜方向検出部を
有し、前記回転中心軸面内傾斜方向検出部の出力結果に
応じて前記演算処理装置にて前記展開画像を傾斜させ出
力画像を生成することを特徴とする。

【００３８】本発明の請求項６記載の広角画像生成装置
は、請求項５において、前記演算処理装置内に設けた回
転中心軸面内傾斜方向検出部は、画像処理して回転中心
軸面内傾斜方向を検出するよう構成したことを特徴とす
る。

【００３９】本発明の請求項７記載の広角画像生成装置
は、請求項１〜請求項４の何れかにおいて、前記広角撮
像装置もしくは前記演算処理装置に、前記回転中心軸面
内傾斜方向を入力する回転中心軸面内傾斜方向入力部を
有し、前記回転中心軸面内傾斜方向入力部の入力結果に
応じて前記演算処理装置にて前記展開画像を傾斜させ出
力画像を生成することを特徴とする。

【００４０】本発明の請求項８記載の広角画像生成装置
は、広角撮像装置と演算処理装置からなる広角画像生成
装置であって、広角撮像装置は、双曲面の回転中心軸に
対して垂直な任意の方向に基準光軸をとり前記基準光軸
の方向を０度として少なくとも角度θの範囲（θ１≦θ
≦θ２、−９０°≦θ１≦９０°、−９０°≦θ２≦９
０°、θ１＜θ２）の双曲面形状の反射面を有する双曲
面反射鏡と、前記双曲面反射鏡の外部焦点の位置と主点
の位置が略々一致し、前記双曲面反射鏡の反射像を結像
して前記双曲面反射鏡の回転中心軸周りの少なくとも角
度θの範囲の対象物を撮像する撮像装置からなり、前記
基準光軸と前記双曲面反射鏡の回転中心軸を含む平面内
で、前記双曲面反射鏡の回転中心軸を任意の回転中心軸
前方傾斜方向に傾けて設置され、演算処理装置は、前記
広角撮像装置より得られる画像に対して前記双曲面反射
鏡の内部焦点を通る任意の軸を仮想円筒回転中心軸とし
た仮想円筒を投影面として演算処理を行い展開画像を生
成する展開画像生成部と、前記展開画像のデータ形式を
出力用の形式に変換し出力画像として生成する出力画像
生成部とからなることを特徴とする。

【００４１】本発明の請求項９記載の広角画像生成装置
は、請求項８において、前記回転中心軸前方傾斜方向に
関わらず、前記基準光軸と前記双曲面反射鏡の回転中心
軸を含む平面内に設定した基準軸と前記仮想円筒回転中
心軸が平行もしくは一致したことを特徴とする。

【００４２】本発明の請求項１０記載の広角画像生成装
置は、請求項９において、前記回転中心軸前方傾斜方向
が、前記基準光軸と前記双曲面反射鏡の回転中心軸を含
む平面内における前記広角撮像装置の画角中心が前記基
準軸に対して垂直となるような方向であることを特徴と
する。

【００４３】本発明の請求項１１記載の広角画像生成装
置は、請求項９または請求項１０において、前記広角撮
像装置もしくは前記演算処理装置に、前記回転中心軸前
方傾斜方向を検出する回転中心軸前方傾斜方向検出部を
有し、前記回転中心軸前方傾斜方向検出部の出力結果に
応じて前記演算処理装置にて出力画像を生成することを
特徴とする。

【００４４】本発明の請求項１２記載の広角画像生成装
置は、請求項９または請求項１０において、前記広角撮
像装置もしくは前記演算処理装置内に、前記回転中心軸
前方傾斜方向を入力する回転中心軸前方傾斜方向入力部
を有し、前記回転中心軸前方傾斜方向入力部の入力結果
に応じて前記出力画像生成部にて出力画像を生成するこ
とを特徴とする。

【００４５】本発明の請求項１３記載の広角画像生成装
置は、回転対称体の回転中心軸に対して垂直な任意の方
向に基準光軸をとり、前記基準光軸の方向を０度として
少なくとも角度θの範囲（θ１≦θ≦θ２、−１８０°
≦θ１≦１８０°、−１８０°≦θ２≦１８０°、θ１
＜θ２）の凸面形状の反射面を有する反射鏡と、前記反
射鏡の回転中心軸上に主点を有し、画角を２αとした時
に前記回転中心軸上に対してα以下の角度だけ光軸が基
準光軸方向に傾斜しており、前記反射鏡の反射像を結像
して、前記反射鏡の回転中心軸周りの少なくとも角度θ
の範囲の対象物を撮像する撮像装置と、前記撮像装置か
ら得られる広角画像から前記回転中心軸上から見た展開
画像を生成する展開画像生成部と、前記展開画像生成部
が前記広角画像を展開する際の前記広角画像と前記展開
画像の画素対応関係の情報を含む展開テーブルを生成す
る展開テーブル生成部とを設けたことを特徴とする。

【００４６】本発明の請求項１４記載の広角画像生成装
置は、回転対称体の回転中心軸に対して垂直な任意の方
向に基準光軸をとり、前記基準光軸の方向を０度として
少なくとも角度θの範囲（θ１≦θ≦θ２、−１８０°
≦θ１≦１８０°、−１８０°≦θ２≦１８０°、θ１
＜θ２）の凸面形状の反射面を有する反射鏡と、前記反
射鏡の回転中心軸上に主点を有し、画角を２αとした時
に前記回転中心軸上に対してα以下の角度だけ光軸が基
準光軸方向に傾斜しており、前記反射鏡の反射像を結像
して、前記反射鏡の回転中心軸周りの少なくとも角度θ
の範囲の対象物を撮像する撮像装置と、前記撮像装置か
ら得られる広角画像から前記回転中心軸上から見た展開
画像を生成する展開画像生成部と、前記展開画像生成部
が前記広角画像を展開する際の前記広角画像と前記展開
画像の画素対応関係の情報を含む展開テーブルを生成す
る展開テーブル生成用演算処理装置と、前記展開テーブ
ル生成用演算処理装置で生成された前記展開テーブルを
保持するとともに前記展開画像生成部に接続された展開
テーブル記憶部とを設けたことを特徴とする。

【００４７】本発明の請求項１５記載の広角画像生成装
置は、凸面形状の反射面を有する反射鏡と、前記反射鏡
の回転中心軸上に主点を有し、前記反射鏡の反射像を結
像して前記反射鏡の回転中心軸周り３６０度の範囲の対
象物を撮像する撮像装置と、前記撮像装置から得られる
広角画像から前記回転中心軸上から見た展開画像を生成
する展開画像生成部と、前記展開画像生成部が前記広角
画像を展開する際の前記広角画像と前記展開画像の画素
対応関係の情報を含む展開テーブルを生成する展開テー
ブル生成部とを設けたことを特徴とする。

【００４８】本発明の請求項１６記載の広角画像生成装
置は、凸面形状の反射面を有する反射鏡と、前記反射鏡
の回転中心軸上に主点を有し、前記反射鏡の反射像を結
像して前記反射鏡の回転中心軸周り３６０度の範囲の対
象物を撮像する撮像装置と、前記撮像装置から得られる
広角画像から前記回転中心軸上から見た展開画像を生成
する展開画像生成部と、前記展開画像生成部が前記広角
画像を展開する際の前記広角画像と前記展開画像の画素
対応関係の情報を含む展開テーブルを生成する展開テー
ブル生成用演算処理装置と、前記展開テーブル生成用演
算処理装置で生成された前記展開テーブルを保持すると
ともに前記展開画像生成部に接続された展開テーブル記
憶部とを設けたことを特徴とする。

【００４９】本発明の請求項１７記載の広角画像生成装
置は、請求項１３〜請求項１６の何れかにおいて、前記
反射鏡が、回転中心軸上に内部焦点を持つ双曲面形状で
あり、前記双曲面形状の外部焦点の位置と前記撮像装置
の主点の位置が略々一致することを特徴とする。

【００５０】本発明の請求項１８記載の広角画像生成装
置は、請求項１７において、展開テーブル生成部または
展開テーブル生成用演算処理装置を、撮像装置の光軸の
傾斜量に応じた広角画像と展開画像の画素対応関係の情
報を含む展開テーブルを生成するよう構成したことを特
徴とする。

【００５１】本発明の請求項１９記載の広角画像生成装
置は、請求項１７において、展開テーブル生成部または
展開テーブル生成用演算処理装置を、下記の数式に従っ
て展開テーブルを生成するよう構成したことを特徴とす
る。

【００５２】tanα ＝｛(ｂ²+ｃ²)・sinβ−２ｂｃ｝／
｛(ｂ²−ｃ²)・cosβ｝ｃ＝ (ａ²+ｂ²)^0.5 (ｘ²+ｙ²) ^0.5 ＝Ｆ・cosβ／cosγ(θ)／sin(β＋γ
(θ)) cosφ ＝ cosθ／(１＋tan²γ(90°)・sin²θ)^0.5 tanγ(θ) ＝ tanγ(90°)・sinθ 但し、ａ，ｂは反射鏡の双曲面形状を決定する定数であ
り、双曲面形状は、ＸＹＺ空間において(Ｘ²+Ｙ²)／ａ²
−Ｚ²／ｂ²＝−１と表せる双曲面のうちのＺ＞０のもの
であり、αは前記反射鏡の内部焦点と空間上の任意点を
結ぶ直線とＸＹ平面のなす角度、βは前記任意点からの
入射光が撮像装置の撮像面上に入射する点と前記撮像装
置の主点とを結ぶ直線がＸＹ平面となす角度、Ｆは前記
撮像装置の焦点距離、θはＸＹ平面において基準光軸方
向を９０度とした時の前記入射光の入射方向、γは前記
入射方向θに依存した前記撮像面の傾き、φは前記入射
光の前記撮像面上における入射方向である。

【００５３】本発明の請求項２０記載の広角画像生成装
置は、請求項１３〜請求項１７の何れかにおいて、展開
テーブル生成部または展開テーブル生成用演算処理装置
を、撮像装置の光学収差による歪みを含んだ広角画像と
歪補正後の広角画像の対応関係と、前記歪補正後の広角
画像と展開画像の対応関係を合成した画素対応関係の情
報を含む展開テーブルを生成するよう構成したことを特
徴とする。

【００５４】本発明の請求項２１記載の広角画像生成装
置は、請求項１３〜請求項１７の何れかにおいて、展開
テーブル生成部または展開テーブル生成用演算処理装置
を、広角画像と展開画像の画素対応関係を考える際の仮
想投影面の形状を変更することにより、前記広角画像と
前記展開画像の画素対応関係を変更した展開テーブルを
生成するよう構成したことを特徴とする。

【００５５】本発明の請求項２２記載の広角画像生成装
置は、請求項１３〜請求項１７の何れかにおいて、展開
テーブル生成部または展開テーブル生成用演算処理装置
を、展開画像上に設けた任意のマスク領域内における広
角画像と展開画像の画素対応関係を任意に変更し、前記
マスク領域内の展開画像をマスクするような展開テーブ
ルを生成するよう構成したことを特徴とする。

【００５６】本発明の請求項２３記載の広角画像生成装
置は、請求項１３〜請求項１７の何れかにおいて、展開
画像生成部の後段に、展開画像生成部の後処理として、
展開画像上の位置に応じて強調度を変えた高周波成分強
調処理を行う画質補正処理部を追加したことを特徴とす
る。

【００５７】本発明の請求項２４記載の広角画像生成装
置は、請求項１７または請求項２３において、展開画像
生成部によって展開された画像の特定エリアを本来のも
のと異なる画像にする画像マスク処理を行う画像マスク
処理部を設けたことを特徴とする。

【００５８】

【発明の実施の形態】以下、本発明の各実施の形態を図
１〜図３２に基づいて説明する。まず、図１〜図９に示
す（実施の形態１）〜（実施の形態４）の各実施の形態
に基づいて、広角撮像装置をその回転中心軸が基準光軸
方向に垂直な面内で鉛直方向に対して傾けた状態として
も、広角画像生成装置としての出力は画像内の水平方向
がＴＶモニタの水平方向と一致した画像となり、見る人
に違和感を与えない広角画像生成装置を説明する。

【００５９】（実施の形態１）図１〜図５は本発明の
（実施の形態１）を示す。図１は（実施の形態１）の広
角画像生成装置を示し、座標軸を紙面の上下方向にＸ
軸、紙面から手前方向にＹ軸、紙面の左右方向にＺ軸と
する。またＸ軸は鉛直方向とする。

【００６０】広角撮像装置８は、双曲面反射鏡１と結像
レンズ２と撮像素子３とで構成されている。撮像装置は
結像レンズ２と撮像素子３とで構成されている。双曲面
反射鏡１は、双曲面の回転中心軸周りの±９０度分の反
射面を有している。その０度の方向、すなわち、基準光
軸方向はＹ軸方向とする。また基準光軸は双曲面反射鏡
１の内部焦点４を通るものとする。双曲面反射鏡１の回
転中心軸６は、Y軸を回転軸として鉛直方向から９０度
傾けることにより、Ｚ軸（水平方向）と一致している。

【００６１】内部焦点４に向かって入射した光線ａ，
ｂ，ｃは、双曲面反射鏡１の反射面で反射し、回転中心
軸６上の外部焦点（図示せず）へと集光される。この外
部焦点の位置と結像レンズ２の主点７の位置は一致また
は略々一致するように配置されており、結像レンズ２を
介して光線ａ，ｂ，ｃが撮像素子３の撮像面５上に結像
する。

【００６２】なお、図１では、結像レンズ２を１枚構成
のように描いているが、複数枚のレンズで構成されてい
ても構わない。また、ここでは反射鏡１を双曲面形状に
限定しているが、半球や円錐などの回転対称体としても
よい。但し、その場合は外部焦点が存在しないので結像
レンズ２の主点７は回転中心軸６上の任意の位置とな
る。

【００６３】広角撮像装置８に設けられた回転中心軸面
内傾斜方向検出部としてのジャイロ方式のＹ軸周り角度
センサ１２は、基準光軸方向に垂直な面内（ＸＺ平面
内）での回転中心軸６が基準となる軸（ここでは鉛直軸
とする）に対して何度傾いたかを出力する。

【００６４】演算処理装置１１は、展開画像生成部９と
出力画像生成部１０とで構成されている。展開画像生成
部９では、広角撮像装置８の撮像素子３より得られる１
８０度画角の広角画像に対して、双曲面反射鏡１の形状
や結像レンズ２および撮像素子３の光学特性に応じて決
まるアルゴリズムに従い、広角画像を展開画像へと変換
する処理を行う。

【００６５】出力画像生成部１０では、展開画像生成部
９より得られる展開画像に対して、Ｙ軸周り角度センサ
１２の出力に基づき、後述する傾き補正処理を行い、NT
SC方式への変換を行う。１３は演算処理装置１１からの
出力画像を表示するＴＶモニタである。

【００６６】動作に基づいて図１の構成をさらに詳しく
説明する。図１において光線ａ，ｂ，ｃは対象物からの
任意の光線を示している。そこで各光線の対象物を対象
物ａ，ｂ，ｃと呼ぶことにする。対象物ａ，ｂ，ｃは、
図２（ａ）に示すようなスクリーン１４上に描かれた
「ａ」「ｂ」「ｃ」の文字とし、このスクリーン１４
を、図２（ｂ）に示すようにＺ軸周りにＺ軸からスクリ
ーン表面までの距離が一定となるように、対象物ａ，
ｂ，ｃが描かれた面を双曲面反射鏡１から見えるように
配設した場合を考える。

【００６７】既に説明したように、内部焦点４に向かっ
て双曲面反射鏡１の反射面に入射した光線は、全て外部
焦点（図示せず）へと反射され、外部焦点と主点の位置
が一致または略々一致するように設置された結像レンズ
２を介して撮像素子３の撮像面５上に結像する。

【００６８】従って、基準光軸方向（Ｙ軸方向）に対し
て±９０度の範囲が撮像面５上に結像することになる。
この時、撮像素子３で得られる画像を図３に示す。対象
物ａ，ｂ，ｃが全て含まれることが分かる。

【００６９】演算処理装置１１では、広角撮像装置８か
ら出力される図３に示すような広角画像に対して、展開
画像生成部９で展開画像への変換処理を行う。展開処理
は、既に説明したように、展開画像の投影面（仮想円筒
面２１）を決め、広角画像から投影面への写像を考える
ことによって展開画像の各画素の広角画像における対応
点を決定し、それに従って展開画像の全画素の輝度値を
決定することにより展開画像を生成する。例えば図３で
示したような広角画像に対して展開処理を行うと図４の
ような展開画像が得られる。

【００７０】以上のような展開画像生成部９での処理で
作成された展開画像に対して、出力画像生成部１０で出
力画像への変換処理を行う。出力画像生成部１０では２
つの処理を行う。

【００７１】始めに、展開画像の傾き補正処理について
説明する。回転中心軸６を基準光軸方向に垂直な面内で
鉛直方向に対して９０度傾けると、図４に示すように展
開画像はその画像内の鉛直方向が本来あるべき方向に対
して９０度傾いた画像となってしまう。

【００７２】そこで、この横長の展開画像に対して画像
の回転処理を施すことにより傾きの補正を行う。具体的
には、広角撮像装置８に組み込んだジャイロ方式のＹ軸
周り角度センサ１２を用いて、広角撮像装置８の回転中
心軸６の鉛直方向に対する傾き角をＹ軸の＋方向を見た
時の時計回り方向を正として計測する。

【００７３】こうして得られた傾き角分だけ、展開画像
を時計回りを正として、画像処理演算により回転させ
る。次に、出力画像化処理について説明する。

【００７４】広角画像の展開処理、傾き補正処理は、画
像をデジタル化した状態で行われる。そこで、デジタル
化されている画像を表示するのに適した形式、例えばＮ
ＴＳＣ方式に変換する処理を行う。具体的には、まずデ
ジタルデータの段階で画像サイズをＮＴＳＣのサイズに
適合するように、余白領域を追加する。この余白領域は
輝度０の領域としても構わないし、何らかの情報（例え
ば背景画像や撮影時間を示すキャプションなど）を入れ
ても構わない。次に、既存のＮＴＳＣエンコードチップ
などを用いて回路を構成することにより、ＮＴＳＣサイ
ズとなったデジタルデータをＮＴＳＣに変換する。図４
に示すような展開画像でも、出力画像は図５に示すよう
に、画像内の水平方向が実際の水平方向と一致または略
々一致した状態でＴＶモニタ１３に表示される。

【００７５】なお、出力形式としてはＮＴＳＣに限定さ
れるものではなく、ＰＡＬなど他の形式でも構わない。
また、ここでは回転中心軸６を９０度傾ける構成とした
が、傾き角は９０度に限定されるものではない。但し、
傾き角を９０度とすれば、通常の広角光学系では実現困
難な鉛直方向１８０度の視野が得られることから、本装
置のそばに立った人の顔から手元、足元までを一枚の画
像として得ることが出来るため、例えばＡＴＭ（自動現
金支払機）や自動販売機などの監視用途への適用が可能
になるという利点がある。

【００７６】また、本発明は回転中心軸６を任意の角度
に傾け、広角撮像装置８を固定する場合に限定されるも
のではない。例えば、図６に模式的に示すように広角撮
像装置８を一定速度で基準光軸を回転軸として回転さ
せ、その出力画像をＴＶモニタ１３に出力する。この
時、出力画像も一定の速度でＴＶモニタ内を回るが、そ
の画像の内容は水平方向がＴＶモニタの水平方向と一致
しているというものとなり、イベントなどに用いる特殊
ディスプレイとして使用できる。

【００７７】また、(実施の形態１)では、傾き補正処理
を、展開画像内の水平方向と出力画像の水平方向が一致
するような制御としていたが、これに限定されるもので
はない。例えば、展開画像内の水平方向と出力画像の水
平方向のずれを一定とするような制御や、展開画像内の
水平方向と出力画像の水平方向のずれを一定の決まりに
従い変化させるような制御としてもよい。

【００７８】また、（実施の形態１）では、双曲面反射
鏡１を±９０度分の反射面を有するものとしたが、これ
に限定されるものではない。少なくとも±９０度以下の
範囲であればよい。

【００７９】また、(実施の形態１)では、ジャイロ方式
のＹ軸周り角度センサ１２を広角撮像装置８に取り付け
て傾き情報を得ていた。その他の方法として演算処理装
置１１で画像処理を用いて傾き情報を得てもよい。

【００８０】具体的には、撮影を行い、得られる展開画
像中に角度計測の基準となる対象物が入るように撮影条
件を決める。そしてこの対象物の展開画像内における傾
き角を画像処理で求め、その角度が一定となるように、
出力画像化処理時の傾け角を決定する。この方法であれ
ば角度センサが不要になるという利点がある。

【００８１】また、（実施の形態１）では、展開画像生
成部９で広角画像から展開画像を生成する処理を行い、
出力画像生成部１０で展開画像の傾き補正処理およびＮ
ＴＳＣなどへの出力画像化処理を行ったが、展開画像生
成部９で展開画像の生成と同時に展開画像の傾き補正を
行い、出力画像生成部１０では出力画像化処理のみを行
う構成としてもよい。

【００８２】具体的には、従来の技術として説明したよ
うな方法で展開画像の各画素の広角画像における対応点
を決定し、それに従って展開画像の各画素の輝度値を決
定する。こうして得られた各画素の輝度値を展開画像生
成部９内の図示しないメモリ上の展開画像の傾きを考慮
した位置に順次記憶していくことにより傾き補正済み展
開画像を生成する。この時の展開画像の傾き量はＹ軸周
り角度センサ１２より取得する。出力画像生成部１０で
は傾き補正済み展開画像を受け取り、出力画像化処理を
行う。

【００８３】このような構成とすれば、展開画像の生成
と傾き補正が同時に行えるため、処理速度の向上が期待
できるという利点がある。このように（実施の形態１）
によれば、広角撮像装置８を、その回転中心軸６が基準
光軸方向に垂直な面内で鉛直方向に対して傾けた状態と
しても、広角画像生成装置としての出力は画像内の水平
方向がＴＶモニタ１３の水平方向と一致した画像とな
り、見る人に違和感を与えないものとできる。

【００８４】（実施の形態２）図７は本発明の（実施の
形態２）の広角画像生成装置を示す。図１に示した（実
施の形態１）との相違部分は、回転中心軸面内傾斜方向
検出部としてのＹ軸周り角度センサ１２を無くし、回転
中心軸面内傾斜方向を手動操作で入力設定される回転中
心軸面内傾斜方向入力部１５を演算処理装置１１に設け
た点である。

【００８５】このように構成された広角画像生成装置
を、その動作について（実施の形態１）との相違部分を
中心に説明する。回転中心軸面内傾斜方向入力部１５
は、可変抵抗器などの入力設定器である。この入力設定
器を介して、出力画像生成部１０内に定数データとして
確保されている広角撮像装置８の回転中心軸６の基準光
軸方向に垂直な面内における鉛直方向に対する傾き角の
値を設定する。この他の動作については（実施の形態
１）と同じである。

【００８６】このように（実施の形態２）によれば、Ｙ
軸周り角度センサ１２を省いて構成することが可能とな
るため、より安価に装置全体を構成することが可能とな
る。なお、ここでは回転中心軸面内傾斜方向入力部１５
を可変抵抗器などの入力設定器であるとしたが、この形
態に限定されるものではない。例えば、出力画像生成部
１０内に確保されている定数データの書き換えは、出力
画像生成部１０の外部からパーソナルコンピュータを用
いて行うものとし、回転中心軸面内傾斜方向入力部１５
は、出力画像生成部１０と前記パーソナルコンピュータ
との接続部としてもよい。

【００８７】上記の実施の形態では、回転中心軸面内傾
斜方向入力部１５を演算処理装置１１に設けたが、出力
画像生成部１０に対して回転中心軸面内傾斜方向を入力
するための可変抵抗器などの入力設定器または出力画像
生成部１０とパーソナルコンピュータとの前記接続部
を、広角撮像装置８の側に設けてもよい。

【００８８】また、（実施の形態２）では、双曲面反射
鏡１を±９０度分の反射面を有するものとしたが、これ
に限定されるものではない。少なくとも±９０度以下の
範囲であればよい。

【００８９】（実施の形態３）図８は（実施の形態３）
の広角画像生成装置を示す。この図８において、１´は
基準状態の双曲面反射鏡の位置を示している。６´は基
準状態の回転中心軸の位置を示している。基準状態の回
転中心軸６´は水平方向と一致または略々一致している
ものとし、これが傾ける前の状態である。双曲面反射鏡
１、結像レンズ２、撮像素子３、双曲面反射鏡１の内部
焦点４、撮像素子３の撮像面５、双曲面反射鏡１の回転
中心軸６、結像レンズ２の主点７は（実施の形態１）の
ものと同じである。

【００９０】相違点は、回転中心軸６が基準光軸と回転
中心軸６とを含む面内で基準状態の回転中心軸６´に対
して内部焦点４を中心に傾き角θだけ傾けて設置してい
るという点と、Ｘ軸周り角度センサ１６の測定方向が傾
き角θであるという点である。

【００９１】１８´と１９´は基準状態における広角撮
像装置８の視野限界を、２０´は基準状態における広角
撮像装置８の視野範囲を、１８と１９は回転中心軸６を
基準状態から傾き角θだけ傾けた時（傾斜時）の広角撮
像装置８の視野限界を、２０は回転中心軸６を基準状態
から傾き角θだけ傾けた時（傾斜時）の広角撮像装置８
の視野範囲を示している。２１は広角画像から展開画像
への写像を考える際の仮想の投影面となる仮想円筒面を
示している。

【００９２】次に、展開画像生成部９では広角撮像装置
８より得られる１８０度画角の広角画像に対して、Ｘ軸
周り角度センサ１６の出力を用い後述するアルゴリズム
に従って広角画像を展開画像へと変換する処理を行う。
出力画像生成部１０では展開画像生成部９より得られる
展開画像に対して、ＮＴＳＣ方式への変換を行う。

【００９３】１３は（実施の形態１）のものと同じで、
演算処理装置１１からの出力画像を表示するＴＶモニタ
である。なお、ここでは基準状態の回転中心軸６´や回
転中心軸６が水平方向と一致しているとしたが、これに
限定されるものではない。

【００９４】次に図８を用いて、その動作について（実
施の形態１）との相違部分を中心に説明する。広角撮像
装置８の１８０度視野の広角画像を得る動作は（実施の
形態１）と同様である。相違点は、視野が傾き角θ分だ
け図８に示す基準状態の視野範囲２０´から傾斜時の視
野範囲２０へと変化した点である。

【００９５】演算処理装置１１では、広角撮像装置８か
ら出力される広角画像に対して、展開画像生成部９にお
いて展開画像への変換処理を行う。この処理において、
空間内の任意点Ｐと撮像面５上の点（即ち広角画像上の
点）ｐとの対応関係の考え方は（実施の形態１）と同じ
である。相違点は、展開画像を考える際の投影面、すな
わち、空間内の点Ｐの取り方である。具体的には、図８
に示すような仮想円筒面２１を考える。通常は仮想円筒
面２１をその中心軸が回転中心軸６と一致するようなも
のを想定するのであるが、（実施の形態３）では、Ｘ軸
周りの角度センサ１６より得られる基準状態の回転中心
軸６´に対する傾斜後の回転中心軸６の傾き角をθとし
た時に、傾斜後の回転中心軸６に対して仮想円筒面２１
の中心軸を、基準光軸と回転中心軸６を含む平面内で、
内部焦点４を中心として−θだけ傾ける。即ち、仮想円
筒面２１の中心軸を基準状態の回転中心軸６´と一致さ
せる。こうして決定した仮想円筒面２１上の任意の空間
点Ｐに対応する展開画像上の点の輝度を、空間点Ｐに対
応する広角画像上の点ｐの輝度値を用いて求め、展開画
像を作成する。

【００９６】なお、ここでは広角撮像装置８を基準状態
から傾ける際の回転中心を内部焦点４としたが、これに
限定されるものではない。但し、回転中心を内部焦点４
と一致または略々一致させれば、広角撮像装置８の視点
がほぼ一定のままで傾き角を調整することができるとい
う利点がある。

【００９７】以上のような展開画像生成部９での処理で
作成された展開画像に対して、出力画像生成部１０で出
力画像への変換処理を行う。（実施の形態３）では、
（実施の形態１）には含まれていた「傾き補正処理」が
なく、出力画像化処理のみである。出力画像化処理は
（実施の形態１）のそれと同様の処理を行う。

【００９８】このように（実施の形態３）によれば、広
角撮像装置８を、基準光軸と回転中心軸６を含む平面内
で傾けることにより、広角画像生成装置として回転中心
軸６の方向の視野範囲を変えることができる。

【００９９】また、広角撮像装置８の基準状態に対する
傾き角を計測し、その値を利用して展開画像の投影面と
なる仮想円筒面２１の中心軸を常に基準状態の回転中心
軸６´と一致させることにより、展開画像における視線
中心の位置（展開画像中の仰角が０となる位置。結像レ
ンズ２の主点７と等価となる内部焦点４に向かう光線
が、投影面である仮想円筒面２１に対して垂直に交わる
位置。）を変えることなく視野範囲を変更することが可
能となる。特に、基準光軸から基準状態の視野限界１８
´までの角度の絶対値をφ、基準光軸から基準状態の視
野限界１９´までの角度の絶対値をψとし、θは図８に
おいて時計周りを正とすると、双曲面反射鏡１が φ
＜ ψ となるように作られていたとしても、θを
(φ−ψ)／２とすれば、視野範囲全体を使って視線中心
が展開画像の短手方向の中央にあるような展開画像を得
ることができる。

【０１００】このため、展開画像中の視線中心からの距
離を最小とすることができ、展開画像中の視線中心から
遠い部分は、他の部分よりも斜めに見ることになるため
に、他の部分に比べて歪んで見えてしまうという問題を
軽減することができる。

【０１０１】なお、本発明は広角撮像装置８を任意の角
度に傾けて固定した広角画像生成装置に限定されるもの
ではない。具体的には、Ｘ軸周り角度センサ１６の出力
に応じて動的に仮想円筒面２１の中心軸の傾きを制御
し、基準状態の回転中心軸６´との一致を保つことによ
り、広角撮像装置８の基準光軸（Ｙ軸）と回転中心軸６
とを含む面内での動的な傾きにも対応することができ
る。

【０１０２】また、（実施の形態３）では、双曲面反射
鏡１を±９０度分の反射面を有するものとしたが、これ
に限定されるものではない。少なくとも±９０度以下の
範囲であればよい。

【０１０３】また（実施の形態３）では、広角撮像装置
８の基準状態に対する傾き角θを相殺するように仮想円
筒面２１を−θ傾ける場合を示したが、これに限定され
るものではない。

【０１０４】例えば、基準状態の回転中心軸６´に対す
る仮想円筒面２１の中心軸の傾きを０以外の一定値とす
るような制御や、一定の決まりに従い変化させるような
制御としてもよい。

【０１０５】（実施の形態４）図９は本発明の（実施の
形態４）の広角画像生成装置を示す。（実施の形態３）
との相違部分は、Ｘ軸周り角度センサ１６を無くし、回
転中心軸前方傾斜方向入力部１７を演算処理装置１１に
設けた点である。

【０１０６】この広角画像生成装置について、その動作
に基づいて（実施の形態３）との相違部分を中心に説明
する。回転中心軸前方傾斜方向入力部１７は可変抵抗器
などの入力設定器である。この入力設定器で展開画像生
成部９内に定数データとして確保されている広角撮像装
置８の基準光軸（Ｙ軸）と回転中心軸６とを含む面内に
おける基準状態の回転中心軸６´に対する回転中心軸６
の傾き角の値を設定・変更する。この他の動作について
は（実施の形態３）と同じである。

【０１０７】この（実施の形態４）によれば、Ｘ軸周り
角度センサ１６を省いて構成することが可能となるた
め、より安価に装置全体を構成することが可能となる。
ここでは回転中心軸前方傾斜方向入力部１７を演算処理
装置１１に設けたが、広角撮像装置８に回転中心軸前方
傾斜方向入力部１７を設けて構成することもできる。

【０１０８】なお、ここでは回転中心軸前方傾斜方向入
力部１７を可変抵抗器などの入力設定器であるとした
が、この形態に限定されるものではない。例えば、展開
画像生成部９内に確保されている定数データの書き換え
は、展開画像生成部９の外部からパーソナルコンピュー
タを用いて行うものとし、回転中心軸前方傾斜方向入力
部１７は、展開画像生成部９とパーソナルコンピュータ
の接続部としてもよい。この接続部は、広角撮像装置８
または演算処理装置１１に設ける。

【０１０９】また、（実施の形態４）では、双曲面反射
鏡１を±９０度分の反射面を有するものとしたが、これ
に限定されるものではない。少なくとも±９０度以下の
範囲であればよい。

【０１１０】また、（実施の形態４）でも広角撮像装置
８の基準状態に対する傾き角θを相殺するように仮想円
筒面２１を−θ傾ける場合を示したが、これに限定され
るものではない。例えば広角撮像装置８の基準状態に対
する傾き角θが０の時に、仮想円筒面２１のみを傾けて
もよい。そうすれば広角撮像装置８を固定したままで視
線中心を変更することが可能となる。

【０１１１】次に、図１０〜図３２に示す（実施の形態
５）〜（実施の形態７）の各実施の形態に基づいて、反
射面のつくる反射像のうち、その反射面の回転中心軸に
垂直な任意の方向を基準方向としてその略±９０度分の
みを撮像するような広角画像生成装置を考えた場合に、
広角画像に対して全方位カメラの場合と同様の処理を適
用し展開画像を得ようとすると、撮像装置の光軸の傾き
や光学収差に起因する像の変形のために得られる展開画
像は正しいものにならないという課題があるが、これを
解決できる広角画像生成装置を説明する。

【０１１２】（実施の形態５）図１０〜図２３、図３０
は本発明の（実施の形態５）を示す。図１０は本発明の
（実施の形態５）における広角画像生成装置を示す。

【０１１３】座標軸を、紙面の上下方向にＺ軸、紙面か
ら手前方向にＹ軸、紙面の左右方向にＸ軸とする。また
Ｚ軸は鉛直方向とする。この広角画像生成装置は、反射
鏡によって作られる反射像を撮像する広角撮像装置８と
画像処理装置２２からなる。

【０１１４】まず広角撮像装置８について説明する。広
角撮像装置８は、双曲面反射鏡１と結像レンズ２とＣＣ
Ｄなどの撮像素子３とで構成されている。また撮像装置
は結像レンズ２と撮像素子３とで構成されている。

【０１１５】双曲面反射鏡１は、双曲面の回転中心軸周
りの略±９０度分の反射面を有している。その０度の方
向を基準光軸方向と呼ぶこととし、ここではＹ軸方向に
一致するものとする。

【０１１６】４は双曲面反射鏡１の内部焦点である。５
は撮像素子３の撮像面である。６は双曲面反射鏡１の回
転中心軸である。ここでは回転中心軸６がＺ軸（鉛直方
向）と一致するものとする。内部焦点４に向かって入射
した光線ａ，ｂ，ｃは、双曲面反射鏡１の反射面で反射
し、回転中心軸６上の外部焦点（図示せず）へと集光さ
れる。この外部焦点の位置と結像レンズ２の主点７の位
置は略々一致するように配置されており、結像レンズ２
を介して光線ａ，ｂ，ｃが撮像素子３の撮像面５上に結
像する。ここで結像レンズ２と撮像素子３の共有してい
る光軸（図示せず）は、双曲面反射鏡１の回転中心軸６
に対して基準光軸方向に傾斜して設置されている。この
傾斜させた構成については、図１１を用いて後述する。

【０１１７】なお、図１０では結像レンズ２を１枚構成
のように描いているが、複数枚のレンズで構成されてい
ても構わない。次に画像処理装置２２について説明す
る。

【０１１８】画像処理装置２２は、展開テーブル生成部
２３と展開画像生成部２４と画質補正処理部２５と画像
マスク処理部２６で構成されている。展開テーブル生成
部２３では、双曲面反射鏡１の形状や結像レンズ２およ
び撮像素子３の光学特性や配置に応じて決まるアルゴリ
ズムによって算出され、広角撮像装置８より得られる広
角画像を展開画像へと変換する際に用いられる展開テー
ブルを算出する処理を行う。このアルゴリズムについて
は後述する。

【０１１９】展開画像生成部２４では、展開テーブル生
成部２３より得られる展開テーブルを参照して、広角画
像を展開画像へと変換する処理を行う。画質補正処理部
２５では、展開画像生成部２４で生成された展開画像に
対して後述する画質補正処理を行う。

【０１２０】画像マスク処理部２６では、画質補正処理
部２５で生成された画質補正後の展開画像に対して後述
する画像マスク処理を行う。２７は画像処理装置２２か
らの出力画像を表示するモニタである。

【０１２１】次に図１１を用いて広角撮像装置８の構成
を詳細に説明する。図１１の（ａ）は広角撮像装置８の
ＹＺ平面における断面図であり、基本構成を示してい
る。全方位カメラ１００との相違部分は、双曲面反射鏡
１が双曲面の回転中心軸周りの±９０度分の反射面を有
している点と、結像レンズ２の主点７と双曲面反射鏡１
の外部焦点を略々一致させながら、結像レンズ２および
撮像素子３が共有している光軸２８が回転中心軸６に対
して角度γだけ基準光軸方向（Y軸方向）に傾けて設置
している点である。また、破線で示した２₀，３₀は、図
３４（ａ）で示した全方位カメラ１００と同じように配
置した場合の結像レンズ、撮像素子を示している。

【０１２２】内部焦点４に向かって入射したＹＺ平面内
の光線２９ａ，２９ｂは、双曲面反射鏡１の入射点３０
ａ，３０ｂで反射し、回転中心軸６上の外部焦点（図示
せず）へと集光される。この外部焦点の位置と結像レン
ズ２の主点７の位置は略々一致するように配置されてお
り、結像レンズ２を介して光線２９ａ，２９ｂが撮像素
子３の撮像面５上の結像点３１ａ，３１ｂに結像する。

【０１２３】また、結像レンズ２₀と撮像素子３₀を用い
た場合の光線２９ａ，２９ｂの結像点は３１ａ₀、３１
ｂ₀となる。従って得られる像は、結像レンズ２₀と撮像
素子３₀を用いた場合、図１１（ｂ）で破線で示した３
２₀のような半円状の像となる。これはちょうど全方位
カメラ１００で得られる図３４（ｂ）の円状の像１１１
を半分にしたものである。このように全方位カメラ１０
０で用いたような結像レンズ２₀と撮像素子３₀を用いて
も１８０度画角の広角画像を得ることはできる。しかし
このままでは、撮像素子３₀の利用効率が非常に悪い。

【０１２４】一方、図１１（ａ）において実線で示した
結像レンズ２、撮像素子３を用いた場合、得られる像は
図１１（ｂ）で斜線を付して示した半円状の像３２とな
る。すなわち、光軸２８を傾けることにより半円状の像
３２の撮像面５における上下方向（Ｙ軸方向に相当）の
位置をずらすことができる。その結果、半円状の像３２
のように、倍率を調整し、また結像位置を光軸２８の傾
け角度γを調整することにより、撮像面５上で半円状の
像３２の左右方向長さを最大化して、撮像面５の画素を
できるだけ有効に使った撮像が可能となる。

【０１２５】なお、この（実施の形態５）では撮像面５
上で半円状の像３２が、その円弧部分を撮像面５の縁に
近付けた位置に結像させているが、これに限定されるも
のではない。例えば、半円状の像３２の弦部分を撮像面
５の縁に近付けた位置に結像させてもよい。

【０１２６】また、この（実施の形態５）では双曲面反
射鏡１を±９０度分の反射面を有するものとしたが、こ
れに限定されるものではない。±１８０度以下の範囲で
あればよい。例えば±(９０＋θ)度分の反射面を有する
双曲面反射鏡１を用いた場合、図１２のように±(９０
＋θ)度分の像を得ることができる。

【０１２７】このように構成された広角画像生成装置の
動作を、さらに詳しく説明する。まず、広角撮像装置８
における結像のしくみについて説明する。図１０におい
て光線ａ，ｂ，ｃは対象物からの任意の光線を示してい
る。そこで各光線の対象物を対象物ａ，ｂ，ｃと呼ぶこ
とにする。対象物ａ，ｂ，ｃは、図１３（ａ）に示すよ
うなスクリーン３３上に描かれた「ａ」「ｂ」「ｃ」の
文字とし、このスクリーン３３を、図１３（ｂ）に示す
ようにＺ軸周りにＺ軸からスクリーン表面までの距離が
一定となるように、対象物ａ，ｂ，ｃが描かれた面を双
曲面反射鏡１から見えるように配設した場合を考える。

【０１２８】既に説明したように、内部焦点４に向かっ
て双曲面反射鏡１の反射面に入射した光線は、全て外部
焦点（図示せず）へと反射され、外部焦点と主点の位置
が略一致するように設置された結像レンズ２を介して撮
像素子３の撮像面５上に結像する。従って、基準光軸方
向（Ｙ軸方向）に対して略±９０度の範囲が撮像面５上
に結像することになる。この時、撮像素子３で得られる
広角画像を図１４に示す。対象物ａ，ｂ，ｃが全て含ま
れることが分かる。

【０１２９】次に画像処理装置２２では、広角撮像装置
８から出力される図１４に示すような広角画像に対し
て、展開画像への展開処理を行う。まず展開処理をはじ
める前の初期段階で展開テーブル生成部２３にて展開処
理に用いる展開テーブルの算出を行う。ここで展開テー
ブルとは、展開画像の各画素に対応する広角画像上の座
標値のテーブルである。展開テーブル生成部２３で行う
処理のフローを図１５に示す。

【０１３０】図１５のステップＳ１では、展開テーブル
を算出する上で必要な双曲面反射鏡１の反射面の形状パ
ラメータや撮像装置の焦点距離などの情報を読み込む。
これらの情報は例えば展開テーブル生成部２３内のＲＯ
Ｍに書き込んでおき、それを読み込む構成とすればよ
い。もちろん何らかの方法で外部から入力する構成とし
ても構わない。

【０１３１】ステップＳ２では、展開テーブルの各要素
の算出を行う。展開テーブルは、展開画像の投影面を決
め、広角画像から投影面への写像を考えることによって
展開画像の各画素の広角画像における対応点を決定して
いくことにより生成する。この対応点決定方法の詳細に
ついては後述する。

【０１３２】ステップＳ３では、ステップＳ２で算出さ
れた展開テーブルに対して、結像レンズ２および撮像素
子３からなる撮像装置の光学的な歪の影響を補正する。
この補正方法の詳細についても後述する。

【０１３３】以上のようなフローで算出された展開テー
ブルは展開テーブル生成部２３内のＲＡＭに記憶され
る。ここで、ステップＳ２における広角画像と投影面と
の間の対応点決定方法について図１６〜図１９を用いて
詳しく説明する。

【０１３４】図１６は広角撮像装置８の回転中心軸６と
基準光軸方向を含む面（ＹＺ平面）における断面を模式
的に示したものである。双曲面反射鏡１、結像レンズ
２、撮像素子３、内部焦点４、撮像面５、回転中心軸
６、主点７は、図１１で説明したものと同じである。

【０１３５】３４は、広角画像からの写像を考える際の
仮想投影面である。ここで仮想投影面３４は、その回転
中心軸が双曲面反射鏡１の回転中心軸６と一致している
円筒面を考えている。なお、仮想投影面３４は円筒面に
限定されるものではない。例えば球面であっても構わな
い。

【０１３６】３５は、仮想投影面３４上の任意点Ｐ（Ｘ
_P，Ｙ_P，Ｚ_P）から内部焦点４の方向へ向かって発せら
れた光線である。空間座標系は、Ｚ軸が回転中心軸６と
一致するものとし、内部焦点４と主点７を結ぶ直線を２
等分する点を原点Ｏとする。また紙面から手前方向をＸ
軸、紙面の左右方向をＹ軸とする。広角画像上（撮像面
５上）の座標系は、回転中心軸６と撮像面５の交点を原
点ｏとし、紙面から手前方向をｘ軸、また図１６中に図
示するように紙面の左右方向にｙ軸とする。

【０１３７】仮想投影面３４上の任意点Ｐ（Ｘ_P，Ｙ_P，
Ｚ_P）に対応する撮像面５上の点（即ち広角画像上の
点）ｐ（ｘ_p，ｙ_p）を考える。双曲面反射鏡１の双曲面
形状は（従来の技術）の項で説明した全方位カメラ１０
０の場合と同様に（式７）で表される。

【０１３８】（Ｘ²＋Ｙ²）／ａ²−Ｚ²／ｂ² ＝ −１（式７）ここでａ，ｂは双曲面の形状を決定する定数である。ま
たｃ＝（ａ²＋ｂ²）^0.5 （式８）である。また（式９）（式１０）も全方位カメラ１００
の場合と同様に成立する。

【０１３９】Ｚ＝（Ｘ²＋Ｙ²）^0.5・tanα ＋ｃ（式９） tanα＝｛（ｂ²＋ｃ²）・sinβ−２ｂｃ｝／｛（ｂ²−ｃ²）・cosβ｝（式１０）ここで角度αは、内部焦点４と任意点Ｐを結ぶ直線とＸ
Ｙ平面のなす角度である。角度βは、主点７（双曲面反
射鏡１の外部焦点と略々一致）と撮像面５上の点ｐを結
ぶ直線とＸＹ平面のなす角度である。

【０１４０】（式９）よりＸ_P，Ｙ_P，Ｚ_Pが決まればα
が決まる。また（式１０）よりαとｂ、ｃが決まればβ
が決まる。全方位カメラ１００では、次に（式１１）を
用いることによって、Ｆの値が決まれば（ｘ²＋ｙ²）
^0.5、すなわち、広角画像上の原点から点ｐまでの距離
がわかった。しかし（実施の形態５）では、撮像面５が
γだけ傾いているために（式１１）では正しく（ｘ²＋
ｙ²）^0.5の値を求めることはできない。従ってこのまま
では正しく展開処理が行えない。

【０１４１】そこで（実施の形態５）では（式１３）を
用いる。（ｘ²＋ｙ²）^0.5 ＝Ｆ・cosβ／cosγ／sin（β＋γ）（式１３）図１７を用いて（式１３）の導出法について説明する。

【０１４２】図１７は図１６広角撮像装置８の撮像面５
付近を拡大したものである。図１７において、ＹＺ平面
内にあり、Ｙ軸に平行で、撮像面５上の原点ｏを通る直
線と任意点Ｐからの光線の交点をｑとする。この時、∠
ｐｑｏ＝β、∠ｐｏｑ＝γとなる。また線分ｏｑの長さ
|ｏｑ|は（式１４）で示される。

【０１４３】 |ｏｑ| ＝Ｆ・tan(90°−β)／cosγ ＝Ｆ／tanβ／cosγ （式１４）従って、△ｏｐｑにおける正弦定理により|ｏｐ|即ち
（ｘ²＋ｙ²）^0.5は（式１３）で求められる。（ｘ²＋ｙ²）^0.5＝ sinβ・Ｆ／tanβ／cosγ／sin(180°−β−γ) ＝Ｆ・cosβ／cosγ／sin(β＋γ) （式１３）ここでＦは結像レンズ２と撮像素子３からなる撮像装置
の焦点距離である。

【０１４４】（式９）（式１０）（式１３）よりＸ_P，
Ｙ_P，Ｚ_Pおよびｂ、ｃ、Ｆが決まれば（ｘ_p ²＋ｙ_p ²）
^0.5、即ち撮像面５上の原点ｏから点ｐまでの距離が決
まる。以上の議論はＺ軸を含むＹＺ平面以外の平面でも
成立するが、Ｚ軸を含むＹＺ平面以外のどの平面をとる
かに応じて撮像面５の傾きγは変化するという点に注意
しなければならない。この点について図１８を用いて説
明する。

【０１４５】図１８はＺ軸方向から見た時の双曲面反射
鏡１と撮像面５を示している。３５は仮想投影面３４上
の任意の点Ｐ（図１８では図示せず）から発せられ、双
曲面反射鏡１で反射して撮像面５上の点ｐに到達する光
線を示している。図１８中に示したように角度θを、Ｘ
軸の−方向を０度とし、左周りに＋として定義する。例
えば光線３５がＹＺ平面内にある場合、θ＝９０度とな
る。この時のθと撮像面５の傾きγ（θ）の関係は（式
１５）のようになる。

【０１４６】 tanγ（θ）＝ tanγ（９０°）・sinθ （式１５）ここでγ（９０°）とはθ＝９０°の時のγを意味す
る。また（式１３）は（式１３ａ）のようになる。

【０１４７】（ｘ²＋ｙ²）^0.5 ＝Ｆ・cosβ／cosγ（θ）／sin（β＋γ（θ））（式１３ａ）以上の議論で、Ｚ軸を含む各平面での原点ｏから点ｐま
での距離が得ることができた。次にＸＹ平面での原点Ｏ
から点Ｐへの方向θと、ｘｙ平面、すなわち撮像面５上
での原点ｏから点ｐへの方向φとの関係について考え
る。ここでφは図１８に示すようにＸ軸の＋方向を０度
とする撮像面５上の点の方向を規定するための角度パラ
メータである。

【０１４８】全方位カメラ１００の場合はθ＝φであ
り、ＸＹ平面およびｘｙ平面における点Ｐ、点ｐの方向
は一致していた。しかし広角撮像装置８の場合はＸＹ平
面に対して撮像面５がγ（９０°）だけ傾いているた
め、θとφの関係は（式１６）のようなものとなる。

【０１４９】 cosφ ＝ cosθ／（１＋tan²γ（９０°）・sin²θ）^0.5 （式１６）図１９を用いて（式１６）の導出法について説明する。
図１９のＸａ，Ｙａ平面はＸＹ平面をＺ軸を中心として
１８０度回転し、Ｘａ軸がｘ軸と一致するように平行移
動したものである。ここでθはＸａ軸の−方向を０度と
し、Ｘａ，Ｙａ平面上で時計回りを＋方向としており、
ＸＹ平面のθと等価なパラメータとなる。このため、こ
こではパラメータ名を変更せず、θのまま用いる。また
φはｘ軸の−方向を０度とし、ｘｙ平面上で時計回りを
＋方向としている。このように設定し、θとφとの関係
を導出する。円弧ＣＡＤは単位円の半分である。またＣ
ＢＤは、Ｘａ，Ｙａ平面との交線が半円ＣＡＤとなり、
Ｘａ，Ｙａ平面と垂直であるような半円柱とｘｙ平面と
の交線である。この時ベクトルｏＡ，ｏＢは（式１７）
（式１８）のようになる。

【０１５０】ｏＡ＝（−cosθ、sinθ、０）（式１７）ｏＢ＝（−cosθ、sinθ、tanγ（９０°）・sinθ）（式１８）従って、−ｘ方向の単位ベクトル−Ｘとの内積を用いる
ことにより（式１６）が求まる。

【０１５１】 cosφ ＝ｏＢ・X／|ｏＢ| ＝cosθ／(１＋tan²γ(90°)・sin²θ)^0.5 （式１６）以上より、β、γ（＝γ（９０°））、Ｆがわかれば、
（式１３ａ）（式１５）（式１６）を用いることによっ
てＰ(Ｘ_P，Ｙ_P，Ｚ_P)に対応する撮像面５上の点（即ち
広角画像上の点）ｐ（ｘ_p，ｙ_p）を一意に決定すること
ができる。Ｘ_P，Ｙ_P，Ｚ_Pの値は、仮想投影面３４の半
径をＭ、展開画像の横方向(長手方向)画素数をISX、縦
方向(短手方向)画素数をISYとすると以下のように表せ
る。

【０１５２】Ｘ_P ＝Ｍ・cosθ Ｙ_P ＝Ｍ・sinθ Ｚ_P ＝２π・Ｍ・(ｊ−ｊ0)／ISX （式１９）但し、θ＝180°・ｉ／ISX、ｉは展開画像上のX座標値
で０≦ｉ＜ISXの整数、ｊは展開画像上のＹ座標値で０
≦ｊ＜ISYの整数、またｊ₀はＺ_P＝ｃの時(視線方向が水
平方向の場合)の展開画像上のＹ座標値である。（式１
９）を用いることにより展開画像上の点と仮想投影面３
４の点Ｐ（Ｘ_P，Ｙ_P，Ｚ_P）を対応づけることができ
る。

【０１５３】従って、展開画像の投影面（仮想投影面３
４）を決め、投影面から広角画像への写像を考えること
によって、展開画像の各画素に対する広角画像上の理想
的な対応点を決定することができる。

【０１５４】次に図２０を用いて図１５のステップＳ３
における結像レンズ２および撮像素子３からなる撮像装
置の光学的な歪の影響を補正する方法について詳しく説
明する。

【０１５５】図２０は光学的な歪の影響を模式的に示し
たものである。光学的な歪がなく理想的な画像が得られ
るとすれば、画角が１８０度の場合、図２０の（ａ）に
示すような半円状の像が得られる。しかし、実際には光
学系の中に光学的な歪が含まれており、例えば図２０の
（ｂ）に示すように半円状の像が歪んで得られてしま
う。このため、この光学歪を考慮に入れずに展開処理を
行うと得られる展開画像は正しいものにならない。

【０１５６】そこで（実施の形態５）では、予め使用す
る光学系の歪量を把握し、その影響をキャンセルするよ
うにステップＳ２で作成した展開テーブルを補正する。
まず、歪量の把握方法について簡単に説明する。

【０１５７】光学的な歪を数式で記述するための一般的
な方法として高次多項式がよく用いられる。ここでは
（式２０）に示すような多項式を用いた場合を考える。 Δｘ＝ｋｘ（ｘ²＋ｙ²） Δｙ＝ｋｙ（ｘ²＋ｙ²）（式２０）ここで、Δｘ，Δｙはそれぞれｘ，ｙ方向の歪量。ｋは
歪量を調整するパラメータである。（式２０）は歪量を
示す式としては非常に単純なものであり、設定するパラ
メータはｋのみである。実際の光学系に適用した場合、
（式２０）では光学歪量を記述するのに不十分な場合も
ある。その場合は適宜、高次項を考慮したものを使用す
ればよい。

【０１５８】結像レンズ２および撮像素子３からなる撮
像装置で基準となる（即ち、歪量を測定するために、距
離が既知であるようなパターンが含まれている）テスト
パターン３６を撮像する。テストパターン３６としては
例えば図２１の（ａ）に示すような２次元格子の描かれ
たものを用いても良い。ここで例えば格子ピッチの正確
な値が既知であればよい。その結果得られたテストパタ
ーン画像３７は、図２１の（ｂ）に示すように光学歪の
影響により、元のテストパターン３６とは異なったパタ
ーンとなる。格子ピッチと撮像の条件から算出できる理
想的な格子点の座標値と、テストパターン画像３７から
得られた、対応する格子点の座標値を複数個（ｎ個）比
較することにより、歪量のサンプルをとる。ｎ個とった
サンプルのうちのｉ番目のデータの理想の座標値をｘ
（ｉ），ｙ（ｉ）、その時のｘ方向の実測歪量をΔｘ
（ｉ）、ｙ方向の実測歪量をΔｙ（ｉ）とした時に（式
２１)の２つの誤差関数が最小となるようなｋを最小自
乗法により求める。

【０１５９】Ｅx ＝ Σ（Δｘ(ｉ)−ｋｘ(ｉ) (ｘ(ｉ)²＋ｙ(ｉ)²)）Ｅy ＝ Σ（Δｙ(ｉ)−ｋｙ(ｉ) (ｘ(ｉ)²＋ｙ(ｉ)²)）（式２１）以上の処理により、撮像装置の歪量を示す（式２０）が
決定する。次にこれを用いて、ステップＳ２で求めた理
想的な展開テーブルを補正する。展開テーブルのｘ方
向、ｙ方向それぞれの各画素（各要素）には、光学歪を
考慮しない場合の各画素に対応する広角画像の画素値が
含まれている。これを（ｘ₀（Ｘ，Ｙ），ｙ₀（Ｘ，
Ｙ））とする。ここで（Ｘ，Ｙ）は今対象としている展
開テーブルの画素（要素）の座標値である。この値を
（式２０）に代入し、補正後の値（ｘ₁（Ｘ，Ｙ）、ｙ₁
（Ｘ，Ｙ））を算出する。具体的には（式２２）を各画
素（要素）に対して行う。

【０１６０】ｘ₁(X，Y)＝ｘ₀(X，Y)＋ｋ・ｘ₀(X，Y)・(ｘ₀(X，Y)²＋ｙ₀(X，Y)²) ｙ₁(X，Y)＝ｙ₀(X，Y)＋ｋ・ｙ₀(X，Y)・(ｘ₀(X，Y)²＋ｙ₀(X，Y)²) （式２２）この処理を展開テーブルの全ての画素（要素）に行うこ
とにより撮像装置の光学的な歪の影響を補正した展開テ
ーブルを得ることができる。従ってこのような展開テー
ブルを用いて展開処理を行えば、撮像装置の光学歪の影
響を排除した展開画像を得ることができる。

【０１６１】また、このような光学歪補正処理は一旦展
開画像を作成した後にその展開画像に対して行うことも
可能であるが、その場合展開画像を作成するたびに（式
２２）に示すような複雑な演算処理を行わなければなら
ない。しかるに（実施の形態５）では、光学歪の補正処
理を展開テーブルに盛り込むことにより、（式２２）の
ような複雑な演算処理を、展開テーブル生成部２３にお
ける初期の展開テーブル作成時のみ行うだけでよく、展
開画像作成時は通常の展開処理を行うだけでよいことか
ら、演算コストの面からも非常にメリットがある。

【０１６２】次に展開画像生成部２４について説明す
る。展開画像生成部２４では展開テーブル生成部２３で
生成された展開テーブルを参照して、広角撮像装置８か
ら得られる広角画像を展開画像に変換する。この際、座
標値が整数値である展開画像の各画素に対応する広角画
像の画素位置は、一般にその座標値が整数値とならな
い。しかし、広角画像は整数の座標位置のデータしか存
在しない。この対策として、画質よりも処理速度を優先
する場合には、展開テーブルの座標値データを四捨五入
などの手段により、整数化することにより、本来必要な
画素の近傍の画素の輝度値で代用してもよい。処理速度
よりも画質を優先する場合には、本来必要な画素の近傍
４画素の輝度データから補間演算により、本来必要な画
素の輝度データを作り出してもよい。

【０１６３】次に画質補正処理部２５について説明す
る。画質補正処理部２５では、展開画像生成部２４で作
成された展開画像に対して、画質補正処理を行う。以下
にこの画質補正処理について説明する。

【０１６４】展開画像生成部２４で生成された展開画像
は、画像内の上部と下部とで解像度が異なってしまうと
いう問題点がある。すなわち、図２２に示すように、広
角画像３８とそれに展開処理を施すことによって得られ
る展開画像３９との対応関係において、展開画像３９の
上端下端の関係が、広角画像３８の外周内周の関係とな
るため、情報量の差から解像度に差が生じる。そのた
め、展開画像３９において、外周部に対応した部分より
も内周部に対応した部分の方がピントがボケたように見
えてしまう。また他の要因として、結像レンズ２と撮像
素子３からなる撮像装置には被写界深度があり、わずか
ではあるが、半円形状の広角画像３８の半径方向にピン
トのムラ（例えば、広角画像３８の内周部分ではピント
が良く合っているが、外周部分ではピントがややあまく
なるといったようなムラ）が生じる場合もある。展開画
像３９として最終的に得られる画像としては、上記の２
種類の要因を重ね合わせた結果のボケが含まれたものと
なる。

【０１６５】このような展開画像３９に対して画質補正
処理部２５では、展開画像３９の上下方向（即ち元画像
である広角画像３８の半径方向に対応）に沿って、その
場所ごとに相対的な鮮鋭化係数を決め、その係数を用い
て画像の高周波数成分の強調による鮮鋭化処理を行う。

【０１６６】鮮鋭化処理としては、例えばアンシャープ
マスキングと呼ばれる手法を用いる。これは（式２３）
のように表現される。Ｂ´(ｉ,ｊ) ＝Ｂ(ｉ,ｊ) ＋Ｃ（Ｂ(ｉ,ｊ)−Ｂ￣ (ｉ,ｊ) ）（式２３）ここで、Ｂ(ｉ,ｊ)は座標(ｉ,ｊ)の画素の輝度値とす
る。Ｂ￣(ｉ,ｊ)は座標(ｉ,ｊ)の画素の近傍の局所平均
輝度値（例えば近傍３×３の範囲の平均輝度値）とし、
低周波成分からなる輝度値となる。従って（Ｂ(ｉ,ｊ)
−Ｂ￣(ｉ,ｊ) ）は元の画像から低周波成分を差し引く
ことで高周波成分を取り出す操作となる。Ｃは鮮鋭化係
数とする。高周波成分をＣ倍したものを元画像に足し合
わせることにより、高周波数成分を強調した鮮鋭化画像
が得られる。

【０１６７】鮮鋭化係数Ｃを展開画像３９の上下方向の
位置に応じて変化させ、鮮鋭化処理を行う。まず撮像装
置で双曲面反射鏡１上の像を理想的にボケなく撮像でき
る場合について説明する。

【０１６８】この場合に得られる展開画像３９は図２３
（ａ）に示すように下端部が、元の広角画像の内周部と
外周部の情報量の差に起因するボケ領域４０となる。こ
こでボケ領域４０は一様にボケているわけではなく、展
開画像３９の中央付近から下端にいくにつれてボケてい
く。この時、図２３（ａ）にグラフで示したように鮮鋭
化係数Ｃをボケ具合に合わせて０から変化させることに
より、ボケ具合に応じた補正処理（鮮鋭化処理）を行
う。

【０１６９】なお、ここでは展開画像３９の上下方向の
ほぼ中央付近から鮮鋭化係数Ｃの値を増やしていくよう
な場合のグラフを示したが、これに限定されるものでは
ない。本発明の主旨は下端に近づくにつれて悪化してい
くボケ具合に応じて鮮鋭化係数Ｃの値を増やしていくこ
とにあり、例えば鮮鋭化係数Ｃを０よりも大きくする場
所は展開画像３９の上端であっても構わない。また鮮鋭
化係数Ｃの増やし方もボケ具合や撮影する対象などに応
じて調整可能であり、例えば鮮鋭化係数Ｃを０よりも大
きくする場所からの距離の３乗に比例させて増やしても
よい。

【０１７０】次に、撮像装置で双曲面反射鏡１上の像を
撮像する際に、場所によってピントの合い具合に差が生
じてしまうような場合について図２３（ｂ）を用いて説
明する。

【０１７１】この場合は撮像装置のピントを調整するこ
とにより、得られる展開画像３９のボケ領域を調整す
る。鮮鋭化処理は画像の高周波成分を強調する処理であ
るため、対象となる画像がある程度以上ボケてしまうと
処理を行っても有意な効果を発揮できなくなる。そこで
出来るだけ最もボケ状態の悪い（ボケのひどい）部分を
できるだけ改善するようにピントを調整する。具体的に
は、広角画像３８の内周部に光学的なピントのボケ部分
が来るようにピントを調整すると、内周部分にボケ状態
を悪くする条件が重なってしまい、補正しきれなくな
る。それを避けるために、広角画像３８の半径方向中央
よりもやや内周部分にピントのピークが来るように調整
し、最終的に展開画像３９において上下端のボケ領域４
０が図２３（ｂ）のようにほぼバランスがとれるように
ピントを調整する。この時もボケ領域４０は一様にボケ
ているわけではなく、展開画像３９の中央付近から上下
端にいくにつれてボケていく。この時、図２３（ｂ）に
グラフで示したように鮮鋭化係数Ｃをボケ具合に合わせ
て、展開画像３９の中央付近から上下端にいくにつれて
０から変化させることにより、ボケ具合に応じた補正処
理（鮮鋭化処理）を行う。

【０１７２】次に画像マスク処理部２６について説明す
る。画質補正処理部２５で生成された画質補正後の展開
画像に対して画像マスク処理を行う画像マスク処理部２
６は、次のように構成されている。

【０１７３】図３０（ａ）はマスク処理を行わない場合
の展開画像を、図３０（ｂ）はマスク処理を行った場合
の展開画像を示している。展開画像中の４１は現金自動
支払機（ＡＴＭ）端末、４２は操作者、４７はＡＴＭ端
末４１の操作パネルである。マスク処理前の図３０
（ａ）では全視野が見えており、操作者４２の操作や入
力結果などが映ってしまうため、暗証番号などのプライ
ベートな情報が外部に漏れてしまう危険性がある。そこ
で画像マスク処理部２６ではＲＯＭに記憶したマスク領
域４８を例えば輝度値０で塗りつぶしてしまうような処
理を行うことにより、図３０（ｂ）に示すように操作者
４２の操作や入力結果などが見えないようにする。

【０１７４】なお、ここでは輝度値０に塗りつぶすこと
としたが、これに限定されるものではない。マスク領域
４８内の画像を本来の画像と異なるもので埋めることが
できればよく、０以外の輝度値、あるいはランダムパタ
ーン画像を描いてもよい。

【０１７５】以上のような処理を施して生成された展開
画像は図示しない画像形式変換部でＮＴＳＣのようなビ
デオ信号に変換され、画像処理装置２２から出力され
る。モニタ２７はその信号を受け取り、展開画像を表示
する。

【０１７６】このように（実施の形態５）によれば、広
角撮像装置８の光学系を撮像レンズ２および撮像素子３
からなる撮像装置の光軸２８を回転中心軸６に対して傾
けた構成としても、展開画像の各画素に対する広角画像
上の理想的な対応点を決定することができ、さらに撮像
装置の光学的な歪の影響を考慮にいれた展開テーブルの
補正を行っているため、正しい展開処理が可能となる。
また画質補正処理を行うことにより、展開画像の場所に
よる解像度の差を軽減することができる。

【０１７７】また、画像マスク処理部２６によって、展
開画像の一部にマスク処理を施し、見えないようにして
から出力することにより、操作者の操作内容・入力内容
が写らなくなり、プライバシー情報の漏洩を防ぐことが
可能になる。

【０１７８】なお、この（実施の形態５）では、回転対
称体の回転中心軸に対して垂直な任意の方向に基準光軸
をとり、前記基準光軸の方向を０度として略±９０度も
しくは±９０度以上の範囲の凸面形状の反射面を有する
反射鏡として、回転中心軸上に内部焦点を持つ双曲面形
状であり、前記双曲面形状の外部焦点の位置と前記撮像
装置の主点の位置が略々一致するものであったが、この
反射鏡の形状は双曲面でなくても成立する。

【０１７９】また、（実施の形態５）では、広角撮像装
置８が回転中心軸周り略±９０度分の範囲を撮像するよ
うな場合を示したが、広角撮像装置８として図３４の
（ａ）で示したような回転中心軸周り略３６０度分の範
囲を撮像する全方位カメラ１００を用い、画像処理装置
２２で全方位カメラ１００に対応した展開処理を行うよ
うな場合でも、これまでに説明した光学歪の影響補正や
画質補正処理、画像マスク処理は、（実施の形態５）の
場合と同様の効果を有する。

【０１８０】（実施の形態６）図２４〜図３１は本発明
の（実施の形態６）を示す。図２４は本発明の（実施の
形態６）における広角画像生成装置を示す。

【０１８１】座標軸を、紙面の上下方向にＸ軸、紙面か
ら手前方向にＹ軸、紙面の左右方向にＺ軸とする。また
Ｚ軸は水平方向とする。（実施の形態６）と（実施の形
態５）との構成上の相違点は、広角撮像装置８をＺ軸が
水平方向と一致するように設置する点である。処理上の
相違点は画像処理装置２２の展開テーブル生成部２３に
おいて、展開テーブル生成の際に用いる仮想投影面３４
の形状に特徴を持たせる点と、画像マスク処理の具体的
な処理が異なる点と、展開画像生成部２４で（実施の形
態５）の場合に対して９０度傾け、画像内の天地が正し
くなるような展開画像を生成する点である。以下にこれ
らの相違点について説明する。

【０１８２】まず結像のしくみについて説明する。図２
４において光線ａ，ｂ，ｃは対象物からの任意の光線を
示している。そこで各光線の対象物を対象物ａ，ｂ，ｃ
と呼ぶことにする。対象物ａ，ｂ，ｃは、図２５（ａ）
に示すようなスクリーン３３上に描かれた「ａ」「ｂ」
「ｃ」の文字とし、このスクリーン３３を、図２５
（ｂ）に示すようにＺ軸周りにＺ軸からスクリーン表面
までの距離が一定となるように、対象物ａ、ｂ、ｃが描
かれた面を双曲面反射鏡１から見えるように配設した場
合を考える。この時に撮像素子３で得られる広角画像を
図２６に示す。対象物ａ、ｂ、ｃが全て含まれることが
分かる。

【０１８３】このように広角撮像装置８を回転中心軸６
が水平方向と一致するように設置する場合の用途例とし
て、ＡＴＭ端末や自動販売機などの監視がある。通常の
広角光学系では実現困難な鉛直方向１８０度程度の視野
が得られることから、本装置のそばに立った人の顔から
手元までを一枚の画像として得ることが出来るため、Ａ
ＴＭ端末や自動販売機などの監視用途への適用が可能で
ある。

【０１８４】次に画像処理装置２２での処理について主
に（実施の形態５）との相違点について説明する。まず
（実施の形態５）の場合と同様に、展開処理をはじめる
前の初期段階で展開テーブル生成部２３にて展開処理に
用いる展開テーブルの算出を行う。展開テーブル生成部
２３で行う処理のフローを、図２７を用いて説明する。
図２７で示したフローで行われる処理の中で（実施の形
態５）の場合と異なる２点のうちの１点は、広角画像と
投影面との間の理想的な対応点を決定するステップＳ２
において、仮定する仮想投影面３４の形状を変更する点
である。この点を図２８を用いて詳しく説明する。

【０１８５】図２８はＡＴＭ端末４１を操作する操作者
４２と広角撮像装置８および仮想投影面３４との関係を
示している。３４は、その回転中心軸が広角撮像装置８
の双曲面反射鏡１の内部焦点４を通り、紙面に垂直であ
るような円筒状の仮想投影面であり、従来はこのような
投影面に投影した画像の再生を考えていた。ＡＴＭ端末
４１の操作者４２はＡＴＭ端末４１を使用する時に通常
１５〜３０度程度前方に傾斜角４３をとる。広角撮像装
置８の視点となる内部焦点４からの距離は胸部に比べ
て、顔部の方が遠くなるため、得られる展開画像内で胸
部付近は大きく、また顔部にいくほど小さく写り、見た
目に違和感を生じさせてしまう。

【０１８６】そこで（実施の形態６）では、図２８に示
すように、得られる視野の中心方向となる基準光軸方向
４６と反対の方向にその中心軸４５を設定した新しい仮
想投影面４４を設定する。この新しい仮想投影面４４へ
の投影を考えることは、広角撮像装置８の視点となる内
部焦点４を、仮想的に基準光軸方向４６と反対方向に中
心軸４５の位置まで移動することに相当する。そのた
め、操作者４２がＡＴＭ端末４１を使用している際の、
広角撮像装置８の視点に対する顔部の位置と胸部の位置
の距離の差が緩和される。

【０１８７】具体的な仮想投影面形状の変更方法につい
て図２９を用いて説明する。図２９は図２８と同様にＺ
軸方向から見た従来の仮想投影面３４と形状を変更した
仮想投影面４４を示している。θは仮想投影面４４上の
点Ｐから広角撮像装置８の図示しない内部焦点４への光
線のＸＹ平面上における方位角をＸ軸方向を０度として
設定したものである。αは仮想投影面４４上の点Ｐから
仮想投影面４４の中心軸４５上の図示しない仮想の内部
焦点（即ち内部焦点４を通る基準光軸と中心軸４５の交
点）への光線のＸＹ平面上における方位角をＸ軸方向を
０度として設定したものである。また図２９上で内部焦
点４の位置をＯ₁、中心軸４５の位置をＯ₂とする。

【０１８８】（実施の形態５）と同様に（式９）（式１
０）（式１３ａ）（式１５）（式１６）を用いて仮想投
影面上の点Ｐ（Ｘ_P，Ｙ_P，Ｚ_P）に対応する広角画像の
点ｐ（ｘ_p，ｙ_p）を決定するのであるが、この時の（実
施の形態５）との相違点は（式１６）でθの与え方であ
る。（実施の形態５）では、特に展開画像の横方向(長
手方向)画素数をISX、横方向の視野角を１８０度とした
時にθ＝180°・ｉ／ISX（但しｉは整数で０≦ｉ＜IS
X）のようにθを等間隔に取っていけばよい。（実施の
形態６）ではαを等間隔で取っていった場合と等価とな
るようにθを決定する。△ＰＯ₁Ｏ₂において正弦定理よ
り（式２４)が成り立つ。

【０１８９】Ｒ／sin(９０°＋θ)＝ｒ／sin(９０°−α) （式２４）（式２４）を整理すると（式２５）が得られる。 θ＝cos^-1（Ｒ・cosα／ｒ）（式２５）但し、α₁≦α＜α₂ よって、（式２５）のαにα＝(α₂−α₁)・ｉ／ISX
（但しｎは整数で０≦ｉ＜ISX）を代入してθを求め、
そのθを用いて展開テーブルを作成すれば、仮想投影面
形状を変更することができる。

【０１９０】なお、ここでは仮想投影面３４として円筒
を考えたが、球面など他の形状であっても構わない。次
に図２７で示したフローで行われる処理の中で（実施の
形態５）の場合と異なる２点のうちのもう１点である、
光学歪の影響補正を行うステップＳ３の次に行うマスク
処理（ステップＳ４）について図３０を用いて説明す
る。

【０１９１】図３０（ａ）はマスク処理を行わない場合
の展開画像を、図３０（ｂ）はマスク処理を行った場合
の展開画像を示している。展開画像中の４１はＡＴＭ端
末、４２は操作者、４７はＡＴＭ端末４１の操作パネル
である。マスク処理前の図３０（ａ）では全視野が見え
ており、操作者４２の操作や入力結果などが写ってしま
うため、暗証番号などのプライベートな情報が外部に漏
れてしまう危険性がある。ここではマスク領域４８に相
当する部分の展開テーブルの座標値データを、本来のも
のと異なるもの、例えばマスク領域４８に相当する部分
の全ての展開テーブル要素を、広角画像中で双曲面反射
鏡１からの像が結像されない左上隅などを指定するよう
に置き換えてしまうことによりマスク処理を実現する。

【０１９２】以上のように展開テーブルにマスク処理の
情報を埋め込むことにより、図２４の展開画像生成部２
４にて展開処理をする際に同時に、演算負荷を増やすこ
となくマスク処理を行うことができる。

【０１９３】次に展開画像生成部２４では、以上のよう
な処理を行うことにより、展開テーブル生成部２３で生
成された展開テーブルを用いて展開画像の生成を行う。
この際の（実施の形態５）との相違点は、既に図３０で
示したように展開画像の天地が正しくなるように、縦方
向が画角１８０度となるように展開処理を行うことであ
る。

【０１９４】次に画質補正処理部２５では、（実施の形
態５）の場合と同様の処理を行い、図示しない画像形式
変換部でＮＴＳＣのようなビデオ信号に変換してモニタ
２７に展開画像を表示する。

【０１９５】このように（実施の形態６）によれば、仮
想投影面４４の形状を変更することにより仮想的に広角
撮像装置８の視点を変更することができるため、広角撮
像装置８の内部焦点４からの距離の差に起因する展開画
像の違和感を軽減することが可能になる。また、展開画
像の一部にマスク処理を施し、見えないようにしてから
出力することにより、操作者の操作内容・入力内容が写
らなくなり、プライバシー情報の漏洩を防ぐことが可能
になる。

【０１９６】なお、ここでは、マスク処理の情報を展開
テーブルに埋め込む方法を示したが、画像マスク処理
を、展開画像を生成した後で行っても構わない。例えば
図３１に示すように、画質補正処理部２５の直後に画像
マスク処理部４９を設け、ここでマスク領域４８内部を
輝度値０に塗りつぶすような処理を行っても構わない。

【０１９７】なお、（実施の形態６）では、双曲面反射
鏡１を±９０度分の反射面を有するものとしたが、これ
に限定されるものではない。±１８０度以下の範囲であ
ればよい。

【０１９８】また、（実施の形態６）では、広角撮像装
置８が回転中心軸周り略±９０度分の範囲を撮像するよ
うな場合を示したが、広角撮像装置８として図３４の
（ａ）で示したような回転中心軸周り略３６０度分の範
囲を撮像する全方位カメラ１００を用い、画像処理装置
２２で全方位カメラ１００に対応した展開処理を行うよ
うな場合でも、これまでに説明した仮想投影面形状の変
更やマスク処理は、（実施の形態６）の場合と同様の効
果を有する。また全方位カメラで仮想投影面形状の変更
を行った場合は、１枚の広角画像を用いて視点の移動を
表現可能であることから、撮像場所を少しづつずらした
複数枚の広角画像を使って滑らかな視点移動が可能なウ
ォークスルーソフトを実現できる。

【０１９９】（実施の形態７）図３２は本発明の（実施
の形態７）を示す。（実施の形態６）との相違部分は、
画像処理装置２２内の処理単位の一つであった展開テー
ブル生成部２３を分離独立させ、新たに展開テーブル生
成用演算処理装置５１を設けた点と、画像処理装置２２
内に展開テーブル生成部２３の代わりに展開テーブル記
憶部５０を設けた点である。

【０２００】この図３２の動作を、（実施の形態６）と
の相違部分を中心に説明する。広角撮像装置８は（実施
の形態６）で用いたものと同様のものである。展開テー
ブル生成用演算処理装置５１は、具体的にはマイクロコ
ンピュータやパーソナルコンピュータ（ＰＣ）などの演
算装置であり、ここで（実施の形態６）の展開テーブル
生成部２３で行っていた展開テーブルの生成を行う。生
成された展開テーブルは画像処理装置２２に送られ、展
開テーブル記憶部５０に記憶される。

【０２０１】展開テーブルの転送方法は、例えばＳＤカ
ード（Secure Digitalカード登録商標）などのメモリ
ーカード５２を用いる。展開テーブル生成用演算処理装
置５１と画像処理装置２２の双方に図示しないＳＤカー
ドスロットを設けておく。展開テーブル生成用演算処理
装置５１にて、生成した展開テーブルをＳＤカードに記
録する。そのＳＤカードを画像処理装置２２のＳＤカー
ドスロットに挿入し、ＳＤカード内に記録された展開テ
ーブルを読み取り、展開テーブル記憶部５０に記憶す
る。

【０２０２】次に、展開画像生成部２４は展開テーブル
記憶部５０に記憶された展開テーブルを読み込み展開処
理を行う。以降の処理は（実施の形態６）と同様であ
る。このように（実施の形態７）によれば、画像処理装
置２２での展開テーブル生成処理の必要がなくなるた
め、装置起動時の展開テーブル生成処理のための起動時
間をなくすことができる。

【０２０３】なお、（実施の形態７）では、（実施の形
態６）の画像処理装置２２内の処理単位の一つであった
展開テーブル生成部２３を分離独立させ、新たに展開テ
ーブル生成用演算処理装置５１を設け、画像処理装置２
２内に展開テーブル生成部２３の代わりに展開テーブル
記憶部５０を設けた場合を示した。同様の変更を（実施
の形態５）の場合に行った場合でも（実施の形態７）の
場合と同様の効果を得ることができる。また、どちらの
場合でも、広角撮像装置８として図３４の（ａ）で示し
たような回転中心軸周り略３６０度分の範囲を撮像する
全方位カメラ１００を用い、画像処理装置２２および展
開テーブル生成用演算処理装置５１で全方位カメラ１０
０に対応した処理を行うような変更を行っても、（実施
の形態７）と同様の効果を得ることができる。

【０２０４】

【発明の効果】以上のように、（実施の形態１）〜（実
施の形態４）を例に挙げて説明した本発明によれば、広
角撮像装置をその回転中心軸が基準光軸方向に垂直な面
内で鉛直方向に対して傾けた状態としても、広角画像生
成装置としての出力は画像内の水平方向がＴＶモニタの
水平方向と一致した画像となり、見る人に違和感を与え
ないものとすることが可能となる。

【０２０５】また、広角撮像装置を、その回転中心軸と
基準光軸を含む面内で、ある基準状態に対して傾けた状
態としても、その傾き角を計測し、その値を利用して展
開画像の投影面となる仮想円筒面の中心軸を常に基準状
態の回転中心軸と一致させることにより、展開画像にお
ける視線中心の位置を変えることなく視野範囲を変更す
ることが可能となる。さらに、視野範囲全体を使って、
視線中心が展開画像の短手方向の中央にあるような展開
画像を得ることができる。この為、展開画像中の任意の
点の視線中心からの最大距離を最小とすることができ、
展開画像中の視線中心から遠い部分は、他の部分よりも
斜めに見ることになるために、他の部分に比べて歪んで
見えてしまうという問題を軽減できる。

【０２０６】また、（実施の形態５）〜（実施の形態
７）を例に挙げて説明した本発明によれば、広角撮像装
置の光学系として、撮像レンズおよび撮像素子からなる
撮像装置の光軸を回転中心軸に対して傾けた構成として
も、展開画像の各画素に対する広角画像上の理想的な対
応点を決定することができ、さらに撮像装置の光学的な
歪の影響を考慮にいれた展開テーブルの補正を行ってい
るため、正しい展開処理が可能となる。また画質補正処
理を行うことにより、展開画像の場所による解像度の差
を軽減することができる。

【０２０７】また、仮想投影面の形状を変更することに
より仮想的に広角撮像装置の視点を変更することができ
るため、広角撮像装置の内部焦点からの距離の差に起因
する展開画像の違和感を軽減することが可能になる。ま
た、展開画像の一部にマスク処理を施し、見えないよう
にしてから出力することにより、操作者の操作内容・入
力内容が写らなくなり、プライバシー情報の漏洩を防ぐ
ことが可能になる。

【０２０８】さらに、画像処理装置とは別個に展開テー
ブル生成用演算処理装置を用いる構成とすれば、画像処
理装置での展開テーブル生成処理の必要がなくなるた
め、装置起動時の展開テーブル生成処理のための起動時
間をなくすことができる。

【図面の簡単な説明】

【図１】本発明の（実施の形態１）の広角画像生成装置
の構成図

【図２】同実施の形態の対象物ａ，ｂ，ｃの説明図

【図３】同実施の形態の広角画像生成装置において撮像
面上に結ばれる像の模式図

【図４】同実施の形態の広角画像生成装置により撮像さ
れた画像に対して展開処理を施した結果の模式図

【図５】同実施の形態のＴＶモニタに出力される出力画
像の模式図

【図６】広角撮像装置の回転とその時の出力画像の模式
図

【図７】本発明の（実施の形態２）の広角画像生成装置
の構成図

【図８】本発明の（実施の形態３）の広角画像生成装置
をＸ軸方向（鉛直上方）から見た構成図

【図９】本発明の（実施の形態４）の広角画像生成装置
をＸ軸方向（鉛直上方）から見た構成図

【図１０】本発明の（実施の形態５）の広角画像生成装
置の構成図

【図１１】同実施の形態における広角撮像装置の説明図

【図１２】同実施の形態における広角撮像装置の撮像面
上に結ばれる像の模式図

【図１３】同実施の形態における対象物ａ，ｂ，ｃの説
明図

【図１４】同実施の形態にて得られる広角画像の説明図

【図１５】同実施の形態における展開テーブル作成フロ
ー図

【図１６】同実施の形態の広角撮像装置の構成図

【図１７】同実施の形態における撮像面付近の拡大図

【図１８】同実施の形態においてＺ軸方向から見た場合
の双曲面反射鏡と撮像面の配置図

【図１９】Ｘａ，Ｙａ面上の角度θとｘｙ面上の角度φ
の関係の説明図

【図２０】撮像装置の光学的な歪の影響の説明図

【図２１】テストパターン画像の説明図

【図２２】展開画像の左右の解像度差の説明図

【図２３】展開画像上の位置と鮮鋭化係数の関係の説明
図

【図２４】本発明の（実施の形態６）の広角画像生成装
置の構成図

【図２５】同実施の形態における対象物ａ，ｂ，ｃの説
明図

【図２６】同実施の形態における撮像面上に結ばれる像
の模式図

【図２７】同実施の形態における展開テーブル作成フロ
ー図

【図２８】仮想投影面と操作者との関係を示す説明図

【図２９】仮想投影面形状の変更法についての説明図

【図３０】ＡＴＭ操作パネルをマスクした場合の模式図

【図３１】同実施の形態における広角画像生成装置の構
成図

【図３２】本発明の（実施の形態７）の広角画像生成装
置の構成図

【図３３】展開処理の説明図

【図３４】全方位カメラの説明図

【図３５】全方位カメラにおける展開処理の説明図

【符号の説明】

１双曲面反射鏡２結像レンズ３撮像素子４双曲面反射鏡１の内部焦点５撮像素子３の撮像面６双曲面反射鏡１の回転中心軸７結像レンズ２の主点８広角撮像装置９展開画像生成部１０出力画像生成部１１演算処理装置１２Ｙ軸周り角度センサ（回転中心軸面内傾斜方向
検出部）１３ＴＶモニタ１４スクリーン１５回転中心軸面内傾斜方向入力部１６Ｘ軸周り角度センサ１７回転中心軸前方傾斜方向入力部１８回転中心軸を傾けた時の広角撮像装置８の視野
限界１９回転中心軸を傾けた時の広角撮像装置８の視野
限界２０回転中心軸を傾けた時の広角撮像装置８の視野
範囲１８´ 基準状態の広角撮像装置８の視野限界１９´ 基準状態の広角撮像装置８の視野限界２０´ 基準状態の広角撮像装置８の視野範囲２１仮想円筒面２２画像処理装置２３展開テーブル生成部２４展開画像生成部２５画質補正処理部２６画像マスク処理部２７モニタ２８光軸２９ａ，２９ｂ光線３０ａ，３０ｂ入射点３１ａ，３１ｂ，３１ａ₀，３１ｂ₀ 結像点３２，３２₀ 半円状の像３３スクリーン３４仮想投影面３５光線３６テストパターン３７テストパターン画像３８広角画像３９展開画像４０ボケ領域４１ＡＴＭ端末４２操作者４３操作者の上半身の傾斜角４４（実施の形態６）の仮想投影面４５（実施の形態６）の仮想投影面の中心軸４６基準光軸方向４７ＡＴＭ端末の操作パネル４８マスク領域４９画像マスク処理部５０展開テーブル記憶部５１展開テーブル生成用演算処理装置５２メモリーカード

───────────────────────────────────────────────────── フロントページの続き (72)発明者村田茂樹大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5B057 AA19 BA02 BA15 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CD03 CD11 CD12 CD20 5C022 AA00 AC42 AC51 AC69 5C054 FD02 FD03

Claims

【特許請求の範囲】

【請求項１】広角撮像装置と演算処理装置からなる広角
画像生成装置であって、広角撮像装置は、回転対称体の回転中心軸に対して垂直
な任意の方向に基準光軸をとり前記基準光軸の方向を０
度として少なくとも角度θの範囲（θ１≦θ≦θ２、−
９０°≦θ１≦９０°、−９０°≦θ２≦９０°、θ１
＜θ２）の凸面形状の反射面を有する反射鏡と、前記反
射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像
を結像して前記反射鏡の回転中心軸周りの少なくとも角
度θの範囲の対象物を撮像する撮像装置からなり、前記
基準光軸に対して垂直な平面内で、前記反射鏡の回転中
心軸を任意の回転中心軸面内傾斜方向に傾けて設置し、演算処理装置は、前記広角撮像装置より得られる画像に
対して演算処理を行い展開画像を生成する展開画像生成
部と、前記回転中心軸面内傾斜方向に応じて前記展開画
像を傾斜させ前記展開画像のデータ形式を出力用の形式
に変換し出力画像として生成する出力画像生成部とから
なる広角画像生成装置。
【請求項２】広角撮像装置と演算処理装置からなる広角
画像生成装置であって、広角撮像装置は、回転対称体の回転中心軸に対して垂直
な任意の方向に基準光軸をとり前記基準光軸の方向を０
度として少なくとも角度θの範囲（θ１≦θ≦θ２、−
９０°≦θ１≦９０°、−９０°≦θ２≦９０°、θ１
＜θ２）の凸面形状の反射面を有する反射鏡と、前記反
射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像
を結像して前記反射鏡の回転中心軸周りの少なくとも角
度θの範囲の対象物を撮像する撮像装置からなり、前記
基準光軸に対して垂直な平面内で、前記反射鏡の回転中
心軸を任意の回転中心軸面内傾斜方向に傾けて設置し、演算処理装置は、前記広角撮像装置により得られる画像
に対して演算処理を行い前記回転中心軸面内傾斜方向に
応じて傾斜させた展開画像を生成する展開画像生成部
と、前記展開画像のデータ形式を出力用の形式に変換し
出力画像として生成する出力画像生成部とからなる広角
画像生成装置。
【請求項３】前記反射鏡が、回転中心軸上に内部焦点を持つ双曲面形状であり、前記
双曲面形状の外部焦点の位置と前記撮像装置の主点の位
置を一致または略々一致させた請求項１または請求項２
記載の広角画像生成装置。
【請求項４】前記回転中心軸面内傾斜方向を水平方向と
一致または略一致させた請求項１〜請求項３の何れかに
記載の広角画像生成装置。
【請求項５】前記広角撮像装置もしくは前記演算処理装
置に、前記回転中心軸面内傾斜方向を検出する回転中心
軸面内傾斜方向検出部を有し、前記回転中心軸面内傾斜
方向検出部の出力結果に応じて前記演算処理装置にて前
記展開画像を傾斜させ出力画像を生成する請求項１〜請
求項４の何れかに記載の広角画像生成装置。
【請求項６】前記演算処理装置内に設けた回転中心軸面
内傾斜方向検出部は、画像処理して回転中心軸面内傾斜
方向を検出するよう構成した請求項５記載の広角画像生
成装置。
【請求項７】前記広角撮像装置もしくは前記演算処理装
置に、前記回転中心軸面内傾斜方向を入力する回転中心
軸面内傾斜方向入力部を有し、前記回転中心軸面内傾斜
方向入力部の入力結果に応じて前記演算処理装置にて前
記展開画像を傾斜させ出力画像を生成する請求項１〜請
求項４の何れかに記載の広角画像生成装置。
【請求項８】広角撮像装置と演算処理装置からなる広角
画像生成装置であって、広角撮像装置は、双曲面の回転中心軸に対して垂直な任
意の方向に基準光軸をとり前記基準光軸の方向を０度と
して少なくとも角度θの範囲（θ１≦θ≦θ２、−９０
°≦θ１≦９０°、−９０°≦θ２≦９０°、θ１＜θ
２）の双曲面形状の反射面を有する双曲面反射鏡と、前
記双曲面反射鏡の外部焦点の位置と主点の位置が略々一
致し、前記双曲面反射鏡の反射像を結像して前記双曲面
反射鏡の回転中心軸周りの少なくとも角度θの範囲の対
象物を撮像する撮像装置からなり、前記基準光軸と前記
双曲面反射鏡の回転中心軸を含む平面内で、前記双曲面
反射鏡の回転中心軸を任意の回転中心軸前方傾斜方向に
傾けて設置され、演算処理装置は、前記広角撮像装置より得られる画像に
対して前記双曲面反射鏡の内部焦点を通る任意の軸を仮
想円筒回転中心軸とした仮想円筒を投影面として演算処
理を行い展開画像を生成する展開画像生成部と、前記展
開画像のデータ形式を出力用の形式に変換し出力画像と
して生成する出力画像生成部とからなる広角画像生成装
置。
【請求項９】前記回転中心軸前方傾斜方向に関わらず、
前記基準光軸と前記双曲面反射鏡の回転中心軸を含む平
面内に設定した基準軸と前記仮想円筒回転中心軸が平行
もしくは一致した請求項８記載の広角画像生成装置。
【請求項１０】前記回転中心軸前方傾斜方向が、前記基
準光軸と前記双曲面反射鏡の回転中心軸を含む平面内に
おける前記広角撮像装置の画角中心が前記基準軸に対し
て垂直となるような方向である請求項９記載の広角画像
生成装置。
【請求項１１】前記広角撮像装置もしくは前記演算処理
装置に、前記回転中心軸前方傾斜方向を検出する回転中
心軸前方傾斜方向検出部を有し、前記回転中心軸前方傾
斜方向検出部の出力結果に応じて前記演算処理装置にて
出力画像を生成する請求項９または請求項１０記載の広
角画像生成装置。
【請求項１２】前記広角撮像装置もしくは前記演算処理
装置内に、前記回転中心軸前方傾斜方向を入力する回転
中心軸前方傾斜方向入力部を有し、前記回転中心軸前方
傾斜方向入力部の入力結果に応じて前記出力画像生成部
にて出力画像を生成する請求項９または請求項１０記載
の広角画像生成装置。
【請求項１３】回転対称体の回転中心軸に対して垂直な
任意の方向に基準光軸をとり、前記基準光軸の方向を０
度として少なくとも角度θの範囲（θ１≦θ≦θ２、−
１８０°≦θ１≦１８０°、−１８０°≦θ２≦１８０
°、θ１＜θ２）の凸面形状の反射面を有する反射鏡
と、前記反射鏡の回転中心軸上に主点を有し、画角を２αと
した時に前記回転中心軸上に対してα以下の角度だけ光
軸が基準光軸方向に傾斜しており、前記反射鏡の反射像
を結像して、前記反射鏡の回転中心軸周りの少なくとも
角度θの範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸
上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記
広角画像と前記展開画像の画素対応関係の情報を含む展
開テーブルを生成する展開テーブル生成部とを設けた広
角画像生成装置。
【請求項１４】回転対称体の回転中心軸に対して垂直な
任意の方向に基準光軸をとり、前記基準光軸の方向を０
度として少なくとも角度θの範囲（θ１≦θ≦θ２、−
１８０°≦θ１≦１８０°、−１８０°≦θ２≦１８０
°、θ１＜θ２）の凸面形状の反射面を有する反射鏡
と、前記反射鏡の回転中心軸上に主点を有し、画角を２αと
した時に前記回転中心軸上に対してα以下の角度だけ光
軸が基準光軸方向に傾斜しており、前記反射鏡の反射像
を結像して、前記反射鏡の回転中心軸周りの少なくとも
角度θの範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸
上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記
広角画像と前記展開画像の画素対応関係の情報を含む展
開テーブルを生成する展開テーブル生成用演算処理装置
と、前記展開テーブル生成用演算処理装置で生成された前記
展開テーブルを保持するとともに前記展開画像生成部に
接続された展開テーブル記憶部とを設けた広角画像生成
装置。
【請求項１５】凸面形状の反射面を有する反射鏡と、前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の
反射像を結像して前記反射鏡の回転中心軸周り３６０度
の範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸
上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記
広角画像と前記展開画像の画素対応関係の情報を含む展
開テーブルを生成する展開テーブル生成部とを設けた広
角画像生成装置。
【請求項１６】凸面形状の反射面を有する反射鏡と、前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の
反射像を結像して前記反射鏡の回転中心軸周り３６０度
の範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸
上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記
広角画像と前記展開画像の画素対応関係の情報を含む展
開テーブルを生成する展開テーブル生成用演算処理装置
と、前記展開テーブル生成用演算処理装置で生成された前記
展開テーブルを保持するとともに前記展開画像生成部に
接続された展開テーブル記憶部とを設けた広角画像生成
装置。
【請求項１７】前記反射鏡が、回転中心軸上に内部焦点
を持つ双曲面形状であり、前記双曲面形状の外部焦点の
位置と前記撮像装置の主点の位置が略々一致することを
特徴とする請求項１３〜請求項１６の何れかに記載の広
角画像生成装置。
【請求項１８】展開テーブル生成部または展開テーブル
生成用演算処理装置を、撮像装置の光軸の傾斜量に応じた広角画像と展開画像の
画素対応関係の情報を含む展開テーブルを生成するよう
構成した請求項１７記載の広角画像生成装置。
【請求項１９】展開テーブル生成部または展開テーブル
生成用演算処理装置を、下記の数式に従って展開テーブ
ルを生成するよう構成した請求項１７記載の広角画像生
成装置。 tanα ＝｛(ｂ²+ｃ²)・sinβ−２ｂｃ｝／｛(ｂ²−ｃ²)
・cosβ｝ｃ＝ (ａ²+ｂ²)^0.5 (ｘ²+ｙ²) ^0.5 ＝Ｆ・cosβ／cosγ(θ)／sin(β＋γ
(θ)) cosφ ＝ cosθ／(１＋tan²γ(90°)・sin²θ)^0.5 tanγ(θ) ＝ tanγ(90°)・sinθ 但し、ａ，ｂは反射鏡の双曲面形状を決定する定数であ
り、双曲面形状は、ＸＹＺ空間において(Ｘ²+Ｙ²)／ａ²
−Ｚ²／ｂ²＝−１と表せる双曲面のうちのＺ＞０のもの
であり、αは前記反射鏡の内部焦点と空間上の任意点を
結ぶ直線とＸＹ平面のなす角度、βは前記任意点からの
入射光が撮像装置の撮像面上に入射する点と前記撮像装
置の主点とを結ぶ直線がＸＹ平面となす角度、Ｆは前記
撮像装置の焦点距離、θはＸＹ平面において基準光軸方
向を９０度とした時の前記入射光の入射方向、γは前記
入射方向θに依存した前記撮像面の傾き、φは前記入射
光の前記撮像面上における入射方向である。
【請求項２０】展開テーブル生成部または展開テーブル
生成用演算処理装置を、撮像装置の光学収差による歪みを含んだ広角画像と歪補
正後の広角画像の対応関係と、前記歪補正後の広角画像
と展開画像の対応関係を合成した画素対応関係の情報を
含む展開テーブルを生成するよう構成した請求項１３〜
請求項１７の何れかに記載の広角画像生成装置。
【請求項２１】展開テーブル生成部または展開テーブル
生成用演算処理装置を、広角画像と展開画像の画素対応関係を考える際の仮想投
影面の形状を変更することにより、前記広角画像と前記
展開画像の画素対応関係を変更した展開テーブルを生成
するよう構成した請求項１３〜請求項１７の何れかに記
載の広角画像生成装置。
【請求項２２】展開テーブル生成部または展開テーブル
生成用演算処理装置を、展開画像上に設けた任意のマスク領域内における広角画
像と展開画像の画素対応関係を任意に変更し、前記マス
ク領域内の展開画像をマスクするような展開テーブルを
生成するよう構成した請求項１３〜請求項１７の何れか
に記載の広角画像生成装置。
【請求項２３】展開画像生成部の後段に、展開画像生成
部の後処理として、展開画像上の位置に応じて強調度を
変えた高周波成分強調処理を行う画質補正処理部を追加
した請求項１３〜請求項１７の何れかに記載の広角画像
生成装置。
【請求項２４】展開画像生成部によって展開された画像
の特定エリアを本来のものと異なる画像にする画像マス
ク処理を行う画像マスク処理部を設けた請求項１７また
は請求項２３に記載の広角画像生成装置。