JP2007271690A

JP2007271690A - 撮像装置

Info

Publication number: JP2007271690A
Application number: JP2006093994A
Authority: JP
Inventors: Toshiyuki Kondo; 敏志近藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-03-30
Filing date: 2006-03-30
Publication date: 2007-10-18

Abstract

【課題】周辺３６０度の様子を常に同時に撮像することができ、かつ撮像された画像に対して超解像処理を施すことにより、撮像画像の全部または一部の実質解像度を向上させることができるカメラ装置を提供する。
【解決手段】全周カメラ部１０１は、カメラの周囲３６０度の様子を動画像として撮像する。モータ部１０２は、全周カメラ部１０１に接続され、全周カメラを所定の方法、速度で回転させる。回転制御部１０３は、モータ部１０２の回転方法や回転速度を制御する。このようにして全周カメラ部１０１で撮像された動画像は、画像処理部１０４に対して出力される。画像処理部１０４では、全周カメラ部１０１で撮像された動画像に対して、超解像処理を行う。
【選択図】図１

Description

本発明は、周囲３６０度の視野にわたる全周動画像を撮像する全周カメラを用いて低解像度で撮影した画像から高解像度画像を生成するための画像撮像装置に関するものである。

周囲３６０度の視野を同時に撮像できる全周カメラが提案されている（例えば、特許文献１、非特許文献１参照）。

一方、低解像度の動画像に含まれる複数枚の画像を合成し、高解像度画像を生成する画像処理方法、いわゆる超解像画像処理方法が提案されている（例えば、非特許文献２）。この際には、低解像度画像間の位置ずれ量（動き量）を１画素未満の精度で検出し、その位置ずれ量に従って低解像度画像の合成を行う。
特許第２９３９０８７号公報 POINTGRAY社 Ladybug2 製品カタログ S.C.Park, M.K.Park and M.G.Kang, "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, May 2003.

上記の全周カメラは一般に固定位置に設置されている。このような全周カメラを用いて撮像した動画像は、動物体を除いた大部分の画像が静止画像となる。このような動画像の全部または一部を拡大して表示したい場合、上記のような超解像処理を施して、たとえ画像サイズが大きくなったとしても、実質的な解像度は向上しない。例えば、映っている文字がはっきりと見えたり、映っている人物の顔がはっきりと見えたりすることはない。

本発明は上記従来の課題を解決するものであり、周辺３６０度の様子を常に同時に撮像することができ、かつ撮像された画像に対して超解像処理を施すことにより、撮像画像の全部または一部の実質解像度を向上させることができるカメラ装置を提供することを目的とする。

この課題を解決するために、第1の発明は、全周動画像を撮像する全周カメラ部と、前記全周カメラ部を回転させるモータ部と、前記全周カメラ部で撮像した動画像に対して高解像度化を施す画像処理部とを具備することを特徴とする撮像装置である。

以上の様に、本発明のカメラ装置を用いることにより、周辺３６０度の様子を常に同時に撮像することができ、かつ撮像された画像に対して超解像処理を施すことにより、撮像画像の全部または一部の実質解像度を向上させることができ、その実用的価値が高い。

（実施の形態１）
本発明のカメラ装置の実施例について、図面を用いて説明する。

図１は、本発明のカメラ装置の実施の形態１を説明するためのブロック図である。図１に示すように、本発明の画像処理方法１００は全周カメラ部１０１、モータ部１０２、回転制御部１０３、画像処理部１０４から構成される。

全周カメラ部１０１は、カメラの周囲３６０度の様子を動画像として撮像する。全周カメラ部の構成は、複数台のカメラを放射状に配置する構成や、曲面の反射鏡を用いて１台のカメラで撮影する構成等がある。前者の場合の模式図を図８に示す。図８は、全周カメラ１０１を上方から見た場合の、カメラの配置例を示しており、複数のカメラが円筒内に外部に向けて円形に配置されている。この場合には、それぞれのカメラで撮影した画像を接続することによって、周囲３６０度の様子を撮像した１画面の動画像を得ることができる。後者の場合には、反射鏡によって周囲３６０度の様子が１台のカメラの画角内に収まるように変形される。

モータ部１０２は、全周カメラ部１０１に接続され、全周カメラを所定の方法、速度で回転させる。ここでは、回転方向は常に同じ風景を撮影できる方向（回転することにより異なる領域が撮像面にほとんど入らない）とする。

回転制御部１０３は、モータ部１０２の回転方法や回転速度を制御する。回転制御の方法としては、連続的に回転させる方法と、間欠的に回転させる方法とがある。

連続的に回転させる場合には、比較的低速で回転させる。これは、撮像する画像に動きボケを生じさせないためである。このためには、シャッターが開いている時間内にあまりカメラが動かないことが望ましい。

間欠的に回転させる場合には、撮像のためにシャッターが開いている間には停止し、シャッターが閉じている間に全周カメラ１０１を回転して移動させる。この場合、モータ部１０２の制御は若干複雑にはなるが、確実に動きボケが生じていない画像を撮像することができる。

ここで連続的に回転する場合であっても、間欠的に回転する場合であっても、回転速度は必ずしも一定でなくても良い。

さらに回転速度については、カメラの焦点距離から計算して無限遠とほぼ同等とみなせる距離や、主要な撮像物体までの距離に対して、１フレーム間に撮像面状で非整数画素精度（例えば０．２５画素、０．５画素、１．５画素、２．３画素、等）で動くように設定する。

このようにして全周カメラ部１０１で撮像された動画像ＬＲは、画像処理部１０４に対して出力される。撮像された動画像の様子を図２に示す。図２では、全周を撮影した画像を２次元平面に展開した様子を示している。全周を撮影しているので、画面の左端と右端の画像はつながっていることになる。図２に示すように、常に全周を撮像しながら、かつ１フレーム毎に撮影位置が少しずれた動画像が得られる。

画像処理部１０４では、全周カメラ部１０１で撮像された動画像ＬＲに対して、超解像（拡大、解像度向上、高解像度化）処理を行う。画像処理部１０４の一構成例を図３に示す。図３に示すように、画像処理部１０４は、メモリ部３０１、動き検出部３０２、画像統合部３０３、統合画像処理部３０４、グローバル動き量計算部３０５から構成される。

入力画像ＬＲは低解像度動画像であり、メモリ３０１で保持される。ここでは、入力画像ＬＲは図２（ａ）に示すような画像列であるとし、処理対象画像が画像Ｐ（ｔ）であるとする。また、画像Ｐ（ｔ−１）が動画像全体の基準フレームであるとする。

動き検出部３０２では、メモリ部３０１に保持された画像を読み出し、画像間の動き量（位置ずれ量）を検出する。動き検出は処理対象画像Ｐ（ｔ）を複数の領域に分割して領域毎に行う。処理対象画像を領域に分割する方法としては、規則的に正方形状や長方形状で分割する方法、規則的に正方形状や長方形状で分割した後に再度正方形や長方形の領域内部で分割する方法、代表点を設定してその代表点を中心として領域に分割する方法、などがある。また動き検出においては、処理対象画像に対して時間的に前後に位置する画像を参照画像として用いる。ここでは、図２（ａ）の画像Ｐ（ｔ−２）、画像Ｐ（ｔ−１）、画像Ｐ（ｔ＋１）、画像Ｐ（ｔ＋２）の４枚の画像を参照画像として用いるとして説明する。

動き検出においては、処理対象画像Ｐ（ｔ）の中の処理対象領域と類似度が高い領域を各参照画像から抽出する。ここで領域の類似度を示す指標としては、対応する画素値の差分絶対値や差分２乗値の和を用いることができる。この場合には、この和が小さいほど類似度が高いことになり、和が最小となる領域を各参照画像から選択すれば良い（選択された領域を参照領域と呼ぶ）。また、処理対象領域と類似度が高い領域を各参照画像から抽出する際には、探索範囲を設定してその中から抽出すればよい。例えば探索範囲としては、処理対象領域と同じ位置を中心とした矩形領域を設定することができる。処理対象領域の画像中での位置（例えば、画像の左上端を原点とし、右方向にｘ座標、下方向にｙ座標を取った二次元座標で表現した位置）と、参照領域の画像中での位置との差を示す２次元ベクトルが、動きベクトル（動き量、位置ずれ量）となる。

動き検出部３０２では、小数画素精度で動きベクトルを求める。小数画素精度で動きベクトルを求める場合には、参照画素中の小数画素位置の画素値を線形補間等で生成してから類似度を求める方法や、整数画素位置で求めた類似度を元に小数画素精度の動きベクトルを推定する方法等がある。検出した動きベクトル（画像Ｐ（ｔ−２）に対して求めた動きベクトルＭＶ（ｔ−２）、画像Ｐ（ｔ−１）に対して求めた動きベクトルＭＶ（ｔ−１）、画像Ｐ（ｔ＋１）に対して求めた動きベクトルＭＶ（ｔ＋１）、画像Ｐ（ｔ＋２）に対して求めた動きベクトルＭＶ（ｔ＋２））は、画像統合部３０３に対して出力される。また、基準フレームである画像Ｐ（ｔ−１）に対して求めた動きベクトルＭＶ（ｔ−１）はグローバル動き量計算部３０５に対して出力される。

グローバル動き量計算部３０５では、基準フレーム（ここでは画像Ｐ（ｔ−１））に対するグローバル動き量を計算する。グローバル動き量とは、画面全体の優勢な動きを表現する動きベクトルである。本発明のカメラ装置では、全周カメラは一次元方向に回転しているので、その方向に対しての優勢な動き量（静止物体に対する撮像面上での移動量）を求めればよい。図２の例では、一次元方向は水平方向となるので、グローバル動き量は水平方向のみの動き量として求めることができる。またグローバル動き量を計算する場合には、例えば、各領域の動きベクトルとの差の２乗和が、処理対象画像全体で最小になるように計算すれば良い。

ここでグローバル動き量を求める場合には、上記のように基準フレームと処理対象フレームとの間の動きベクトルを求め、その動きベクトルからグローバル動き量を求めるのが第１の方法である。第２の方法としては、処理対象フレームと時間的に隣接するフレームとの間の動きベクトルから、一旦処理対象フレームと時間的に隣接するフレームとの間のグローバル動き量を求め、グローバル動き量の履歴に基づいて補正することにより、基準フレームに対するグローバル動き量を求める方法がある。この補正処理は、基準フレームから隣接フレーム毎にグローバル動き量を加算し続けることにより行うことができる。ただし、フレーム毎に加算していくため、グローバル動き量に微少な誤差が蓄積する場合があるので、正確なグローバル動き量を求めたい場合には、第１の方法を用いるのが望ましい。求めたグローバル動き量ＧＭは、画像統合部３０３に対して出力される。

画像統合部３０３では、動きベクトルＭＶ（Τ）（ｔ−２≦Ｔ≦ｔ＋２）を用いて、処理対象画像と参照画像群との各画素をメモリ部３０１から読み出して小数画素精度で統合画像面に合成する。ここで動きベクトルは小数精度であることから、統合画像中の各画素は不均一に分布していることになる。また、統合画像上の画素はグローバル動き量ＧＭを打ち消す方向に移動される。例えば、画像Ｐ（ｔ）の基準フレームである画像Ｐ（ｔ−１）に対するグローバル動き量ＧＭが右方向にＭ画素（Ｍ：実数）である場合には、統合画像の各画素を左方向にＭ画素だけ移動する。ここで、統合画像の左端と右端とは、実空間上ではつながっているので、統合画像の外部に（この場合は左端の外部）に移動された画素は、統画像の逆の端（この場合は右端）に回り込むものとする。このようにして生成された統合画像ＣＩは統合画像処理部３０４に対して出力される。

統合画像処理部３０４では、小数画素精度で合成された統合画像ＣＩから高解像度画像を生成する。撮像画像に対する拡大率は外部から指定されるものとする。ここでは水平方向の拡大率がｒｈ、垂直方向の拡大率がｒｖであるとして説明する。また、指定されるのは拡大率ではなく生成する出力画像の画素数であっても良い。

図４は、生成したい高解像度画像ＨＲの画素位置と、統合画像ＣＩの画素位置との関係を示す模式図である。図４において、白丸は高解像度画像の画素位置を示し、黒丸は統合画像の画素位置を示す。高解像度画像の画素数は、水平方向が低解像度画像のｒｈ倍、垂直方向が低解像度画像のｒｖ倍であり、画素は等間隔に配置される。統合画像の画素位置は一般に不等間隔である。よって、不等間隔に配置された統合画像の画素から、等間隔に配置された高解像度画像の画素を生成する必要がある。このためには従来から提案されている方法を用いることができる。例えば、不等間隔サンプリングを用いる方法、統合画像の位置ずれ量と離散フーリエ変換等により求めた周波数成分を用いて、高解像度画像の周波数成分を推定した後に逆離散フーリエ変換する方法、Ｌａｎｄｗｅｂｅｒ法等のように目的関数を最小化するように反復的に画素値を求める方法、等がある。統合画像処理部３０４では、これらの手法を用いて、不等間隔に配置された統合画像の画素から等間隔に配置された高解像度画像の画素を生成し、高解像度画像ＨＲを出力する。高解像後画像ＨＲは、例えば図２（ｂ）のようになる（これは、水平方向の拡大率が２、垂直方向の拡大率が２の場合の例である）。

以上のように、本発明のカメラ装置は、全周カメラで撮像された動画像を高解像度化する。本発明のカメラ装置においては、全周カメラを回転させて動画像を撮像し、動画像に含まれる処理対象画像と、処理対象画像の時間的に近傍に位置する参照画像との間の動きベクトル（動き量、位置ずれ量）を求める。そして、求めた動きベクトルを用いて、処理対象画像と参照画像の画素とを小数画素精度でずらして統合画像空間上にマッピングする。最後に、非等間隔の画素で構成された統合画像から、等間隔の画素配置で画素数が所望の拡大率を有する高解像度画像を生成する。

よって、本発明のカメラ装置を用いることにより、常に全周を撮像した動画像を得ることができ、かつ従来の全周カメラでは高解像度化が不可能であった静止領域に対しても高解像度化を実現することができる。

上記の実施の形態の第１の変形例について説明する。

第１の変形例では、図１の１１０に示すように、回転制御部１０３から画像処理部１０４に対して、モータ部１０２の回転速度に関する情報Ｗを通知する機能が付加されている点が、実施の形態１と異なる。

画像処理部１０４に入力された回転速度情報Ｗは、図３に示すように動き検出部３０２に対して入力される。動き検出部３０２では回転速度情報Ｗを用いて、動き検出の際の探索範囲を決定する。撮像物体までの大まかな距離がわかっている場合には、静止物体に対しては、撮像面上での移動量（動きベクトル）は狭い範囲内に限定される。例えば図５において（ここでは図面の視認性向上のために、図２（ａ）を縦横２倍して図示している）、処理対象領域５０１は、回転速度情報Ｗから画面上でほぼＬ画素だけ横方向に移動すると推測されるものとする。この場合、参照画像Ｐ（ｔ−１）に対しては、Ｌ画素だけ左側の領域５０２を中心とした領域５０３を探索範囲とし、参照画像Ｐ（ｔ＋１）に対しては、Ｌ画素だけ右側の領域５０４を中心とした領域５０５を探索範囲とする。

以上のように、回転速度情報Ｗを用いて動き検出の探索範囲を決定することにより、実施の形態１で得られる効果に加え、更に実施の形態１と比較して探索範囲を小さくすることが可能となって動き検出の処理量を削減することができる。

上記の実施の形態１の第２の変形例について説明する。

第２の変形例では、図１の１２０に示すように、外部から位置指定情報Ｐが入力される点が、実施の形態１と異なる。位置指定情報Ｐは、画像中のどの部分を高解像度化するかを指定する情報である。

画像処理部１０４に入力された位置指定情報Ｐは、図３に示すように、動き検出部３０２、画像統合部３０３、統合画像処理部３０４に対して入力される。ここでは例えば、位置指定情報Ｐは、図６の領域６０１を指定するものとする。

動き検出部３０２は、処理対象画像Ｐ（ｔ）全体に対してではなく、領域６０１の内部に対して動き検出処理を行う。検出の方法は、実施の形態１と同様である。検出された動きベクトルは、画像統合部３０３に対して出力される。

画像統合部３０３は、動き検出部３０２から得られた動きベクトルに基づいて、メモリ部３０１から画像を読み出し、統合画像を生成する。この際には、領域６０１に対応する統合画像を生成する。生成の方法は、実施の形態１と同様である。生成された統合画像は、統合画像処理部３０４に対して出力される。

統合画像処理部３０４は、小数画素精度で合成された統合画像ＣＩから高解像度画像を生成する。撮像画像に対する拡大率または出力画像の画素数は外部から指定される。画像統合部３０３から入力された、画素が不等間隔に配置された統合画像は、等間隔に配置された高解像度画像に変換され、出力される。高解像度画像への変換処理は、実施の形態１と同様である。高解像後画像ＨＲは、例えば図６（ｂ）のようになる（これは、水平方向の拡大率が２、垂直方向の拡大率が２の場合の例である）。

以上のように、位置指定情報Ｐにより、画像内で高解像度化する位置を指定することができる。

上記の実施の形態１の第３の変形例について説明する。

図７は、本発明の画像処理方法の第３の変形例を説明するためのブロック図である。

本変形例においては、全周カメラで撮像した映像を記録媒体に一旦蓄積する点が、実施の形態１と異なる。

図７に示すように、本発明のカメラ装置７００は、全周カメラ部１０１、モータ部１０２、回転制御部１０３、画像処理部１０４、記録媒体１０５から構成される。ここで記録媒体１０５は、ハードディスク、光ディスク、半導体メモリ、等である。

全周カメラ部１０１、モータ部１０２、回転制御部１０３の動作は、実施の形態１で述べた方法と同様であるので説明は割愛する。

全周カメラ部１０１から出力された動画像は、記録媒体１０５に蓄積される。

記録媒体１０５に蓄積された動画像は、ある時間が経過した後に読み出され、画像処理部１０４に入力される。そして、高解像度画像ＨＲとして出力される。画像処理部１０４の動作は実施の形態１で述べた方法と同様であるので説明は割愛する。

以上のような構成により、全周カメラで撮像した動画像を一旦蓄積媒体に保持し、蓄積媒体に保持した動画像を再生して高解像度化することができる。よって、全周カメラ１０１、モータ部１０２、回転制御部１０３から構成される撮像部と、画像処理部１０４とを必ずしも同時に用いる必要がなくなる。よって、撮像した後に異なる場所で画像処理部１０４だけを用いて高解像度化して視聴することが可能となる。また、撮像した画像を光ディスク等の安価な媒体に記録することにより、複数のユーザに対して配布した後、各ユーザが画像処理部１０４を用いて高解像度化して視聴することが可能となる。

なお、実施の形態１の変形例１、変形例２の機能を変形例３に統合することも可能であり、それにより、変形例３で得られる効果に加えて、更に変形例１、変形例２の効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明にかかる撮像装置は、常に全周を撮像した動画像を得ることができ、かつ従来の全周カメラでは高解像度化が不可能であった静止領域に対しても高解像度化を実現することができるという効果を有し、全周を撮像する撮像装置として有用である。

本発明のカメラ装置の構成を示すブロック図本発明のカメラ装置の動作を説明するための模式図本発明のカメラ装置の画像処理部１０４の一構成例を示すブロック図本発明のカメラ装置の動作を説明するための模式図本発明のカメラ装置の動作を説明するための模式図本発明のカメラ装置の動作を説明するための模式図本発明のカメラ装置の構成を示すブロック図本発明のカメラ装置の全周カメラ部１０１の一構成例を示す模式図

符号の説明

１０１全周カメラ部
１０２モータ部
１０３回転制御部
１０４画像処理部
１０５蓄積媒体
３０１メモリ部
３０２動き検出部
３０３画像統合部
３０４統合画像処理部
３０５グローバル動き量計算部

Claims

全周動画像を撮像する全周カメラ部と、
前記全周カメラ部を回転させるモータ部と、
前記全周カメラ部で撮像した動画像に対して高解像度化を施す画像処理部と
を具備することを特徴とする撮像装置。
前記画像処理部は、
前記動画像に含まれる処理対象画像と、前記動画像に含まれ前記処理対象画像の時間的に前後の近傍に位置する参照画像群と間の動き量を求める動き検出部と、
前記動き量を用いて、前記処理対象画像と前記参照画像とを統合画像空間へマッピングする画像統合部と、
前記統合画像空間の画素から、拡大率または画素数により決まる数の画素を有し、かつ等間隔の画素配置を有する画像を生成する統合画像処理部と
から構成されることを特徴とする請求項１記載の撮像装置。
前記画像処理部は更に、
前記処理対象画像と前記動画像に含まれる基準画像とのグローバル動き量を求めるグローバル動き量計算部を有し、
前記画像統合部は、前記動き量を用いて前記処理対象画像と前記参照画像とを統合画像空間へマッピングした後、前記グローバル動き量を打ち消す方向に前記統合画像空間上の画素を移動させる
ことを特徴とする請求項２記載の撮像装置。
前記画像統合部は、前記移動により前記統合画像空間の画像端より外に出る画素に対しては、前記画素を前記画像端とは反対側の画像端側に移動させることを特徴とする請求項３記載の撮像装置。
前記モータ部は、前記全周カメラ部が常に同じ範囲を撮像する方向に前記全周カメラ部を回転させる
ことを特徴とする請求項１から請求項３のいずれか１項記載の撮像装置。
前記モータ部は、前記全周カメラ部で撮像した画像が非整数画素単位の動きを有するような速度で前記全周カメラ部を回転させる
ことを特徴とする請求項１から請求項３のいずれか１項記載の撮像装置。
前記モータ部は、前記全周カメラ部から所定の距離にある物体を前記全周カメラ部で撮像した画像が非整数画素単位の動きを有するような速度で前記全周カメラ部を回転させる
ことを特徴とする請求項１から請求項３のいずれか１項記載の撮像装置。
前記モータ部は、前記全周カメラを連続的に回転させる
ことを特徴とする請求項１から請求項３のいずれか１項記載の撮像装置。
前記モータ部は、前記全周カメラを間欠的に回転させる
ことを特徴とする請求項１から請求項３のいずれか１項記載の撮像装置。
前記全周カメラ部は、前記モータ部による回転が停止している間に１枚の画像を撮像する
ことを特徴とする請求項９記載の撮像装置。
さらに前記モータ部は、回転速度に関する情報を出力し、
前記動き検出部は、前記回転速度に関する情報に基づいて、動き検出の探索範囲を設定する
ことを特徴とする請求項２記載の撮像装置。
前記グローバル動き量は、１次元方向の動きである
ことを特徴とする請求項３記載の撮像装置。
全周動画像を撮像する全周カメラ部と、
前記全周カメラ部を回転させるモータ部と、
前記全周カメラ部で撮像した動画像の一部の領域に対して高解像度化を施す画像処理部と
を具備することを特徴とする撮像装置。
全周動画像を撮像する全周カメラ部と、
前記全周カメラ部を回転させるモータ部と、
前記全周カメラ部で撮像した動画像を蓄積する記録媒体と、
前記記録媒体に蓄積された動画像を読み出して、高解像度化を施す画像処理部と
を具備することを特徴とするカメラ装置。
全周動画像を撮像する全周カメラ部と、
前記全周カメラ部を回転させるモータ部と、
前記全周カメラ部で撮像した動画像に対して高解像度化を施す画像処理部と
を具備することを特徴とする半導体装置。
前記画像処理部は、
前記動画像に含まれる処理対象画像と、前記動画像に含まれ前記処理対象画像の時間的に前後の近傍に位置する参照画像群と間の動き量を求める動き検出部と、
前記動き量を用いて、前記処理対象画像と参照画像とを統合画像空間へマッピングする画像統合部と、
前記統合画像空間の画素から、拡大率または画素数により決まる数の画素を有し、かつ等間隔の画素配置を有する画像を生成する統合画像処理部と
から構成されることを特徴とする請求項１５記載の半導体装置。