JP2013218432A - 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体 - Google Patents

Abstract

【課題】パノラマ画像における動体を監視しやすいパノラマ画像を生成する画像処理装置等を提供する。
【解決手段】第１パノラマ画像４０の画像データを取得し（Ｓ１）、第１パノラマ画像４０の短手方向（ｙ方向）を分割線Ｄとして、第１パノラマ画像２０を２つに分割し、分割された各パノラマ画像４１、４２の分割側が両端となるように、分割された各パノラマ画像同士を合成して第２パノラマ画像４５を生成する。
【選択図】図４

Description

本発明は、パノラマ画像を画像処理する画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体に関する。

広角レンズまたは全方位ミラーを用いたカメラにより撮像された画像が、広範囲の状況を確認できるように使用されている。例えば、特許文献１には、広角画像を入力する双曲面ミラーとマイクロフォンに入力された音声に基づいて、広角画像のうち音源方向に対応する方向の所定領域の画像を矩形の出力画像となるように変形し、変形された画像と、この画像に対応した音声とを同期させて出力する広角画像録画再生システムが開示されている。

特開２００３−１８５６１号公報

しかしながら、特許文献１の技術では、パノラマ画像において、通り過ぎる動体や動き回る動体を監視しやすいように表示させることが難しかった。特に、パノラマ画像からはみ出す動体を連続的に把握することが難しかった。

そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、パノラマ画像における動体を監視しやすいパノラマ画像を生成する画像処理装置等を提供することを目的とする。

上記の課題を解決するために、請求項１に記載の発明は、第１パノラマ画像の画像データを取得する画像データ取得手段と、前記第１パノラマ画像の短手方向を分割線として、前記第１パノラマ画像を２つに分割するパノラマ画像分割手段と、前記分割された各パノラマ画像の分割側が両端となるように、前記分割された各パノラマ画像同士を合成して第２パノラマ画像を生成する第２パノラマ画像生成手段と、を備えることを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記第１パノラマ画像の中の動体を特定する動体特定手段と、前記第１パノラマ画像の長手方向における前記特定された動体の位置に応じて、前記分割線を設定する分割線設定手段と、を更に備えることを特徴とする。

また、請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記特定された動体を取り囲む動体包囲領域を設定する動体包囲領域設定手段を更に備え、前記分割線設定手段が、前記動体包囲領域が前記第１パノラマ画像の長手方向における所定の位置に達したとき、前記分割線を設定することを特徴とする。

また、請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記動体包囲領域の画像データを抽出する動体包囲領域抽出手段と、前記第１パノラマ画像および第２パノラマ画像のうち少なくとも一方のパノラマ画像と共に、当該パノラマ画像とは別に前記抽出された動体包囲領域の画像データを表示させる表示手段と、を更に備えたことを特徴とする。

また、請求項５に記載の発明は、請求項１から４のいずれか１項に画像処理装置において、前記画像データ取得手段が、広角レンズまたは全方位ミラーを用いた撮像により得られた歪曲画像から生成された前記第１パノラマ画像の画像データを取得することを特徴とする。

また、請求項６に記載の発明は、画像を処理する画像処理装置の画像処理方法において、第１パノラマ画像の画像データを取得する画像データ取得ステップと、前記第１パノラマ画像の短手方向を分割線として、前記第１パノラマ画像を２つに分割するパノラマ画像分割ステップと、前記分割された各パノラマ画像の分割側が両端となるように、前記分割された各パノラマ画像同士を合成して第２パノラマ画像を生成する第２パノラマ画像生成ステップと、を含むことを特徴とする。

また、請求項７に記載の発明は、コンピュータを、第１パノラマ画像の画像データを取得する画像データ取得手段、前記第１パノラマ画像の短手方向を分割線として、前記第１パノラマ画像を２つに分割するパノラマ画像分割手段、および、前記分割された各パノラマ画像の分割側が両端となるように、前記分割された各パノラマ画像同士を合成して第２パノラマ画像を生成する第２パノラマ画像生成手段として機能させることを特徴とする。

また、請求項８に記載の発明は、コンピュータを、第１パノラマ画像の画像データを取得する画像データ取得手段、前記第１パノラマ画像の短手方向を分割線として、前記第１パノラマ画像を２つに分割するパノラマ画像分割手段、および、前記分割された各パノラマ画像の分割側が両端となるように、前記分割された各パノラマ画像同士を合成して第２パノラマ画像を生成する第２パノラマ画像生成手段として機能させることを特徴とする画像処理用プログラムがコンピュータ読み取り可能に記録される。

本発明によれば、第１パノラマ画像を２つに分割して、分割された各パノラマ画像の分割側が両端となるように合わせて、視点が移動した第２パノラマ画像を生成するので、パノラマ画像における動体を監視しやすいパノラマ画像を生成することができる。

本発明の実施形態に係る画像処理システムの概要構成例を示すブロック図である。 図１の画像処理装置の概要構成例を示すブロック図である。 魚眼画像とパノラマ画像との一例を示す模式図である。 図１の画像処理装置の動作例を示すフローチャートである。 生成されたパノラマ画像の一例を示す模式図である。 画像処理システムの表示部に表示された画像の一例を示す模式図である。 パノラマ画像の変形例を示す模式図である。 生成されたパノラマ画像の変形例を示す模式図である。 生成されたパノラマ画像の変形例を示す模式図である。 画像処理システムの撮像部の変形例を示す模式図である。 画像処理システムの撮像部の変形例を示す模式図である。

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像処理システムに対して本発明を適用した場合の実施形態である。

［１．画像処理システムの構成および機能の概要］
（１．１ 画像処理システム１の構成および機能）

まず、本発明の一実施形態に係る画像処理システムの構成および概要機能について、図１を用いて説明する。

図１は、本実施形態に係る画像処理システム１の概要構成例を示すブロック図である。

図１に示すように、画像処理システム１は、広角レンズまたは全方位ミラーを有する撮像部１０と、撮像部１０により撮像された画像に対して画像補正の処理をしてパノラマ画像を出力する画像補正処理部１１と、撮像部１０および画像補正処理部１１により撮像された画像に対して画像処理を行う画像処理装置２０と、画像処理装置２０により処理された画像を表示する表示部１２と、を備えている。ここで、パノラマ画像とは、広範囲を撮像した横長または縦長の画像であって、画面アスペクト比が標準的な画面アスペクト比（例えば、４：３）より大きい画像である。

撮像部１０は、正射影方式の魚眼レンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）のようなイメージセンサを有するカメラである。撮像部１０は、動画の歪曲円形画像（歪曲画像の一例）の動画を出力する。なお、撮像部１０のレンズは、広角レンズに限らず、全方位ミラーと組み合わせた通常の画角のレンズでもよい。また、広角レンズの画角は１８０°に限らず、１８０°より大きくても、小さくてもよい。また、撮像部１０が、対角線魚眼レンズを有する場合、矩形の歪曲画像を出力する。撮像部１０のレンズは、等距離射影方式のレンズや、等立体角射影方式のレンズ等の非正射影方式のレンズでもよい。

撮像部１０は、モニタする場所に設置され、周囲の状況を撮像する。撮像部１０は、歪曲円形画像の動画データを画像処理装置２０に出力する。ここで、撮像部１０の撮像の向きは、周囲を動いている人や車の動きや流れを撮像し追跡できるように、下向き、または上向きである。

画像補正処理部１１は、専用の演算等を行うＬＳＩ（Large Scale Integration）チップを用いたハードウエア、または、ソフトウェアにより構成されている。画像補正処理部１１は、歪曲円形画像から平面正則画像への画像変換の演算を行い、動画のパノラマ画像を生成する。なお、ソフトウェアにより画像変換の演算等の処理を行う場合、画像補正処理部１１は、ＣＰＵ（Central Processing Unit）を有し、コンピュータとして機能する。

画像補正処理部１１は、パノラマ画像の動画データを画像処理装置２０に出力する。

表示部１２は、表示手段の一例として、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されているモニタ画面である。表示部１２は、撮像部１０により撮像された歪曲円形画像（魚眼画像）や、画像変換で得られた平面正則画像（パノラマ画像）等を表示する。

コンピュータとして機能する画像処理装置２０は、取得した画像に対して前処理を行う画像加工部２０ａと、取得した画像から動体を検出して追跡を行う追跡処理部２０ｂと、表示部１２に表示するための画像を生成する表示加工部２０ｃと、追跡する動体の大きさを設定する追跡条件設定部２０ｄと、を有する。

画像加工部２０ａは、パノラマ画像の動画または歪曲円形画像の動画のフレーム画像において、単純背景差分またはフレーム間差分等により、背景を除去し前景を抽出する前処理を行う。

追跡処理部２０ｂは、画像加工部２０ａにより前処理された画像から、画像内の動いている物体（以下、「動体」と称する。）を検出し、動体の追跡を行う機能を有する。なお、動体を追跡するための物体追跡の方法として、例えば、Ｍｅａｎ Ｓｈｉｆｔ法、粒子フィルタ法、テンプレートマッチング等が挙げられる。

表示加工部２０ｃは、監視用に加工された歪曲円形画像やパノラマ画像等を表示部１２に表示させるための画像を生成する機能を有する。

追跡条件設定部２０ｄは、歪曲円形画像またはパノラマ画像における動体の大きさが、所定範囲にある動体に絞るため、追跡する動体の大きさの範囲を追跡条件として設定する機能を有する。

（１．２ 画像処理装置２０の構成および機能）
次に、画像処理装置２０の構成および機能について、図２を用いて説明する。

図２は、画像処理装置２０の概要構成の一例を示すブロック図である。

図２に示すように、画像処理装置２０は、システム制御部２１と、入出力インターフェース部２５と、を備えている。そして、システム制御部２１と入出力インターフェース部２５とは、システムバス２６を介して接続されている。入出力インターフェース部２５に、撮像部１０と、画像補正処理部１１と、表示部１２と、記憶部１３と、操作部１４とが接続されている。

システム制御部２１は、ＣＰＵ２２、ＲＯＭ（Read Only Memory）２３、ＲＡＭ（Random Access Memory）２４等により構成されている。そして、システム制御部２１は、ＣＰＵ２２が、ＲＯＭ２３や記憶部１３に記憶された各種プログラムを読み出し実行する。システム制御部２１は、取得した動画のフレームの画像データ等をＲＡＭ２４に記憶する。

入出力インターフェース部２５は、記憶部１３とシステム制御部２１との間のインターフェース処理を行うようになっている。

記憶部１３は、例えば、ハードディスクドライブ等により構成されており、オペレーティングシステム等の各種プログラムを記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。

操作部１４は、例えば、キーボードおよびマウス等によって構成されている。ユーザは、操作部１４により追跡条件等を入力する。

［２．画像処理システムの動作］
次に、本発明の１実施形態に係る画像処理システムの動作について図３から図６を用いて説明する。

図３は、魚眼画像とパノラマ画像との一例を示す模式図である。図４は、画像処理装置の動作例を示すフローチャートである。図５は、生成されたパノラマ画像の一例を示す模式図である。図６は、画像処理システムの表示部に表示された画像の一例を示す模式図である。

まず、画像処理システム１の撮像部１０は、歪曲円形画像の動画を撮像し、１フレーム分の画像データを画像補正処理部１１および画像処理装置２０の画像加工部２０ａに出力する。

画像処理システム１の画像補正処理部１１は、１フレーム分の歪曲円形画像を取得し、歪曲円形画像からパノラマ画像を切り出すための切出中心点を設定する。

次に、画像補正処理部１１は、仮想球面の中心を基点として切出中心点に対応する視点ベクトルを設定する。切出中心点が設定されることにより、方位角、および、天頂角が定まる。そして、方位角、天頂角等から、歪曲円形画像から平面正則画像への画像変換の式が定まる。

次に、画像補正処理部１１は、視点ベクトルに基づき、パノラマ画像（平面正則画像）の領域を設定する。パノラマ画像は、長手方向の長辺と短手方向の短辺とを有する矩形であり、切出中心点が矩形の中心となる。なお、パノラマ画像の形状は矩形とは限らず、楕円形のように、長手方向と短手方向とは直交し、長手方向に細長い図形ならばよい。

なお、図３に示すように、魚眼画像の歪曲円形画像３０上では、パノラマ画像４０に対応する画像領域３１は円環状になる。パノラマ画像の長手方向（ｘ方向）は、歪曲円形画像３０上では円周方向、パノラマ画像の短手方向（ｙ方向）は、歪曲円形画像３０上では半径方向となる。このパノラマ画像４０に対応する円環は、隙間がある円環あってもよいし、重なりがあってもよい。隙間がある場合、パノラマ画像の長手方向の長さが短くなり、重なりがある場合、パノラマ画像の長手方向の長さが長くなる。

また、歪みが軽減されたパノラマ画像の平面正則画像を得るために、視線ベクトルと直交する面（平面正則画像が射影される面）が、（仮想）円柱の面であることが好ましい。そして、２次元湾曲座標系が、仮想球面の中心を原点とし、視線ベクトルに直交する平面上に配置された２次元直交座標系を、仮想円柱の側面に沿って湾曲させることにより設定される。

次に、画像補正処理部１１は、視線ベクトルに応じて、平面正則画像（パノラマ画像）の領域の各点に対応する歪曲円形画像の画素値を求める。そして、画像補正処理部１１が、画像変換を開始する点から、平面正則画像を一画素分ずつ平面正則画像の領域をスキャンして、対応する歪曲円形画像の画素値を順次演算する。

次に、画像補正処理部１１は、求めた歪曲円形画像の画素値を平面正則画像の画素値とし、１フレーム分のパノラマ画像を生成する。画像補正処理部１１は、このパノラマ画像を画像処理装置２０の画像加工部２０ａに出力する。

次に、図４に示すように、画像処理装置２０は、パノラマ画像を取得する（ステップＳ１）。具体的には、画像加工部２０ａとして、画像処理装置２０のシステム制御部２１が、画像補正処理部１１から１フレーム分のパノラマ画像（第１パノラマ画像の一例）を取得する。

このように、画像処理装置２０は、第１パノラマ画像の画像データを取得する画像データ取得手段の一例として機能する。また、画像処理装置２０は、広角レンズまたは全方位ミラーを用いた撮像により得られた歪曲画像から生成された第１パノラマ画像の画像データを取得する画像データ取得手段の一例として機能する。

次に、画像処理装置２０は、前処理を行う（ステップＳ２）。具体的には、画像加工部２０ａとして、システム制御部２１が、ＲＡＭ２４に記憶されている１つ前のパノラマ画像のフレーム画像と、取得したパノラマ画像のフレーム画像とに対して、フレーム間差分等を適用して、背景が消去された差分画像を算出する。

次に、画像処理装置２０は、動体を認識する（ステップＳ３）。具体的には、追跡処理部２０ｂおよび追跡条件設定部２０ｄとして、システム制御部２１が、動体を認識するための画像処理により、算出した差分画像から動体を検出し、検出した動体の座標を求める。追跡条件に基づき、所定の大きさの動体を特定する。そして、システム制御部２１が、既存の動体認識アルゴリズムを利用して、検出された動体に対して物体追跡のための処理を行う。物体追跡のための処理として、例えば、システム制御部２１が、カラーヒストグラム等の特徴量を算出したり、動体の移動先の推定等を行ったりする。そして、システム制御部２１が、各動体の進む方向等を算出する。

なお、検出した動体の座標は、システムから動体が認識できればどのような形式でもよい。例えば、動体の重心座標や、動体が示す領域において、ｘ、ｙ座標の値が最小の座標等が挙げられる。また、追跡処理部２０ｂでは、動体が静止してもその物体を対象物として捉えておく。また、物体の認識は、自動動体認識をでも、手動による物体の選択でもよい。

このように、画像処理装置２０は、第１パノラマ画像の中の動体を特定する動体特定手段の一例として機能する。

次に、画像処理装置２０は、マークを設定する（ステップＳ４）。具体的には、追跡処理部２０ｂとして、システム制御部２１が、図３に示すように、動体の座標に基づき、人の動体に対して動体を取り囲むマークＭ１（動体包囲領域の一例）、車の動体に対して動体を取り囲むマークＭ２（動体包囲領域の一例）マークＭ２を設定する。マークＭ１、Ｍ２は、例えば、各動体を認識しやすいように、各動体を含むように囲う太線の四角形等の形状である。

このように、画像処理装置２０は、特定された動体を取り囲む動体包囲領域を設定する動体包囲領域設定手段の一例として機能する。

次に、画像処理装置２０は、マーク領域を抽出する（ステップＳ５）。具体的には、追跡処理部２０ｂとして、システム制御部２１が、マークＭ１、マークＭ２に囲われたマーク領域の画像データを抽出し、マーク領域の画像データを表示するための注目画像を生成しＲＡＭ２４等に記憶する。

このように、画像処理装置２０は、動体包囲領域の画像データを抽出する動体包囲領域抽出手段の一例として機能する。

次に、画像処理装置２０は、マーク領域が所定位置か否かを判定する（ステップＳ６）。具体的には、追跡処理部２０ｂとして、システム制御部２１が、設定されたマークＭ１、Ｍ２のパノラマ画像４０におけるＸ座標の情報と、各動体が進む方向とから、マークＭ１、Ｍ２が、パノラマ画像４０の長手方向における端側の所定の位置に達したか否かを判定する。さらに具体的には、図５に示すように、パノラマ画像４０の長手方向における端側から所定の位置が閾値θと設定され、マークＭ１、Ｍ２がパノラマ画像４０の長手方向における端側から閾値θの位置に達したか否かをシステム制御部２１が判定する。

マーク領域が所定位置でない場合（ステップＳ６；ＮＯ）、画像処理装置２０は、ステップＳ１０の処理に進む。

マーク領域が所定位置である場合（ステップＳ６；ＹＥＳ）、画像処理装置２０は、分割線を設定する（ステップＳ７）。具体的には、追跡処理部２０ｂとして、システム制御部２１が、図５に示すように、マークＭ２（動体包囲領域の一例）のＸ方向のプラス側（図５中、右側）が所定の位置（ｘ＝Ｗ−θ）に達したとき、ｘ＝ｘ１の位置に、パノラマ画像４０の短手方向（ｙ方向）に分割線Ｄ（（ｘ１、０）−（ｘ１、Ｈ）の線）を設定する。分割線Ｄは、マークＭ２が分割された一方のパノラマ画像に含まれるように、マークＭ２のＸ方向のマイナス側から所定の位置に設定される。

このように、画像処理装置２０は、第１パノラマ画像の長手方向における特定された動体の位置に応じて、分割線を設定する分割線設定手段の一例として機能する。また、画像処理装置２０は、動体包囲領域が第１パノラマ画像の長手方向における所定の位置に達したとき、分割線を設定する分割線設定手段の一例として機能する。

次に、画像処理装置２０は、パノラマ画像を分割する（ステップＳ８）。具体的には、追跡処理部２０ｂとして、図５に示すように、システム制御部２１が、パノラマ画像４０を、分割線Ｄを境に、分割されたパノラマ画像４１（ｘ＝０〜ｘ１）と、分割されたパノラマ画像４２（ｘ＝ｘ１〜Ｗ）との２つに分割する。

このように、画像処理装置２０は、第１パノラマ画像の短手方向を分割線として、第１パノラマ画像を２つに分割するパノラマ画像分割手段の一例として機能する。

次に、画像処理装置２０は、分割側が両端となるように合成パノラマ画像を生成する（ステップＳ９）。具体的には、表示加工部２０ｃとして、システム制御部２１が、分割されたパノラマ画像４１の端４１ｓ（ｘ＝０）と、分割されたパノラマ画像４２の端４２ｓ（ｘ＝Ｗ）とをつなぎ合わせ、分割されたパノラマ画像４１の分割側４１ｄと、分割されたパノラマ画像４２の分割側４２ｄとが両端になるように、合成されたパノラマ画像４５（第２パノラマ画像の一例）を生成する。パノラマ画像４５において、分割側４２ｄはｘ＝０、分割側４１ｄは、ｘ＝Ｗとなる。さらに具体的には、システム制御部２１が、分割されたパノラマ画像４１を、Ｗ−ｘ１分、Ｘ方向に移動し、分割されたパノラマ画像４２を、分割側４２ｄがｘ＝０となるように、移動する。

パノラマ画像４５は、パノラマ画像４０に対して、視点の中心が、Ｗ−ｘ１分、Ｘ方向に移動したパノラマ画像となり、歪曲円形画像３０において、視点ベクトルを移動させたことに対応する。

このように、画像処理装置２０は、分割された各パノラマ画像の分割側が両端となるように、分割された各パノラマ画像同士を合成して第２パノラマ画像を生成する第２パノラマ画像生成手段の一例として機能する。

次に、画像処理装置２０は、パノラマ画像等を表示する（ステップＳ１０）。具体的には、表示加工部２０ｃとして、システム制御部２１が、図６に示すように、歪曲円形画像３０と、パノラマ画像４０（４５）と、注目画像５０（抽出された動体包囲領域の画像データの一例）と、を共に表示部１２に表示させる画像を生成する。そして、システム制御部２１が、生成された画像を表示部１２に表示する。

このように、画像処理装置２０は、第１パノラマ画像および第２パノラマ画像のうち少なくとも一方のパノラマ画像と共に、当該パノラマ画像とは別に抽出された動体包囲領域の画像データを表示させる表示手段の一例として機能する。

なお、マーク領域が所定位置でない場合（ステップＳ６；ＮＯ）、システム制御部２１が、パノラマ画像４０を表示部１２に表示させる画像を生成する。マーク領域が所定位置である場合（ステップＳ６；ＹＥＳ）、システム制御部２１が、合成されたパノラマ画像４５を表示部１２に表示させる画像を生成する。

また、システム制御部２１が、パノラマ画像４０のマークＭ１、Ｍ２から、平面正則画像から歪曲円形画像への画像変換により、歪曲円形画像３０のマークＭ１、Ｍ２を生成する。また、注目画像５０のマークＭ１、Ｍ２は、パノラマ画像４０のマークＭ１、Ｍ２より拡大、縮小、または等倍で表示される。

注目画像５０には、パノラマ画像４０（４５）の中を、特定されている動体が動いても、マークＭ１、Ｍ２により囲われた動体が注目画像５０において固定的に表示される。

また、操作部１４の操作により、ポインタ５５により選択されたマークのみが、歪曲円形画像３０、パノラマ画像４０（４５）、注目画像５０に表示され、追跡対象となる。

これら一連の処理が終わると、画像処理装置２０は、次の１フレーム分のパノラマ画像を取得し、ステップＳ１からステップＳ１０の処理を繰り返す。そして、マークＭ１、Ｍ２は対象物の動きとともに動く。マークＭ１、Ｍ２は解除されるまでは、対象物が静止してもマーク表示を続ける。

なお、画像処理装置２０は、動体の認識を歪曲円形画像３０上で行ってもよい。この場合、画像処理装置２０は、ステップＳ２の前処理を歪曲円形画像３０に対して行い、ステップＳ３の動体を認識する。そして、画像処理装置２０は、ステップＳ４において、歪曲円形画像３０上にマークＭ１、Ｍ２を設定する。この歪曲円形画像３０上にマークＭ１、Ｍ２の形状は、図６に示すように、画像変換後に矩形になるように、扇形にする。画像処理装置２０は歪曲円形画像から平面正則画像への画像変換により、パノラマ画像４０のマークＭ１、Ｍ２を求める。

以上、本実施形態によれば、第１パノラマ画像の一例のパノラマ画像４０の画像データを取得し、パノラマ画像４０の短手方向（ｙ方向）を分割線Ｄとして、パノラマ画像４０を２つに分割し、分割された各パノラマ画像４１、４２の分割側４１ｄ、４２ｄが両端となるように、分割された各パノラマ画像同士を合成して第２パノラマ画像の一例のパノラマ画像４５を生成することにより、パノラマ画像４０を２つに分割して、分割された各パノラマ画像４１、４２の分割側４１ｄ、４２ｄが両端となるように合わせて、視点が移動したパノラマ画像４５を生成するので、パノラマ画像における動体を監視しやすいパノラマ画像を生成することができる。

また、本実施形態によれば、視点を移動させたパノラマ画像を連続的に表示（パンニング表示）させることができる。しかも、計算コストを軽減させて、視点を移動させたパノラマ画像を連続的に表示させることができる。

また、第１パノラマ画像（パノラマ画像４０）の中の動体を特定し、第１パノラマ画像の長手方向（ｘ方向）における特定された動体の位置に応じて、分割線Ｄを設定する場合、動体の動きに応じて、パノラマ画像の視点が移動して、パノラマ画像における動体を監視しやすいパノラマ画像を生成することができる。例えば、パノラマ画像４０において、追跡対象の物体が表示境界（パノラマ画像４０の両端）を越えようとして、自動的に視点を移動させ、動体の連続追跡とマークが可能である。

また、特定された動体を取り囲む動体包囲領域（マークＭ１、Ｍ２）を設定し、動体包囲領域が第１パノラマ画像（パノラマ画像４０）の長手方向（ｘ方向）における所定の位置（Ｗ−θ）に達したとき、分割線Ｄを設定する場合、動体の画像が途切れる前に、パノラマ画像の視点が移動して、動体をスムーズに追跡して監視できる。本実施形態の画像処理装置を利用した監視システムを構築し、動体包囲領域が付されたパノラマ画像４０により、ユーザが瞬時に動体を検出できる。

動体包囲領域の画像データを抽出し、第１パノラマ画像（パノラマ画像４０）および第２パノラマ画像（パノラマ画像４５）のうち少なくとも一方のパノラマ画像と共に、当該パノラマ画像とは別に抽出された動体包囲領域の画像データ（注目画像５０）を表示させる場合、監視したい対象の動体を把握しやすくなる。特に、マークＭ１、Ｍ２の中の動体を拡大させて注目画像５０に表示させることにより、動体の詳細が表示され、注目する動体の追跡が容易になり、動体の監視がしやすくなる。例えば、注目画像５０において、動体を拡大・縮小表示して動体自体をクローズアップできる。

撮像部１０の広角レンズまたは全方位ミラーを用いた撮像により得られた歪曲画像から生成された第１パノラマ画像（パノラマ画像４０）の画像データを取得する場合、周囲の状況を広く撮像でき、監視漏れが少なくなり、効率的に監視ができる。

［３．変形例］
（３．１ パノラマ画像の変形例）
次に、パノラマ画像の変形例について、図７から図９を用いて説明する。
図７は、パノラマ画像の変形例を示す模式図である。図８およぶ図９は、生成されたパノラマ画像の変形例を示す模式図である。

図７に示すように、歪曲円形画像から切り出すパノラマ画像は、歪曲円形画像上で、完全な円環でなくてもよい。例えば、パノラマ画像６０は、隙間がある円環から歪曲円形画像から平面正則画像への画像変換により求められる。パノラマ画像７０は、重なりがある円環から歪曲円形画像から平面正則画像への画像変換により求められる。パノラマ画像６０は、パノラマ画像４０より長手方向（Ｘ方向）において、短くなり、パノラマ画像７０は、パノラマ画像４０より長手方向（Ｘ方向）において、長くなる。パノラマ画像６０は、長手方向において部分的に途切れている部分がある。パノラマ画像７０は、長手方向において映像が重複する部分がある。

次に、画像処理装置２０は、ステップＳ１において、パノラマ画像６０またはパノラマ画像７０を取得する。

次に、画像処理装置２０は、ステップＳ２からＳ５において、パノラマ画像４０に対する処理と同様に、パノラマ画像６０またはパノラマ画像７０に対して処理を行う。

次に、図７に示すように、画像処理装置２０は、ステップＳ６のようにパノラマ画像６０またはパノラマ画像７０に対してマーク領域が所定位置か否かを判定する。

図７に示すように、マーク領域が所定位置である場合、画像処理装置２０は、ステップＳ７のように、パノラマ画像６０またはパノラマ画像７０に対して分割線Ｄを設定する。

次に、図７に示すように、画像処理装置２０は、ステップＳ８のように、パノラマ画像６０またはパノラマ画像７０を、分割線Ｄを境に、分割されたパノラマ画像６１と、分割されたパノラマ画像６２との２つに、または、分割されたパノラマ画像７１と、分割されたパノラマ画像７２との２つに分割する。

次に、図８に示すように、画像処理装置２０は、ステップＳ９のように、分割側が両端となるように合成パノラマ画像を生成する。

例えば、パノラマ画像６０の場合、画像処理装置２０は、分割されたパノラマ画像６１の端６１ｓと、分割されたパノラマ画像６２の端６２ｓとを向かい合わせ、パノラマ画像４０の長手方向の長さと同じになるように、分割されたパノラマ画像６１と分割されたパノラマ画像６２とを、隙間を空けてつなぎ合わせる。そして、画像処理装置２０は、分割されたパノラマ画像６１の分割側６１ｄと、分割されたパノラマ画像６２の分割側６２ｄとが両端になるように、合成されたパノラマ画像６５を生成する。なお、分割されたパノラマ画像６１と分割されたパノラマ画像６２とを隙間の幅は、図８に示された幅より広くても、狭くてもよく（０でもよく）、動体が通過していることが分かればよい。

パノラマ画像７０の場合、画像処理装置２０は、分割されたパノラマ画像７１の端７１ｓと、分割されたパノラマ画像７２の端７２ｓとにおいて、パノラマ画像４０の長手方向の長さと同じになるように、分割されたパノラマ画像７１と分割されたパノラマ画像７２とを重ね合わせる。そして、画像処理装置２０は、分割されたパノラマ画像７１の分割側７１ｄと、分割されたパノラマ画像７２の分割側７２ｄとが両端になるように、合成されたパノラマ画像７５を生成する。なお、画像処理装置２０は、重ね合った部分に関して、分割されたパノラマ画像７２またはパノラマ画像７１を優先して表示させる。

図９に示すように、パノラマ画像６５において、マークＭ２に囲まれた動体が移動していき、分割されたパノラマ画像６２と分割されたパノラマ画像６１との隙間を通過する際は、マークＭ２に囲まれた動体が、部分的に表示されなくなる。しかし、この隙間が、マークＭ２の横幅、または、物体の横幅より狭ければ、マークＭ２に囲まれた動体が隙間を通過していることを把握できる。

このように、第１パノラマ画像の一例であるパノラマ画像４０、６０、７０は、パノラマ画像４０、６０、７０の長手方向において連続性を有するパノラマ画像である。連続性を有するパノラマ画像は、パノラマ画像６０のように、パノラマ画像６０の長手方向において部分的に途切れている部分があってもよい。連続性を有するパノラマ画像は、パノラマ画像７０のように、パノラマ画像７０の長手方向に重複する部分があってもよい。なお、パノラマ画像６０において、パノラマ画像４０の長手方向において部分的に途切れている部分の隙間の許容範囲は、追跡条件設定部２０ｄで設定される追跡する動体の大きさに依存する。設定される追跡する動体の大きさが大きいほど、許容される隙間の幅は広くなる。

（３．２ 画像処理システムの撮像部の変形例）
次に、パノラマ画像の変形例について、図１０および図１１を用いて説明する。
図１０および図１１は、画像処理システムの撮像部の変形例を示す模式図である。

撮像部１０の撮像の向きは、下向き、または上向きに限らず、図１０に示すように、撮像の向きが１８０°異なる２台の撮像部１０が水平方向に設置されてよい。各撮像部１０からの画像を合成して、画像処理システム１は、パノラマ画像４０を生成する。

この場合、画像処理装置２０は、２つの歪曲円形画像３０を表示部１２に表示してもよい。

また、図１１に示すように、撮像部が広角レンズを有しない場合、撮像の向きが４方に向いた４台の撮像部１５が水平方向に設置されてよい。各撮像部１５からの画像を合成して、画像処理システム１は、パノラマ画像４０を生成する。なお、撮像部１５の数は、４台以上でもよい。

この場合、画像処理装置２０は、歪曲円形画像がないので、パノラマ画像４０（４５）と、注目画像５０とを表示部１２に表示してもよい。

なお、パノラマ画像をパンニングする際、マークＭの位置でなく、ユーザが、操作部１４によりポインタ５５等で指示して、パンニングを行ってもよい。ポインタ５５の位置等により、パンニングする移動量が指示され、画像処理装置２０はその移動量を取得し、移動量から、分割線Ｄを設定する。または、画像処理装置２０は、パノラマ画像４０上で、ポインタ５５の位置等により指示された位置を分割線Ｄとしてもよい。このように、ユーザの指示により、パンニングを行い、視点を変えることができるので、動体を監視しやすくなる。

また、画像処理システム１は、録画機能を備えてもよい。画像処理システム１は、任意の時間から、パノラマ画像等を録画したり、パノラマ画像等内で、所定領域を指定し、対象領域内に動体が存在する間の映像を自動で保存してもよい。また、画像処理システム１は、パノラマ画像等内の所定領域に動体を検出した際、または検出中に音（警告音）を出す機能を備えもよい。常に映像を監視しなくても、録画機能、音による伝達機能を使うことで、必要なときのみ映像をモニタすることを提供することができる。

画像処理システム１は、魚眼原画像の歪曲円形画像３０と、歪曲円形画像３０を補正してパノラマ表示するパノラマ画像４０（４５）と、追跡対象の物体を切り出して表示する動体画像の注目画像５０とを、表示するが、用途によって三つの画像のうち必要な画像だけを選択して表示してもよい。

さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

１：画像処理システム
２０：画像処理装置
３０：歪曲円形画像（歪曲画像）
４０、６０、７０：パノラマ画像（第１パノラマ画像）
４１、４２：分割されたパノラマ画像
４１ｓ、４２ｓ、６１ｓ、６２ｓ、７１ｓ、７２ｓ：分割されたパノラマ画像の端
４１ｄ、４２ｄ、６１ｄ、６２ｄ、７１ｄ、７２ｄ：分割されたパノラマ画像の分割側
４５、６５、７５：パノラマ画像（第２パノラマ画像）
５０：注目画像
Ｄ：分割線
Ｍ１、Ｍ２：マーク（動体包囲領域）

Claims (8)

1. 第１パノラマ画像の画像データを取得する画像データ取得手段と、
   前記第１パノラマ画像の短手方向を分割線として、前記第１パノラマ画像を２つに分割するパノラマ画像分割手段と、
   前記分割された各パノラマ画像の分割側が両端となるように、前記分割された各パノラマ画像同士を合成して第２パノラマ画像を生成する第２パノラマ画像生成手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第１パノラマ画像の中の動体を特定する動体特定手段と、
   前記第１パノラマ画像の長手方向における前記特定された動体の位置に応じて、前記分割線を設定する分割線設定手段と、を更に備えることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記特定された動体を取り囲む動体包囲領域を設定する動体包囲領域設定手段を更に備え、
   前記分割線設定手段が、前記動体包囲領域が前記第１パノラマ画像の長手方向における所定の位置に達したとき、前記分割線を設定することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記動体包囲領域の画像データを抽出する動体包囲領域抽出手段と、
   前記第１パノラマ画像および第２パノラマ画像のうち少なくとも一方のパノラマ画像と共に、当該パノラマ画像とは別に前記抽出された動体包囲領域の画像データを表示させる表示手段と、を更に備えたことを特徴とする画像処理装置。
5. 請求項１から４のいずれか１項に画像処理装置において、
   前記画像データ取得手段が、広角レンズまたは全方位ミラーを用いた撮像により得られた歪曲画像から生成された前記第１パノラマ画像の画像データを取得することを特徴とする画像処理装置。
6. 画像を処理する画像処理装置の画像処理方法において、
   第１パノラマ画像の画像データを取得する画像データ取得ステップと、
   前記第１パノラマ画像の短手方向を分割線として、前記第１パノラマ画像を２つに分割するパノラマ画像分割ステップと、
   前記分割された各パノラマ画像の分割側が両端となるように、前記分割された各パノラマ画像同士を合成して第２パノラマ画像を生成する第２パノラマ画像生成ステップと、
   を含むことを特徴とする画像処理方法。
7. コンピュータを、
   第１パノラマ画像の画像データを取得する画像データ取得手段、
   前記第１パノラマ画像の短手方向を分割線として、前記第１パノラマ画像を２つに分割するパノラマ画像分割手段、および、
   前記分割された各パノラマ画像の分割側が両端となるように、前記分割された各パノラマ画像同士を合成して第２パノラマ画像を生成する第２パノラマ画像生成手段として機能させることを特徴とする画像処理用プログラム。
8. コンピュータを、
   第１パノラマ画像の画像データを取得する画像データ取得手段、
   前記第１パノラマ画像の短手方向を分割線として、前記第１パノラマ画像を２つに分割するパノラマ画像分割手段、および、
   前記分割された各パノラマ画像の分割側が両端となるように、前記分割された各パノラマ画像同士を合成して第２パノラマ画像を生成する第２パノラマ画像生成手段として機能させることを特徴とする画像処理用プログラムがコンピュータ読み取り可能に記録された記録媒体。
   

Images