JP2020014129A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】複数の種別の画像を加工および配信可能な監視カメラシステムにおいて、継続して画像を監視することが可能な画像処理装置を提供する。【解決手段】画像処理装置は、撮像手段により撮像された原画像を加工して複数の種別の加工画像を取得する加工手段と、加工された複数の種別の加工画像のいずれかをネットワークを介して他の装置へ配信可能な配信手段と、複数の種別の加工画像のうち、加工手段が同時に加工すべき加工画像の種別を選択させる選択手段と、配信されている加工画像が、選択手段により選択された種別でない場合、選択手段により選択された種別のいずれかであって、配信されている加工画像の画像領域を含む画像領域を有する加工画像の種別を代替種別として決定し、配信されている加工画像を代替種別の加工画像に切り換えて配信手段に他の装置へ配信させるよう制御する制御手段とを備える。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近年、ネットワークカメラを利用した監視カメラシステムが広く普及している。
こうした監視カメラシステムは、大規模な公共機関や量販店など、幅広い適用分野で利用可能であり、利用される適用分野に応じて要請される監視を実現するために、様々な運用形態が必要となる。

こうした多様な運用形態に合わせた映像を提供するため、監視カメラシステムを構成するネットワークカメラとして、様々な機能的特徴を持つネットワークカメラが提案されている。具体的には、パン・チルトといった撮像方向を自在に変更可能であったり、高倍率のズームで被写体の撮像が可能なネットワークカメラ等がある。
また、この種のネットワークカメラの中には、３６０°の視野を持つ魚眼レンズを搭載し、広角な映像を監視可能な全方位監視カメラと呼ばれるネットワークカメラがある。

この全方位監視カメラは、魚眼レンズで撮像された撮像画像に対してデワープと呼ばれる歪み補正を実行して、撮像画像を、歪みが補正された画像に加工することができる。歪みが補正された加工画像で構成される映像は、監視カメラシステムのクライアント装置へライブ配信されたり、記憶装置に録画された後にクライアント装置へ配信され録画再生されて、監視に供される。

上記の全方位監視カメラは、魚眼レンズで撮像された撮像画像を配信するとともに、撮像画像をデワープした加工画像を同時に配信することができる。全方位監視カメラが配信可能な加工画像には、魚眼画像の他、切り出し画像、シングルパノラマ画像、およびダブルパノラマ画像等がある。

しかしながら、撮像画像をデワープする処理は、全方位監視カメラのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の処理負荷を著しく高めてしまう。このため、上記の複数の種別の加工画像のすべてを、限られたリソースを持つ全方位監視カメラにおいて、撮像画像から同時に加工して、同時に配信可能な状態とすることは困難である。
全方位監視カメラの処理能力の限界を超えないようにリアルタイムで画像の加工および配信を実現するには、クライアント装置の監視者等に、配信可能な複数の画像の種別のうち、現在の監視状況に応じて必要な画像の種別を選択させることが考え得る。上記の魚眼画像、切り出し画像、シングルパノラマ画像、およびダブルパノラマ画像の１つまたは複数を限定し、同時に加工および配信可能な画像の種別として全方位監視カメラに設定させればよい。この場合、クライアント装置へは、選択された種別の画像のみが配信されることになる。

特許文献１は、監視機能を備えるテレビ電話装置において、相手装置からの送信要求に応じて、画像を送信する送信モードを切り替える技術を開示する。
具体的には、特許文献１のテレビ電話装置は、非通話時にカメラで定期的に撮影した画像を画像メモリに記憶する監視機能を備え、撮影を行いつつ撮影した画像を送信するモードと、記憶した画像を読み出して送信するモードとの間で送信モードを切り換える。送信モードの切り替えは、交信相手装置から受信される制御信号により指示される。

特開平１０−２２４７５４号公報

しかしながら、監視カメラシステムには複数のクライアント装置が接続可能であるため、あるユーザが配信モードを変更することにより、他のユーザが映像を継続的に監視することを損なうおそれがあった。
具体的には、全方位監視カメラから配信されるある種別の画像、切り出し画像、をユーザが閲覧している間に、全方位監視カメラで同時に加工および配信可能な画像の種別が変更されたものとする。この場合、当該ユーザが閲覧している切り出し画像が、変更後に全方位監視カメラで同時に加工および配信可能な画像の種別に含まれなくなると、全方位監視カメラは、もはや当該ユーザが閲覧していた画像の配信を継続することができない。このため、ユーザによる映像の監視が意図せず途切れてしまいかねない。

本発明は上記課題に鑑みてなされたものであり、その目的は、複数の種別の画像を加工および配信可能な監視カメラシステムにおいて、継続して画像を監視することが可能な画像処理装置、画像処理方法およびプログラムを提供することにある。

上記課題を解決するため、本発明に係る画像処理装置のある態様によれば、撮像手段により撮像された原画像を加工して複数の種別の加工画像を取得する加工手段と、前記加工手段により加工された前記複数の種別の加工画像のいずれかをネットワークを介して他の装置へ配信可能な配信手段と、前記複数の種別の加工画像のうち、前記加工手段が同時に加工すべき加工画像の種別を選択させる選択手段と、前記配信手段により配信されている加工画像が、前記選択手段により選択された種別でない場合、前記選択手段により選択された種別のいずれかであって、前記配信されている加工画像の画像領域を含む画像領域を有する加工画像の種別を代替種別として決定し、前記配信されている加工画像を前記代替種別の加工画像に切り換えて前記配信手段に前記他の装置へ配信させるよう制御する制御手段とを備える画像処理装置が提供される。

本発明によれば、複数の種別の画像を加工および配信可能な監視カメラシステムにおいて、継続して画像を監視することができる。

本発明の各実施形態に係る監視カメラシステムのネットワーク構成の一例を示す図。 実施形態１に係るネットワークカメラのハードウエア構成の一例を示す図。 実施形態１に係るカメラおよびクライアント装置の機能構成の一例を示す図。 実施形態１のカメラの配信開始時の処理手順の一例を示すフローチャート。 実施形態１のカメラの配信モード変更時の処理手順の一例を示すフローチャート。 カメラが配信可能な画像タイプの一例を説明する図。 同時に加工および配信可能な画像タイプを規定する配信モードテーブルの一例を示す図。 代替画像タイプを選択させる代替画像タイプテーブルの一例を示す図。 切り出し画像配信中に配信モードを変更し、代替画像タイプにシングルパノラマ画像が選択される場合を説明する図。 切り出し画像配信中に配信モードを変更し、代替画像タイプにシングルパノラマ画像が選択できない場合を説明する図。 切り出し画像配信中に配信モードを変更し、代替画像タイプにダブルパノラマ画像が選択される場合を説明する図。 切り出し画像配信中に配信モードを変更し、代替画像タイプにシングルパノラマ画像が選択できない場合を説明する図。 切り出し画像配信中に配信モードを変更し、代替画像タイプに魚眼画像が選択される場合を説明する図。 実施形態２に係るカメラおよびクライアント装置の機能構成の一例を示す図。 実施形態２のカメラの配信モード変更時の処理手順の一例を示すフローチャート。 実施形態２のクライアント装置の画像タイプ変更通知時の処理手順の一例を示すフローチャート。 実施形態２のクライアント装置の画像描画処理の処理手順の一例を示すフローチャート。 実施形態２のクライアント装置の画像加工の一例を説明する図。 実施形態２のクライアント装置の画像加工の他の例を説明する図。 実施形態３に係るカメラおよびクライアント装置の機能構成の一例を示す図。 実施形態３のカメラの配信モード変更時の処理手順の一例を示すフローチャート。 実施形態４のクライアント装置の録画再生処理の処理手順の一例を示すフローチャート。

以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

（実施形態１）
本実施形態は、撮像部により撮像された原画像を加工して複数の種別の加工画像を取得し配信可能にするとともに、複数の種別の加工画像のうち、同時に加工すべき加工画像の種別を選択させる。
そして、本実施形態では、配信されている加工画像が、選択された種別でない場合、選択された種別のいずれかを代替種別として決定し、配信されている加工画像を代替種別の加工画像に切り換えて画像のライブ配信を継続する。
これにより、ある種別の画像をライブ配信中に、加工している加工画像の種別が切り換えられたことにより、配信中であった加工画像の配信継続が不可になった場合であっても、代替種別の加工画像により映像配信を継続することができる。従って、監視カメラシステムのユーザに、所望の監視を継続させることができ、継続的な映像監視が実現される。

以下、本実施形態では、監視カメラシステムを構成するネットワークカメラが、クライアント装置へ映像（動画像）を配信する場合を例として説明するが、本実施形態で配信可能な画像は動画像に限定されず、静止画像を配信してもよい。前者の場合は、ネットワークカメラが映像（動画像）を構成する各フレーム画像ごとに加工すればよく、後者の場合は、ネットワークカメラが１枚の静止画像を加工すればよい。
また、以下、本実施形態では、ネットワークカメラの魚眼レンズで撮像された原画像を歪み補正（デワープ）して、複数の加工画像を生成する場合を例として説明するが、本実施形態は、これに限定されない。原画像は魚眼レンズ以外に、あらゆる視野のレンズで撮像されてよく、原画像の加工は、歪み補正（デワープ）以外に、画像切り出しや画像やその一部領域の輝度補正等の画像加工を含んでよい。

以下、本実施形態において、同時に加工すべき加工画像の種別は、「配信モード」により指定可能であるものとする。本実施形態は、配信モードを複数有し、複数の配信モードのそれぞれが、ネットワークカメラで加工可能な複数の加工画像の種別のサブセットとして、同時に加工可能な１つまたは複数の加工画像の種別を指定する。配信モードで指定される１つまたは複数の加工画像の種別が、クライアント装置へ同時に配信可能な加工画像の種別を示す。複数の配信モードから所定の配信モードを選択することにより、ネットワークカメラが同時に加工し配信すべき加工画像の種別を限定することができる。また、「同時に」加工するとは、配信モードで指定される加工画像の種別のそれぞれが、監視用途に応じたリアルタイム性を損なうことなくクライアント装置へ配信できるようなタイミングで加工することで足りる。
なお、以下、本実施形態では、撮像装置であるネットワークカメラを監視に応用する場合を例として説明するが、本実施形態はこの場合に限定されず、撮像画像を加工した複数の加工画像を配信するあらゆる他の画像検索用途にも適用可能である。

＜本実施形態のネットワーク構成＞
図１は、本実施形態に係る監視カメラシステムのネットワーク構成の一例を示す図である。
図１の監視カメラシステム１０は、少なくとも監視カメラであるネットワークカメラ１、およびクライアント装置２を備える。ネットワークカメラ１とクライアント装置２とは、ネットワーク３を介して接続され、相互に情報の授受を行う。

ネットワーク３は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格に準拠する有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の有線ネットワークであってよい。あるいは、ネットワーク３は、無線ネットワークで構成されてもよい。この無線ネットワークは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。さらに、ＬＴＥ／３Ｇ等の無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。 なお、ネットワーク３は、各機器を相互に通信可能に接続できればよく、通信の規格、規模、構成は上記に限定されない。

ネットワークカメラ（以下、単に「カメラ」ともいう。）１は、所定の画角で被写体を撮像する、監視カメラ等の撮像装置である。
図１のネットワークカメラ１は、全方位ミラーレンズまたは魚眼レンズであるレンズ１ａを備える。ネットワークカメラ１は、レンズ１により、全周囲の景観を撮像して、３６０°の円環または円形等の撮像画像を取得する。このネットワークカメラ１は、例えば、天井、机上、あるいは壁等に据え付けられてよい。
このネットワークカメラ１は、撮像画像（以下、単に「画像」ともいう。）を、ネットワーク３を介して、クライアント装置２へ配信することができる。なお、図１では、１つのカメラ１が例示されているが、ネットワークカメラシステム１０を構成するカメラの数は２つ以上であってよく、図示される数に限定されない。

クライアント装置２は、例えばパーソナルコンピュータ等の、外部機器である汎用の情報処理装置で構成されてよい。このクライアント装置２は、例えば監視カメラシステム１０を介して広域を監視する監視員等のユーザが操作可能なインタフェースを備えてよい。
なお、図１では、１つのクライアント装置２が例示されているが、監視カメラシステム１０を構成する情報処理装置の数は２つ以上であってよく、図示される数に限定されない。図１のクライアント装置２の後述する機能を複数の情報処理装置に適宜分散させて実装してもよい。また、クライアント装置２の機能は、例えばタブレット等の可搬端末装置に実装されてもよい。

クライアント装置２は、監視員等のユーザからの各種要求やコマンド、例えば、後述する配信モード変更指示コマンド等、を受け付けて、ネットワークカメラ１へ送信し、ネットワークカメラ１から送信されるコマンドに対するレスポンスを受信して取得する。
クライアント装置２は、表示装置（ディスプレイ）を備え、ネットワークカメラ１から配信される画像データや、クライアント装置２や他の装置で実行される画像解析結果等を表示装置に表示させるための表示制御機能を有する。クライアント装置２はまた、ネットワークカメラ１からの画像配信制御に関する、例えば監視対象の領域設定や各種閾値設定等のパラメータ設定操作を行うためのインタフェースおよび入力機能を有する。

＜ネットワークカメラのハードウエア構成＞
図２は、ネットワークカメラ１のハードウエア構成の一例を示す図である。
図２のネットワークカメラ１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部メモリ１０４、撮像部１０５、入力部１０６、通信Ｉ／Ｆ１０７、およびシステムバス１０８を備える。
ＣＰＵ１０１は、カメラ１における動作を統括的に制御するものであり、システムバス１０８を介して、各構成部（１０２〜１０７）を制御する。
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が各種処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、これら制御プログラム等は、外部メモリ１０４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１０１は、各種処理の実行に際してＲＯＭ１０２から必要なプログラム等をＲＡＭ１０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
外部メモリ１０４は、例えば、ＣＰＵ１０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ１０４には、例えば、ＣＰＵ１０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。

撮像部１０５は、被写体の撮像を行うレンズ、撮像素子等を備える。レンズは、撮像される被写体からの入射光を撮像素子に結像するための光学レンズであり、入射光を撮像素子に集光させる。撮像素子は、光を画像信号に変換する素子であり、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等で構成することができる。本実施形態では、撮像部１０５が、魚眼レンズ１ａで撮像する例を説明する。
入力部１０６は、電源ボタンなどから構成され、ネットワークカメラ１のユーザは、入力部１０６を介して当該カメラ１に指示を与えることができる。
通信Ｉ／Ｆ１０７は、ネットワーク３に接続される外部装置（例えばクライアント装置２）と通信するためのインターフェースであり、例えばＬＡＮインターフェースである。
システムバス１０８は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部メモリ１０４、撮像部１０５、入力部１０６および通信Ｉ／Ｆ１０７を通信可能に接続する。

図２に示すネットワークカメラ１の各部の機能は、ＣＰＵ１０１がＲＯＭ１０２もしくは外部メモリ１０４に記憶されたプログラムを実行することで実現される。
なお、クライアント装置２は、図２のハードウエア構成において、撮像部１０５に替えて、表示装置等のハードウエアを備えればよい。表示装置は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成されてよい。また、クライアント装置２は、入力部１０６として、キーボードやマウス等のポインティングデバイスを備えてよく、ユーザがこれら入力部１０６を介してクライアント装置２に対してそれぞれ指示を与えることができる。

＜監視カメラシステム１０の機能構成＞
図３は、本実施形態に係る監視カメラシステム１０を構成するネットワークカメラ１およびクライアント装置２の機能構成の一例を示すブロック図である。
図３に示す各装置の各機能モジュールのうち、ソフトウエアにより実現される機能については、各機能モジュールの機能を提供するためのプログラムがＲＯＭ等のメモリに記憶され、ＲＡＭに読み出してＣＰＵが実行することにより実現される。ハードウエアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウエアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。この場合、専用ハードウエアはＣＰＵ１１の制御に基づいて動作する。
なお、図３に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。また、図３に示したクライアント装置２の機能ブロックの全部または一部をネットワークカメラ１に搭載してもよく、あるいは他の汎用の情報処理装置（ＰＣ）に搭載してもよい。

図３のネットワークカメラ１は、画像処理部１１、制御部１２、レンズ駆動部１３、レンズ制御部１４、および通信部１５を備える。
画像処理部１１は、撮像部１０５により撮像および光電変換された画像信号に対して、所定の画像処理、および圧縮符号化処理を実行して得られる画像データを、制御部１２へ原画像として供給する。
本実施形態において、画像処理部１１は、さらに、画像処理および圧縮符号化された画像信号に対して、所定の画像加工処理を実行して、加工画像データを生成する。この画像加工処理は、魚眼レンズで撮像された画像の歪み補正（デワープ）、および画像の一部を切り出す画像切り出し等を含む。画像処理部１１は、生成されたこれら加工画像を、制御部１２へ供給する。

本実施形態で原画像から加工される加工画像の種別は、例えば、３６０°全方位画像である魚眼画像、原画像から任意の方向をデワープして一部の領域を切り出した切り出し画像、原画像の中央部分をデワープした水平１８０°のシングルパノラマ画像を含む。加工画像の種別はまた、原画像の上下または左右をデワープし一方を反転させたダブルパノラマ画像を含むが、これらに限定されず、原画像のあらゆる部分を任意の解像度で加工して生成される画像を含み得る。
切り出し画像は、魚眼画像から任意の方向、例えば１方向や４方向等、を切り出して歪み補正し、４方向等の複数方向を切り出した場合には、表示装置上で分割表示可能に加工されてよい。各方向で切り出された切り出し画像は、それぞれ、パン・チルト・ズーム操作可能であってよい。

制御部１２は、画像処理部１１から供給される加工画像を、通信部１５がクライアント装置２へ配信するよう制御する。制御部１２はまた、クライアント装置２から送信される各種カメラ制御コマンドを解析して、解析されたカメラ制御コマンドに対応した処理を実行する。例えば、制御部１２は、解析されたカメラ制御コマンドに基づいて、画像処理部１１に対して、画質調整を指示したり、レンズ制御部１４に対してレンズのズームやフォーカス制御を指示したりする。
制御部１２は、配信モード制御部１２１、画像タイプ管理部１２１、および配信制御部１２３を備える。

配信モード制御部１２１は、本実施形態に係る配信モード制御処理を実行する。具体的には、配信モード制御部１２１は、配信開始時の初期値として設定されている、またはクライアント装置２から受信した、配信モードに基づいて、クライアント装置２へ通信部１５を介して配信すべき１つまたは複数の画像の種別を判定する。配信モード制御部１２１は、配信モードで指定された画像の種別（以下、「画像タイプ」という）の加工画像を、画像処理部１１を介して加工生成させるとともに、生成された加工画像を、配信制御部１２３を介して、クライアント装置２へ配信する。

本実施形態において、配信モード制御部１２１は、通信部１２３を介してクライアント装置２から配信モード変更指示を受信した際に、クライアント装置２へ配信中である画像が、配信モードを変更した後にも継続して配信可能か否かを判定する。配信モード制御部１２１は、現在クライアント装置２へ配信している画像の画像タイプが、配信モード変更後にはもはや配信できないと判定した場合には、配信中の画像に替えて、クライアント装置２へ配信すべき代替画像タイプを決定する。この配信モード制御処理は、図４および図５を参照して後述する。

画像タイプ管理部１２２は、複数の配信モードのそれぞれについて、クライアント装置２へ配信すべき画像タイプを管理して、配信モード制御部１２１から通知される配信モードに応じた画像タイプを、配信モード制御部１２１へ通知する。画像タイプ管理部１２２は、後述する配信モードテーブル（図７）および代替画像タイプテーブル（図８）を管理する。
配信制御部１２３は、配信モード制御部１２１から供給される画像タイプの画像を、通信部１５にクライアント装置２へ配信させる。

レンズ駆動部１３は、レンズ制御部１４により制御され、撮像部１０５のレンズ１ａのフォーカスおよびパン・チルト・ズーム等の駆動系およびその駆動源のモータ等から構成され、撮像部１０５のレンズ１ａを駆動する。
レンズ制御部１４は、制御部１２から供給されるレンズ制御コマンドを解析して、レンズ駆動部１３を制御する。
通信部１５は、制御部１２の配信制御部１２３の制御に基づいて、画像をネットワーク３を介してクライアント装置２へ配信する。通信部１５はまた、クライアント装置２から送信される各種カメラ制御コマンドや配信モード変更指示等を受信し、受信されたカメラ制御コマンドや配信モード変更指示を制御部１２へ供給する。さらに、通信部１５は、制御部１２から供給されるコマンド等に対するレスポンスを、クライアント装置２へ送信する。

図３のクライアント装置２は、表示部２１、入力部２２、制御部２３、および通信部２４を備える。クライアント装置２は、ネットワーク３を介して、ネットワークカメラ１から配信される画像の取得や、ネットワークカメラ１に対する各種カメラ制御を実行する。
表示部２１は、ネットワークカメラ１から配信される各種画像や、ネットワークカメラ１のカメラ制御コマンドを入力するためのグラフィカル・ユーザ・インタフェース（ＧＵＩ）を、液晶表示装置等の表示装置上に表示する。
入力部２２は、例えば、パン・チルト・ズーム等を指示して所望の画像を表示装置に表示させたり、ネットワークカメラ１の所望のカメラ制御を実行させるため、表示部２１に表示されるＧＵＩをユーザに操作させる。
制御部２３は、入力部２２を介して入力されるユーザのＧＵＩ操作に応じて、カメラ制御コマンドを生成して、通信部２４を介してネットワークカメラ１へ送信する。制御部２３はまた、ネットワークカメラ１から通信部２４を介して受信される画像データを、表示部２１を介して表示装置上に表示させる。

＜本実施形態の画像配信処理フロー＞
図４は、ネットワークカメラ１が実行する画像配信処理手順の一例を示すフローチャートである。図４に示す処理は、クライアント装置２から画像配信を指示する配信開始指示のコマンドを受信したことを契機に開始されてよい。ただし、図４に示す処理の開始タイミングは上記に限定されない。
ネットワークカメラ１はＣＰＵ１０１が必要なプログラムをＲＯＭ１０２または外部メモリ１０４から読み出して実行することにより、図４に示す処理を実行することができる。ただし、図３に示す各要素のうち少なくとも一部が専用のハードウエアとして動作することで図４の処理が実現されるようにしてもよい。この場合、専用のハードウエアは、ＣＰＵの制御に基づいて動作する。

Ｓ４１で、ネットワークカメラ１の制御部１２は、クライアント装置２から送信される配信開始指示のコマンドを、通信部１５を介して受信する。この配信開始指示には、送信元クライアント装置２へ配信すべき画像の画像タイプが指定されている。
Ｓ４２で、ネットワークカメラ１の制御部１２は、配信開始指示で指定された画像タイプを参照して、クライアント装置２へ画像の配信を開始する際の、配信しようとする画像の画像タイプをＲＡＭ１０３等の記憶装置に保存する。
配信しようとする画像の画像タイプの保存が終了すると、Ｓ４３で、ネットワークカメラ１の制御部１２は、配信開始指示の送信元であるクライアント装置２へ、Ｓ４１で指定され、Ｓ４２で保存した画像タイプの画像の配信を開始する。画像の配信は、クライアント装置２から配信終了指示のコマンドが送信されるまで、または所定の終了条件に合致するまで、継続されてよい。

＜本実施形態の配信モード制御処理フロー＞
図５は、ネットワークカメラ１の制御部１２が実行する配信モード制御処理の処理手順の一例を示すフローチャートである。図５に示す処理は、クライアント装置２から配信モードの変更を指示する配信モード変更指示のコマンドを受信したことを契機に開始されてよい。ただし、図５に示す処理の開始タイミングは上記に限定されない。

Ｓ５１で、ネットワークカメラ１の制御部１２は、クライアント装置２から送信される配信モード変更指示のコマンドを、通信部１５を介して受信する。この配信モード変更指示は、少なくとも、ネットワークカメラ１に限定設定されている配信モードから変更すべき変更先の配信モードを含む。あるいはこの配信モード変更指示は、クライアント装置２側において配信を所望する画像タイプを直接指定してもよい。
クライアント装置２は、例えば、監視画像中を監視対象であるオブジェクトが移動してフレームアウトし、監視画像から消失したオブジェクトを他の画像タイプの画像中でなお追跡したい場合等に、ユーザ入力で配信モード変更指示のコマンドを生成してよい。
なお、Ｓ５１で配信モード変更指示を送信するクライアント装置２は、図４のＳ４１で配信開始指示を送信するクライアント装置２と同一であってもよく、異なるクライアント装置２または他の外部装置であってもよい。

Ｓ５２で、ネットワークカメラ１の配信モード制御部１２１は、Ｓ５１で指定された配信モードに変更した後に配信可能な画像タイプを、画像タイプ管理部１２２を介して配信モードテーブル（図７）から取得し、ＲＡＭ１０３等の一時記憶装置に保持する。
Ｓ５３で、ネットワークカメラ１の配信モード制御部１２１は、画像を配信しているクライアント装置２の数の分、Ｓ５４からＳ５６までの処理をループする。画像を配信しているすべてのクライアント装置２に対してＳ５４からＳ５６までの処理が完了すると、ループから抜け、Ｓ５８へ進む。

Ｓ５４で、ネットワークカメラ１の配信制御モード部１２１は、現在、クライアント装置２へ配信している画像の画像タイプを取得する。Ｓ５４で取得される画像タイプは、図４のＳ４２で画像配信開始時に制御部１２が保存した画像タイプ、または図５の処理実行後にＳ５６で変更された代替画像タイプとなる。
Ｓ５５で、ネットワークカメラ１の配信制御部１２１は、当該クライアント装置２へ配信している画像が、配信モード変更後にも継続して配信可能か否かを判定する。具体的には、配信モード制御部１２１は、Ｓ５４で取得された画像タイプが、Ｓ５２で取得された配信モード変更後に配信可能な画像タイプに含まれるか否かを判定することにより、配信している画像が配信モード変更後にも配信可能か否かを判定することができる。

クライアント装置２へ配信している画像が、配信モード変更後にも継続して配信可能である場合（Ｓ５５：Ｙ）、Ｓ５７に進む。一方、クライアント装置２へ配信している画像が、配信モード変更後には配信可能でない場合（Ｓ５５：Ｎ）、ネットワークカメラ１の配信モード制御部１２１は、代替画像タイプを決定する。配信モード制御部１２１は、クライアント装置２へ配信している画像の画像タイプを、Ｓ５６で決定された代替画像タイプに変更する。Ｓ５６で、複数の画像タイプのうち、いずれの画像タイプを代替画像タイプとして決定するかは、図８を参照して詳述する。

Ｓ５７でＳ５４からＳ５６のループを抜けた後、Ｓ５８で、ネットワークカメラ１の配信モード制御部１２１は、Ｓ５１でクライアント装置２から受信された配信モード変更指示で指定された配信モードに変更する。ネットワークカメラ１の制御部１２は、画像処理部１１に、変更後の配信モードに記述される画像タイプに従って、加工画像を生成させ、通信部１５を介して、クライアント装置２へ生成された加工画像を配信する。

＜配信可能な加工画像の画像タイプ＞
図６は、ネットワークカメラ１が配信可能な加工画像の画像タイプの一例を説明する図である。
センサデータ６は、ネットワークカメラ１の魚眼レンズ１ａで撮像される撮像画像であり、画像加工前の原画像である。このセンサデータ６には、監視対象のオブジェクト６ａが含まれているものとする。
シングルパノラマ画像６２は、センサデータ６から切り出し可能な最大矩形６１に対して歪み補正を実行した加工画像として得られる。センサデータ６から切り出された最大矩形６１の周辺領域は、シングルパノラマ画像６２に含まれない。
ダブルパノラマ画像６４は、センサデータ６の中心付近を除外した領域を、上下または左右で２等分した領域６３ａおよび６３ｂのそれぞれに対して歪み補正を実行し、歪み補正された領域６３ａおよび６３ｂを繋ぎ合せた加工画像として得られる。除外されたセンサデータ６の中心付近の領域は、ダブルパノラマ画像６４に含まれない。

切り出し画像６６は、センサデータ６の中で指定された切り出し領域６５に対して歪み補正を実行した加工画像として得られる。センサデータ６のうち切り出し領域６５周囲の領域は、切り出し画像６６に含まれない。
魚眼画像６は、センサデータ６の全領域をそのまま使用するため、センサデータ６の全領域を含む。

＜配信モードテーブル＞
図７は、複数の配信モードのそれぞれについて、加工および配信可能な画像タイプを規定する配信モードテーブルの一例を示す図である。
図７を参照して、切り出しフィールド７１は、配信モード１および配信モード２では切り出し画像の配信が可能であるが、配信モード３では切り出し画像の配信が不可であることを示す。シングルパノラマフィールド７２は、配信モード１および配信モード３ではシングルパノラマ画像の配信が可能であるが、配信モード２ではシングルパノラマ画像の配信が不可であることを示す。
同様に、ダブルパノラマフィールド７３は、配信モード２および配信モード３ではダブルパノラマ画像の配信が可能であるが、配信モード１ではダブルパノラマ画像の配信が不可であることを示す。
一方、魚眼フィールド７４は、配信モード１から配信モード３のいずれの配信モードであっても、魚眼画像の配信が可能であることを示す。

配信モードテーブル７によれば、配信モード１が指定された場合、ネットワークカメラ１の画像処理部１１は、撮像画像を加工して切り出し画像およびシングルパノラマ画像を生成して配信可能とするが、ダブルパノラマ画像は生成しないため配信できない。配信モード２が指定された場合、画像処理部１１は、撮像画像を加工して切り出し画像およびダブルパノラマ画像を生成して配信可能とするが、シングルパノラマ画像は生成しないため配信できない。同様に、配信モード３が指定された場合、画像処理部１１は、撮像画像を加工してシングルパノラマ画像およびダブルパノラマ画像を生成して配信可能とするが、切り出し画像は生成しないため配信できない。
このように、配信モードテーブル７に定義することで、画像処理部１１が撮像画像を加工して本来生成可能な加工画像の画像タイプのうち、クライアント装置２に配信可能な加工画像の画像タイプを限定することができる。

＜代替画像タイプの決定手順＞
図８は、配信モードを変更する前に配信されていた画像タイプに対して、代替画像タイプを定義する代替画像タイプテーブルの一例を示す図である。
代替画像タイプテーブル８は、配信モードを変更する前に配信されていた画像タイプに対して、当該画像タイプが配信継続不可と判定された場合に代替される１つまたは複数の代替画像タイプ８１を、その代替優先度および選択条件とともに規定する。
クライアント装置２に切り出し画像を配信中に配信モードが変更され、変更後の配信モードで配信可能な画像タイプが切り出し画像を含まないものとする（図７の配信モード３）。この場合、代替画像タイプテーブル８を参照して、代替優先度が、シングルパノラマ画像、ダブルパノラマ画像、魚眼画像の順に規定されている。元画像タイプが切り出し画像である場合、シングルパノラマ画像が切り出し画像に最も画像タイプ（加工態様）が近く、すなわち、切り出し画像とシングルパノラマ画像の間で画像タイプの類似度が高い。このため、代替されても監視画像の閲覧における違和感が少ない。また、元画像タイプと画像データのデータサイズが近い画像タイプに、より高い代替優先度を付与してもよい。

配信モード制御部１２１は、配信モード変更前の元画像タイプが切り出し画像の場合、代替優先度が高い画像タイプから順に、当該画像タイプの画像が、配信モード変更前の切り出し領域を含んでいるか否かを判定する。当該画像タイプの画像の領域が、配信モード変更前の切り出し領域のすべてを含んでいる場合、当該画像タイプを代替画像タイプとして決定する。配信モード変更前の画像タイプの領域をすべて含んでいる画像タイプを代替画像タイプとすることで、監視画像を監視するユーザは、監視していたオブジェクトを代替画像タイプの画像でも見失うことなく監視を継続できる。
具体的には、配信モード変更前の切り出し位置が、シングルパノラマ画像の死角（図６における切り出し領域６１として切り出されないセンサデータ６の周辺領域）でない場合、シングルパノラマ画像が代替画像タイプとして選択される。
一方、配信モード変更前の切り出し位置が、シングルパノラマ画像の死角であった場合、次に、ダブルパノラマ画像を代替画像タイプとするか否かが判定される。配信モード変更前の切り出し位置が、ダブルパノラマ画像の死角（図６における領域６３ａ、６３ｂから除外されるセンサデータ６の中心付近領域）でない場合、ダブルパノラマ画像が代替画像タイプとして選択される。一方、配信モード変更前の切り出し位置が、ダブルパノラマ画像の死角であった場合、魚眼画像が代替画像タイプとして選択される。

次に、クライアント装置２にシングルパノラマ画像を配信中に配信モードが変更され、変更後の配信モードで配信可能な画像タイプがシングルパノラマ画像を含まないものとする（図７の配信モード２）。この場合、代替画像タイプテーブル８を参照して、代替優先度が、切り出し画像、魚眼画像の順に規定されている。元画像タイプがシングルパノラマ画像である場合、シングルパノラマ画像の領域をすべて含むことが可能である切り出し画像および魚眼画像が代替画像タイプとして規定されている。切り出し画像の方がシングルパノラマ画像と画像タイプの類似度が高いため、魚眼画像より高い代替優先度が付与されている。
シングルパノラマ画像は、センサデータ６に対して画像領域が固定であるため、当該領域を切り出して、高い代替優先度が付与された切り出し画像を代替画像タイプとして設定することができる。

次に、クライアント装置２にダブルパノラマ画像を配信中に配信モードが変更され、変更後の配信モードで配信可能な画像タイプがダブルパノラマ画像を含まないものとする（図７の配信モード１）。この場合、代替画像タイプテーブル８を参照して、代替画像タイプには、魚眼画像のみが規定されている。元画像タイプがダブルパノラマ画像である場合、ダブルパノラマ画像の領域をすべて含むことが可能であるのは、魚眼画像のみであるため、代替画像タイプとして、魚眼画像が選択される。
なお、配信モード変更前に魚眼画像を配信中であった場合、魚眼画像はセンサデータ６から直接取得可能であるため、変更先の配信モードがいずれかであるかにかかわらず配信不可となることはなく（図７参照）、画像タイプの代替が不要である。

以下、図９から図１３を参照して、配信モード変更の際に、いずれの代替画像タイプが選択されるかの例を説明する。
まず、図９を参照して、配信モード１を設定し、クライアント装置２へ切り出し画像を配信中に、配信モード３に変更した際に、代替画像タイプがシングルパノラマ画像となる場合の例を説明する。
図８の代替画像タイプテーブル８に示されるように、配信モード変更前の画像タイプが切り出し画像の場合、代替優先度の最も高い代替画像タイプはシングルパノラマ画像である。このため、ネットワークカメラ１の配信モード制御部１２１は、まず、シングルパノラマ画像の有効画素領域に、クライアント装置２へ配信している切り出し領域がすべて含まれているか否かを判定する。

図９（ａ）の破線矩形領域９は、左上頂点を原点（０，０）とする２次元の直交座標であり、右下頂点の座標（３８４０，２１６０）を有する。
図９（ａ）のシングルパノラマ領域９２は、魚眼レンズ１ａのセンサデータ９１からシングルパノラマ画像を生成する際の有効画素領域を表し、図９（ｂ）に示すように、左上頂点座標Ａ（９６０，５４０）、右下頂点座標Ｂ（２８８０，１６２０）を有する。
これに対して切り出し領域９３は、クライアント装置２へ配信中の領域であり、図９（ｂ）に示すように、左上頂点座標Ｃ（１５７０，９００）、右下頂点座標Ｄ（２２１０，１２６０）を有する。
図９の場合、シングルパノラマ領域９２は、切り出し領域９３をすべて含んでいるため、代替画像タイプとしてシングルパノラマ画像が選択される。

次に、図１０および図１１を参照して、配信モード１を設定し、クライアント装置２へ切り出し画像を配信中に、配信モード３に変更した際に、代替画像タイプがダブルパノラマ画像となる場合の例を説明する。
図８の代替画像タイプテーブル８に示されるように、配信モード変更前の画像タイプが切り出し画像の場合、代替優先度の最も高い代替画像タイプはシングルパノラマ画像である。このため、ネットワークカメラ１の配信モード制御部１２１は、まず、シングルパノラマ画像の有効画素領域に、クライアント装置２へ配信している切り出し領域がすべて含まれているか否かを判定する。

図１０（ａ）のシングルパノラマ領域９２は、図１０（ｂ）に示すように、左上頂点座標Ａ（９６０，５４０）、右下頂点座標Ｂ（２８８０，１６２０）を有する。
これに対して図１０（ａ）の切り出し領域９４は、図１０（ｂ）に示すように、左上頂点座標Ｃ（１５７０，１４５０）、右下頂点座標Ｄ（２２１０，１８１０）を有する。
図１０の場合、シングルパノラマ領域９２は、切り出し領域９４をすべて含んでいないため、代替画像タイプとしてシングルパノラマ画像を選択することはできず、シングルパノラマ画像の次に代替優先度の高いダブルパノラマ配信が可能か否かが判定される。

図１１（ａ）の画像破棄領域９５は、ダブルパノラマ画像を生成する際に破棄される領域を表し、図１１（ｂ）に示すように、領域半径１００を有する。
これに対して図１１（ａ）の切り出し領域９４は、図１１（ｂ）に示すように、左上頂点座標Ｃ（１５７０，１４５０）、右下頂点座標Ｄ（２２１０，１８１０）を有する。
図１１の場合、センサデータ９１中の画像破棄領域９５以外の領域がダブルパノラマ領域となる。このダブルパノラマ領域は、切り出し領域９４をすべて含んでいるため、代替画像タイプとして、ダブルパノラマ画像が選択される。

図１２および図１３を参照して、配信モード１を設定し、クライアント装置２へ切り出し画像を配信中に、配信モード３に変更した際に、代替画像タイプが魚眼画像となる場合の例を説明する。
図８の代替画像タイプテーブル８に示されるように、配信モード変更前の画像タイプが切り出し画像の場合、代替優先度の最も高い代替画像タイプはシングルパノラマ画像である。このため、ネットワークカメラ１の配信モード制御部１２１は、まず、シングルパノラマ画像の有効画素領域に、クライアント装置２へ配信している切り出し領域がすべて含まれているか否かを判定する。

図１２（ａ）のシングルパノラマ領域９２は、図１２（ｂ）に示すように、左上頂点座標Ａ（９６０，５４０）、右下頂点座標Ｂ（２８８０，１６２０）を有する。
これに対して図１２（ａ）の切り出し領域９６は、図１２（ｂ）に示すように、左上頂点座標Ｃ（１３６０，１０８０）、右下頂点座標Ｄ（２４８０，１７１０）を有する。
図１２の場合、シングルパノラマ領域９２は、切り出し領域９６をすべて含んでいないため、代替画像タイプとしてシングルパノラマ画像を選択することはできず、シングルパノラマ画像の次に代替優先度の高いダブルパノラマ配信が可能か否かが判定される。

図１３（ａ）の画像破棄領域９５は、ダブルパノラマ画像を生成する際に破棄される領域を表し、図１３（ｂ）に示すように、領域半径１００を有する。
これに対して図１３（ａ）の切り出し領域９６は、図１３（ｂ）に示すように、左上頂点座標Ｃ（１３６０，１０８０）、右下頂点座標Ｄ（２４８０，１７１０）を有する。
図１３の場合、センサデータ９１中の画像破棄領域９５以外の領域がダブルパノラマ領域となる。このダブルパノラマ領域は切り出し領域９６をすべてを含んでおらず、切り出し領域の一部に画像破棄領域９５が含まれる。このため、代替画像タイプとして、最終的に魚眼画像が選択される。

以上説明したように、本実施形態によれば、撮像部により撮像された原画像を加工して複数の種別の加工画像を取得し配信可能にするとともに、複数の種別の加工画像のうち、配信モードとして同時に加工すべき加工画像の種別を選択させる。
そして、本実施形態では、配信されている加工画像が、配信モードで選択された種別でない場合、配信モードで選択された種別のいずれかを代替種別として決定し、配信されている加工画像を代替種別の加工画像に切り換えて画像のライブ配信を継続する。代替画像タイプの画像は、配信していた画像領域をすべて含む画像領域を有するため、映像を監視するユーザは、配信していた画像中の監視対象オブジェクトを見失うことがない。
これにより、ある種別の画像をライブ配信中に、配信モードが変更されたことにより、配信中であった加工画像の配信継続が不可になった場合であっても、代替種別の加工画像により映像配信を継続することができる。従って、監視カメラシステムのユーザに、所望の監視を継続させることができ、継続的な映像監視が実現される。

（実施形態２）
以下、実施形態２を、図１４から図１９を参照して、上記の実施形態１と異なる点についてのみ詳細に説明する。実施形態１では、配信モードの変更によってクライアント装置２へ配信していた画像タイプが配信不可となり、代替画像タイプの画像を配信する際に、クライアント装置２は、受信した代替画像タイプの画像を加工せずそのまま再生させていた。これに対して、本実施形態では、クライアント装置２は、配信モードの変更前後で同一の画像タイプとなるように、配信された代替画像タイプの画像を加工して再生させる。
これにより、監視カメラシステムのユーザに、配信モードの変更を何ら認識させることなく、映像監視の継続性を向上させることができる。

図１４は、本実施形態に係る監視カメラシステム１０を構成するネットワークカメラ１およびクライアント装置２の機能構成の一例を示すブロック図である。
図１４のネットワークカメラ１は、図３に示す実施形態１のネットワークカメラ１と同様の構成を有するが、配信モード制御部１２１はさらに、代替画像タイプの画像を配信する場合に、クライアント装置２へ、画像タイプ変更通知を送信する。

具体的には、配信モード制御部１２１は、通信部１５を介してクライアント装置２から配信モード変更指示を受信した際に、クライアント装置２へ配信中である画像が、配信モードを変更した後にも継続して配信可能か否かを判定する。配信モード制御部１２１は、現在クライアント装置２へ配信している画像タイプが、配信モード変更後にはもはや配信可能でないと判定した場合には、配信中の画像に替えて、クライアント装置２へ配信すべき代替画像タイプを決定する。
本実施形態において、配信モード制御部１２１は、代替画像タイプの画像を決定して配信する際に、クライアント装置２へ、配信中の画像タイプから代替画像タイプの画像への変更を通知する画像タイプ変更通知を、通信部１５を介して送信する。

図１４のクライアント装置２は、図３に示す実施形態１のクライアント装置２と比較して、さらに画像加工部２５を備える。
画像加工部２５は、ネットワークカメラ１から画像タイプ変更通知を受信した場合に、ネットワークカメラ１から受信する代替画像タイプの画像を加工し、配信モード変更前の画像タイプの画像を生成して、制御部２３へ供給する。すなわち、画像加工部２５は、配信モードの切り替え前後で同一の画像タイプとなるように、配信される代替画像タイプの画像を加工する。

クライアント装置２の制御部２３は、ネットワークカメラ１から画像タイプ変更通知を受信していない場合、通信部２４を介してネットワークカメラ１から受信する画像を、表示部２１に表示させて再生させる。一方、本実施形態において、制御部２３は、ネットワークカメラ１から画像タイプ変更通知を受信した場合、ネットワークカメラ１から受信する画像を画像加工部２５へ供給し、画像加工部２５から供給される加工画像を、表示部２１に表示させて再生させる。
本実施形態における、クライアント装置２から配信開始指示のコマンドを受信した際のネットワークカメラ１の処理は、図４に示す実施形態１と同様である。

図１５は、本実施形態において、クライアント装置２から配信モード変更指示を受信した際のネットワークカメラ１の配信制御処理の処理手順の一例を示すフローチャートである。
図１５のＳ５１からＳ５８までの各処理は、図５に示す実施形態１のＳ５１からＳ５８までの処理と同様である。
本実施形態において、Ｓ５６で、配信開始時の画像タイプから決定された代替画像タイプに変更した後、Ｓ１５１で、ネットワークカメラ１の配信モード制御部１２１は、クライアント装置２へ、通信部１５を介して画像タイプ変更通知を送信する。Ｓ１５１でクライアント装置２へ送信される画像タイプ変更通知は、配信開始時の画像タイプ、Ｓ５６で変更された現在の画像タイプ（代替画像タイプ）、画像タイプ変更前の閲覧領域の情報、変更された現在の画像タイプの画像領域の情報を含んでよい。

図１６は、本実施形態において、ネットワークカメラ１から画像タイプ変更通知を受信した際にクライアント装置２が実行する処理の処理手順の一例を示すフローチャートである。
Ｓ１６１で、クライアント装置２の制御部２３は、通信部２４を介して、ネットワークカメラ１から、画像タイプ変更通知を受信する。
Ｓ１６２で、クライアント装置２の制御部２３は、Ｓ１６１で受信した画像タイプ変更通知を解析する。画像タイプ変更通知の解析により、配信開始時の画像タイプ、現在の画像タイプ（代替画像タイプ）、画像タイプ変更前の閲覧領域の情報（切り出し位置）、変更された現在の画像タイプの画像領域の情報が取得できる。取得された解析情報は、ＲＡＭ１０３等の記憶装置に保持される。

図１７は、本実施形態において、クライアント装置２が実行する画像の描画処理の処理手順の一例を示すフローチャートである。
Ｓ１７１で、クライアント装置２の制御部２３は、通信部２４を介して、ネットワークカメラ１から配信される画像を取得する。
Ｓ１７２で、クライアント装置２の制御部２３は、Ｓ１７１で配信されている現在の画像の画像タイプを取得する。

Ｓ１７３で、クライアント装置２の制御部２３は、図１６のＳ１６２で保持された配信開始時の画像タイプと、Ｓ１７２で取得した現在の画像タイプとが異なるか否かを判定する。図１６のＳ１６２で保持された配信開始時の画像タイプと、Ｓ１７２で取得された現在の画像タイプとが一致すると判定された場合（Ｓ１７３：Ｎ）、Ｓ１７５へ進む。
一方、配信開始時の画像タイプと、Ｓ１７２で取得された現在の画像タイプとが異なると判定された場合（Ｓ１７３：Ｙ）、Ｓ１７４で、クライアント装置２の画像加工部２５は、Ｓ１７１で取得された画像を加工する。
具体的には、クライアント装置２の画像加工部２５は、図１６のＳ１６２で保持された画像タイプ変更前の閲覧領域の情報、および現在の画像タイプの画像領域の情報を参照して、Ｓ１７１で取得された画像に対して、デワープや切り出し処理等を実行する。これにより、画像加工部２５は、Ｓ１７１で取得された代替画像タイプの画像を、配信開始時と同一の画像タイプおよび閲覧領域となるよう、加工することができる。クライアント装置２における画像加工処理の詳細は、図１８および図１９を参照して後述する。
Ｓ１７５で、クライアント装置２の制御部２３は、表示部２１を介して、Ｓ１７４で加工された画像を描画出力する。

図１８および図１９を参照して、本実施形態におけるクライアント装置２の画像加工部２５が実行する画像加工処理の例を説明する。
図１８は、切り出し画像をクライアント装置２で再生中に、ネットワークカメラ１から画像タイプ変更通知が送信され、代替画像タイプとしてシングルパノラマ画像を受信した場合の画像加工部２５が実行する画像加工の例を示す。
画像タイプが変更される前、切り出し画像１８１がネットワークカメラ１からクライアント装置２へ配信されているものとする。この画像タイプ変更前の切り出し画像１８１は、撮像部１０５から取得されるセンサデータ６から監視対象のオブジェクト６ａを含む領域６５を切り出して加工した画像である。この領域６５は、センサデータ６中で画像として表示される閲覧領域を示す。

一方、画像タイプが変更された後には、シングルパノラマ画像１８２が代替画像タイプの画像として、ネットワークカメラ１からクライアント装置２へ配信されているものとする。この画像タイプ変更後のシングルパノラマ画像１８２は、撮像部１０５から取得されるセンサデータ６から領域６１を切り出して加工した画像である。この領域６１は、画像タイプ変更前の領域６５を含み、かつ領域６５より広い領域であり、シングルパノラマ画像として表示される閲覧領域となる。
クライアント装置２の画像加工部２５は、代替画像タイプのシングルパノラマ画像１８２から、画像タイプ変更前の領域６５の座標の領域を切り出して、切り出し画像１８３を生成し、表示部２１を介して表示再生させる。画像加工部２５が加工した切り出し画像１８３は、画像タイプ変更前の切り出し画像１８１と、同一の画像タイプおよび閲覧領域を持つことになる。

図１９は、図１８と同様、切り出し画像をクライアント装置２で再生中に、ネットワークカメラ１から画像タイプ変更通知が送信され、代替画像タイプとしてシングルパノラマ画像を受信した際に、画像の上下方向が変化する場合の画像加工の例を示す。
センサデータ１９１は、撮像部１０５から取得される原画像である撮像画像であって、監視対象のオブジェクト６ｂを含む。
画像タイプが変更される前、切り出し画像１９５が、ネットワークカメラ１からクライアント装置２へ配信されているものとする。この画像タイプ変更前の切り出し画像１９５は、撮像部１０５から取得されるセンサデータ１９１から監視対象のオブジェクト６ｂを含む領域１９２を切り出して加工した画像である。この領域１９２は、センサデータ６中で画像として表示される閲覧領域を示す。

図１９の領域１９２は、パン移動方向１９３に示すセンサデータ１９１の中心に対して同心円周方向に平行移動するパン移動、チルト移動方向１９４に示すセンサデータ１９１の中心に対して垂直移動するチルト移動が可能であるものとする。
図１９の画像タイプ変更前の切り出し画像１９５は、パン方向への移動がセンサデータ１９１の中心に対して周方向に平行移動するため、円周側を上部、中心側を下部として切り出した画像となる。センサデータ１９１中のオブジェクト６ｂは、画像タイプ変更前の切り出し画像１９５において、１８０°回転したオブジェクト６ａとして表示される。

一方、画像タイプが変更された後には、シングルパノラマ画像１９７が代替画像タイプの画像として、ネットワークカメラ１からクライアント装置２へ配信されているものとする。この画像タイプ変更後のシングルパノラマ画像１９７は、撮像部１０５から取得されるセンサデータ１９１から領域１９６を切り出して加工した画像である。この領域１９６は、画像タイプ変更前の領域１９２を含み、かつ領域１９２より広い領域であり、シングルパノラマ画像として表示される閲覧領域となる。

クライアント装置２の画像加工部２５は、代替画像タイプのシングルパノラマ画像１９７から、画像タイプ変更前の領域１９２の座標領域を切り出し、かつ画像タイプ変更前の配信画像１９５と上下が一致するよう画像を回転させて、切り出し画像１９８を生成する。生成された切り出し画像１９８は、表示部２１を介して表示再生される。
図１９においても、画像加工部２５が加工した切り出し画像１９８は、画像タイプ変更前の切り出し画像１９５と、同一の画像タイプおよび閲覧領域を持つことになる。

以上説明したように、本実施形態によれば、配信モードの変更によってクライアント装置２へ配信していた画像タイプが配信不可となり、代替画像タイプの画像を配信する際に、クライアント装置２側で、配信モードの変更前の画像タイプに加工する。すなわち、本実施形態においては、クライアント装置２が、配信モードの変更前後で同一の画像タイプとなるように、配信される代替画像タイプの画像を加工して、配信モード変更前の画像タイプの画像を生成して表示させる。クライアント装置２に配信される代替画像タイプの画像は、配信されていた画像の画像領域をすべて含むため、クライアント装置２は、代替画像タイプの画像を加工して、配信されていた元の画像タイプの画像を復元できる。
これにより、監視カメラシステムのユーザに、配信モードの切り替えを何ら認識させることなく、映像監視の継続性を向上させることができる。

（実施形態３）
以下、実施形態３を、図２０および図２１を参照して、上記の実施形態１と異なる点についてのみ詳細に説明する。実施形態１では、配信モードの変更によってクライアント装置２へライブ配信していた画像タイプが配信不可となった際に、配信していた領域をすべて含むような代替画像タイプの画像に切り換えて配信していた。これに対して、本実施形態では、ネットワークカメラ１は、配信すべき画像を録画する機能を備え、配信モードの変更によって録画していた画像タイプが録画不可となった場合に、録画領域をすべて含むような代替画像タイプの画像を録画する。
これにより、録画映像を再生中である監視カメラシステムのユーザに、変更後の配信モードで録画配信可能な画像タイプに録画配信中である画像が含まれなくなった場合であっても、代替画像タイプの画像を録画配信することができる。従って、録画映像を再生中である監視カメラシステムのユーザに、所望の監視を継続させることができ、継続的な映像監視が実現される。

図２０は、本実施形態に係る監視カメラシステム１０を構成するネットワークカメラ１およびクライアント装置２の機能構成の一例を示すブロック図である。
図２０のネットワークカメラ１は、図３に示す実施形態１のネットワークカメラ１において、さらに、画像記録部１６を備える。
画像記録部１６は、画像処理部１１が原画像から加工した加工画像を、ネットワークカメラ１がアクセス可能な記憶装置、例えば、内部の記録媒体、に録画する。本実施形態において、画像処理部１１は、配信モードに規定される画像タイプの加工画像を生成し、制御部１２は、画像処理部１１が生成した画像タイプの加工画像を、画像記録部１６に録画させる。画像記録部１６に録画された画像タイプの画像が、クライアント装置２に録画配信され、クライアント装置２において録画再生可能となる。

ネットワークカメラ１の制御部１２は、クライアント装置２から通信部１５を介して受信した各種カメラ制御コマンドを解析し、解析されたコマンドに応じた処理を行う。本実施形態において、制御部１２の配信モード制御部１２１は、配信モード変更指示のコマンドを受信した際に、画像記録部１６に録画している画像の画像タイプが、配信モード変更後にも録画可能か否かを判定する。配信モード制御部１２１は、画像記録部１６に録画している画像の画像タイプが配信モード変更後に録画可能でない場合、代替画像タイプを決定し、決定された代替画像タイプの画像を、画像記録部１７に録画させる。
図２０のクライアント装置２は、図３に示す実施形態１のクライアント装置２と同様の機能構成を備えてよいが、制御部２３からネットワークカメラ１の録画記録部１６により録画された画像の配信を要求し、配信される録画画像を表示部２１に再生表示させる。

図２１は、本実施形態において、ネットワークカメラ１の制御部１２が実行する配信モード制御処理手順の一例を示すフローチャートである。
Ｓ５１は、図５に示す実施形態１のＳ５１と同様であり、ネットワークカメラ１の制御部１２は、クライアント装置２から送信される配信モード変更指示を、通信部１５を介して受信する。
Ｓ５１で配信モード変更指示を受信すると、Ｓ６２で、ネットワークカメラ１の配信モード制御部１２１は、Ｓ５１で指定された配信モードに変更した後に録画可能な画像タイプを、図７の配信モードテーブルを参照して取得し、ＲＡＭ等の記憶装置に保持する。
Ｓ６４で、ネットワークカメラ１の配信制御モード部１２１は、現在、画像記録部１７で録画している画像の画像タイプを取得する。なお、本実施形態では、実施形態１で画像の配信先クライアント装置ごとに配信中の画像の画像タイプを繰り返し取得するのに替えて、画像記録部１７で現在録画している画像の画像タイプを取得すれば足りるため、Ｓ６４、Ｓ６５およびＳ５６はループしない。

Ｓ６５で、ネットワークカメラ１の配信制御部１２１は、画像記録部１７で録画している画像の画像タイプが、配信モード変更後にも継続して録画可能か否かを判定する。具体的には、配信モード制御部１２１は、Ｓ６４で取得された画像タイプが、Ｓ６２で取得された配信モード変更後に録画可能な画像タイプに含まれるか否かを判定することにより、録画している画像が配信モード変更後にも録画配信可能か否かを判定できる。

画像記録部１７で録画している画像が、配信モード変更後にも継続して録画可能である場合（Ｓ６５：Ｙ）、Ｓ５８に進む。一方、画像記録部１７で録画している画像が、配信モード変更後には録画可能でない場合（Ｓ６５：Ｎ）、ネットワークカメラ１の配信モード制御部１２１は、代替画像タイプを決定する。代替画像タイプを決定する処理は、実施形態１と同様である。
Ｓ５６およびＳ５８は、図５に示す実施形態１のＳ５６およびＳ５８とそれぞれ同様であり、Ｓ５６で決定された代替画像タイプの画像が画像記録部１７で録画開始された後、配信モード制御部１２１は、配信モード変更指示で指定された配信モードに変更する。

本実施形態において、クライアント装置２の制御部２３は、カメラ制御コマンドの１つとして、画像記録部１６に、画像処理部１１が原画像から加工した加工画像の録画を開始させる録画開始コマンドをネットワークカメラ１に送信することができる。クライアント装置２から録画開始コマンドを通信部１５を介して受信したネットワークカメラ１の制御部は、画像記録部１６に画像の録画を開始させる。
クライアント装置２における録画再生の際は、クライアント装置２からネットワークカメラ１へ録画画像の配信を要求する配信要求コマンドを送信し、ネットワークカメラ１から配信を要求した録画画像を受信する。受信された録画画像は、クライアント装置２の表示部２１を介して表示再生される。再生すべき録画画像の再生が終了するまで、録画画像の取得および再生表示が繰り返される。

以上説明したように、本実施形態によれば、ネットワークカメラ１は、配信すべき画像を録画する機能を備え、配信モードの変更によって録画していた画像タイプが録画不可となった場合に、録画領域をすべて含むような代替画像タイプの画像を録画する。
これにより、録画映像を再生中である監視カメラシステムのユーザに、変更後の配信モードで録画配信可能な画像タイプに録画配信中である画像が含まれなくなった場合であっても、代替画像タイプの画像を録画配信することができる。従って、録画映像を再生中である監視カメラシステムのユーザに、所望の監視を継続させることができ、継続的な映像監視が実現される。

（実施形態４）
以下、実施形態４を、図２２を参照して、上記の実施形態３と異なる点についてのみ詳細に説明する。実施形態３では、配信モードの変更によって画像記録部１６で録画していた画像タイプが録画不可となり、代替画像タイプの画像を録画した後、クライアント装置２は、録画配信された代替画像タイプの画像を加工せずそのまま表示再生させていた。これに対して、本実施形態では、クライアント装置２は、録画配信される画像の代替画像タイプへの変更を検知し、配信モードの変更前後で同一の画像タイプとなるように、代替画像タイプの画像を加工して再生表示させる。
これにより、録画画像を再生している監視カメラシステムのユーザに、配信モードの変更を何ら認識させることなく、映像監視の継続性を向上させることができる。

本実施形態に係る監視カメラシステム１０を構成するネットワークカメラ１は、図２０に示す実施形態３と同様の機能構成を有し、画像記録部１６を備える。本実施形態に係るクライアント装置２は、図１４に示す実施形態２と同様の機能構成を有し、画像加工部２５を備える。
本実施形態において、ネットワークカメラ１の制御部１２は、クライアント装置２から送信される録画開始コマンドに応答して画像の録画を開始する際に、録画を開始すべき画像の画像タイプの記憶を開始する。画像記録部１６は、記憶される画像タイプの情報を、録画画像に対応付けて記憶装置上に記憶していく。

図２２は、クライアント装置２が実行する録画画像の再生処理の処理手順の一例を示すフローチャートである。
Ｓ２２１で、クライアント装置２の制御部２３は、ネットワークカメラ１から配信される録画画像のデータ中の先頭画像の画像タイプの情報を取得する。Ｓ２２１で取得される録画画像の先頭画像の画像タイプは、ネットワークカメラ１の制御部１２が、録画開始時に記憶した画像タイプである。
Ｓ２２２で、制御部２３は、ネットワークカメラ１から配信される録画画像を通信部２４を介して取得し、Ｓ２２３で、制御部２３は、Ｓ２２２で取得された録画画像の画像タイプの情報を取得する。

Ｓ２２４で、制御部２３は、Ｓ２２３で取得された現在の録画画像の画像タイプが、Ｓ２２１で取得された録画開始時の画像タイプに一致するか否かを判定する。
Ｓ２２３で取得された画像タイプがＳ２２１で取得された画像タイプに一致すると判定された場合（Ｓ２２３：Ｙ）、Ｓ２２６へ進む。一方、Ｓ２２３で取得された画像タイプがＳ２２１で取得された画像タイプに一致しないと判定された場合（Ｓ２２３：Ｎ）、Ｓ２２５へ進む。
Ｓ２２５で、画像加工部２５は、Ｓ２２１で取得された録画開始時の画像タイプおよび画像領域となるよう、Ｓ２２２で取得された録画画像を加工する。
Ｓ２２６で、制御部２３は、表示部２１に、Ｓ２２２で取得された録画画像に替えて、Ｓ２２５で加工された録画画像を再生表示させる。
Ｓ２２７で、Ｓ２２２からＳ２２６までの処理を、録画画像の再生が終了するまで繰り返し、再生が終了したと判定された場合（Ｓ２２７：Ｙ）、録画画像再生処理を終了する。

以上説明したように、本実施形態によれば、配信モードの変更によって録画していた画像タイプが録画不可となり、代替画像タイプの画像を録画して配信する場合、クライアント装置２は、録画配信される画像の代替画像タイプへの変更を検知する。そして、本実施形態に係るクライアント装置２は、配信モードの変更前後で同一の画像タイプとなるように、代替画像タイプの画像を加工して再生表示させる。
これにより、録画画像を再生している監視カメラシステムのユーザに、配信モードの変更を何ら認識させることなく、映像監視の継続性を向上させることができる。

＜他の実施形態＞
なお、上述した各実施形態は、その複数を組み合わせて実現することが可能である。
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）における１つ以上のプロセッサーがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
また、上述した各実施形態を、複数の機器、例えば、ホストコンピュータ、インタフェース機器、撮像装置、ウェブアプリケーション等から構成されるシステムに適用してもよく、１つの機器からなる装置に適用してもよい。
また、コンピュータが読みだしたプログラムを実行することにより、実施形態の機能が実現されるものに限定されない。例えば、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。

１…ネットワークカメラ、２…クライアント装置、３…ネットワーク、１１…画像処理部、１２…制御部、１３…レンズ駆動部、１４…レンズ制御部、１５…通信部、２１…表示部、２２…入力部、２３…制御部、２４…通信部、１０５…撮像部、１２１…配信モード制御部、１２２…画像タイプ管理部、１２３…配信制御部

Claims (15)

1. 撮像手段により撮像された原画像を加工して複数の種別の加工画像を取得する加工手段と、
   前記加工手段により加工された前記複数の種別の加工画像のいずれかをネットワークを介して他の装置へ配信可能な配信手段と、
   前記複数の種別の加工画像のうち、前記加工手段が同時に加工すべき加工画像の種別を選択させる選択手段と、
   前記配信手段により配信されている加工画像が、前記選択手段により選択された種別でない場合、前記選択手段により選択された種別のいずれかであって、前記配信されている加工画像の画像領域を含む画像領域を有する加工画像の種別を代替種別として決定し、前記配信されている加工画像を前記代替種別の加工画像に切り換えて前記配信手段に前記他の装置へ配信させるよう制御する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記制御手段は、前記選択手段により選択された種別のいずれかであって、前記配信されている加工画像の画像領域のすべてを含む画像領域を有する加工画像の種別を前記代替種別として決定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記ネットワークを介して、前記選択手段により選択された加工画像の種別を変更する変更指示を受信する受信手段をさらに備え、
   前記制御手段は、前記受信手段により前記変更指示が受信された際に、前記配信手段により配信されている加工画像が、前記変更指示により変更された後の加工画像の種別に含まれるか否かを判定し、変更された後の加工画像の種別に含まれない場合、前記代替種別を決定する、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記加工手段は、魚眼レンズにより撮像された原画像に対して、歪み補正および画像切り出しのいずれか１つ以上を実行することにより、前記複数の種別の加工画像を取得する、
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記加工手段が取得する前記複数の種別の加工画像は、魚眼画像、切り出し画像、シングルパノラマ画像、およびダブルパノラマ画像のうち２つ以上を含む、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記複数の種別の加工画像のそれぞれに対して、前記代替種別の加工画像に優先度を設定する設定手段をさらに備え、
   前記制御手段は、前記優先度が高く設定された代替種別の加工画像を優先して前記代替種別として決定する、
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記設定手段は、前記配信されている加工画像に加工態様またはデータサイズにおいてより類似する前記代替種別の画像に前記優先度をより高く設定する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記制御手段により、前記配信されている加工画像が前記代替種別の加工画像に切り換えられた旨の通知を前記他の装置へ送信する送信手段をさらに備える、
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 撮像手段により撮像された原画像を加工して複数の種別の加工画像を取得する加工手段と、
   前記加工手段により加工された前記複数の種別の加工画像のいずれかを記憶手段に録画可能な録画手段と、
   前記複数の種別の加工画像のうち、前記加工手段が同時に加工すべき加工画像の種別を選択させる選択手段と、
   前記録画手段により前記記憶手段に録画されている加工画像が、前記選択手段により選択された種別でない場合、前記選択手段により選択された種別のいずれかであって、前記録画されている加工画像の画像領域を含む画像領域を有する加工画像の種別を代替種別として決定し、前記録画されている加工画像を前記代替種別の加工画像に切り換えて前記記憶手段に録画させるよう制御する制御手段と、
   を備えることを特徴とする画像処理装置。
10. 前記録画手段は、前記選択手段により選択された加工画像を、当該加工画像の種別に対応付けて前記記憶手段に録画する、
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記原画像を撮像する撮像手段をさらに備える、
    ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
12. 撮像された原画像から加工された複数の種別の加工画像のいずれかを、ネットワークを介して他の装置から受信が可能な受信手段と、
    前記受信手段により受信される加工画像を再生する再生手段と、
    前記複数の種別の加工画像のうち、前記他の装置から同時に配信されるべき加工画像の種別を前記他の装置へ送信して前記他の装置に選択させる送信手段と、を備え、
    前記受信手段は、前記受信手段が受信している加工画像が、前記送信手段が前記他の装置へ送信した種別でない場合、前記受信している加工画像に替えて、前記送信手段が前記他の装置へ送信した種別の加工画像のいずれかを受信する、
    ことを特徴とする画像処理装置。
13. 前記受信手段が、前記受信している加工画像に替えて、前記送信手段が前記他の装置へ送信した種別の加工画像のいずれかを受信した場合、前記受信手段が受信した加工画像を加工して、前記受信手段が受信していた加工画像と同一の種別の加工画像を取得する加工手段、をさらに備え、
    前記再生手段は、前記加工手段により取得された加工画像を再生する、
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 撮像手段により撮像された原画像を加工して複数の種別の加工画像を取得するステップと、
    加工された前記複数の種別の加工画像のいずれかをネットワークを介して他の装置へ配信するステップと、
    前記複数の種別の加工画像のうち、同時に加工すべき加工画像の種別を選択させるステップと、
    配信されている加工画像が選択された種別でない場合、選択された種別のいずれかであって、前記配信されている加工画像の画像領域を含む画像領域を有する加工画像の種別を代替種別として決定し、前記配信されている加工画像を前記代替種別の加工画像に切り換えて前記他の装置へ配信させるよう制御するステップと、
    を備えることを特徴とする画像処理方法。
15. コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
    

Images