JP2007036339A - 画像配信システム - Google Patents

Abstract

【課題】配信される画像を表示する表示装置において、ユーザーの表示領域変更の操作に対して、ネットワーク、画像配信装置制御の遅延があっても、遅れなくユーザー操作に対応した画像表示を可能とする。
【解決手段】画像配信装置により撮影された広角画像の一部を切り出して、表示装置に切り出し画像を表示装置に配信する構成において、表示装置に表示する画像より大きな画像を配信する。広角画像領域のイベントを検出し、予め配信する表示外領域の形状を変更することでユーザーの表示領域変更の操作に備える。
【選択図】図７

Description

本発明は、画像を配信し表示するシステムの制御方法に関するものである。

従来、画像配信装置と表示装置が別体である機器において、表示装置からパン、チルト、ズーム等の操作を行った場合、操作をしてから実際に表示に反映されるまでに遅延が発生していた。

遅延を無くすために以下の方法が提案されている。
（１）表示装置から画像配信装置に制御指示にを送信した時に、画像配信装置から配信される画像が遅延により間に合わない場合に、表示装置では、遅延が発生しない場合の画角で表示を行い、間に合わない画像領域は網掛けして表示される（例えば、特許文献１参照）。
（２）画像配信装置からの配信画像サイズを表示装置に表示するサイズより大きくして送り、表示装置からの制御指示が反映されるまでの間は、表示装置で現在表示していない領域を使い表示装置側で制御指示に対応した表示を行う（例えば、特許文献２参照）。
特開２００２−２１８４４８号公報 特開２００３−１７９９０４号公報

しかしながら、上記従来例（１）では、表示装置に表示される画角は、操作に追従するものの画像の一部が表示されないものであった。

又、従来例（２）では、表示領域に対して、常に大きな画像を配信する必要があり、配信するデータ量が増大していた。更に、配信する画像をなるべく小さく抑えた場合には、表示においてパン、チルト、ズームの速度が低下してしまうものであった。

本発明は上記問題に鑑みてなされたもので、その目的とする処は、パン、チルト、ズーム等の操作に対応した表示をリアルタイムに行うことができる画像配信システムを提供することにある。

上記目的を達成するため、請求項第１に記載の発明は、画像配信装置と表示装置から成る画像表示システムにおいて、前記画像配信装置は、広角画像を撮影する画像撮影手段と、前記画像撮影手段により撮影され広角画像の撮影領域と対応するイベントを検出するイベント検出手段と、前記画像撮影手段により撮影された広角画像から一部の領域を切り出す画像切り出し手段と、前記画像切り出し手段により切り出された画像を通信により送信する画像配信手段と、前記イベント検出手段により検出したイベント情報から、前記切り出し手段による切り出し領域を変更し、変更された切り出し画像を前記画像配信手段で送信する変更手段とを備え、前記画像表示装置は、前記画像配信手段により配信された画像の一部分を切り出し表示する表示手段と、前記表示手段に表示された画像に対してパン、チルト、ズームの指示入力を検出する入力検出手段と、前記入力検出手段により検出された指示に基づき、配信された画像から切り出す領域を変更し前記表示手段に表示し、且つ、前記画像配信装置に切り出し領域変更を指示する指示手段を備えるよう構成した。

請求項第２に記載の発明は、請求項１記載の画像配信システムにおいて、前記イベント検出手段は、前記広角画像の動き検出によりイベントを検出するよう構成した。

請求項第３に記載の発明は、請求項１記載の画像配信システムにおいて、前記イベント検出手段は、外部センサーモジュールの出力によりイベントを検出するよう構成した。

請求項第４に記載の発明は、請求項１記載の画像配信システムにおいて、前記画像切り出し手段は、画像切り出し領域が広くなった場合に画像サイズ縮小してから画像を送信するよう構成した。

本発明に係る画像配信システムでは、パン、チルト、ズーム等の操作に対応した表示をリアルタイムに行うことが可能である。又、イベント検出を考慮した画像配信動作により、イベント検出領域への高速なスクロールが可能である。更に、イベント未検出時には、転送画像データ量を抑えることが可能となる。

以下に本発明の実施の形態を添付図面に基づいて説明する。

＜実施の形態１＞
図１は本発明の画像表示システムの画像配信装置の概略構成を示すブロック図である。

図１において、１０１はＣＰＵであり、本機器の制御は、ＣＰＵ１０１により制御される。ＣＰＵ１０１には、ＤＭＡコントローラ（ＤＭＡＣ）１０２、メモリーコントローラー１０３、通信部１０７、エンコード部１０８、画像処理部１０９、動き検出部１１１がバス１０６により接続されている。

メモリーコントローラ１０３には、ＲＯＭ１０４、ＲＡＭ１０５が接続されており、ＣＰＵ１０１はメモリーコントローラ１０３を介して、ＲＯＭ１０４、ＲＡＭ１０５にアクセスする。又、ＣＰＵ１０１は、ＲＯＭ１０４に格納されている制御プログラムに基づいて各種制御を行う。これらの制御の中には、撮像部１１０で撮影した画像データを、画像処理部１０９で画像処理を行い、ＲＡＭ１０５に転送する制御や、通信により通信相手から指示された領域を含むデータを広角撮影画像データから切り出し、撮影した画像データをエンコード部１０８で圧縮する制御、圧縮した画像データを通信部１０７を介して配信する制御、撮影画像の動きのある領域を検出する制御、各モジュール間のデータ転送を行うＤＭＡＣ１０２の設定等の制御が含まれる。

ＤＭＡＣ１０２は、各モジュール間のデータ転送をＣＰＵ１０１によって行われる設定に従い実行する。

ＲＡＭ１０５は、撮影した広角画像を一時格納する領域や各種プログラムのワークエリアや各種データを一時退避させるエリアとして使われる。

画像処理部１０９は、撮像部１１０と接続されている。撮像部１１０は、レンズモジュール、ＣＣＤ、Ａ／Ｄ、タイミングジェネレータから構成され、撮影画像をデジタルデータとして出力する。画像処理部１０９は、撮像部１１０より出力されたデジタル信号をガンマ変換、色空間変換、又、ホワイトバランス、ＡＥ等の画像処理を行いＹＵＶのデジタル信号として出力する。

エンコード部１０８は、入力されたＹＵＶの信号を圧縮し（例えばＪＰＥＧ圧縮等）、圧縮後のデータを出力する。

通信部１０７は、ネットワークを介して外部との通信により各種データの受け渡しを行う。

動きベクトル検出部１１１は、公知の技術であるブロックマッチング法（分割したブロック単位でフレーム間差分の少ない領域を探し出し動きベクトルを計算する）や勾配法（画面輝度の勾配とフレーム間差分から動きベクトルを計算）等により広角画像の動きベクトル検出処理を行う。

図２は本発明の画像表示システムの表示装置の概略構成を示すブロック図である。

図２において、２０１はＣＰＵであり、本機器の制御は、ＣＰＵ２０１により制御される。ＣＰＵ２０１には、ＤＭＡコントローラ（ＤＭＡＣ）２０２、メモリーコントローラ２０３、通信部２０７、画像サイズ変換部２０８、デコード部２０９、表示制御部２１０がバス２０６により接続されている。又、ＣＰＵ２０１には、キー入力を検出する入力検出部２１２がシリアル通信ポートで接続されている。

メモリーコントローラ２０３には、ＲＯＭ２０４、ＲＡＭ２０５が接続されており、ＣＰＵ２０１は、メモリーコントローラ２０３を介してＲＯＭ２０４、ＲＡＭ２０５にアクセスする。

又、ＣＰＵ２０１は、ＲＯＭ１０４に格納されている制御プログラムに基づいて各種制御を行う。これらの制御の中には、通信部２０７を介して受信した圧縮データをＲＡＭ２０５に格納する制御や、ＲＡＭ２０５に格納されている圧縮データをデコード部２０９へ転送しデコードする制御、デコードされた画像データから表示画像を切り出す制御、画像データを表示部２１１のサイズに合わせるために画像サイズ変換部２０８によりリサイズする制御、表示制御部２１０に表示データを転送して表示部２１１に画像表示を行う制御、入力検出部２１２の検出によりキー入力を判断し入力されたキーに対応した制御行う処理などが含まれる。

ＲＡＭ２０５は、表示部２１１に表示するＲＧＢ形式の表示データを格納する領域（ＶＲＡＭ）２０５ａ及びその他の領域から構成される。その他の領域は、受信した圧縮画像データを伸張、リサイズ、切り出しするために一時的にデータを格納する領域と各種プログラムのワークエリアや各種データを一時退避させるエリアとして使われる。

ＤＭＡＣ２０２は、各モジュール間のデータ転送をＣＰＵ２０１によって行われる設定に従い実行する。

デコード部２０９は、入力された圧縮画像データを伸張し、ＲＧＢデータに変換して出力する。

画像サイズ変換部２０８は、入力された画像データを設定された条件（入力サイズ、出力サイズ）に従って画像サイズを変換し、変換した画像サイズの画像データを出力する。

通信部２０７は、ネットワークを介して外部との通信により各種データの受け渡しを行う。

表示制御部２１０には、ＶＲＡＭ２０５ａに格納されているＲＧＢデータがＤＭＡＣ２０２の制御により周期的に入力される。表示制御部２１０は、入力されたＲＧＢデータからＬＣＤ駆動信号を生成して出力し、その出力信号によって表示部２１１にデータが表示される。

入力検出部２１２は、キー２１３の入力を検出すると、誤検出防止のためにチャタ取りを行い、キーが一定時間押されていたことを確認すると、ＣＰＵ２０１に割り込み信号を出力する。その後、ＣＰＵ２０１とのシリアル通信により入力キーの種別の転送する。又、本実施の形態では、キー２１３は、上下左右及び斜めの８方向の「方向キー」と、「Ｚｏｏｍ−Ｉｎ」、「Ｚｏｏｍ−Ｏｕｔ」、「表示終了」キー等から構成される。

次に、画像配信装置及び表示装置の動作について、ＣＰＵ１０１、２０１の処理の流れを示す図３〜図５のフローチャート及び、図６〜図８を用いて説明する。

先ず、画像配信装置のＣＰＵ１０１の画像データ送信処理について、図３の動作の流れを示すフローチャートを用いて説明する。

本実施の形態の画像配信装置は、リアルタイムＯＳを用いており、３０フレーム／ｓｅｃで広角画像を撮影しＲＡＭ１０５に格納する広角画像撮影タスク、ＲＡＭ１０５に格納されている広角画像から指示された画像領域を切り出し、エンコード部１０８によりエンコードし、エンコードされた画像データを通信部１０７を介して配信する画像配信タスク及び広角画像から動きのある領域を検出してイベント検出するイベント検出タスク等から成る。

イベント検出タスクでは、動きベクトル検出部の出力の解析等から、現在切り出して画像配信をしている領域外で動きのある被写体を検出する。そして、動きのある被写体を検出した場合には、検出情報を画像配信タスク及び後述する図３に示す配信画像領域指定タスクに通知する。

又、画像配信タスクで配信する画像には、広角画像の切り出した座標の始点データと画像サイズ及びイベント検出タスクにより検出したイベント検出情報を画像情報に加えて一緒に配信する。イベント情報には、広角画像内のイベント発生の領域を示す座標情報が含まれている。

図３に示すフローチャートは、動き検出と通信により切り出し領域を決定する配信画像領域指定タスクである。

表示装置との通信が開始されると図３のステップＳ３０１で配信画像領域指定タスクが起動され、ステップＳ３０２で表示サイズの受信する。ステップＳ３０３では、撮影中の広角画像から、初期設定値の領域を中心として受信した表示サイズより大きい領域を選択し、切り出し領域として設定する。

ここで、図６−１の６０１の領域が広角画像であり、画像配信装置で撮影されている。図６−１の６０３が表示装置が表示する画像領域であり、ステップＳ３０２で受信した表示サイズである。又、図６−１の６０２の領域が画像配信装置から配信される領域である。次に、ステップＳ３０４では、ステップＳ３０３で設定された表示領域の画像データの配信を開始するため画像配信タスクを起動する。

画像配信タスクは、設定された表示領域をＲＡＭ１０５に格納された広角画像から切り出し、切り出した画像データをエンコード部１０８へ転送し、エンコード部１０８で圧縮された画像データを通信部１０７に転送して通信部１０７を介して圧縮画像データを表示装置に配信する。尚、画像配信タスクは、３０フレーム／ｓｅｃで上記動作を繰り返し実行する。

次に、ステップＳ３０５で、表示装置から表示領域変更のコマンドを受信したか判断する。ここで、表示領域変更コマンドとは、表示装置のキー検出に従い表示領域のパン、チルト、ズームを指示するコマンドであり、表示装置から通信により送信されるコマンドである。表示領域変更コマンドを受信した場合には、ステップＳ３０６で切り出し領域をコマンドの指示に対応させて変更する。画像配信タスクは、この処理に従い画像の配信を続ける。

又、ステップＳ３０５で表示領域変更コマンドを受信していない場合には、ステップＳ３０７に移行する。ステップＳ３０７では、イベント検出タスクの検出結果を参照し、広角画像内で動き検出により動く被写体があったか判断する。動く被写体がない場合には、ステップＳ３０９へ処理を移行する。ステップＳ３０７でイベントが検出された場合には、ステップＳ３０８において動き検出により動く被写体を見つけた領域側に大きく表示外領域をとるように切り出し領域を再設定する。

図６−２の例では、６１４の被写体がイベント検出タスクによって動く被写体として検出された場合に、配信画像領域を６０２から６１２の領域に変更して切り出す様に切り出し領域を再設定し、処理をステップＳ３０５に戻す。ステップＳ３０９では、イベント検出がなかったので、既にステップＳ３０８で切り出しサイズを大きくしている場合には、切り出し領域を大きくする前のサイズに戻す。

次に、ステップＳ３１０では、表示装置から通信終了のコマンドを受信したか判断し、通信終了コマンドを受信していない場合には、ステップＳ３０５に処理を戻し、ステップＳ３０５からの処理を通信終了コマンドを受信するまで繰り返す。ステップＳ３１０で通信終了コマンドを受信した場合には、ステップＳ３１１で撮影画像の転送を停止するため各タスクを終了し、ステップＳ３１２で本タスクの処理も終了する。

次に、表示装置のＣＰＵ２０１の処理の流れを説明する。

表示装置についてもリアルタイムＯＳ上で各タスクが動作しており、画像表示処理タスクの処理について、図４のフローチャートを用いて説明する。キー検出タスクの動作については、図５のフローチャートを用いて説明する。

図４のフローチャートにおいて、画像配信装置との通信が開始されるとステップＳ４０１から処理が開始され、ステップＳ４０２で表示画像サイズを画像配信装置に送信する。次に、ステップＳ４０３では、表示終了が指示されたか判断する。ここで、表示終了の指示は、後述する図５のフローチャートのステップＳ５０９によって指示されるものである。ステップＳ４０３で表示終了が指示されていない場合には、ステップＳ４０６に移行し、ステップＳ４０６〜Ｓ４１４の画像表示処理を開始する。

ステップＳ４０６では、通信部２０７で受信した画像データがＲＡＭ２０５ｂの領域に１フレーム分の受信されるの待ち、ステップＳ４０７で受信した画像の画像情報（広角画像上の始点及び画像サイズ、イベント情報）を取得し、ＲＡＭ２０５ｂに一時格納する。ステップＳ４０８では、ＲＡＭ２０５ｂに格納されている画像データ１フレーム分をデコード部２０９に転送する。デコード部２０９は、画像データをデコードし、ＲＧＢ形式に色空間変換を行い、ＲＡＭ２０５ｂの領域に格納する。

次に、ステップＳ４０９でステップＳ４０７で格納した画像情報と現在表示している領域の情報及び後述する図５に示すフローチャートで検出したキー検出情報から、受信した画像データから表示する領域を決定する。次に、ステップＳ４１０では、ステップＳ４０８で格納したＲＧＢ形式の画像データからステップＳ４０９で決定した領域のデータを切り出し、画像サイズ変換部２０８に転送する。画像サイズ変換部２０８では、入力された画像データを表示部２１１の表示サイズに変換し、ＲＡＭ２０５内のＶＲＡＭ２０５ａの領域に出力する（ステップＳ４１１）。

次に、ステップＳ４１２では、ＲＡＭ２０５ｂに格納されたイベント情報を参照し、イベントが検出されている場合には、ステップＳ４１３でイベントに対応した情報を画像データに合成する。図６−２の例では、表示領域６０３に６１１の矢印を合成して表示し、イベント検出の方向をユーザーに報知している。又、ステップＳ４１２でイベントが検出されていない場合には、処理をステップＳ４１４へ移す。

ステップＳ４１４では、ＤＭＡＣ２０２にＶＲＡＭ２０５ａから表示制御部２１０への表示データの転送を設定し、表示制御部２１０を起動することで表示部２１１への表示を開始する。ＤＭＡＣ２０２は、ＶＲＡＭ２０５ａから表示制御部２１０へのデータ転送を繰り返し行うことで、表示部２１１への表示が実現される。尚、ステップＳ４１４において、既にＤＭＡＣ２０２への設定が行われている場合には、そのまま処理を行わずステップＳ４０３へ処理を戻す。

ステップＳ４０３で表示終了が指示されている場合には、ステップＳ４０４へ移行して、表示を終了するためにＤＭＡＣ２０２、表示制御部２１０へ表示停止の設定を行い、ステップＳ４０５で本タスクの処理を終了する。

次に、図５のフローチャートを説明する。

入力検出部２１２からの割り込み信号が検出されるとキー検出タスクが起動され、ステップＳ５０１に処理を移し、ステップＳ５０２では、入力検出部２１２と通信によりキーの種別を取得する。次に、ステップＳ５０３で、検出されたキーが「方向キー」か判断する。「方向キー」である場合には、ステップＳ５０４で検出されたキーの方向に表示領域を変更するために、通信部２０７を介して画像配信装置に領域変更コマンドを送信し、同時に「方向キー」が操作された情報を図４に示すタスクに通知し、処理をステップＳ５０２に戻す。

ステップＳ５０３で「方向キー」が検出されていない場合には、ステップＳ５０５へ移行して検出されたキーが「Ｚｏｏｍ」キーが判断する。「Ｚｏｏｍ」キーが検出された場合には、ステップＳ５０６へ移行し、検出されたキーが「Ｚｏｏｍ−Ｉｎ」キーである場合には、表示領域を小さくするように表示領域を変更し、「Ｚｏｏｍ−Ｏｕｔ」キーである場合には、表示領域を大きくするように表示領域を変更して通信部２０７を介して画像配信装置に領域変更コマンドを送信し、同時に「Ｚｏｏｍ」キーが操作された情報を図４に示すタスクに通知し、処理をステップＳ５０２に戻す。

ステップＳ５０５でズームキーが検出されなかった場合には、処理をステップＳ５０７に移行し、表示終了キーが検出されたか判断する。表示終了キーが検出された場合には、ステップＳ５０８で、通信を終了するために通信部２０７を介して画像配信装置に通信終了コマンドを送信し、ステップＳ５０９で画像表示終了を図４のフローチャートに示す表示タスクに指示して、ステップＳ５１０で処理を終了する。

ステップＳ５０７で表示終了キーが検出されなかった場合には、そのまま処理を終了する。以後、ユーザーのキー操作により、入力検出部２１２で入力が検出される度に図５に示す処理を実行する。

次に、図７及び図８を用いて本実施例の画像配信装置と表示装置の動作について説明する。

図７は図６−２の配信画像と表示画像領域について抜き出した図である。図８は本実施の形態に係る画像配信装置と表示装置の表示制御を示すシーケンス図である。

図７において、通常時は、６０２の領域の画像が画像配信装置から配信され、このとき、表示装置の表示部２１１に表示されている領域は、６０３の領域である（図８のＳ８０１）。

図３のステップＳ３０７で広角画像内で動きのある被写体を検出したと判断された場合には、ステップＳ３０８の処理により検出された被写体の方向の画像領域を大きくして６１２の領域の画像が配信され、図４のステップＳ４１３で表示装置の画像に矢印６１１が合成され表示される（図８のＳ８０２，Ｓ８０３）。図７の例の場合には、右上方向に被写体が検出されたので、６０２の領域に対して右上の領域を大きくした６１２の領域が配信される。

表示部２１１に表示された矢印によりユーザーが矢印方向の方向キーを操作した（この例では「右上キー」が操作された）場合には、表示部２１１の表示領域を図４のステップＳ４０９，Ｓ４１０の処理で６０３から７０１へと移動させる（図８のＳ８０４）。

又、ほぼ同時に図５のステップＳ５０４で表示装置から画像配信装置に表示領域変更コマンドが配信される（図８のＳ８１０）。

表示領域変更コマンドを受信した画像配信装置は、配信領域を図７の７１０の領域に変更して配信を開始する（図８のＳ８０６）。

実際には、表示装置が表示領域変更コマンドを送信してから、画像配信装置の変更が行われるまでにｔの時間が掛かる。ｔ時間の遅延の要因は、ネットワーク上のコマンド送信に掛かる時間と、画像配信装置がコマンドを受信してから配信画像領域の変更が反映されるまでに掛かる時間である（図８にｔ時間を矢印で図示）。図８のシーケンス図に示した例では、Ｓ８１０のシーケンスにより表示領域変更コマンドを受信したが、画像配信装置の制御が間に合わずＳ８０５では、領域６１２の画像を送信している。

本実施の形態では、配信される画像が変更されるまでの間、表示部２１１に図４のステップＳ４０９の表示領域指定の処理により現在受信している画像（６１２）を使い、６０３〜７０１（図８のＳ８０４）、７０２（図８のＳ８０５）へと序所に表示領域を移動させることができる。その後、画像配信装置の配信画像領域の変更設定が終わると７１０領域の画像データが配信される。表示装置では続けて７０３の領域を表示することで、ユーザー操作に対応した画像表示が速やかに表示できる（図８のＳ８０６）。

以上説明した動作により、本実施の形態の画像表示システムでは、ネットワーク遅延による配信装置の制御遅延をユーザーに感じさせることなく、且つ、イベント検出を考慮した動作により、イベント検出領域への高速なスクロール表示が実現できる。又、通常時（イベント未検出時）には、表示している画像周辺へのスクロール表示を遅延なく表示することが可能であり、且つ、配信する画像データ量を抑えることができる。

＜実施の形態２＞
実施の形態１では、イベント検出タスクにより検出した広角画像内の動きのある領域方向に対して配信画像領域を大きくするように構成した。

本実施の形態では、表示領域内のオブジェクトの動きに対応して、配信画像領域を大きくして配信するよう構成した。

本実施の形態では、実施の形態１の構成に加えてイベント検出タスクでのイベント検出項目に表示部２１１に表示している画像データ内の被写体の動きの検出を加えることで実現する。

以下、図９及び図１０を用いて本実施の形態の画像表示システムの動作について説明する。

先ず、図９−１及び図９−２に示すイベント検出の例について説明する。

図９−１において、９０２の領域が表示部２１１に表示される画像領域である。又、９０１の領域がイベント検出前の配信画像領域である。表示領域９０２内の被写体９０３が矢印９０４方向に移動をしていた時に、イベント検出タスクで被写体の動き方向が検出される。ユーザーが被写体の動きを追い掛ける操作（この例では、パン操作（右方向キーの押下））が予想されるので本実施の形態では次の処理を行う。

イベント検出タスクで検出された被写体の動き方向に対して画像配信領域を大きくするように、配信画像領域指定タスクに通知し、図９−２の９１０に示す画像データを配信することで、ユーザーのパン操作に備えることができる。

次に、図１０に示すイベント検出の例について説明する。

図１０−１において、１００２の領域が表示部２１１に表示される画像領域である。又、１００１の領域がイベント検出前の配信画像領域である。表示領域１００２内の被写体１００３が画像配信装置の撮影部１１０に近づいてきた場合に、イベント検出タスクは、被写体の輪郭抽出による解析処理や単一色の被写体の場合では、同色の面積が大きくなってきたことで被写体の接近を判断する。このとき、ユーザーの操作として、「Ｚｏｏｍ−Ｏｕｔ」操作が予測されるので本実施の形態では次の処理を行う。

イベント検出タスクで検出された被写体の接近に対して画像配信領域を全体を大きくするように、配信画像領域指定タスクに通知し、図１０−２の１０１０に示す画像データを配信することで、ユーザーの「Ｚｏｏｍ−Ｏｕｔ」操作に備えることができる。

＜実施の形態３＞
本実施の形態では、実施の形態１のイベント検出手段に換えて、外部センサーの出力によりイベント検出するように構成した例である。

本実施の形態では、実施の形態１の構成において、図１の画像配信装置の概略構成図を図１１に示す概略構成図に換え、図３のフローチャートを図１２に換えることで実現する。

以下に本実施の形態の画像配信装置の概略構成図である図１１、配信画像領域指定タスクの処理の流れを示すフローチャート図１２を図１３に示す例を用いて説明する。

図１１において、１０１〜１１０の構成は、実施の形態１の図１と同様な構成を採る。前記の構成に加えて、外部センサーインターフェース１１０１をバス１０６に接続する。

外部センサーインターフェース１１０１は、シリアル通信ポート等により、各種外部センサーモジュールと接続可能である。本実施の形態では、赤外線人体センサーモジュール１１０２を接続する。

赤外線人体センサーモジュール１１０２は、複数赤外線センサーを有し、図１３の広角画像領域に対して１３０１ａ〜１３０１ｅの領域に分割して人体検出を行う。ＣＰＵ１０１は、赤外線人体センサーモジュール１１０２の出力からイベント検出し、イベント検出方向の表示外領域を大きくするように変更して画像を配信する。

次に、本実施の形態の画像配信装置の配信画像領域指定タスク処理の流れを示すフローチャート図１２について説明する。

表示装置との通信が開始されると図１２のステップＳ１２０１で配信画像領域指定タスクが起動され、ステップＳ１２０２で表示サイズの受信する。ステップＳ１２０３では、撮影中の広角画像から、初期設定値の領域を中心として受信した表示サイズより大きい領域を選択し、切り出し領域として設定する。ここで、図１３の１３０１の領域が広角画像であり、画像配信装置で撮影されている。

図１３の１３０２が表示装置が表示する画像領域であり、ステップＳ１２０２で受信した表示サイズである。又、図１３の１３０３の領域が画像配信装置から配信される領域である。

次に、ステップＳ１２０４では、ステップＳ１２０３で設定された表示領域の画像データの配信を開始するため画像配信タスクを起動する。画像配信タスクは、設定された表示領域をＲＡＭ１０５に格納された広角画像から切り出し、切り出した画像データをエンコード部１０８へ転送し、エンコード部１０８で圧縮された画像データを通信部１０７に転送して通信部１０７を介して圧縮画像データを表示装置に配信する。

次に、ステップＳ１２０５で、表示装置から表示領域変更のコマンドを受信したか判断する。表示領域変更コマンドを受信した場合には、ステップＳ１２０６で切り出し領域をコマンドの指示に対応させて変更する。画像配信タスクは、この処理に従い画像の配信を続ける。

又、ステップＳ１２０５で表示領域変更コマンドを受信していない場合には、ステップＳ１２０７に移行する。ステップＳ１２０７では、イベント検出タスクの検出結果を参照し、赤外線人体センサー１１０２により現在表示している領域以外の領域で人体検出があるか判断する。図１３の例では、現在表示している領域１３０２を含んだ１３０１ｃ領域以外で人体検出があったか判断する。人体検出がない場合には、ステップＳ１２０９へ処理を移行する。

ステップＳ１２０７で人体検出された場合には、ステップＳ１２０８において人体検出された領域側に大きく表示外領域を取るように切り出し領域を再設定する。図１３の例では、例えば１３０１ｅの領域に新たにイベント検出タスク（赤外線人体センサー１１０２の出力による）によって人体を検出した場合には、配信画像領域を１３０３に１３０４の斜線の領域を加えた領域に切り出し領域を再設定し、処理をステップＳ１２０５に戻す。

ステップＳ１２０９では、イベント検出がなかったので、既にステップＳ１２０８で切り出しサイズを大きくしている場合には、切り出し領域を大きくする前のサイズに戻す。次に、ステップＳ１２１０では、表示装置から通信終了のコマンドを受信したか判断し、通信終了コマンドを受信していない場合には、ステップＳ１２０５に処理を戻し、ステップＳ１２０５からの処理を通信終了コマンドを受信するまで繰り返す。

ステップＳ１２１０で通信終了コマンドを受信した場合には、ステップＳ１２１１で撮影画像の転送を停止するため各タスクを終了し、ステップＳ１２１２で本タスクの処理も終了する。

以上説明した本実施の形態では、赤外線人体センサーを接続したが、その他の外部センサーモジュール（マイク、スイッチ式センサー等）を接続することで、用途に適した様々なイベントを検出することが可能である。

＜実施の形態４＞
実施の形態１では、イベント検出した場合に画像配信装置が配信する画像サイズ大きくしたが、本実施の形態では、配信画像サイズを大きくした場合に画像データ量を抑えるために、解像度変換処理により画像データ量を少なくするように構成した。

本実施の形態では、実施の形態１の構成において、図１の画像配信装置の概略構成図を図１４に示す概略構成図に換え、図３のフローチャートを図１５に換えることで実現する。

図１４において、１０１〜１１０の構成は、実施の形態１の図１と同様な構成を採る。前記の構成に加えて、画像サイズ変換部１４０１をバス１０６に接続する。

画像サイズ変換部１４０１は、入力された画像データに対して、公知である前置フィルタ処理及び線形補間法等の処理により画像を縮小し変換結果を出力する。

次に、本実施の形態の画像配信装置の配信画像領域指定タスク処理の流れを示すフローチャート図１４について説明する。

表示装置との通信が開始されると図４のステップＳ１５０１で配信画像領域指定タスクが起動され、ステップＳ１５０２で表示サイズで受信する。ステップＳ１５０３では、撮影中の広角画像から、初期設定値の領域を中心として受信した表示サイズより大きい領域を選択し、切り出し領域として設定する。

次に、ステップＳ１５０４では、ステップＳ１５０３で設定された表示領域の画像データの配信を開始するため画像配信タスクを起動する。本実施の形態の画像配信タスクでは、次の処理を実行する。ＲＡＭ１０５に格納されている広角画像から指示された画像領域を切り出し、配信画像領域タスクの指示に従って切り出した画像データを解像度変換部１４０１により一定の画像サイズに縮小変換する。

次に、縮小された画像データをエンコード部１０８によりエンコードしエンコードされた画像データを通信部１０７を介して配信する。又、縮小情報をイベント検出情報と同様に画像の付帯情報として送信することで、表示装置側で元の画像サイズに拡大変換することで、実施の形態１と同様な表示処理が可能である。次に、ステップＳ１５０５で、表示装置から表示領域変更のコマンドを受信したか判断する。表示領域変更コマンドを受信した場合には、ステップＳ１５０６で切り出し領域をコマンドの指示に対応させて変更する。画像配信タスクは、この処理に従い画像の配信を続ける。

又、ステップＳ１５０５で表示領域変更コマンドを受信していない場合には、ステップＳ１５０７に移行する。ステップＳ１５０７では、イベント検出タスクの検出結果を参照し、広角画像内で動き検出により動く被写体があったか判断する。動く被写体がない場合には、ステップＳ１５１０へ処理を移行する。

ステップＳ１５０７でイベントが検出された場合には、ステップＳ１５０８において動き検出により動く被写体を見つけた領域側に大きく表示外領域をとるように切り出し領域を再設定する。次に、ステップＳ１５０９でステップＳ１５０８で画像の切り出し領域を大きくしたので配信するデータ量を抑えるために、切り出し画像を縮小するように画像配信タスクに指示し処理をステップＳ１５０５に戻す。このとき、画像配信タスクでは、この指示に従い画像サイズ変換部１４０１の処理により画像サイズを縮小して切り出した画像を配信する。

ステップＳ１５１０では、イベント検出がなかったので、既にステップＳ１５０８で切り出しサイズを大きくしている場合には、切り出し領域を大きくする前のサイズに戻し、同様にステップＳ１５１１では、画像配信タスクにステップＳ１５０９で指示した切り出し画像の縮小指示をとり止める。

次に、ステップＳ１５１２では、表示装置から通信終了のコマンドを受信したか判断し、通信終了コマンドを受信していない場合には、ステップＳ１５０５に処理を戻し、ステップＳ１５０５からの処理を通信終了コマンドを受信するまで繰り返す。ステップＳ１５１２で通信終了コマンドを受信した場合には、ステップＳ１５１３で撮影画像の転送を停止するため各タスクを終了し、ステップＳ１５１４で本タスクの処理も終了する。

以上の処理により実施の形態４の画像表示システムでは、画像サイズ変換部１４０１の処理により、配信画像データ量を抑えることが可能であり、ネットワークの通信トラフィックを軽減し、且つ、実施の形態１と同様にユーザー操作に対する表示の遅延をなくすことができる。

本発明の実施の形態１の画像配信装置の概略構成を示すブロック図である。 本発明の実施の形態１の表示装置の概略構成を示すブロック図である。 本発明の実施の形態１の画像配信装置の配信画像領域指定タスク処理の流れを示すフローチャートである。 本発明の実施の形態１の表示装置の画像表示処理の流れを示すフローチャートである。 本発明の実施の形態１の表示装置のキー検出処理の流れを示すフローチャートである。 本発明の実施の形態１に係る画像表示システムの動作を説明する図である。 本発明の実施の形態１に係る画像表示システムの動作を説明する図である。 本発明の実施の形態１に係る表示装置のパン動作を説明する図である。 本発明の実施の形態１に係る画像表示システムの表示制御シーケンスを説明する図である。 本発明の実施の形態２に係る画像表示システムのイベント検出時の動作を説明する図である。 本発明の実施の形態２に係る画像表示システムのイベント検出時の動作を説明する図である。 本発明の実施の形態２に係る画像表示システムのイベント検出時の動作を説明する図である。 本発明の実施の形態２に係る画像表示システムのイベント検出時の動作を説明する図である。 本発明の実施の形態３に係る画像配信装置の概略構成を示すブロック図である。 本発明の実施の形態３に係る画像配信装置の配信画像領域指定タスク処理の流れを示すフローチャートである。 本発明の実施の形態３に係る画像表示システムのイベント検出時の動作を説明する図である。 本発明の実施の形態４に係る画像配信装置の概略構成を示すブロック図である。 本発明の実施の形態４に係る画像配信装置の配信画像領域指定タスク処理の流れを示すフローチャートである。

符号の説明

１０１，２０１ ＣＰＵ
１０４，２０４ ＲＯＭ
１０５，２０５ ＲＡＭ
１０７，２０７ 通信部
１０８ エンコード部
１０９ 画像処理部
１１０ 撮像部
１１１ 動きベクトル検出部
２０８ 画像サイズ変換部
２０９ デコード部
２１０ 表示制御部
２１１ 表示部
２１２ 入力検出部
２１３ キー
１１０１ 外部センサーインターフェース
１１０２ 赤外線人体センサー
１４０１ 画像サイズ変換部

Claims (4)

1. 画像配信装置と表示装置から成る画像表示システムにおいて、
   前記画像配信装置は、広角画像を撮影する画像撮影手段と、前記画像撮影手段により撮影され広角画像の撮影領域と対応するイベントを検出するイベント検出手段と、前記画像撮影手段により撮影された広角画像から一部の領域を切り出す画像切り出し手段と、前記画像切り出し手段により切り出された画像を通信により送信する画像配信手段と、前記イベント検出手段により検出したイベント情報から、前記切り出し手段による切り出し領域を変更し、変更された切り出し画像を前記画像配信手段で送信する変更手段とを備え、
   前記画像表示装置は、前記画像配信手段により配信された画像の一部分を切り出し表示する表示手段と、前記表示手段に表示された画像に対してパン、チルト、ズームの指示入力を検出する入力検出手段と、前記入力検出手段により検出された指示に基づき、配信された画像から切り出す領域を変更し前記表示手段に表示し、且つ、前記画像配信装置に切り出し領域変更を指示する指示手段を備えることを特徴とする画像配信システム。
2. 前記イベント検出手段は、前記広角画像の動き検出によりイベントを検出することを特徴とする請求項１記載の画像配信システム。
3. 前記イベント検出手段は、外部センサーモジュールの出力によりイベントを検出することを特徴とする請求項１記載の画像配信システム。
4. 前記画像切り出し手段は、画像切り出し領域が広くなった場合に画像サイズ縮小してから画像を送信することを特徴とする請求項１記載の画像配信システム。

Images