JP2005167440A - 映像伝送方法及びその装置と該装置を含む映像伝送システム - Google Patents

Abstract

【課題】 パンチルトカメラの映像データをネットワークで送信し遠隔地で映像表示させる映像伝送装置において、容量の細い回線を使用している閲覧者に対しても、パンチルト時等のカメラ制御時の映像をリアルタイム性を高めて提供することを可能にする。
【解決手段】 カメラ制御のコマンドに応じて送信する映像領域の優先順を定め、注視方向以外の映像データは優先順を落として処理する。たとえば右パン時は左半分の映像データは送信しない、あるいは左半分のデータは高圧縮する、あるいは右半分のデータから順に送信する。映像データの軽減によりネットワーク容量の問題を解決する。
【選択図】 図１

Description

本発明は、インターネット等のデジタル伝達メディアを利用して映像データを伝送することにより、ある地点で撮影中の映像を遠隔地点で閲覧可能とする映像伝送方法及びその装置と前記装置を含む映像伝送システムに関するものである。

パン、チルト、ズーム機能を具備する複数のカメラを各所に配置し、任意の箇所の操作装置と複数のカメラを通信回線で結び、任意のカメラを遠隔操作できるようにした映像伝送システムが知られている。一般には撮影したデジタルデータは例えばMotionJPEGやMPEGといった圧縮手法用いてデータ圧縮して映像伝送を行い、この圧縮した映像データを閲覧する装置（ビューワと呼ぶ）で伸長してからディスプレイに表示している（特許文献１参照）。ビューワにはパーソナルコンピュータや、最近では携帯電話等が使用されている。
特開平１０−０４２２７９号公報

しかしながら、このような従来のシステムにおいては、映像伝送の際、圧縮処理を行わないか、又は圧縮処理を行う場合でも、撮像した画面全体について映像内容や転送レートに適合した圧縮方式を行うのが一般的であった。そのため例えば、転送レートの低いネットワークで映像データを受信している場合において、閲覧者がパンやチルトといったカメラ制御を行うと、ディスプレイに表示した状態で映像が途切れ途切れになってしまう。このため、撮像しているカメラが、現在どの程度首を振っていたり傾いている状態なのか、といったカメラの制御状態や、撮像している映像の状況がリアルタイムで把握しずらいという問題点があった。

本発明は上記従来例に鑑みてなされたもので、カメラの制御時は、送信する映像データの領域を変更したり、送信する映像の領域ごとに圧縮率を変更したり、送信する映像データの領域の送信順番を変更したりすることで映像データ量を軽減し、そのカメラの制御による映像の変化をリアルタイム性を高めた状態で把握できる映像伝送方法及びその装置を含む映像伝送システムを提供する事を目的とする。

この課題を解決するために、例えば本システムのカメラ制御システムは以下に示す構成を備える。すなわちカメラ制御コマンドによりアングル制御が可能なカメラから入力された映像データを圧縮し、ネットワークを介して送信する映像伝送装置および映像伝送方法であって、所定のカメラ制御に応じて、前記映像データの複数領域への分割を指示するテーブルを選択する選択手段と、前記映像データの圧縮処理を制御する圧縮手段と、前記分割された映像データの送信を制御する送信手段と、を有することを特徴とする。

以上説明したように本発明によれば、カメラ制御の方向や速度に応じて送信する映像領域の優先度を定め、優先度の低い領域の映像データは送信しない、あるいは圧縮率を高くする事で送信する映像データ量を減らし、小容量回線の閲覧者に対しても撮像している映像の状況がリアルタイム性を高めた状態で提供することが可能となる。

さらに映像を分割化し優先度の高い領域から順に圧縮、送信し、受信側では優先度の高い領域から順に受信、伸長する事により、ネットワーク環境の異なった複数の閲覧者に対しても、回線容量に適応した映像配信が可能となる。

以下添付図面を参照して本発明の好適な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は本発明の一実施の形態を示す映像伝送システムを含むシステム構成を説明するブロック図である。 図において100はカメラエンドシステムで、パン、チルト、ズームといったカメラ制御が可能なカメラ装置110を制御して撮影対象を撮影し、その撮影した映像データをLANやインターネット等のデジタル伝達メディア107を介して送信する。120はビューワエンドシステムでデジタル伝達メディアを介して送られてくるカメラエンドシステム100からの映像データを受信し、モニタ125に表示する。さらに閲覧者によりカメラのパン・チルト・ズームの指示がカメラ制御コマンドとしてデジタル伝達メディア107を介して送信される。

まずカメラエンドシステム100とカメラ101の構成を説明する。106は回線I/Fで、デジタル伝達メディア107との間で映像データやカメラ制御コマンドの送受信を行うインタフェースである。101はカメラ制御コマンド受信部で、回線I/F106を介してカメラ制御コマンドを受信し、パン、チルト、ズームといったカメラの制御内容を解析し、カメラ制御部112、送信領域制御部102、圧縮領域制御部103にそれぞれ通知する。カメラ制御部112は制御コマンドを受信し、指定されたコマンドに応じて撮像部111のパン、チルト、ズームといった駆動を行い、撮像部111は撮影した映像データをフレームメモリ104に送信するし、フレームメモリ104は画像データを１フレームごとに書き込む。送信領域制御部102ではカメラ制御の内容によって送信する画像データの領域を決定し、それに応じたフレームメモリ104の読み出し命令を行う。圧縮領域制御部103ではカメラ制御の内容によって圧縮方法を決定し、それに応じた映像圧縮部105での圧縮処理命令を行う。映像圧縮部105ではフレームメモリから読み出された映像データを、圧縮領域制御部103で命令された圧縮率や圧縮方法、例えばJEPEGやMPEGといった方式で圧縮し、回線I/F106を介してビューワエンドシステム120に送信する。

次にビューワエンドシステム120の構成を説明する。123は回線I/Fで、デジタル伝達メディア107との間で映像データやカメラ制御コマンドの送受信を行うインタフェースである。122は映像伸長部であり、回線I/F123から受信した映像圧縮データをJEPEGやMPEGといった方式に応じて伸長し、モニタ125に映像を表示する。一方、表示している映像を見ている閲覧者によってはカメラ制御が行われる。124は閲覧者によるカメラ操作を解釈するユーザインターフェースであり、カメラ制御コマンド送信部121によってカメラ制御コマンドに変換され、回線I/F123を介してカメラエンドシステム100に送信される。

次に図2を参照してカメラエンドシステムでのカメラ制御コマンドの受信から映像データの送信までの流れを説明する。201ではカメラ制御コマンド受信部101に入力されたカメラ制御コマンドが解析される。このコマンドは例えばパン操作ならば「左パン開始」、「パン停止」、「左30度パン」といったものが考えられる。これらの制御コマンドを識別するために、例えばそれぞれのコマンドに一意な数値を割り当てている。本実施例の形態では、これらのコマンド表現方法については制限を設けるものではない。

カメラ制御の種類に応じては、事前にビューワエンドシステムに送信する映像データの領域を定めておく。図3はカメラ制御コマンドに対するデータ送信領域のテーブル化した一例であり、各コマンドに対して映像フレームの黒色の部分は送信しないという事を図示している。

202においてカメラ制御コマンドを解析した結果、「パン停止」等のカメラ制御停止中のコマンドを受信した場合には、300に示すように映像の全フレームを送信する。また、カメラ制御コマンドを受信しなかった場合にも、300に示すように映像の全フレームを送信する。従ってこれらの場合、206ではフレームメモリ104に書かれている全フレームの映像データを読み出し、207では映像圧縮部105において全フレームの映像データを圧縮してビューワエンドシステムに送信する。

202においてカメラ制御コマンドを解析した結果、「パン開始」等のカメラ制御中のコマンドを受信した場合には、右パン時の送信領域301、上パン時の送信領域302、右上パン時の送信領域303、ズームイン時の送信領域303に示すように、制御コマンドの種類に応じて映像フレームの一部分のみを送信する。例えば「右パン開始」コマンドを受信した場合は、203では301のテーブルに従い映像フレームの右半分のみの送信を決定し、204ではフレームメモリ104に書かれている右半分のみの映像データを読み出し、205では映像圧縮部105において右半分のみの映像データを圧縮してビューワエンドシステムに送信する。

ビューワエンドシステムではカメラエンドシステムから送信されてきたデータを順次、伸長、表示していくが、回線容量が小さい場合はデータの転送レートが限られてしまい映像がコマ送りのように表示されてしまう。前述の形態によればカメラ制御コマンドを受信しなかった場合は全フレームのデータを受信するため図８の801のように表示間隔が長くなるが、右パン時においては右半分のデータのみを受信するため回線を通過するデータ量が半減し、表示間隔は802のように表示間隔が短くなり、映像表示のリアルタイム性を高めることができる。

閲覧者がある方向にカメラを操作するという事は、閲覧者がその方向を注視している事でありその方向の映像表示の連続性も重要になってくる。例えば右パンの駆動速度が等速であれば映像表示は右10°、右20°、右30°、右40°のように連続性が保たれるが、右パンの速度が低速から高速に変化していく場合は、右10°、右20°、右40°、右80°のように表示され、映像の連続性がなくなり、閲覧者にとってはリアルタイムな状況の把握が難しくなる。

このような場合は、カメラ制御の動作速度に応じて送信する映像領域を可変させる事で送信データ量を調整し、映像表示の連続性を達成する事が可能となる。例えば202において「右パン開始」と「右パンの駆動速度」コマンドを検出した場合は、203では映像フレームの右側のみのを送信するとともに305、306、307で図示するように、パンの駆動速度により送信領域を可変させる事で映像表示の連続性を達成する事が可能となる。

カメラ制御の動作速度の検出はカメラ制御コマンドに「右パン開始5°/s」のように速度パラメータとして付加しておく方法や、カメラ駆動部の加速度センサの情報を利用した検出などが考えられる。本実施例の形態では、これらの動作速度の検出方法については制限を設けるものではない。

以上説明したように本実施の形態によれば、閲覧者がある方向にカメラを操作するという事は閲覧者はその方向に注視している事であり、その方向以外の映像データは不要であるという想定により注視方向のみの部分映像を送信する。部分映像のみの送信により従来と比較して映像データ量が半減し、転送レートの低いネットワークを使用している場合でもカメラ制御時の映像表示のリアルタイム性を高めることができる。

（第２の実施の形態）
以下図に関しては第１の実施の形態と共通な部分が多いので図１を流用しながら、第２の実施の形態について特徴的な部分に関して説明する。

第１の実施の形態では、閲覧者がある方向にカメラを操作するという事は、閲覧者がその方向を注視している事であり、その方向以外の映像データは不要であるという想定により注視方向のみの部分映像を送信している。したがって、カメラ制御中は部分映像のみが送信されるという事であり、閲覧者にとっては違和感が生じる可能性がある。第２の実施の形態は全フレームの映像を表示しながら、注視方向の映像とそれ以外の映像のデータ圧縮率を変化させる事で送信する映像データ量を軽減させる方法である。

図４を参照してカメラエンドシステムでのカメラ制御コマンドの受信から映像データの送信までの流れを説明する。401ではカメラ制御コマンド受信部101に入力されたカメラ制御コマンドが解析される。カメラ制御の種類に応じては、事前にビューワエンドシステムに送信する映像について、高圧縮処理する領域と低圧縮処理する領域を定めておく。図5はカメラ制御コマンドに対する映像圧縮率の違いをテーブル化した一例であり、映像フレームの黒色501の部分は高圧縮処理するという事を図示している。圧縮率の切換は圧縮パラメータの変更、たとえばJPEG圧縮における量子化ステップの大きさを変更することなどで行うが、本実施例の形態では、これらの圧縮率の切換方法については制限を設けるものではない。

402においてカメラ制御コマンドを解析した結果、例えば「パン停止」等のカメラ制御停止中のコマンドを受信した場合には、500に示すように映像の全フレームを同じ圧縮率で送信する。従って406ではフレームメモリ104に書かれている全フレームの映像データを読み出し、407では映像圧縮部105において全フレームの映像データを同じ圧縮率で圧縮してビューワエンドシステムに送信する。

402においてカメラ制御コマンドを解析した結果、例えば「右パン開始」コマンドを受信した場合は、映像フレームの右半分502を低圧縮率、左半分501を高圧縮率で送信する。したがって403では501、502のテーブルに従い左半分は高圧縮、右半分は低圧縮を決定し、404ではフレームメモリ104に書かれている全フレームの映像データを読み出し、405では映像圧縮部105において映像フレームの右半分を低圧縮率、左半分を高圧縮率に圧縮してビューワエンドシステムに送信する。

以上説明したように本実施の形態によれば、閲覧者がある方向にカメラを操作するという事は、その方向を注視している事であり、その方向以外の映像データの表示品質は悪くてもよいという想定により注視方向以外の映像データは高圧縮率処理をして送信する。一部の映像データを高圧縮率にする事で従来と比較して映像データ量が半減し、転送レートの低いネットワークを使用している場合でもカメラ制御時の映像表示のリアルタイム性を高めることができる。

（第３の実施の形態）
以下図に関しては第１の実施の形態と共通な部分が多いので図１を流用しながら、第3の実施の形態について特徴的な部分に関して説明する。

第１、第２の実施の形態では、閲覧者が転送レートの低いネットワークを使用している場合に有効であるが、インターネット等の転送レートの異なるネットワークに接続された複数の閲覧者が同じカメラ映像を表示している場合においては、大容量回線に接続された閲覧者までもカメラ制御時には部分映像や粗い映像が表示されてしまう。

第３の実施の形態は映像領域をあらかじめ分割しておき、カメラ制御時には優先順位の高い領域から順に送信する事で、閲覧者のネットワーク環境に適応した映像送信を可能にするものである。

図６を参照してカメラエンドシステムでのカメラ制御コマンドの受信から映像データの送信までの流れを説明する。601ではカメラ制御コマンド受信部101に入力されたカメラ制御コマンドが解析される。カメラ制御の種類に応じては、事前にビューワエンドシステムに送信する優先度基づいた部分映像の送信順序を定めておく。図7はカメラ制御コマンドに対する送信順序の一例であり、701はカメラ制御なし時の送信順序、702は右パン時の送信順序であり、それぞれ1→2→3→4の順序で圧縮し送信する事を図示している。

602においてカメラ制御コマンドを解析した結果、例えば「パン停止」等のカメラ制御停止中のコマンドを受信した場合には701の優先順に従って圧縮、送信が行われる。従って604ではフレームメモリ104に書かれている全フレームを４分割した領域を左上、右上、左下、右下の順すなわち通常時優先順序で読み出し、605では映像圧縮部105において通常時優先順序で圧縮し、606では通常時優先順序で送信する。

602においてカメラ制御コマンドを解析した結果、カメラ制御中のコマンドが受信された場合は、カメラ制御内容に応じて事前に設定された領域の優先順序で圧縮、送信がされる。

例えば「右パン開始」コマンドを受信した場合は702の優先順序で圧縮、送信が行われる。この場合、603では送信順序を702に決定し、607ではフレームメモリ104に書かれている全フレームを４分割した領域を右上、右下、左上、左下の順すなわち右パン時優先順序で読み出し、608では映像圧縮部105において右パン優先順序で圧縮し、606では右パン時優先順序で送信する。

ビューワエンドシステムではカメラエンドシステムから送信された映像圧縮データを受信し、伸長し、さらに領域がどの順序で送信されてきたかを検出し、映像表示する際にフレーム映像に再構成する。この送信順の検出方法は、カメラエンドシステムからの映像データ送信時に領域IDを付加し、ビューワエンドシステムで解析する方法などが考えられるが、本実施例の形態では、これらの検出方法については制限を設けるものではない。

右パン時の映像データは右上、右下、左上、左下の順すなわち右パン時優先順序に受信し伸長するが、映像表示の際は、送信順の検出結果をもとに、図９の900のように各領域は所望の位置に配置され、フレーム映像として表示される。

小容量回線での閲覧者は映像圧縮データの受信後、優先度の低い領域は伸長、表示しない事で、実質的な映像データ量を軽減しリアルタイム性を高めることができる。

例えば右パン時の映像データは右上、右下、左上、左下の順すなわち右パン時優先順序にしたがって受信されるが、優先度の低い左上、左下のデータは伸長、表示を行わず閲覧者の注視方向である右側の映像データのみを扱い、図９の901のように表示することで実質的な受信データを半減する。

使用している回線容量に応じて、例えば16分割領域うち、優先度の低い4領域分を無効にするなど、どの領域のデータを無効にするかの設定が必要である。これらの設定は閲覧者による設定、回線I/Fのレート検出を利用した自動設定、などが考えられるが、本実施例の形態では、これらの設定方法については制限を設けるものではない。

以上第１、第２、第３の実施の形態を説明した。

前述の説明から明らかなように、これらの実施の形態によれば、特別なハードウェアを必要とせずに上述の処理を実行する事ができる。

なお、本発明ではカメラとカメラエンドシステムは別の装置として説明したが、これらを１つの装置として実現しても構わない。

また、前述の実施形態で説明しているカメラ制御時おける送信領域や優先領域等の領域や領域送信順については一例であり、これに限るものではない。

また本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいはそのコンピュータ（またはCPUやMPU）が記録媒体に格納されたプログラムコードを読み出し実行することによっても達成されうる。

この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。

このようなプログラムコードを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリーカード、ROMなどを用いることができる。

さらに、記録媒体から読み出されたプログラムコードがコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットの備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合もある。

実施形態におけるシステムのブロック構成図 第一の実施の形態のカメラエンドシステムの動作を示すフローチャート 第一の実施の形態におけるカメラ制御コマンドに対する送信領域を示す図 第二の実施の形態のカメラエンドシステムの動作を示すフローチャート 第二の実施の形態におけるカメラ制御コマンドに対する低圧縮領域を示す図 第三の実施の形態のカメラエンドシステムの動作を示すフローチャート 第二の実施の形態におけるカメラ制御コマンドに対する送信順序を示す図 第一の実施の形態におけるビューワエンドシステムでの映像表示を示す図 第三の実施の形態におけるビューワエンドシステムでの映像表示を示す図

符号の説明

１００ カメラエンドシステム
１０１ カメラ制御コマンド受信部
１０２ 送信領域受信部
１０３ 圧縮領域制御部
１０４ フレームメモリ
１０５ 映像データ圧縮部
１０６ 回線I/F
１０７ デジタル伝達メディア
１１０ カメラ
１１１ 撮像部
１１２ カメラ制御部
１２０ ビューワエンドシステム
１２１ カメラ制御コマンド送信部
１２２ 映像データ伸長部
１２３ 回線I/F
１２４ ユーザI/F
１２５ モニタ

Claims (7)

1. カメラ制御コマンドによりアングル制御が可能なカメラから入力された映像データを圧縮し、ネットワークを介して送信する映像伝送装置および映像伝送方法であって、
   所定のカメラ制御に応じて、
   前記映像データの複数領域への分割を指示するテーブルを選択する選択手段と、
   前記映像データの圧縮処理を制御する圧縮手段と、
   前記分割された映像データの送信を制御する送信手段と、
   を有することを特徴とする映像伝送装置および映像伝送方法。
2. 前記カメラ制御コマンドは、パン、チルト、ズームを指示するコマンドを含むことを特徴とする請求項１に記載の映像伝送装置および映像伝送方法。
3. 前記選択手段はカメラ制御の方向、速度に応じて選択されることを特徴とする請求項１に記載の映像伝送装置および映像伝送方法。
4. 前記テーブルは映像データの重要度に基づく優先順位によって構成することを特徴とする請求項１に記載の映像伝送装置および映像伝送方法。
5. 前記圧縮手段は前記テーブルに応じて圧縮率を切り替えることを特徴とする請求項１に記載の映像伝送装置および映像伝送方法。
6. 前記送信手段は前記テーブルの優先順位によって送信の順番を切り替えることを特徴とする請求項１に記載の映像伝送装置および映像伝送方法。
7. 前記送信手段はネットワークの種類に応じて送信の順番を切り替えることを特徴とする請求項１に記載の映像伝送装置および映像伝送方法。
   

Images