JP2006279233A - 映像配信装置、表示装置、ネットワークシステム、情報処理方法ならびに記憶媒体 - Google Patents

Abstract

【課題】 ネットワークに映像を配信する映像配信装置と、該映像配信装置より受信した映像を表示可能な表示装置と、を備えるシステムにおいて、ワイドダイナミックレンジ処理を実現するにあたり、ネットワーク上で送受信されるデータ量の削減を図る。
【解決手段】 ネットワーク１０５と通信可能に接続され、ネットワーク１０５に映像を配信する映像配信機能を備えるネットワークカメラ１０１であって、異なる２つの輝度特性を有する通常映像ストリームと高輝度映像ストリームとを取得する手段（３０２）と、通常映像ストリームと高輝度映像ストリームの差分を算出し、差分映像ストリームを生成する手段（３０５）と、通常映像ストリームと差分映像ストリームを圧縮可能な手段（３０３、３０６）と、圧縮された通常映像ストリームと差分映像ストリームとをネットワーク１０５に送信可能な手段（３０８）とを備える。
【選択図】 図３

Description

本発明は、映像をネットワーク上に配信する映像配信装置において、当該映像を処理するための処理技術に関するものである。

従来より、遠隔地に配置されたカメラの映像を、ネットワークを介して多地点から、あるいは複数人により観察することが可能なネットワークシステムが提案されている。当該システムでは、カメラの映像を圧縮し、リアルタイムで多人数に配信するだけでなく、配信先から当該カメラの動作を制御することもできる（例えば、下記特許文献１参照）。なお、本明細書における以下の説明では、このように映像をネットワーク上に配信する映像配信機能を備えるカメラを「ネットワークカメラ」と称し、当該ネットワークカメラの映像をネットワークを介して見るための機能を「ビューワ」機能と称することとする。

一方、撮影の際、同一画角内に極めて明るい被写体と暗い被写体とが同時に混在していた場合でも、両者を明瞭に撮影することができるいわゆる「ワイドダイナミックレンジカメラ」が一般的に知られている。当該ワイドダイナミックレンジカメラでは、例えばシャッター速度等を映像フレーム単位レベルで交互に切り替えて、短時間露光映像と長時間露光映像とを取得し、両者を適切に合成することにより明るい被写体から暗い被写体まで輝度レベルを飽和させることなく同時に見ることが可能である（このような処理は「ワイドダイナミックレンジ処理」と呼ばれ、例えば、下記特許文献２に開示されている）。

そして、上述のネットワークカメラにおいても、当該ワイドダイナミックレンジ処理機能を備えるものが登場してきている。更には、ワイドダイナミックレンジ処理機能を備えるネットワークカメラにおける処理負荷を軽減するために、長時間露光映像と短時間露光映像とを圧縮して配信し、ビューワ側で合成処理を行うネットワークシステムも提案されている（例えば、下記特許文献３）。
特開平１０−０４０１８５号公報 特開平７−１３１７１８号公報 特開２００３−２９９０６７号公報

しかしながら、上記特許文献３に開示されたネットワークシステムの場合、ネットワークカメラ側は必ず短時間露光映像と長時間露光映像とをビューワ側に配信する必要があり、また、ビューワ側も必ず短時間露光映像と長時間露光映像の両方を受信する必要があり、ネットワーク上において送受信されるデータ量が多いという問題がある。このため、ネットワークカメラにおける処理負荷の軽減を考慮しつつ、更に、ネットワーク上で送受信されるデータ量を削減することが望まれている。

本発明は、上記課題に鑑みてなされたものであり、ネットワークと通信可能に接続され、該ネットワークに映像を配信する映像配信装置と、該ネットワークを介して該映像配信装置より受信した映像を表示可能な表示装置と、を備えるネットワークシステムにおいて、ワイドダイナミックレンジ処理を実現するにあたり、ネットワーク上で送受信されるデータ量の削減を図ることを目的とする。

上記の目的を達成するために本発明に係る映像配信装置は以下のような構成を備える。即ち、
ネットワークと通信可能に接続され、該ネットワークに映像を配信する映像配信装置であって、
異なる２つの輝度特性を有する第１の映像ストリームと第２の映像ストリームとを取得する取得手段と、
前記第１の映像ストリームと前記第２の映像ストリームの差分を算出することにより、第３の映像ストリームを生成する生成手段と、
前記第１及び第３の映像ストリームを圧縮可能な圧縮手段と、
前記圧縮手段により圧縮された第１及び第３の映像ストリームを前記ネットワークに送信可能な送信手段とを備える。

本発明によれば、ネットワークと通信可能に接続され、該ネットワークに映像を配信する映像配信装置と、該ネットワークを介して該映像配信装置より受信した映像を表示可能な表示装置と、を備えるネットワークシステムにおいて、ワイドダイナミックレンジ処理を実現するにあたり、ネットワーク上で送受信されるデータ量を削減することが可能となる。

以下、必要に応じて添付図面を参照しながら本発明の各実施形態を詳細に説明する。

［第１の実施形態］
＜ネットワークシステムの構成＞
図１は本発明の第１の実施形態にかかるネットワークカメラを備えるネットワークシステムの構成を示す図である。

１０１は、ワイドダイナミックレンジ処理を実現するために必要な２つの異なる輝度特性を有する映像を生成する生成機能と、ワイドダイナミックレンジ処理を実現するために必要な映像をネットワーク１０５上に配信可能な映像配信機能とを備えるネットワークカメラであり、１０２、１０３はネットワーク１０５を介して得られたネットワークカメラ１０１からの映像を見るためのビューワ機能を備えるとともに、ネットワークカメラ１０１に対して操作指示をするための操作機能を備える操作及び表示用端末であり、いずれもネットワーク１０５に接続されている。また、１０４はネットワークカメラ１０１からの映像を記録する映像記録装置である。

図１に示すネットワークシステムにおいて、ネットワークカメラ１０１は、操作及び表示用端末１０２からの要求に応じてネットワーク１０５を通じてリアルタイムに映像を配信しつつ、パン・チルト等のカメラの動作制御のための制御データを受け付け、動作制御される。また、ネットワークカメラ１０１の映像は必要に応じて映像記録装置１０３に保存することができる。

なお、操作及び表示用端末はネットワーク１０５に複数台接続されており、ネットワークカメラ１０１に対して当該複数の操作及び表示用端末が同時にアクセスして映像を見ることができるようになっているものとする（図１では、説明の簡略化のため操作及び表示用端末は２台（１０２、１０３）としているが、特にこれに限定するものではない）。

また、同様にネットワークカメラもネットワーク１０５に複数台接続されており、操作及び表示用端末１０２、１０３によりアクセスするに際しては、ネットワークアドレスの指定等によりネットワークカメラを特定し、選択できるようになっているものとする。

ネットワーク１０５に関しては、後述する圧縮した映像ストリームおよび制御データを送信するのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればよい。なお、ここではネットワークアドレスとしてＩＰアドレスを用いることとし、ネットワークカメラ１０１、操作及び表示用端末１０２、１０３、映像記録装置１０４は、それぞれ異なるＩＰアドレスが割り当てられているものとする。以下、それぞれの装置の構成について詳細を述べる。

＜ネットワークカメラ１０１のハードウェア構成＞
図２は本発明の第１の実施形態にかかるネットワークカメラのハードウェア構成を示す図である。図２において、２０１は制御メモリ（ＲＯＭ）、２０２は中央演算処理装置、２０３はメモリ（ＲＡＭ）、２０４は撮像装置、２０５は入力装置、２０６は表示装置、２０７はＩ／Ｆ装置、２０９は雲台装置、２０９はバスである。本実施形態にかかるネットワークカメラにおける処理を実行するための制御プログラムやその制御プログラムで用いる制御データは、制御メモリ２０１に記憶される。これらの制御プログラムや制御データは、中央演算処理装置２０２の制御のもと、バス２０９を通じて適宜メモリ２０３に取り込まれ、中央演算処理装置２０２によって実行される。

＜ネットワークカメラ１０１の機能構成＞
図３はネットワークカメラ１０１の機能構成を示す図である。３０１は撮像部であり、ＣＣＤ等を用いデジタル映像として長時間露光映像と短時間露光映像とを生成することができる。

長時間露光映像と短時間露光映像は、本実施形態ではシャッター速度をフレーム単位で交互に切り替えて生成するものとする。具体的には、例えば、１／６０秒と１／１０００秒等のシャッターを交互に切り替え長時間露光映像と短時間露光映像のフレームを交互に出力する。

なお、以下では、長時間露光の方を通常露出とし（このときのシャッター速度を通常シャッターと称す）、通常露出においては撮像部３０１で露出オーバーで白くつぶれてしまうような高輝度部分が、ある程度露出オーバーにならずに撮影できるように設定した方を短時間露光（このときのシャッター速度を高速シャッターと称す）として説明することとする。したがって、以下、長時間露光すなわち通常露出による映像の方を「通常映像」と称し、短時間露光による映像の方を「高輝度映像」と称することとする。

図３の説明に戻る。３０２は振り分け処理部であり、撮像部３０１からの入力映像を取得し、該入力映像を高輝度映像と通常映像とにフレーム単位で振り分ける。これにより、通常映像フレーム列と高輝度映像フレーム列とを得ることができる（このような映像フレーム列を、「映像ストリーム」と称す）。

３０５は差分処理部であり、高輝度映像に対して差分処理を施す。３０３は通常映像をＪＰＥＧで圧縮する通常映像圧縮処理部、３０６は差分処理を施した映像（以下、「差分映像」と称す）をＪＰＥＧで圧縮する差分映像圧縮処理部である。また、３０４、３０７は、通常映像と差分映像とを別ストリームとして送信した後に、操作及び表示用端末１０２、１０３側で同期して処理できるようにタイムスタンプを生成・付与するタイムスタンプ付与部、３０９は撮像部３０１のパン・チルト角度を制御する雲台部、３１０は雲台部３０９のパン・チルト角度や撮影部３０１のズーム倍率を駆動・制御するＰＴＺ駆動制御部、３０８は操作及び表示用端末１０２、１０３からの要求に応じて映像ストリームを送信したりネットワークカメラ１０１の動作制御データを受け取ってＰＴＺ駆動制御部３１０に転送したりする通信制御部である。

上記機能構成のもと、ネットワークカメラ１０１は、撮像部３０１において、二種類のシャッター速度で交互に撮影したデジタル映像を振り分け処理部３０２に取り込み、通常映像と高輝度映像の二つの映像ストリームに分ける。通常映像と高輝度映像とから差分処理部３０５にて差分処理を施して差分映像を生成した後、通常映像ならびに差分映像の二種類の映像ストリームをそれぞれ通常映像圧縮処理部３０３、差分映像圧縮処理部３０６にてＭｏｔｉｏｎ ＪＰＥＧ形式で圧縮し、ワイドダイナミックレンジ処理に用いるための映像としてネットワーク１０５に配信する（圧縮された通常映像ストリームを「圧縮通常映像ストリーム」、圧縮された差分映像ストリームを「圧縮差分映像ストリーム」と称す）。

なお、操作及び表示用端末１０２、１０３からは、「圧縮通常映像ストリーム単独」、または、「圧縮通常映像ストリーム＋圧縮差分映像ストリーム」のいずれかの要求がなされるため、ネットワークカメラ１０１では、当該要求に応じた圧縮映像ストリームの配信を行う。

なお、上記説明では映像ストリームの圧縮形式として、Ｍｏｔｉｏｎ ＪＰＥＧ圧縮を利用することとしたが、より圧縮率の高いフレーム間差分を用いたＭＰＥＧ４などの圧縮形式を利用することとしてもかまわない。特に圧縮形式を限定するものではない。

＜差分映像生成によるデータ量削減の原理＞
次に差分映像生成によるワイドダイナミックレンジ映像のデータ量削減の原理について説明する。差分処理部３０５に取り込まれる通常映像と高輝度映像とは同じ映像を元にしているため原理的に相関が高い。そこで、本実施形態では、この相関の高さを利用してワイドダイナミックレンジ処理を実現するために不可欠な高輝度映像についてデータ量の削減を図っている。

図４を用いて差分映像生成によるデータ量削減の原理について説明する。４０１は通常シャッターで撮影した場合の撮像部３０１の入力輝度に対する出力値の特性を示しており、ある入力輝度Ｉｔｈを越えると出力値は飽和して露出オーバーになる。これが撮像部３０１の高輝度側の上限値である。このときの飽和する出力値をＶ２とする。

一方、高速シャッターで撮影した場合の撮像部３０１の入力輝度に対する出力値の特性は４０２のようになる。入力輝度がＩｔｈではまだ出力は飽和せず、このときの出力をＶ１とする。さらに入力輝度を上げていき出力がＶ２になって飽和するまでの間、高速シャッターによる撮影の場合、通常シャッター撮影時よりも高い入力輝度を許容する。

ここで、通常シャッターで撮影した通常映像における各画素位置（ｘ，ｙ）の輝度値をＰｎ（ｘ，ｙ）、高速シャッターで撮影した高輝度映像における各画素位置（ｘ，ｙ）の輝度値をＰｈ（ｘ，ｙ）、差分映像の各輝度値をＰｄ（ｘ，ｙ）とし、４０１における出力が飽和するまでの傾きをａとして、
Ｐｄ（ｘ，ｙ）＝Ｐｈ（ｘ，ｙ）−ａ×Ｐｎ（ｘ，ｙ）・・・・（１）
を考えると、差分映像においては、４０３のような特性になる。つまり、入力輝度がＩｔｈまではほぼ０あるいは非常に小さな値になるはずである。

以上は輝度成分について述べたが、色差成分についても同様である。また、画像がＹＣｂＣｒ形式でなくＲＧＢ形式等でも同様のことがいえるため、色空間形式にこだわるものではないが、本実施形態では圧縮がＭｏｔｉｏｎ ＪＰＥＧであることを考慮し、ＹＣｂＣｒであるものとする。

また４０１では傾きａがリニアであるとしてグラフを直線で示したが、傾きａが輝度依存性を有していてもかまわない。その場合には、（１）式の傾きａが撮像部３０１の特性に従って入力輝度に依存するようにすればよく、上式（１）は下式（１）’のように表わすことができる。
Ｐｄ（ｘ，ｙ）＝Ｐｈ（ｘ，ｙ）−ａ（Ｖｉｎ）＊Ｐｎ（ｘ，ｙ）・・・・（１’）
ここで、Ｖｉｎは入力輝度、ａ（Ｖｉｎ）は入力輝度Ｖｉｎに依存した関数である。

なお、通常シャッター、高速シャッターは所望の露出値によって適宜適切な値を選択してかまわない。

＜映像生成・配信処理の流れ＞
次に図６を参照しながら、図５のフローを用いてネットワークカメラ１０１における映像生成・配信処理の流れについて説明する。図５では、通常映像の処理と差分映像の処理とが同期しながら動作するように構成されている。

通常映像の処理としては、通常映像Ｐｎを１フレーム取得し（ステップＳ５０１）、圧縮・パケット化し（ステップＳ５０２、Ｓ５０３）、タイムスタンプを生成付加して（ステップＳ５０４、Ｓ５０５）、６０１のような形式に整え、通常映像を要求している操作及び表示用端末とワイドダイナミックレンジ処理に必要な映像を要求している操作及び表示用端末とにそれぞれ送信する（ステップＳ５０６）。

一方、差分映像の処理としては、はじめに、ステップＳ５０１で取得した通常映像Ｐｎの次のタイミングで得られる高輝度映像Ｐｈを取得する（ステップＳ５１１）。ステップＳ５１２では、差分処理フラグのＯＮ／ＯＦＦを判断し、差分処理フラグがＯＦＦになっていなければステップＳ５１３に進む（なお、差分処理フラグのＯＮ／ＯＦＦについては後述する）。

ステップＳ５１３では、（１）式に沿って差分映像Ｐｄを計算する。さらに、差分映像Ｐｄを圧縮・パケット化し（ステップＳ５１４、Ｓ５１５）、ステップＳ５０５で生成したタイムスタンプを付与して（ステップＳ５１６）、６０２のような形式に整え、ワイドダイナミックレンジ処理を要求している操作及び表示用端末に送信する（ステップＳ５１７）。なお、プロトコルとして例えばＲＴＰとＩＰを用いるのであれば、図６の通信ヘッダにはＩＰヘッダやＵＤＰヘッダ、ＲＴＰヘッダが含まれることとなる。また、映像ヘッダには、６０４のように通常映像か差分映像かを区別するフラグが入ることになる。

一方、ステップＳ５１２において、差分処理フラグがＯＦＦになっていた場合には、ステップＳ５１８に進み、６０３のような映像ストリームを含まない無効映像データパケットをワイドダイナミックレンジ処理を要求している操作及び表示用端末に送信する。無効映像データパケットであるか否かは映像ヘッダにより識別可能である（図６の６０４参照）。

＜差分処理フラグＯＮ／ＯＦＦ処理＞
差分処理フラグとは、差分処理の実行／停止を制御するためのフラグであり、ネットワークカメラ１０１では、当該差分処理フラグに基づいて差分処理の実行／停止が制御される。具体的には、ネットワークカメラ１０１のパン・チルト・ズーム（ＰＴＺ）動作がある速度を越えている場合か、撮影画角内にあらかじめ設定した特定の範囲を含む場合である。

ＰＴＺ動作中に圧縮差分映像ストリームの配信を抑制するのは、通常シャッターと高速シャッターとで交互に撮影しながら通常映像ストリームと高輝度映像ストリームを生成するため、ある速度以上のＰＴＺ動作中においては、差分映像ストリームに映像の位置ずれが発生してしまい、操作及び表示用端末にてこのまま合成すると、当該ずれた部分で違和感のある映像となっていしまうためである。

また、特定の範囲とは特定のパン・チルト・ズーム範囲を指し、例えば、現在のパン・チルト・ズーム値を（ｐ，ｔ，ｚ）とすると、
Ｐ１≦ｐ≦Ｐ２
Ｔ１≦ｔ≦Ｔ２
Ｚ１≦ｚ≦Ｚ２
として表現することができる。なお、Ｐ１、Ｐ２、Ｔ１、Ｔ２、Ｚ１、Ｚ２はあらかじめ決定されている値であり、映像中にワイドダイナミックレンジ処理をして欲しくない場所を示している。なお、特定の範囲については、このような１つの範囲に限定するものではなく複数の範囲を指定してもかまわない。

図７は、上述の差分処理フラグＯＮ／ＯＦＦ処理の流れを示すフローチャートである。ステップＳ７０１では、ネットワークカメラ１０１においてＰＴＺ動作があるまで待機し、ＰＴＺ動作があった場合には、ステップＳ７０２に進む。ステップＳ７０２では、ＰＴＺ動作がある速度を超えているか否かを判断し、ある速度を超えていると判断した場合にはステップＳ７０５に進み、差分処理フラグをＯＦＦにする。

一方、ステップＳ７０２においてＰＴＺ動作がある速度を超えていないと判断した場合には、ステップＳ７０３に進み、特定の範囲を含むか否かを判断する。特定の範囲を含むと判断した場合には、ステップＳ７０５に進み、差分処理フラグをＯＦＦにする。一方、特定の範囲を含まないと判断した場合には、ステップＳ７０４に進み、差分処理フラグをＯＮにする。

＜操作及び表示用端末における処理＞
次に操作及び表示用端末１０２、１０３側の動作を説明する。なお、以下では操作及び表示用端末１０２が通常映像を要求し、操作及び表示用端末１０３がワイドダイナミックレンジ処理を実現するために必要な映像を要求しているものとする。

操作及び表示用端末１０２は、ネットワークカメラ１０１に対して、単に圧縮通常映像ストリームを要求し、要求を受けたネットワークカメラ１０１では、上述の手続きに従って６０１の形式で圧縮通常映像ストリームを操作及び表示用端末１０２に送信する。操作及び表示用端末１０２では、受信した圧縮通常映像ストリームを伸長し、表示する。

一方、ワイドダイナミックレンジ処理を実現するために必要な映像を要求している操作及び表示用端末１０３では、図１０に示すフローチャートに従って処理が実行される。すなわち、ステップＳ１０００にてワイドダイナミックレンジ映像表示処理が開始されると、ステップＳ１００１では、ワイドダイナミックレンジ処理に必要な圧縮通常映像ストリームと圧縮差分映像ストリームとをネットワークカメラ１０１に要求する。ネットワークカメラ１０１では、圧縮通常映像ストリームと圧縮差分映像ストリームの両方のストリームを図６のようなパケット形式で操作及び表示用端末１０３に送信する。

操作及び表示用端末１０３では、ネットワークカメラ１０１よりワイドダイナミックレンジ処理を行うのに必要な圧縮通常映像ストリームと圧縮差分映像ストリームとを受信し、同一タイムスタンプを持つ圧縮通常映像ストリームのフレームと圧縮差分映像ストリームのフレームを取得する（ステップＳ１００２）。

上述のように、圧縮差分映像ストリームを含むパケットは、ネットワークカメラ１０１の状態に応じて６０２または６０３のいずれかの形式になる。そこでステップＳ１００３では、受信した圧縮映像ストリームのパケットに含まれる映像フレームの種別が、２であるか否か（つまり、圧縮差分映像ストリームとして６０３の形式のパケットを受信したか否か）を判定する。

ステップＳ１００３において映像フレームの種別＝２でないと判定された場合（つまり、ステップＳ１００２で取得された圧縮映像ストリームの映像フレーム種別がそれぞれ０と１であった場合）には、ステップＳ１００４に進み、圧縮通常映像ストリームのフレームと圧縮差分映像ストリームのフレームとをそれぞれ伸長し、フレームＰｎ及びＰｄを得る。

ステップＳ１００５では、圧縮差分映像ストリームを含むパケット内の映像ヘッダより、ａの値を読み出し、ステップＳ１００６では、高輝度映像フレームＰｈを下式に基づいて生成する。
Ｐｈ（ｘ，ｙ）＝Ｐｄ（ｘ，ｙ）＋ａ＊Ｐｎ（ｘ，ｙ）・・・・（２）
ステップＳ１００７では、ステップＳ１００６にて生成された高輝度映像ストリームのフレームとステップＳ１００２にて取得されステップＳ１００４で伸長された圧縮通常映像ストリームのフレームとを合成し、ステップＳ１００８にて当該合成された映像フレーム（ワイドダイナミックレンジ映像）を表示する。なお、高輝度映像フレームと通常映像フレームとからワイドダイナミックレンジ映像を合成する手法については多数提案されているため、ここでは説明を省略する。

一方、ステップＳ１００３において映像フレームの種別＝２であると判定された場合には、ステップＳ１００９に進み、圧縮通常映像ストリームを伸長してフレームＰｎを取得し、これをステップＳ１００８で表示する。

以上の処理をステップＳ１００２で受信した圧縮映像ストリームに含まれるすべてのフレームについてフレーム単位で行う。

なお、上記図１０の説明において、映像ヘッダにａの値を含めることとしたのは、本実施形態では、様々な特性のネットワークカメラから映像が配信されることを前提としているためであり、ネットワークカメラの特性が既知の場合には、操作及び表示端末１０３において予め登録しておき、ステップＳ１００５では当該登録した値を読み出すよう構成してもよい。

＜映像記録装置における処理＞
映像記録装置１０４では、必要に応じてネットワークカメラ１０１からの圧縮通常映像ストリームと圧縮差分映像ストリームとをタイムスタンプ付きで記録する。受信した圧縮差分映像ストリームのパケットにおいて、映像フレーム種別＝２であった場合には（６０３の形式のパケットであった場合には）、圧縮差分映像ストリームなしとする。

ここで蓄積フォーマットは、図６から通信ヘッダを取り去ったものとする。つまり、後からタイムスタンプの時刻と、ネットワークカメラ１０１のＩＰアドレスとによって、圧縮通常映像ストリームと圧縮差分映像ストリームとが取り出せるように格納されているものとする。このように格納することで、映像記録装置１０４に蓄積された映像についても、操作及び表示用端末１０２、１０３からネットワークカメラ１０１の映像を見るのと同様の処理手続きを踏みさえすれば、ワイドダイナミックレンジ映像を見ることができる。

以上の説明から明らかなように、本実施形態によれば、ネットワークカメラと操作及び表示用端末とを備えるネットワークシステムにおいて、ワイドダイナミックレンジ処理を実現するにあたり、通常映像と高輝度映像との差分映像を生成する差分処理部を設け、圧縮通常映像ストリームと圧縮差分映像ストリームとを配信する構成とすることにより、ネットワーク上で送受信されるデータ量を大幅に削減させることが可能となる。

また、本実施形態にかかるネットワークカメラによれば、通常映像を要求する操作及び表示用端末に対しては圧縮通常映像ストリームのみを配信し、ワイドダイナミックレンジ処理を要求する操作及び表示用端末に対しては圧縮通常映像ストリームと圧縮差分映像ストリームの両方を配信することが可能な構成とすることにより、操作及び表示用端末では、通常映像とワイドダイナミックレンジ映像とを選択的に表示させることが可能となる。

また、本実施形態にかかるネットワークカメラによれば、動作中に所定の状態になった場合には、差分映像の生成を停止する構成とすることにより、フレーム間のずれにより表示されるワイドダイナミックレンジ映像が乱れることを防止できる。

さらに、本実施形態にかかるネットワークカメラによれば、圧縮通常映像ストリームと圧縮差分映像ストリームとを配信するにあたり、撮像部の出力特性の傾きをあわせて送信する構成とすることにより、操作及び表示用端末では、様々な出力特性を有するネットワークカメラに対応したワイドダイナミックレンジ映像を表示させることが可能となる。

［第２の実施形態］
本実施形態では、差分映像ストリームの各フレームを圧縮するに際して、ＪＰＥＧにおけるマクロブロックを考慮して、圧縮率を上げる方法について述べる。

ＪＰＥＧをはじめとするＤＣＴを用いた圧縮手法においては、一般的に強いエッジや孤立して目立つ点を含むマクロブロックでは圧縮率が上がりにくい。これを避けるため、本実施形態では、差分映像ストリームの各フレームにおけるマクロブロック内で、このような画素が少ない場合には、その画素の高輝度部は無いものとして無視して処理を行う。

図８の差分映像生成処理のフローチャートに従って詳細に説明する。同図に示すように、ステップＳ８０１においてフレーム内の最初のマクロブロックを設定すると、ステップＳ８０２では、当該マクロブロック内の全ての画素を読み込む。

ステップＳ８０３では、当該マクロブロック内に、Ｐｈ（ｘ，ｙ）＞Ｖ１となる画素がＮｒ画素以上あるかどうかを判断する。Ｎｒ画素以上あると判断した場合には、ステップＳ８０４に進み、上記第１の実施形態と同様に、Ｐｄ（ｘ，ｙ）＝Ｐｈ（ｘ，ｙ）−ａ×Ｐｎ（ｘ，ｙ）を算出する。一方、Ｎｒ画素以上ないと判断した場合には、ステップＳ８０９に進み、当該マクロブロック内においてＰｄ（ｘ，ｙ）＝０を設定する。

ステップＳ８０５では当該マクロブロック内の次の画素に進み、ステップＳ８０６において当該マクロブロック内のすべての画素についてステップＳ８０４またはＳ８０９のいずれかの処理を行ったか否かを判定し、当該マクロブロック内のすべての画素について処理が行われるまでステップＳ８０３〜ステップＳ８０５を繰り返す。

ステップＳ８０７では、フレーム内の次のマクロブロックに進み、ステップＳ８０８ではフレーム内の全てのマクロブロックについて処理を行ったか否かを判断する。すべてのマクロブロックについて処理を行っていないと判断した場合には、ステップＳ８０２に戻り同様の処理を行う。一方、すべてのマクロブロックについて処理を行ったと判断した場合には終了する。

このように、差分映像のフレームＰｄを計算するに際して、マクロブロック境界を考慮し、同一マクロブロック内において、ほとんど高輝度部がなく通常輝度部が支配的である場合には、そのマクロブロック内のデータはすべて０にする。

すなわち通常輝度部だけで済む画素がＮｒ画素以上あってこれが支配的な場合を、図８におけるＰｈ（ｘ，ｙ）＞Ｖ１となる画素がＮｒ画素以上あるかどうかで判断するようにしている（ここでＶ１とは図４の４０２、４０３におけるＶ１のことである）。

このようにして差分映像を生成することにより、差分映像ストリームのデータ圧縮率は向上し、ワイドダイナミックレンジ処理を実現するにあたり、ネットワーク上で送受信されるデータ量を更に削減させることが可能となる。

なお、高速化のために上記処理をＪＰＥＧ圧縮の過程において同時におこなってもかまわない。またＭＰＥＧ４等のマクロブロックを用いたコーデックであれば同様に適用可能である。

［第３の実施形態］
本実施形態では、ネットワークカメラ側でワイドダイナミックレンジ映像を生成し、通常映像ストリームと同じビット数に合成処理・階調圧縮した後、要求のあった操作及び表示用端末に対して、通常映像ストリームと同じように送信する。差分映像ストリームを送信しないため、操作及び表示用端末側での処理は不要である。そして、操作及び表示用端末からの要求に応じて、通常映像ストリームかワイドダイナミックレンジ映像ストリームのどちらかを圧縮して送信する。

なお上記第１の実施形態のように通常映像ストリームと差分映像ストリームの同期のために必要であったタイムスタンプは、操作及び表示用端末側での表示のためには不要であり、付加しても付加しなくてもどちらでもよいため、本実施形態では省いてある。

図９は本発明の第３の実施形態にかかるネットワークカメラの機能構成を示す図である。図３に示すネットワークカメラの機能構成と対比すると、振り分け処理部９０２までは同じであるが、通常映像と高輝度映像から差分映像を作るのではなく、ワイドダイナミックレンジ（ＷＤ）映像生成処理部９０３でワイドダイナミックレンジ映像の合成フレームを生成する点が異なっている（なお、ワイドダイナミックレンジ映像の合成フレームの生成については、上記第１の実施形態でも述べたが、公知の手法で行うものとする）。

また、ＷＤ映像生成処理部９０３において生成されたＷＤ映像は、階調圧縮部９０５で階調圧縮された後、ＷＤ映像圧縮処理部９０６にて圧縮される。なお、通信制御部９０７は、操作及び表示用端末からの要求に従って動作し、通常映像を要求された場合には、通常映像圧縮処理部９０４において圧縮された通常映像ストリームを、ワイドダイナミックレンジ映像を要求された場合には、ＷＤ映像圧縮処理部９０６において圧縮されたワイドダイナミックレンジ映像ストリームをそれぞれ配信する。

このように、本実施形態にかかるネットワークカメラでは、操作及び表示用端末からの要求に従って、圧縮通常映像ストリームか圧縮ワイドダイナミックレンジ映像ストリームのいずれかをネットワーク上に配信するため、ネットワーク上のデータ量を削減することが可能となる。

［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の第１の実施形態にかかるネットワークカメラを備えるネットワークシステムの構成図である。 本発明の第１の実施形態にかかるネットワークカメラのハードウェア構成を示す図である。 本発明の第１の実施形態にかかるネットワークカメラの機能構成を示す図である。 差分映像の原理を説明するための図である。 本発明の第１の実施形態にかかるネットワークカメラにおける映像フレーム配信までの処理の流れを示すフローチャートである。 ネットワークカメラより配信される映像データパケットの構成ならびに映像ヘッダの構成を示す図である。 ネットワークカメラにおける差分処理フラグＯＮ／ＯＦＦ処理の流れを示す図である。 本発明の第２の実施形態にかかるネットワークカメラにおける差分画像生成処理の流れを示す図である。 本発明の第３の実施形態にかかるネットワークカメラの機能構成を示す図である。 操作及び表示用端末における処理の流れを示す図である。

Claims (23)

1. ネットワークと通信可能に接続され、該ネットワークに映像を配信する映像配信装置であって、
   異なる２つの輝度特性を有する第１の映像ストリームと第２の映像ストリームとを取得する取得手段と、
   前記第１の映像ストリームと前記第２の映像ストリームの差分を算出することにより、第３の映像ストリームを生成する生成手段と、
   前記第１及び第３の映像ストリームを圧縮可能な圧縮手段と、
   前記圧縮手段により圧縮された第１及び第３の映像ストリームを前記ネットワークに送信可能な送信手段と
   を備えることを特徴とする映像配信装置。
2. 前記送信手段は、
   前記ネットワークを介して受信した指示に基づいて、前記圧縮された第１の映像ストリームのみを前記ネットワークに送信するか、前記圧縮された第１及び第３の映像ストリームを前記ネットワークに送信するかを切り替えることを特徴とする請求項１に記載の映像配信装置。
3. 前記生成手段は、前記第１の映像ストリームに所定の係数を乗じて、前記第２の映像ストリームから減算することにより、前記第３の映像ストリームを生成することを特徴とする請求項１に記載の映像配信装置。
4. 前記送信手段は、前記係数をあわせて送信することを特徴とする請求項３に記載の映像配信装置。
5. 前記送信手段は、前記第１の映像ストリームと前記第３の映像ストリームとの同期をとるための情報をあわせて送信することを特徴とする請求項１に記載の映像配信装置。
6. 前記第１の映像ストリームと前記第２の映像ストリームを生成する撮像手段と、
   前記撮像手段により撮像される映像の画角を変更する変更手段と、
   前記変更手段による前記画角の変更速度が所定の速度を超えているか否かを判定する第１の判定手段と、を更に備え、
   前記第１の判定手段において前記所定の速度を越えていると判定された場合には、前記送信手段は、前記圧縮された第３の映像ストリームに代えて、無効であることを示すデータを送信することを特徴とする請求項１に記載の映像配信装置。
7. 前記撮像手段が所定の画角を撮像しているか否かを判定する第２の判定手段を更に備え、
   前記第２に判定手段において前記撮像手段が前記所定の画角を撮像していると判定された場合には、前記送信手段は、前記圧縮された第３の映像ストリームに代えて、無効であることを示すデータを送信することを特徴とする請求項６に記載の映像配信装置。
8. 前記生成手段は、マクロブロック単位で前記第３の映像ストリームを生成することを特徴とする請求項１に記載の映像配信装置。
9. 前記生成手段は、
   前記第２の映像ストリームを構成するマクロブロックにおいて、所定値以上の輝度を有する画素の数が所定数以上ある場合には、前記第１の映像ストリームと前記第２の映像ストリームの差分を算出することにより、前記第３の映像ストリームの対応するマクロブロックを生成し、所定値以上の輝度を有する画素の数が所定数より少ない場合には、前記第１の映像ストリームと前記第２の映像ストリームの差分が０であるとして、前記第３の映像ストリームの対応するマクロブロックを生成することを特徴とする請求項８に記載の映像配信装置。
10. ネットワークと通信可能に接続され、該ネットワークより受信する映像を表示可能な表示装置であって、
    異なる２つの輝度特性を有する第１の映像ストリームと第３の映像ストリームとを受信する受信手段と、
    前記受信手段により受信された第１の映像ストリームと前記第３の映像ストリームとを同期させながら和算することにより、第２の映像ストリームを生成する生成手段と、
    前記第１の映像ストリームと前記第２の映像ストリームとを合成し表示する表示手段と
    を備えることを特徴とする表示装置。
11. 請求項１乃至９に記載の映像配信装置の送信手段により送信された前記圧縮された第１及び第３の映像ストリームを前記ネットワークを介して受信し、記録することを特徴とする映像記録装置。
12. ネットワークと通信可能に接続され、該ネットワークに映像を配信する映像配信装置と、該ネットワークを介して該映像配信装置より受信した映像を表示可能な表示装置と、を備えるネットワークシステムであって、
    前記映像配信装置は、
    異なる２つの輝度特性を有する第１の映像ストリームと第２の映像ストリームとを取得する取得手段と、
    前記第１の映像ストリームと前記第２の映像ストリームの差分を算出することにより、第３の映像ストリームを生成する第１の生成手段と、
    前記第１及び第３の映像ストリームを圧縮可能な圧縮手段と、
    前記圧縮手段により圧縮された第１及び第３の映像ストリームを前記ネットワークに送信可能な送信手段と、を備え、
    前記表示装置は、
    前記送信手段により送信された前記圧縮された第１の映像ストリームと第３の映像ストリームとを受信可能な受信手段と、
    前記受信手段により受信された前記圧縮された第１の映像ストリームと前記第３の映像ストリームとを伸長した後、同期させながら和算することにより、前記第２の映像ストリームを生成する第２の生成手段と、
    前記第１の映像ストリームと前記第２の映像ストリームとを合成し表示する表示手段と
    を備えることを特徴とするネットワークシステム。
13. ネットワークと通信可能に接続され、該ネットワークに映像を配信する映像配信装置における情報処理方法であって、
    異なる２つの輝度特性を有する第１の映像ストリームと第２の映像ストリームとを取得する取得工程と、
    前記第１の映像ストリームと前記第２の映像ストリームの差分を算出することにより、第３の映像ストリームを生成する生成工程と、
    前記第１及び第３の映像ストリームを圧縮可能な圧縮工程と、
    前記圧縮工程により圧縮された第１及び第３の映像ストリームを前記ネットワークに送信可能な送信工程と
    を備えることを特徴とする情報処理方法。
14. 前記送信工程は、
    前記ネットワークを介して受信した指示に基づいて、前記圧縮された第１の映像ストリームのみを前記ネットワークに送信するか、前記圧縮された第１及び第３の映像ストリームを前記ネットワークに送信するかを切り替えることを特徴とする請求項１３に記載の情報処理方法。
15. 前記生成工程は、前記第１の映像ストリームに所定の係数を乗じて、前記第２の映像ストリームから減算することにより、前記第３の映像ストリームを生成することを特徴とする請求項１３に記載の情報処理方法。
16. 前記送信工程は、前記係数をあわせて送信することを特徴とする請求項１５に記載の情報処理方法。
17. 前記送信工程は、前記第１の映像ストリームと前記第３の映像ストリームとの同期をとるための情報をあわせて送信することを特徴とする請求項１３に記載の情報処理方法。
18. 前記第１の映像ストリームと前記第２の映像ストリームを生成する撮像工程と、
    前記撮像工程により撮像される映像の画角を変更する変更工程と、
    前記変更工程による前記画角の変更速度が所定の速度を超えているか否かを判定する第１の判定工程と、を更に備え、
    前記第１の判定工程において前記所定の速度を越えていると判定された場合には、前記送信工程は、前記圧縮された第３の映像ストリームに代えて、無効であることを示すデータを送信することを特徴とする請求項１３に記載の情報処理方法。
19. 前記撮像工程が所定の画角を撮像しているか否かを判定する第２の判定工程を更に備え、
    前記第２に判定工程において前記撮像工程が前記所定の画角を撮像していると判定された場合には、前記送信工程は、前記圧縮された第３の映像ストリームに代えて、無効であることを示すデータを送信することを特徴とする請求項１８に記載の情報処理方法。
20. 前記生成工程は、マクロブロック単位で前記第３の映像ストリームを生成することを特徴とする請求項１３に記載の情報処理方法。
21. 前記生成工程は、
    前記第２の映像ストリームを構成するマクロブロックにおいて、所定値以上の輝度を有する画素の数が所定数以上ある場合には、前記第１の映像ストリームと前記第２の映像ストリームの差分を算出することにより、前記第３の映像ストリームの対応するマクロブロックを生成し、所定値以上の輝度を有する画素の数が所定数より少ない場合には、前記第１の映像ストリームと前記第２の映像ストリームの差分が０であるとして、前記第３の映像ストリームの対応するマクロブロックを生成することを特徴とする請求項２０に記載の情報処理方法。
22. ネットワークと通信可能に接続され、該ネットワークより受信する映像を表示可能な表示装置における情報処理方法であって、
    異なる２つの輝度特性を有する第１の映像ストリームと第３の映像ストリームとを受信する受信工程と、
    前記受信工程により受信された第１の映像ストリームと前記第３の映像ストリームとを同期させながら和算することにより、第２の映像ストリームを生成する生成工程と、
    前記第１の映像ストリームと前記第２の映像ストリームとを合成し表示する表示工程と
    を備えることを特徴とする情報処理方法。
23. 請求項１３乃至２２のいずれかに記載の情報処理方法をコンピュータによって実現させるための制御プログラムを格納した記憶媒体。

Images