JP2012095052A

JP2012095052A - 映像伝送システムとその送信処理装置、受信処理装置及び映像伝送方法

Info

Publication number: JP2012095052A
Application number: JP2010240010A
Authority: JP
Inventors: Sunao Wada; 素直和田; Yasuo Oya; 靖男大屋; Shunichi Gondo; 俊一権藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-10-26
Filing date: 2010-10-26
Publication date: 2012-05-17
Anticipated expiration: 2030-10-26
Also published as: US9357157B2; US20120099831A1; JP5586420B2

Abstract

【課題】伝送帯域の制限により、低品質の映像配信を継続しつつ高品質の映像配信を同時に行えるようにする。
【解決手段】送信側は、階層調整部１３１において、階層符号化された映像データを記憶部１３２に格納しておき、リアルタイム映像として基本品質の階層データを選択出力し、送信期間及び拡張品質の指定に基づいて、記憶部１３２から指示期間の拡張品質の階層データを読み出し、リアルタイム階層データと共に出力するように調整する。このとき、リアルタイム映像を低品質の基本階層のみに限定する。受信側は、階層合成部１５２において、伝送データを階層別に区別して記憶部１５３に格納しておき、通常はリアルタイム映像の合成出力し、指定期間の拡張品質映像があるときは、リアルタイム映像を基本階層の品質に落とし、指定映像の基本品質階層データを記憶部１５３から読み出して拡張品質映像と合成して出力する。
【選択図】図１

Description

本発明の実施形態は、例えば監視カメラの映像ストリームを伝送する映像伝送システムとその送信処理装置、受信処理装置及び映像伝送方法に関する。

従来の映像伝送システムとして、例えば監視システムでは、監視カメラで撮影した映像ストリームを送信装置側で一定期間記録しつつネットワークを通じて受信装置に配信し、受信装置側でリアルタイムにモニタ表示している。このリアルタイムのモニタ表示において、何か気になる場面があったとき、監視者による巻き戻し再生が行われる。

ところで、監視カメラの性能が向上し、高品質（特に解像度）の映像が得られるようになってきた。この高品質の映像はそのデータ量が膨大となるため、通常は品質を下げて配信し、巻き戻し再生要求に応じて高品質の映像を読み出し提供することが提案されている。

しかしながら、高品質の映像を提供している期間は伝送帯域を占有するため、リアルタイム表示する低品質の映像配信が極めて困難になる。

一方、映像ストリームを階層符号化されたデータとして伝送することが知られている。

特開２００８−１９９６７７号公報特開２００６−０３３５０７号公報

上述の如く、従来の映像伝送システムでは、伝送帯域の制限により、低品質の映像配信を継続しつつ高品質の映像配信を同時に行うことが極めて困難な状況にあった。

実施形態によれば、映像ストリームを品質の異なる複数の階層に分割してそれぞれの差分映像を符号化し、通常は低階層映像データ及び中階層差分映像データをリアルタイム配信して両者を合成表示すると共に蓄積しておき、要求に応じてリアルタイム配信される中階層差分映像データに代わって指定期間の高階層差分映像データを配信し、蓄積されている対応期間の低階層映像データ及び中階層差分映像データと共に合成表示する。

実施形態の映像伝送システムの構成を示すブロック図である。上記実施形態において、配信映像データの階層構成を示す概念図である。上記実施形態において、階層伝送の帯域配分と再生の様子を示す概念図である。上記実施形態において、複数の映像ストリームを配信する場合の階層構成と伝送帯域配分の様子を示す概念図である。

以下、実施の形態について、図面を参照して説明する。

図１は実施形態の映像伝送システムの構成を示すブロック図である。ここでは、リアルタイム表示が要求される監視システムを想定する。

図１において、１１は監視カメラを収容する撮影装置１１であり、この撮影装置１１で得られた映像ストリームは符号化変換装置１２によって階層符号化されて送信装置１３に送られる。

上記符号化変換装置１２の階層符号化処理は、例えばＨ．２６４／ＳＶＣ形式により映像データを符号化するもので、図２に示すように、配信映像の品質を最低品質、基本品質、拡張品質の３段階に分け、基本階層Ａで最低品質の映像の符号化データを提供し、拡張階層（α）Ｂで基本品質の映像と最低品質の映像との差分映像の符号化データを提供し、拡張階層（β）Ｃで拡張品質の映像と基本品質の映像との差分映像の符号化データを提供する。

上記送信装置１３において、符号化変換装置１２で階層符号化された映像データは階層調整部１３１に入力される。この階層調整部１３１は、入力映像データを記憶部１３２に格納すると共に、リアルタイムに基本品質の映像符号化データ、すなわち基本階層Ａ及び拡張階層（α）Ｂの映像符号化データを選択出力する。また、期間・品質制御部１３３からの指示期間及び拡張品質指定に基づいて、記憶部１３２から指示期間の拡張品質に対応する拡張階層（β）Ｃの映像符号化データを読み出し、リアルタイム映像符号化データと共に出力する。このとき、全体の伝送帯域が許容範囲に収まるように、リアルタイム映像符号化データを基本階層Ａのみに限定して伝送する。

上記階層調整部１３１から出力される映像符号化データは送信処理部１３４に送られ、所定の伝送フォーマットで階層多重されて送信装置１３から送出され、ネットワーク１４を介して受信装置１５に送られる。

受信装置１５において、ネットワーク１４から伝送される映像符号化データは受信処理部１１にて受信され、階層別に分割されて階層合成部１５２に送られる。この階層合成部１５２は、伝送データを階層別に区別して記憶部１５３に格納すると共に、映像毎に階層合成を行って表示装置１６に送る。表示装置１６は入力映像符号化データを復号し再生出力するもので、リアルタイム表示映像と共に指定期間の映像符号化データがある場合には、その画像を復号再生し、リアルタイム映像と共に分割表示する（別画面で表示するようにしてもよい）。

ここで、受信装置１５は期間・品質選択部１５４を備え、操作者が表示映像を監視して、巻き戻し再生と共に、拡張品質映像の要求があった場合、期間・品質選択部１５４からネットワーク１４を介して送信装置１３の期間・品質制御部１３３に通知される。

尚、上記実施形態では、操作者が巻き戻し再生及び拡張品質映像の要求を入力した場合について説明したが、動き検出、音声検出、顔認識等の処理によって何らかの異常検出が得られた場合に、それをトリガとして該当部分の拡張品質映像を自動的に要求するようにしてもよい。

図３は、上記実施形態の送信装置１３、受信装置１５において、伝送帯域内でリアルタイム映像と共に巻き戻し再生映像を伝送する様子（ａ）とその再生表示の様子（ｂ）を示す概念図である。まず、送信装置１３では、図３（ａ）に示すように、通常は基本階層Ａと拡張階層（α）Ｂによる基本品質の映像符号化データ（基本階層Ａの映像符号化データ及び拡張階層（α）Ｂの差分映像符号化データ）＃１，＃２，…を伝送帯域内でリアルタイム伝送する。これらのデータは一定期間、記憶部１５３に格納される。

ここで、時刻ｔに拡張品質の映像符号化データ＃２の巻き戻し再生が要求されたとする。送信装置１３では、受信装置１５からその＃２巻き戻し再生の指示を受けると、記憶部１３２から拡張品質の差分画像符号化データ＃２を読み出す。そのとき、階層調整部１３１では、リアルタイム伝送の映像符号化データ＃５の拡張階層（α）を取りやめて最低品質の基本階層のみに削減し、その伝送帯域で記憶部１３２から読み出された拡張品質の差分画像符号化データ＃２を送出する。

受信装置１５の階層合成部１５２では、リアルタイム伝送の映像データ＃５を最低品質で表示装置１６に出力し、その期間に伝送される拡張階層（β）の差分映像符号化データを記憶部１５３から読み出される過去の映像符号化データ（基本階層Ａの映像符号化データ及び拡張階層（α）Ｂの差分映像符号化データ）に合成することで、拡張品質の映像符号化データ＃２を生成し、表示装置１６に出力する。これにより、リアルタイム映像は最低品質ではあるが途切れることなく表示され、巻き戻し再生は拡張品質で表示されるようなる。

ところで、上記実施形態では映像ストリームが１チャンネルの場合について説明したが、監視カメラのようなシステムでは、複数台の監視カメラの撮影映像をまとめ、複数チャンネルの映像ストリームを符号化伝送されている。

図４は複数の映像ストリームを限られた伝送帯域（４階層分）内で伝送する場合を概念的に示す図である。

図４（ａ）は、第１映像ストリームａ、第２映像ストリームｂそれぞれの階層符号化構成を示すもので、それぞれ図２に示した階層構造と同様に、基本階層Ａ、拡張階層（α）Ｂ、拡張階層（β）Ｃの３階層で構成される。

図４（ｂ）は、上記階層符号化された第１及び第２映像ストリームａ，ｂの階層伝送の様子を示す概念図である。通常は各映像ストリームａ，ｂを共に基本品質、すなわち基本階層Ａ及び拡張階層（α）Ｂを伝送することとし、少なくとも基本階層データａ１，ａ２，ａ３，…、ｂ１，ｂ２，ｂ３，…をリアルタイムに伝送する。

時刻ｔ１において、第２映像ストリームｂ１について拡張品質の伝送要求があった場合には、第１映像ストリームａ２を基本階層Ａ（最低品質）に制限し、代わって第２映像ストリームｂ１の拡張階層（β）Ｃを伝送する。これにより、第１映像ストリームａ２は最低品質の映像になるが、第２映像ストリームｂ１を拡張品質の映像で表示することができる。

時刻ｔ２において、第２映像ストリームｂ１の拡張品質の伝送が終了した場合には、第１映像ストリームａ３の基本階層Ａ及び拡張階層（α）Ｂを伝送し、第２映像ストリームｂ３を基本階層Ａ（最低品質）に制限し、代わって第１映像ストリームａ２の拡張階層（α）Ｂを伝送する。これにより、第２映像ストリームｂ３は最低品質の映像になるが、時刻ｔ１で制限された第１映像ストリームａ２の拡張階層（α）を補間することができ、少なくとも受信装置側で第１映像ストリームａ２を基本品質の映像で巻き戻し再生することができる。

尚、詳細は図示しないが、上記第１、第２映像ストリームａ，ｂをそれぞれリアルタイム伝送しているとき、一方のストリームを最低品質の映像に制限し、他方のストリームを拡張品質の映像に高めることも可能である。

以上のように、複数の映像ストリームを同時に伝送する場合、それぞれを階層符号化しておき、拡張品質の要求に応じて一方の映像ストリームの品質を落とすことで、他方の映像ストリームの指定期間の拡張品質のデータを伝送することができる。すなわち、例えば、複数の映像を監視中に気になる場面があった際に、その場面を巻き戻して高品質の映像を確認するが、このとき巻き戻し中の映像は、リアルタイム映像にも注視することが求められることから、巻き戻し中でない映像ストリームを最低品質にすることで、巻き戻し中の映像ストリームのリアルタイム映像の品質を維持したまま、巻き戻し中の映像ストリームを高品質で確認することができる。

尚、上記実施形態では、一方の映像の品質を落として他方の映像の品質を向上させる差分映像を提供するようにしたが、その期間、品質を落とした映像の基本品質映像が得られなくなる。そこで、伝送帯域に多少の余裕がある場合には、時間をかけて拡張品質（α）の差分映像符号化データを伝送するようにし、受信側の記憶部１５３に蓄積しておく。これにより、受信装置１５では、少なくとも基本品質の映像をモニタ表示することが可能となる。

尚、上記実施形態はそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせでもよい。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１１…撮影装置、１２…符号化装置、１３…送信装置、１３１…階層調整部、１３２…記憶部、１３３…期間・品質制御部、１３４…送信処理部、１４…ネットワーク、１５…受信装置、１５１…受信処理部、１５２…階層合成部、１５３…記憶部、１５４…期間・品質選択部、１６…表示装置。

Claims

映像ストリームを送信する送信処理装置と、前記送信処理装置から送信される映像ストリームを受信表示する受信処理装置とを具備し、
前記送信処理装置は、
前記映像ストリームを最低品質の映像を基準とする基本階層データと品質の異なる複数の差分映像の拡張階層データに分割してそれぞれ符号化する階層符号化手段と、
前記複数の階層データを蓄積する送信側蓄積手段と、
前記階層符号化手段で生成される基本階層データをリアルタイムに出力し、通常は前記リアルタイム出力データに合わせて対応する低品質の拡張階層データを出力し、指示に応じて前記リアルタイム出力の拡張階層データに代わって前記送信側蓄積手段から指定期間の高品質の拡張階層データを読み出し出力するように調整する階層調整手段と、
前記階層調整手段で調整された複数の階層データを多重して送信する送信処理手段と、
前記階層調整手段に前記送信側蓄積手段から指定期間の高品質の拡張階層データを読み出させ送信させる指示を出す制御手段と
を備え、
前記受信処理装置は、
前記送信側装置から伝送される複数の階層データを受信し分離する受信処理手段と、
前記受信復調される複数の階層データを蓄積する受信側蓄積手段と、
前記受信処理手段で前記リアルタイム出力の基本階層データ及び低品質の拡張階層データが得られるときは両者の階層データを合成出力し、前記指定期間の高品質の拡張階層データが得られるときは、当該指定期間の基本階層データを前記受信側蓄積手段から読み出して両者の階層データを合成出力する階層合成手段と、
前記送信処理装置の制御手段に前記指定期間の拡張階層データを伝送するように指示を送る指示手段と
を備えることを特徴とする映像伝送システム。
前記映像ストリームが複数であるとき、
前記階層符号化手段は、前記複数の映像ストリームをそれぞれ階層符号化して前記基本階層データ及び複数の拡張階層データを生成し、
前記送信側蓄積手段は、前記映像ストリーム毎に得られた複数の階層データを蓄積し、
前記階層調整手段は、少なくとも前記複数の映像ストリームの基本階層データをリアルタイム出力し、通常は複数の映像ストリームそれぞれの低品質の拡張階層データをリアルタイム出力し、指示に応じて指定映像ストリーム以外の映像ストリームの低品質の拡張階層データに代わって前記送信側蓄積手段から前記指定映像ストリームの指定期間の高品質の拡張階層データを読み出し出力するように調整し、
前記階層合成手段は、前記受信処理手段で前記複数の映像ストリームについて前記リアルタイム出力の基本階層データ及び低品質の拡張階層データが得られるときは両者の階層データを合成出力し、前記指定映像ストリームの指定期間の高品質の拡張階層データが得られるときは、当該指定映像ストリームの指定期間の基本階層データを前記受信側蓄積手段から読み出して両者の階層データを合成出力し、
前記送信処理装置の制御手段に前記指定映像ストリームの指定期間の拡張階層データを伝送するように指示を送ることを特徴とする請求項１記載の映像伝送システム。
前記映像ストリームを最低品質の映像を基準とする基本階層データと品質の異なる複数の差分映像の拡張階層データに分割してそれぞれ符号化する階層符号化手段と、
前記複数の階層データを蓄積する送信側蓄積手段と、
前記階層符号化手段で生成される基本階層データをリアルタイムに出力し、通常は前記リアルタイム出力データに合わせて対応する低品質の拡張階層データを出力し、指示に応じて前記リアルタイム出力の拡張階層データに代わって前記送信側蓄積手段から指定期間の高品質の拡張階層データを読み出し出力するように調整する階層調整手段と、
前記階層調整手段で調整された複数の階層データを多重して送信する送信処理手段と、
前記階層調整手段に前記送信側蓄積手段から指定期間の高品質の拡張階層データを読み出させ送信させる指示を出す制御手段と
を具備することを特徴とする送信処理装置。
前記映像ストリームが複数であるとき、
前記階層符号化手段は、前記複数の映像ストリームをそれぞれ階層符号化して前記基本階層データ及び複数の拡張階層データを生成し、
前記蓄積手段は、前記映像ストリーム毎に得られた複数の階層データを蓄積し、
前記階層調整手段は、少なくとも前記複数の映像ストリームの基本階層データをリアルタイム出力し、通常は複数の映像ストリームそれぞれの低品質の拡張階層データをリアルタイム出力し、指示に応じて指定映像ストリーム以外の映像ストリームの低品質の拡張階層データに代わって前記送信側蓄積手段から前記指定映像ストリームの指定期間の高品質の拡張階層データを読み出し出力するように調整することを特徴とする請求項３記載の送信処理装置。
請求項３記載の送信側処理置から伝送される複数の階層データを受信し分離する受信処理手段と、
前記受信復調される複数の階層データを蓄積する受信側蓄積手段と、
前記受信処理手段で前記リアルタイム出力の基本階層データ及び低品質の拡張階層データが得られるときは両者の階層データを合成出力し、前記指定期間の高品質の拡張階層データが得られるときは、当該指定期間の基本階層データを前記受信側蓄積手段から読み出して両者の階層データを合成出力する階層合成手段と、
前記送信処理装置の制御手段に前記指定期間の拡張階層データを伝送するように指示を送る指示手段と
を備えることを特徴とする受信処理装置。
前記映像ストリームが複数であり、前記請求項３記載の送信処理装置が
前記階層符号化手段は、前記複数の映像ストリームをそれぞれ階層符号化して前記基本階層データ及び複数の拡張階層データを生成し、
前記送信側蓄積手段は、前記映像ストリーム毎に得られた複数の階層データを蓄積し、
前記階層調整手段は、少なくとも前記複数の映像ストリームの基本階層データをリアルタイム出力し、通常は複数の映像ストリームそれぞれの低品質の拡張階層データをリアルタイム出力し、指示に応じて指定映像ストリーム以外の映像ストリームの低品質の拡張階層データに代わって前記送信側蓄積手段から前記指定映像ストリームの指定期間の高品質の拡張階層データを読み出し出力するように調整するとき、
前記階層合成手段は、前記受信処理手段で前記複数の映像ストリームについて前記リアルタイム出力の基本階層データ及び低品質の拡張階層データが得られるときは両者の階層データを合成出力し、前記指定映像ストリームの指定期間の高品質の拡張階層データが得られるときは、当該指定映像ストリームの指定期間の基本階層データを前記受信側蓄積手段から読み出して両者の階層データを合成出力し、
前記指示手段は、前記送信処理装置の制御手段に前記指定映像ストリームの指定期間の拡張階層データを伝送するように指示を送ることを特徴とする請求項５記載の受信処理装置。
送信処理装置から送信される映像ストリームを受信処理装置で受信表示する際の映像伝送方法において、
前記送信側は、
前記映像ストリームを最低品質の映像を基準とする基本階層データと品質の異なる複数の差分映像の拡張階層データに分割してそれぞれ符号化し、
前記複数の階層データを送信側で蓄積し、
前記階層符号化される基本階層データをリアルタイムに出力し、通常は前記リアルタイム出力データに合わせて対応する低品質の拡張階層データを出力し、指示に応じて前記リアルタイム出力の拡張階層データに代わって前記蓄積データから指定期間の高品質の拡張階層データを読み出し出力するように調整し、
前記階層調整された複数の階層データを多重して送信し、
前記階層調整に前記蓄積データから指定期間の高品質の拡張階層データを読み出させる指示を出し、
前記受信側は、
前記送信側装置から伝送される複数の階層データを受信して分離し、
前記受信復調される複数の階層データを蓄積し、
前記受信処理で前記リアルタイム出力の基本階層データ及び低品質の拡張階層データが得られるときは両者の階層データを合成出力し、前記指定期間の高品質の拡張階層データが得られるときは、当該指定期間の基本階層データを前記受信側蓄積手段から読み出して両者の階層データを合成出力し、
前記送信処理の制御に対して前記指定期間の拡張階層データを伝送するように指示を送ることを特徴とする映像伝送方法。