JP2012089989A - 映像監視システム - Google Patents
映像監視システム Download PDFInfo
- Publication number
- JP2012089989A JP2012089989A JP2010233535A JP2010233535A JP2012089989A JP 2012089989 A JP2012089989 A JP 2012089989A JP 2010233535 A JP2010233535 A JP 2010233535A JP 2010233535 A JP2010233535 A JP 2010233535A JP 2012089989 A JP2012089989 A JP 2012089989A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- transmission
- priority
- coding rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】重要度の高い画像データの伝送遅延が大きくなった場合、画像の符号化レートを変更して低符号化レートで伝送し、表示側においては画質改善処理を施すことで、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供すること。
【解決手段】画像送信装置(1)において、センサからの出力情報に基づいて画像データに優先度を付与し自装置内部の送信画像メモリ(103)に格納する。また、画像送信装置(1)は画像データを格納する送信画像記憶手段を有し、この記憶容量に基づいて画像データの符号化レートを変更するか否かを判断する。画像データの符号化レートを変更すると判断した場合には、画像データの符号化レートを変更して画像受信装置(2)に送信する。画像受信装置(2)においては、受信した画像データを復号し、画像データの画質を改善する処理を実行する。
【選択図】図1
【解決手段】画像送信装置(1)において、センサからの出力情報に基づいて画像データに優先度を付与し自装置内部の送信画像メモリ(103)に格納する。また、画像送信装置(1)は画像データを格納する送信画像記憶手段を有し、この記憶容量に基づいて画像データの符号化レートを変更するか否かを判断する。画像データの符号化レートを変更すると判断した場合には、画像データの符号化レートを変更して画像受信装置(2)に送信する。画像受信装置(2)においては、受信した画像データを復号し、画像データの画質を改善する処理を実行する。
【選択図】図1
Description
本発明は、監視カメラ等の撮像装置で撮影した画像をネットワーク経由で伝送して表示する映像監視システムに関する。
昨今、映像監視システムが大規模化、広域化するとともに、監視カメラ数は増大し、映像を目視でチェックするシステムでは、監視担当者への負荷が増大している。このため、センサーアラーム等の事象が発生した部分の画像や、動きのあった画像を監視者の注意を引く表示を行うことで、監視者が見たいものを効率よく見ることができる映像監視システムが望まれている。
一方、大規模化、広域化した映像監視システムでは、監視カメラの映像を全て伝送すると監視センタのネットワーク負荷が増大するとともに回線コスト負担も大きくなってしまうという問題がある。
このような問題に鑑み、監視カメラ側で重要度の高い映像を優先的に伝送し、映像の表示側では重要度に応じて強調表示するようなシステムが考案されている(例えば、特許文献1〜6)。
しかしながら、上記のような従来のシステムでは、センサーアラームが多発した場合や、動きのある画像が多いことで動体検知が頻繁に行われた場合、伝送する画像データ量が回線容量を超えてしまうと重要な画像の伝送や表示が遅れてしまうという課題がある。
そこで、本発明は上記課題を解決し、重要度の高い画像データの伝送遅延が大きくなった場合、画像の符号化レートを変更して低符号化レートで伝送し、表示側においては超解像技術等の画質改善処理を施すことで、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能な映像監視システムを提供することを目的とする。
上記課題を解決するために、本発明は、撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、を有する映像監視システムであって、前記画像送信装置は、自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与手段と、前記優先度が付与された前記画像データを格納する送信画像記憶手段と、前記画像データの符号化レートを変更する符号化レート変更手段と、前記送信画像記憶手段における記憶容量に基づいて、前記符号化レート変更手段における符号化レートを制御する伝送制御手段と、前記画像データを送信する送信手段と、を有し、前記画像受信装置は、前記画像送信装置から送信される前記画像データを受信する受信手段と、前記画像データを復号する画像復号手段と、前記画像復号手段において復号された前記画像データの画質を改善する画質改善手段と、を有することを特徴とする映像監視システムを提案する。
この構成によれば、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
また、前記伝送制御手段は、前記送信画像記憶手段における使用容量に基づいて前記符号化レート変更手段において前記画像データの符号化レートの変更を行うか否かを判断し、前記符号化レート変更手段は、前記伝送制御手段において、前記画像データの符号化レートの変更を行うと判断された場合に前記画像データの符号化レートを変更するようになっていてもよい。
この構成によれば、送信画像記憶手段における使用容量に応じて、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
以上のように、本発明によれば、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。
[映像監視システムの構成]
図1は、本実施形態に係る映像監視システムの構成例を示す図である。本実施形態に係る画像監視システムは、監視カメラ等の撮像装置3−1〜3−n(nは正の整数)で撮影された画像をネットワーク10へ送信する画像送信装置1と、ネットワーク10を介して画像データを受信して、表示部6に画像の表示を行う画像受信装置2とを含んで構成される。
図1は、本実施形態に係る映像監視システムの構成例を示す図である。本実施形態に係る画像監視システムは、監視カメラ等の撮像装置3−1〜3−n(nは正の整数)で撮影された画像をネットワーク10へ送信する画像送信装置1と、ネットワーク10を介して画像データを受信して、表示部6に画像の表示を行う画像受信装置2とを含んで構成される。
画像送信装置1と画像受信装置2との間のネットワーク10は、LAN(Local Area Network)やWAN(Wide Area Network)等のネットワークから構成される。また、専用網やベストエフォート型の公衆網等のネットワークであってもよいし、有線網や無線網などのネットワークであってもよい。
また、撮像装置3−1〜3−nで撮像された画像の画像データは、必要に応じて、画像処理装置5においてアナログ画像データからデジタル画像データへの変換が行われたり、画像圧縮等の処理が行われる。なお、本実施形態においては、撮像装置3−1〜3−nと画像処理装置5は別々の装置となっているが、これらは一つの装置となっていてもよい。すなわち、撮像装置3−1〜3−nで撮像される画像はアナログ画像であって、撮像装置3−1〜3−nに内蔵される画像処理装置5でエンコーダや画像圧縮等の処理が実行され、デジタル化された画像データが画像送信装置1に送信されるようになっていてもよい。
また、本実施形態においては、撮像装置3−1〜3−nと画像送信装置1は別々の装置となっているが、これらは一つの装置として構成されていてもよい。
なお、以下に説明する画像送信装置1および画像受信装置2は、図示しないCPU(Central Processing Unit)、RAM(Random Access Memory)等のメモリ、ハードディスク等の記憶装置、ネットワークインターフェイス等の一般的なコンピュータの構成と同様の構成により実現される。また、画像送信装置1および画像受信装置2の各構成の機能は、例えば、各装置のCPUがメモリ等の記録媒体に記憶されているプログラムを読み出して実行することにより、もしくは、例えば、FPGA(Field Programmable Gate Array)においてシーケンサロジックをカスタム設計することに実現される機能である。後述する画像データ、出力情報等の各データは、画像送信装置1のハードディスクやRAM等の記録媒体に記憶されるデータである。また、後述する優先度テーブルは、画像送信装置1内部の記録媒体に設けられたデータベースまたはデータ記憶領域である。
(画像送信装置1の構成)
画像送信装置1は、受信部101と、優先度付与部102と、送信画像メモリ103と、伝送制御部104と、符号化レート変更部105と、送信部106とを含んで構成される。
画像送信装置1は、受信部101と、優先度付与部102と、送信画像メモリ103と、伝送制御部104と、符号化レート変更部105と、送信部106とを含んで構成される。
(受信部101)
受信部101は、監視カメラ等の撮像装置3−1〜3−nからの画像データを受信する。
受信部101は、監視カメラ等の撮像装置3−1〜3−nからの画像データを受信する。
図2(1)は、受信部101で受信される画像データの一例を示す図である。IP(Internet Protocol)カメラのような撮像装置では、一般的に、JPEG(Joint Photographic Experts Group)、MPEG(Moving Picture Experts Group)−4、H.264等で符号化される。そして、図2(1)に示されるように、符号化された画像本体のデータ(以下、「画像構成データ」と称する)に、撮像装置3−1〜3−nを識別するカメラIDや時刻情報などのメタデータが付加される。画像構成データは、一つの画像フレームから構成されてもよいし、複数の画像フレームをまとめたものから構成されてもよい。また、メタデータは、各画像フレーム毎に付加されてもよいし、複数の画像フレームをまとめたものに付加されてもよい。
(優先度付与部102)
優先度付与部102は、画像送信装置1に接続されているセンサからの出力情報を受け付け、この出力情報に基づいて、画像データに優先度を付与する。なお、本実施形態においては、センサ4は、画像送信装置1と別々の装置となっているが、これらは一つの装置として構成されてもよい。すなわち、優先度付与部102は、画像送信装置1に備えられているセンサから出力情報を受け付けるようになっていてもよい。
優先度付与部102は、画像送信装置1に接続されているセンサからの出力情報を受け付け、この出力情報に基づいて、画像データに優先度を付与する。なお、本実施形態においては、センサ4は、画像送信装置1と別々の装置となっているが、これらは一つの装置として構成されてもよい。すなわち、優先度付与部102は、画像送信装置1に備えられているセンサから出力情報を受け付けるようになっていてもよい。
図2(2)は、優先度が付与された画像データの一例を示す図である。メタデータとして、撮像装置3−1〜3−nで付加された情報に加えて、優先度情報が付加されている。
センサ4としては、例えば、赤外線センサ、人感センサ、音響センサ、温度センサなどの各種センサが挙げられる。また、「センサからの出力情報」とは、これらのセンサで検知されたセンサ信号の他、撮像装置3−1〜3−nや画像処理装置5で映像を画像処理して得られる侵入者検知(動体検知)、不審物検出結果等であってもよい。
また、「出力情報に基づいて画像データに優先度を付与する」とは、例えば、出力情報を出力したセンサの識別情報を用いて画像データに優先度を付与することや、出力情報の内容に応じて画像データに優先度を付与すること等を意味する。なお、本実施形態においては、前者を採用している。
優先度付与動作について、図3を用いて説明する。図3は、優先度付与部102において保持される優先度テーブルの一例を示す図である。図3に示される優先度テーブルでは、各種センサ4を識別するセンサIDに対応して優先度、カメラIDが定義されている。優先度付与部102は、センサ4から何らかの出力情報を受け取ると、この優先度テーブルを参照する。そして、センサ出力があったセンサIDに関連付けられているカメラIDで識別される撮像装置3−1〜3−nからの画像データに、優先度テーブルに設定されている優先度を付与する。
また、図3に示される優先度テーブルにおいては、各センサIDに対しては一つのみの優先度が対応している形となっているが、各センサIDに対して複数の優先度が対応するようになっていてもよい。例えば、図3に示される内容に加えて、センサID“1”、優先度“2(中)”、カメラID“003”の組み合わせがさらに存在していてもよい。この場合、センサIDが“1”のセンサからの出力情報が受け付けられると、カメラIDが“001、020”の撮像装置の画像データに対しては優先度“1”が付与され、カメラIDが“003”の撮像装置の画像データに対しては優先度“2”が付与される。
なお、出力情報が出力されたセンサのIDが優先度テーブルに存在しない場合や、センサ4から出力情報が何ら出力されない場合等は、優先度は画像データに付与されない等となっていればよい。
また、センサ4や画像処理装置5からの出力情報の内容に応じて異なる優先度が付与されるようになっていてもよい。例えば、画像処理装置5において動体検知が実行される場合、動体検知がなされた画像上の位置が出力情報として画像処理装置5から出力され、優先度付与部102では、その出力情報が示す動体検知の位置によって異なる優先度を付与するようになっていてもよい。より具体的には、例えば、画像受信装置2のユーザが特に注視すべき画像上の位置において動体検知がなされた場合には、画像データに高い優先度が付与されるようになっていてもよい。これにより、画像受信装置2のユーザが特に注目すべき動体検知が行われた画像データの伝送遅延が緩和されることになり、利便性が高くなる。
なお、優先度付与部102において優先度が付与された画像データは、送信画像メモリ103に送られる。
(送信画像メモリ103)
送信画像メモリ103は、優先度付与部102にて優先度が付与された画像データを格納する。
送信画像メモリ103は、優先度付与部102にて優先度が付与された画像データを格納する。
図4は、送信画像メモリ103の一例を示す図である。なお、図4においては、送信画像メモリ103の内容を模式的に表している。優先度付与部102において優先度が付与された画像データは、優先度別に送信画像メモリ103に格納される。例えば、図4に示されるように、優先度が“高”の画像データは領域(A)に、優先度が“中”の画像データは領域(B)に、優先度の指定がない画像データは領域(C)に、各々、先入れ先出し順に格納される。
(伝送制御部104)
伝送制御部104は、画像データの送信に関する制御を行う。例えば、伝送制御部104は、送信画像メモリ103における記憶容量に基づいて、符号化レート変更部105における符号化レートを制御する。より具体的には、伝送制御部104は、送信画像メモリ103から画像データを読出し、読出した画像データを送信部106に送るが、この際、送信画像メモリ103における記憶容量に応じて、符号化レート変更部105を経由させて送信部106に送る等の処理を行う。
伝送制御部104は、画像データの送信に関する制御を行う。例えば、伝送制御部104は、送信画像メモリ103における記憶容量に基づいて、符号化レート変更部105における符号化レートを制御する。より具体的には、伝送制御部104は、送信画像メモリ103から画像データを読出し、読出した画像データを送信部106に送るが、この際、送信画像メモリ103における記憶容量に応じて、符号化レート変更部105を経由させて送信部106に送る等の処理を行う。
なお、「送信画像メモリ103における記憶容量」とは、送信画像メモリ103における使用容量であってもよいし、空き容量であってもよい。送信画像メモリ103の容量が一定であれば、使用容量および空き容量の一方から他方が算出可能である。
また、「送信画像メモリ103における記憶容量に基づいて」とは、送信画像メモリ103における記憶容量についての情報を間接的に用いるような場合も含む。例えば、送信画像メモリ103における使用容量から、送信待ちとなっている画像データを送信するためにかかる時間(すなわち、遅延時間)を算出し、この算出された時間に基づいて符号化レート変更部105における符号化レートを制御するような場合も含む。また、送信画像メモリ103における記憶容量(使用容量、空き容量等)とは、送信待ちとなっている画像データのデータ量、と言い換えることも可能である。
(符号化レート変更部105)
符号化レート変更部105は、画像データの符号化レートを変更する。本実施形態においては、伝送制御部104は、送信画像メモリ103における使用容量に基づいて符号化レート変更部105において画像データの符号化レートの変更を行うか否かを判断する。そして、符号化レート変更部105は、伝送制御部104において、画像データの符号化レートの変更を行うと判断された場合に画像データの符号化レートを変更する。なお、符号化レートの変更方法については後に詳述する。
符号化レート変更部105は、画像データの符号化レートを変更する。本実施形態においては、伝送制御部104は、送信画像メモリ103における使用容量に基づいて符号化レート変更部105において画像データの符号化レートの変更を行うか否かを判断する。そして、符号化レート変更部105は、伝送制御部104において、画像データの符号化レートの変更を行うと判断された場合に画像データの符号化レートを変更する。なお、符号化レートの変更方法については後に詳述する。
(送信部106)
送信部106は、ネットワーク10を介して画像受信装置2に画像データを送信する。
送信部106は、ネットワーク10を介して画像受信装置2に画像データを送信する。
(画像受信装置2の構成)
画像受信装置2は、受信部201と、画像復号部202と、画質改善部203とを含んで構成される。また、画像受信装置2には、画像の表示を行うディスプレイ等の表示部6が接続される。なお、本実施形態においては、表示部6は画像受信装置2に外部接続されているが、画像受信装置2に内蔵されていてもよい。
画像受信装置2は、受信部201と、画像復号部202と、画質改善部203とを含んで構成される。また、画像受信装置2には、画像の表示を行うディスプレイ等の表示部6が接続される。なお、本実施形態においては、表示部6は画像受信装置2に外部接続されているが、画像受信装置2に内蔵されていてもよい。
(受信部201)
受信部201は、ネットワーク10を介して、画像送信装置1から送信される画像データを受信する。
受信部201は、ネットワーク10を介して、画像送信装置1から送信される画像データを受信する。
(画像復号部202)
画像復号部202は、受信部201で受信された画像データを復号する。具体的には、画像復号部202は、JPEG、MPEG−4、H.264等で符号化された画像データの復号をおこなう。なお、復号された画像データは画質改善部203を経由して、表示部6に送られ、画像が表示される。
画像復号部202は、受信部201で受信された画像データを復号する。具体的には、画像復号部202は、JPEG、MPEG−4、H.264等で符号化された画像データの復号をおこなう。なお、復号された画像データは画質改善部203を経由して、表示部6に送られ、画像が表示される。
(画質改善部203)
画質改善部203は、画像復号部202において復号された画像データの画質を改善する。ここで、「画質を改善する」とは、具体的には、復号された画像のフレーム間を補間してフレームレートの改善を行うことや、超解像技術により低解像度の画像を高解像度化して画質改善を行うこと等を意味する。例えば、画像データのヘッダ等から符号化レートの変更が実施されたか否かを示す情報を読み取り、符号化レートの変更が行われていた場合には、画像データに対して画質改善処理を行う。すなわち、低符号化レートが適用された重要度の低い画像であることを示す優先度情報がメタデータに付加されている場合に、画質改善処理を行う。
画質改善部203は、画像復号部202において復号された画像データの画質を改善する。ここで、「画質を改善する」とは、具体的には、復号された画像のフレーム間を補間してフレームレートの改善を行うことや、超解像技術により低解像度の画像を高解像度化して画質改善を行うこと等を意味する。例えば、画像データのヘッダ等から符号化レートの変更が実施されたか否かを示す情報を読み取り、符号化レートの変更が行われていた場合には、画像データに対して画質改善処理を行う。すなわち、低符号化レートが適用された重要度の低い画像であることを示す優先度情報がメタデータに付加されている場合に、画質改善処理を行う。
または、例えば、表示部6の表示ピクセル数もしくはフレーム数が、復号された画像のピクセル数もしくはフレーム数を上回る場合、画質改善部203にて画質改善処理が行われるようになっていてもよい。あるいは、復号された画像のピクセル数もしくはフレーム数が、予め設定された基準に満たない場合に、画質改善処理が行われるようになっていてもよい。
なお、上述した画像送信装置1および画像受信装置2における各機能は、各々独立したハードウェアで実現されなくてもよく、一つのハードウェアで各機能の機能が実現されてもよい。例えば、画像受信装置2はパーソナルコンピュータやPDA(Personal Digital Assistant)等の無線端末で実現され、受信部101、201はOS(Operating System)やドライバで実現され、画像復号部202および画質改善部203はOS上で動作するソフトウェアで構成されてもよい。
[映像監視システムの動作]
次に、本実施形態に係る映像監視システムの動作について説明する。図5は、本実施形態に係る映像監視システムの動作を示すシーケンス図である。
次に、本実施形態に係る映像監視システムの動作について説明する。図5は、本実施形態に係る映像監視システムの動作を示すシーケンス図である。
まず、撮像装置3−1〜3−nにおいて撮像された画像の画像データが、画像送信装置1に送信される。送信された画像データは、画像送信装置1の受信部101において受信される(ステップS101)。また、各種センサ4から、適宜、出力情報が出力される。なお、この出力情報は、画像送信装置1の優先度付与部102において受信される(ステップS102)。
また、優先度付与部102において、センサ4からの出力情報が受け付けられ、この出力情報に基づいて優先度テーブルが参照されて、画像データに優先度が付与される(ステップS103)。センサ4から出力情報が出力されない場合には、優先度が付与されない等となっていてもよい。ステップS103において優先度が付与された画像データは、送信画像メモリ103に格納される(ステップS104)。
次に、伝送制御部104において、画像データの送信に関する制御が行われる(ステップS105)。なお、ここでの処理については、後に詳述する。また、必要に応じて、符号化レート変更部105において、画像データの符号化レートが変更される(ステップS106)。
送信部106から画像データが送信され、送信された画像データは、ネットワーク10を介して、画像受信装置2の受信部201において受信される(ステップS107)。受信された画像データは、画像復号部202において復号される(ステップS108)。
復号された画像データは、画質改善部203において、超解像技術等の画質改善処理が実行される(ステップS109)。そして、画像データは表示部6に出力されて、画像が表示される(ステップS110)。
(ステップS105における処理の詳細)
次に、図5のステップS105における伝送制御部104での処理について、詳細に説明する。図6は、図5のステップS105における処理の詳細を示すフロー図である。
次に、図5のステップS105における伝送制御部104での処理について、詳細に説明する。図6は、図5のステップS105における処理の詳細を示すフロー図である。
伝送制御部104は、高優先度の画像データの格納領域(A)に画像データが格納されている場合(ステップS201)、格納領域(A)から画像データを読出す(ステップS202)。高優先度の画像データの格納領域(A)に画像データが格納されていない場合(ステップS201)、次の優先度の格納領域(B)を参照する。そして、画像データが格納されている場合(ステップS203)、格納領域(B)から画像データを読出す(ステップS204)。
また、伝送制御部104は、格納領域(A)、(B)ともに画像データが格納されていない場合、次の優先度の格納領域(C)を参照する。そして、画像データが格納されている場合(ステップS205)、格納領域(C)から画像データを読出す(ステップS206)。
ステップS202、ステップS204、ステップS206のいずれかにおける処理の後、伝送制御部104は、読みだした画像データの符号化レートを変更するかどうかを判定する(ステップS207)。符号化レートを変更する場合は、符号化レート変更部105を経由するようにして、画像データを送信部106に送る(ステップS209)。また、これに先立って、符号化レートを計算し、その符号化レートに変更するように符号化レート変更部105に通知してもよい(ステップS208)。
符号化レートの変更をしない場合は、画像データを直接(符号化レート変更部105を経由せずに)、送信部106に送る(ステップS210)。以上の動作を送信画像データ毎に繰り返す(ステップS211)。
(ステップS207における処理の詳細)
ここで、図6のステップS207における処理についてさらに説明する。上記ステップS207において、伝送制御部104が画像データを符号化レート変更部105に経由させるか否かは、送信画像メモリ103における送信待ちの画像データ量(例えば、送信画像メモリ103の使用容量)を使用して判定する。伝送制御部104では、送信待ちの画像データ量と、ネットワーク伝送速度とから、送信待ちの画像データの伝送遅延時間を計算することが可能である。送信待ちの画像データの伝送遅延時間が予め設定された許容時間を超える場合、伝送制御部104は、画像データを符号化レート変更部105に送る。
ここで、図6のステップS207における処理についてさらに説明する。上記ステップS207において、伝送制御部104が画像データを符号化レート変更部105に経由させるか否かは、送信画像メモリ103における送信待ちの画像データ量(例えば、送信画像メモリ103の使用容量)を使用して判定する。伝送制御部104では、送信待ちの画像データ量と、ネットワーク伝送速度とから、送信待ちの画像データの伝送遅延時間を計算することが可能である。送信待ちの画像データの伝送遅延時間が予め設定された許容時間を超える場合、伝送制御部104は、画像データを符号化レート変更部105に送る。
なお、伝送制御部104においてネットワーク伝送速度を把握する方法としては、例えば、送信部106が送信した単位時間当たりのデータ量を用いて算出する方法等が挙げられる。
一例として、高優先度の画像データと中優先度の画像データに伝送遅延許容時間が設定されている場合について説明する。図7は、伝送制御部104において画像データを符号化レート変更部105に経由させるか否かを判断するための処理を示すフロー図である。
まず、伝送制御部104は、高優先度の画像データの格納領域(A)の送信待ち画像データ量M1と、中優先度の画像データの格納領域(B)の送信待ち画像データ量M2を算出する(ステップS301、S302)。この格納領域(A)の送信待ち画像データ量M1と、伝送制御部104で認識しているネットワーク伝送速度Stとから、高優先度の画像データの最大遅延時間T1=M1/Stが計算される(ステップS303)。同様に、格納領域(B)の送信待ち画像データ量M2とネットワーク伝送速度Stとから、中優先度の画像データの最大遅延時間T2=(M1+M2)/Stが計算される(ステップS304)。
そして、各優先度の画像データの最大遅延時間T1、T2が、各々予め設定された伝送遅延許容時間TS1、TS2を超える場合(ステップS305、S306)、符号化レートの変更は必要であると判断し、画像データを符号化レート変更部105経由で送信部106に送る(ステップS308)。さもなければ、符号化レートの変更は不要であると判断し(ステップS307)、画像データを直接送信部106に送る。
(ステップS208における処理の詳細)
図8は、図6のステップS208において、符号化レートを変更する際の符号化レートを算出するための処理を示すフロー図である。T1>TS1であり、かつ、T2≦TS2である場合(ステップS401、S403)、符号化レートRBは、RB1(=TS1*St/T1)と指定される(ステップS407)。なお、RB1の値は、ステップS401においてT1>TS1であると判断された後に、予め算出しておく(ステップS402)。
図8は、図6のステップS208において、符号化レートを変更する際の符号化レートを算出するための処理を示すフロー図である。T1>TS1であり、かつ、T2≦TS2である場合(ステップS401、S403)、符号化レートRBは、RB1(=TS1*St/T1)と指定される(ステップS407)。なお、RB1の値は、ステップS401においてT1>TS1であると判断された後に、予め算出しておく(ステップS402)。
また、T1≦TS1であり、かつ、T2>TS2の場合(ステップS401、S404)、符号化レートRBは、TS2*St/T2と指定される(ステップS408)。また、T1>TS1であり、かつ、T2>TS2の場合(ステップS401、S403)、符号化レートRBは、RB1=TS1*St/T1と、RB2=TS2*St/T2のうち、どちらか低い符号化レートを変更する符号化レートとする(ステップS406)。なお、RB2の値は、ステップS403においてT2>TS2であると判断された後に、予め算出しておく(ステップS405)。
このように符号化レートが指定されることで、伝送遅延の許容時間を大きく超えることなく画質劣化を最少にする伝送が可能である。
また、伝送制御部104は、各画像データ毎または複数の画像データ毎に、上記のようにネットワーク伝送速度を認識し、最大遅延時間の計算および必要に応じて符号化レート変更部105に対して指定する符号化レートを計算する。このように動作することで、変動するネットワーク伝送速度や送信画像データ量の変動を吸収し、画質劣化の少ない最適な符号化レートで画像データを送信することができる。
また、符号化レート変更部105は、符号化レートが伝送制御部104によって指定された場合、指定された値よりも低い符号化レートのうち最も大きい符号化レートに符号化レートを変更した画像データを送信部106に送る。符号化レートの指定がない場合は、予め設定された符号化レートで画像データの符号化レートを変更し、送信部106に送る。
(まとめ)
本実施形態に係る映像監視システムは、監視カメラ等の撮像装置で撮影された画像をネットワーク経由で伝送して表示する映像監視システムであって、重要度の高い画像データの伝送遅延が大きくなる場合、画像を符号化レート変更して低符号化レートで伝送する。また、表示側では超解像技術等の画質改善処理を施すことで、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供するものである。
本実施形態に係る映像監視システムは、監視カメラ等の撮像装置で撮影された画像をネットワーク経由で伝送して表示する映像監視システムであって、重要度の高い画像データの伝送遅延が大きくなる場合、画像を符号化レート変更して低符号化レートで伝送する。また、表示側では超解像技術等の画質改善処理を施すことで、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供するものである。
また、本実施形態に係る映像監視システムは、センサからの出力に対応して伝送する画像の優先度を決定し、画像を優先度毎に設定された伝送遅延許容時間内に伝送するように動作する。これにより、重要度の高い画像は所定時間以内に表示されることとなり、画像受信装置を使用する監視員等は、重要な事象に対して迅速な対応をとることができる。
また、画像フレーム単位でネットワーク伝送速度を把握し、最適な符号化レートで画像の符号化レートを更新するため、無線回線等のネットワーク伝送速度が変化する環境においても回線容量を有効利用して、画質劣化の少ない画像伝送を実現することができる。
(付記)
以上に、本発明に係る実施形態について詳細に説明したことからも明らかなように、上述の実施形態の一部または全部は、以下の各付記のようにも記載することができる。しかしながら、以下の各付記は、あくまでも、本発明の単なる例示に過ぎず、本発明は、かかる場合のみに限るものではない。
以上に、本発明に係る実施形態について詳細に説明したことからも明らかなように、上述の実施形態の一部または全部は、以下の各付記のようにも記載することができる。しかしながら、以下の各付記は、あくまでも、本発明の単なる例示に過ぎず、本発明は、かかる場合のみに限るものではない。
(付記1)
撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、を有する映像監視システムであって、
前記画像送信装置は、
自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与手段と、
前記優先度が付与された前記画像データを格納する送信画像記憶手段(例えば、図1の送信画像メモリ103)と、
前記画像データの符号化レートを変更する符号化レート変更手段と、
前記送信画像記憶手段における記憶容量に基づいて、前記符号化レート変更手段における符号化レートを制御する伝送制御手段と、
前記画像データを送信する送信手段と、を有し、
前記画像受信装置は、
前記画像送信装置から送信される前記画像データを受信する受信手段と、
前記画像データを復号する画像復号手段と、
前記画像復号手段において復号された前記画像データの画質を改善する画質改善手段と、
を有することを特徴とする映像監視システム。
撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、を有する映像監視システムであって、
前記画像送信装置は、
自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与手段と、
前記優先度が付与された前記画像データを格納する送信画像記憶手段(例えば、図1の送信画像メモリ103)と、
前記画像データの符号化レートを変更する符号化レート変更手段と、
前記送信画像記憶手段における記憶容量に基づいて、前記符号化レート変更手段における符号化レートを制御する伝送制御手段と、
前記画像データを送信する送信手段と、を有し、
前記画像受信装置は、
前記画像送信装置から送信される前記画像データを受信する受信手段と、
前記画像データを復号する画像復号手段と、
前記画像復号手段において復号された前記画像データの画質を改善する画質改善手段と、
を有することを特徴とする映像監視システム。
この構成によれば、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
(付記2)
前記伝送制御手段は、前記送信画像記憶手段における使用容量に基づいて前記符号化レート変更手段において前記画像データの符号化レートの変更を行うか否かを判断し、
前記符号化レート変更手段は、前記伝送制御手段において、前記画像データの符号化レートの変更を行うと判断された場合に前記画像データの符号化レートを変更すること
を特徴とする付記1に記載の映像監視システム。
前記伝送制御手段は、前記送信画像記憶手段における使用容量に基づいて前記符号化レート変更手段において前記画像データの符号化レートの変更を行うか否かを判断し、
前記符号化レート変更手段は、前記伝送制御手段において、前記画像データの符号化レートの変更を行うと判断された場合に前記画像データの符号化レートを変更すること
を特徴とする付記1に記載の映像監視システム。
この構成によれば、送信画像記憶手段における使用容量に応じて、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
(付記3)
前記優先度付与手段は、
前記センサを識別するセンサ識別情報と、前記撮像装置を識別する撮像装置識別情報と、前記優先度と、を関連付けた優先度テーブルを保持し、
前記優先度テーブルにおいて、前記出力情報を出力したセンサの前記センサ識別情報と関連付けられている前記撮像装置識別情報および前記優先度を取得し、取得した前記撮像装置識別情報で識別される前記撮像装置によって撮像された画像の前記画像データに対し、取得した前記優先度を付与すること
を特徴とする付記1又は付記2に記載の映像監視システム。
前記優先度付与手段は、
前記センサを識別するセンサ識別情報と、前記撮像装置を識別する撮像装置識別情報と、前記優先度と、を関連付けた優先度テーブルを保持し、
前記優先度テーブルにおいて、前記出力情報を出力したセンサの前記センサ識別情報と関連付けられている前記撮像装置識別情報および前記優先度を取得し、取得した前記撮像装置識別情報で識別される前記撮像装置によって撮像された画像の前記画像データに対し、取得した前記優先度を付与すること
を特徴とする付記1又は付記2に記載の映像監視システム。
この構成によれば、検知結果等の出力情報を出力したセンサに対応して、特定の撮像装置からの画像データに異なる優先度を付与することができる。
(付記4)
撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、によって実行される映像監視方法であって、
前記画像送信装置において、自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与ステップ(例えば、図5のステップS103)と、
前記画像送信装置において、前記優先度が付与された前記画像データを自装置内部の送信画像記憶手段(例えば、図1の送信画像メモリ103)に格納する送信画像記憶ステップ(例えば、図5のステップS104)と、
前記画像送信装置において、前記送信画像記憶手段における記憶容量に基づいて前記画像データの符号化レートを変更するか否かを判断する判断ステップと(例えば、図5のステップS105、図6のステップS207、図7のフロー図に示されるステップS301〜S308の処理ステップ)、
前記画像送信装置において、前記判断ステップにおいて前記画像データの符号化レートを変更すると判断された場合には、前記画像データの符号化レートを変更する符号化レート変更ステップ(例えば、図5のステップS106)と、
前記画像データを送信する送信ステップ(例えば、図5のステップS107)と、
前記画像受信装置において、前記送信ステップにおいて送信される前記画像データを受信する受信ステップ(例えば、図5のステップS107)と、
前記画像データを復号する画像復号ステップ(例えば、図5のステップS108)と、
前記画像復号ステップにおいて復号された前記画像データの画質を改善する画質改善ステップ(例えば、図5のステップS109)と、
を有することを特徴とする映像監視方法。
撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、によって実行される映像監視方法であって、
前記画像送信装置において、自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与ステップ(例えば、図5のステップS103)と、
前記画像送信装置において、前記優先度が付与された前記画像データを自装置内部の送信画像記憶手段(例えば、図1の送信画像メモリ103)に格納する送信画像記憶ステップ(例えば、図5のステップS104)と、
前記画像送信装置において、前記送信画像記憶手段における記憶容量に基づいて前記画像データの符号化レートを変更するか否かを判断する判断ステップと(例えば、図5のステップS105、図6のステップS207、図7のフロー図に示されるステップS301〜S308の処理ステップ)、
前記画像送信装置において、前記判断ステップにおいて前記画像データの符号化レートを変更すると判断された場合には、前記画像データの符号化レートを変更する符号化レート変更ステップ(例えば、図5のステップS106)と、
前記画像データを送信する送信ステップ(例えば、図5のステップS107)と、
前記画像受信装置において、前記送信ステップにおいて送信される前記画像データを受信する受信ステップ(例えば、図5のステップS107)と、
前記画像データを復号する画像復号ステップ(例えば、図5のステップS108)と、
前記画像復号ステップにおいて復号された前記画像データの画質を改善する画質改善ステップ(例えば、図5のステップS109)と、
を有することを特徴とする映像監視方法。
この構成によれば、重要度の高い画像の伝送遅延を緩和するとともに高品質な表示画像を提供することが可能である。
1 画像送信装置
2 画像受信装置
3 撮像装置
4 センサ
5 画像処理装置
6 表示部
10 ネットワーク
101 受信部
102 優先度付与部
103 送信画像メモリ
104 伝送制御部
105 符号化レート変更部
106 送信部
201 受信部
202 画像復号部
203 画質改善部
2 画像受信装置
3 撮像装置
4 センサ
5 画像処理装置
6 表示部
10 ネットワーク
101 受信部
102 優先度付与部
103 送信画像メモリ
104 伝送制御部
105 符号化レート変更部
106 送信部
201 受信部
202 画像復号部
203 画質改善部
Claims (2)
- 撮像装置において撮像された画像の画像データを送信する画像送信装置と、前記画像送信装置から送信される前記画像データを受信する画像受信装置と、を有する映像監視システムであって、
前記画像送信装置は、
自装置に接続されているセンサからの出力情報を受け付け、前記出力情報に基づいて、前記画像データに優先度を付与する優先度付与手段と、
前記優先度が付与された前記画像データを格納する送信画像記憶手段と、
前記画像データの符号化レートを変更する符号化レート変更手段と、
前記送信画像記憶手段における記憶容量に基づいて、前記符号化レート変更手段における符号化レートを制御する伝送制御手段と、
前記画像データを送信する送信手段と、を有し、
前記画像受信装置は、
前記画像送信装置から送信される前記画像データを受信する受信手段と、
前記画像データを復号する画像復号手段と、
前記画像復号手段において復号された前記画像データの画質を改善する画質改善手段と、
を有することを特徴とする映像監視システム。 - 前記伝送制御手段は、前記送信画像記憶手段における使用容量に基づいて前記符号化レート変更手段において前記画像データの符号化レートの変更を行うか否かを判断し、
前記符号化レート変更手段は、前記伝送制御手段において、前記画像データの符号化レートの変更を行うと判断された場合に前記画像データの符号化レートを変更すること
を特徴とする請求項1に記載の映像監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010233535A JP2012089989A (ja) | 2010-10-18 | 2010-10-18 | 映像監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010233535A JP2012089989A (ja) | 2010-10-18 | 2010-10-18 | 映像監視システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012089989A true JP2012089989A (ja) | 2012-05-10 |
Family
ID=46261160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010233535A Pending JP2012089989A (ja) | 2010-10-18 | 2010-10-18 | 映像監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012089989A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014187448A (ja) * | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | 映像配信システム及びデコーダ並びに映像配信方法 |
CN104301677A (zh) * | 2014-10-16 | 2015-01-21 | 北京十方慧通科技有限公司 | 面向大场景的全景视频监控的方法及装置 |
JP2016032258A (ja) * | 2014-07-30 | 2016-03-07 | Kddi株式会社 | 映像送信装置、映像送信方法及び映像送信プログラム |
-
2010
- 2010-10-18 JP JP2010233535A patent/JP2012089989A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014187448A (ja) * | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | 映像配信システム及びデコーダ並びに映像配信方法 |
JP2016032258A (ja) * | 2014-07-30 | 2016-03-07 | Kddi株式会社 | 映像送信装置、映像送信方法及び映像送信プログラム |
CN104301677A (zh) * | 2014-10-16 | 2015-01-21 | 北京十方慧通科技有限公司 | 面向大场景的全景视频监控的方法及装置 |
CN104301677B (zh) * | 2014-10-16 | 2018-06-15 | 北京十方慧通科技有限公司 | 面向大场景的全景视频监控的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6169172B2 (ja) | 仮想イントラフレームを使用してビデオコンテンツを符号化するためのシステムおよび方法 | |
JP4345829B2 (ja) | 画像表示システム、画像表示装置、画像表示方法およびプログラム | |
WO2020019140A1 (zh) | 视频处理方法、终端设备、机器可读存储介质 | |
US8970695B2 (en) | Image processing device, image processing system, camera device, image processing method, and program | |
US8384830B2 (en) | Pre-alarm video buffer | |
US8780199B2 (en) | Networked security camera with local storage and continuous recording loop | |
EP1696396A2 (en) | Image pickup apparatus and image distributing method | |
JP6364838B2 (ja) | 映像処理装置および映像処理方法 | |
JP2016042712A (ja) | ズームされた画像の生成 | |
KR20150086720A (ko) | 카메라 프로파일 설정 방법 및 영상 수신 장치 | |
CN110771160A (zh) | 视频均匀显示方法、终端设备、机器可读存储介质 | |
US20150296054A1 (en) | Server apparatus, terminal, thin client system, screen transmission method and program | |
JP2008263370A (ja) | カメラ装置及び情報配信装置 | |
JP2012089989A (ja) | 映像監視システム | |
JP2005073218A (ja) | 画像処理装置 | |
JP2009100259A (ja) | 監視カメラおよび画像監視システム | |
EP3070598B1 (en) | Image processing system and method | |
JP2009088666A (ja) | 画像処理装置 | |
US9160913B2 (en) | Image matching system, providing apparatus, imaging apparatus, image matching method, and program | |
EP3731520A1 (en) | Method of communicating video from a first electronic device to a second electronic device via a network, and a system having a camera and a mobile electronic device for performing the method | |
JP2001275105A (ja) | 画像圧縮伝送システム | |
KR20140072668A (ko) | 네트워크 카메라 서버 및 그의 비디오 스트림 처리 방법 | |
JP2008259074A (ja) | 画像伝送方式 | |
JP2013207706A (ja) | 映像信号伝送システム、映像信号伝送制御装置、映像信号伝送方法、およびプログラム | |
KR20180045320A (ko) | 영상 데이터 저장 방법 및 이를 위한 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120523 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120523 |