JP2006319776A - 画像伝送装置 - Google Patents

Abstract

【課題】 動画像及び静止画を伝送する場合に伝送路の負荷を増加することなく動画像の画質を改善することが可能な画像伝送装置を提供する。
【解決手段】 送信装置１０には、撮像部から入力される画像データを動画符号化処理する動画符号化部１０３と、画像データを静止画符号化処理する静止画符号化部１０２と、送信部１０５とを設け、受信装置１１には、動画符号化データを復号処理する動画復号化部１０８と、静止画符号化データを復号処理する静止画復号化部１０７と、フレーム単位で動画復号データと静止画復号データとの入れ替えを行いデータの合成により動画を再構成する動画再構成部１０９と、再構成した動画を再符号化処理し処理の結果を動画再符号化データとして出力する動画再符号化部１１０とを備える。異常の有無に応じて画質を切り替える。
【選択図】 図１

Description

本発明は、監視カメラシステム等に用いられ、撮像部で撮影した画像を含む信号を処理して処理後の信号を伝送する画像伝送装置に関する。

監視カメラシステム等において、監視カメラ等の撮像部で撮影した画像を集中的に管理しようとする場合には、例えば特許文献１に開示されているように、監視カメラをネットワークを経由して所定の管理装置と接続し、管理装置に設けた情報記憶装置に大量の画像データを蓄積することが考えられる。特許文献１の技術においては、各監視カメラから画像を比較的低い圧縮率で圧縮された符号化データとして送出し、異常発生時には低圧縮の符号化データを情報記憶装置にそのまま保存し、重要度の低いデータはより高い圧縮率で再符号化してから情報記憶装置に蓄積することを提案している。

また、特許文献２に開示された技術においては、画像信号を送出する装置に静止画を符号化して送出する機能と動画を符号化して送出する機能とを設けると共に、静止画は動画に比べて低時間解像度かつ高空間解像度で符号化を行うように構成している。

しかしながら、特許文献１の技術では、重要度の低い画像データについても低圧縮の符号化データとして伝送する必要があるので、重要度の低い画像データが伝送路を占有する時間の割合が高くなり、余分な通信コストがかかる。これに対し、伝送する画像データの圧縮率を上げると、重要度の高い画像データの解像度も下がり、システムの監視能力が低下してしまう。

また、特許文献２の技術では、静止画と動画の両方を伝送して監視できるので、動画よりも空間解像度（画素数や画素密度）の高い画像の情報を静止画から取得できる。しかし、静止画は動画に比べて時間解像度（単位時間あたりのフレーム数）が低いため、短時間の画像の変化を静止画から読み取るのは困難である。従って、画像中の細部を認識しようとする場合には静止画を選択し、画像の変化を認識しようとする場合には動画を選択するように監視者の判断により手動で操作せざるを得ない。ところが、動画及び静止画のいずれを選択しても、空間解像度が低いか又は時間解像度が低すぎて必要な情報を読み取ることができない場合も多い。

特開２００３−１８９２４２号公報 特開２００１−１８９９３２号公報

本発明は、上記事情に鑑みてなされたもので、動画像及び静止画を伝送する場合に伝送路の負荷を増加することなく動画像の画質を改善することが可能な画像伝送装置を提供することを目的とする。

本発明の画像伝送装置は、所定の監視領域の被写体を撮影する少なくとも１つの撮像部と、前記撮像部が出力する画像を含む信号を処理して処理後の信号を所定の伝送路に出力する送信側信号処理部と、前記送信側信号処理部が出力した信号を前記伝送路を介して入力し処理する受信側信号処理部とを有して構成される画像伝送装置であって、前記送信側信号処理部は、前記撮像部から入力される画像データを動画符号化処理し処理の結果を動画符号化データとして出力する第１の符号化手段と、前記撮像部から入力される画像データを前記動画符号化データと比べて低圧縮かつ低時間解像度で静止画符号化処理し処理の結果を静止画符号化データとして出力する第２の符号化手段と、前記動画符号化データ及び静止画符号化データを前記伝送路に出力する送信手段とを備え、前記受信側信号処理部は、伝送路から入力される前記動画符号化データを復号処理し処理の結果を動画復号データとして出力する第１の復号化手段と、伝送路から入力される前記静止画符号化データを復号処理し処理の結果を静止画復号データとして出力する第２の復号化手段と、画像フレーム単位で前記動画復号データと静止画復号データとの入れ替えを行い前記動画復号データと静止画復号データとの合成により動画を再構成する動画再構成手段と、前記動画再構成手段が再構成した動画を再符号化処理し処理の結果を動画再符号化データとして出力する再符号化手段とを備えるものである。

これにより、送信側信号処理部から伝送路を介して受信側信号処理部に動画符号化データ及び静止画符号化データが伝送される。動画については単位時間あたりのフレーム数が多く情報量が大きいので動画として高圧縮率で符号化してから伝送する。静止画については、単位時間あたりのフレーム数が少なく情報量が比較的小さいので低圧縮率でフレーム毎に符号化して伝送する。また、受信側信号処理部に設けた動画再構成手段は、画像フレーム単位で動画復号データと静止画復号データとの入れ替えを行い前記動画復号データと静止画復号データとの合成により動画を再構成する。すなわち、動画中の一部のフレームを静止画で置き換えて動画を再構成する。静止画は伝送時の圧縮率が低いため符号化による情報の欠落が少なく動画のフレームに比べて空間解像度が高い。従って、再構成された動画の画質は再構成前に比べて大幅に改善される。しかも、伝送路で伝送する情報量は変わらないので負荷が増えることもない。

また、本発明は、上記の画像伝送装置であって、前記送信側信号処理部は、前記監視領域の異常を検知した場合に所定のアラーム情報を生成すると共に前記アラーム情報を前記伝送路に出力する異常検知手段を更に備え、前記受信側信号処理部は、前記再符号化手段が出力する動画再符号化データと伝送路から入力された前記動画符号化データとのいずれか一方を伝送路から入力された前記アラーム情報に従って選択するデータ選択手段と、前記データ選択手段が選択したデータを蓄積するデータ蓄積手段とを更に備えるものとする。

これにより、前記動画再符号化データと動画符号化データとのいずれかを自動的に選択してデータ蓄積手段に蓄積することができる。すなわち、通常は圧縮率が高く単位時間あたりの情報量が少ない動画符号化データを選択して蓄積し、異常発生時には画像の品質が高く圧縮率が低い動画再符号化データを選択して蓄積することにより、重要度の高いデータを高品質のまま保存することができる。

また、本発明は、上記の画像伝送装置であって、前記送信側信号処理部は、前記撮像部から入力される画像データを処理して画像の解像度を下げ、情報量を減らした画像データを前記第１の符号化手段に与える送信側解像度変換手段を更に備え、前記受信側信号処理部は、前記第２の復号化手段から出力される静止画復号データを処理して画像の解像度を前記動画復号データの解像度まで下げ、情報量を減らした静止画復号データを前記動画再構成手段に与える受信側解像度変換手段を更に備えるものとする。

これにより、送信側で送信側解像度変換手段を用いて動画の解像度を下げ、伝送される動画の情報量を減らすことができる。また、受信側で受信側解像度変換手段を用いて静止画の解像度を下げることにより、再構成する動画フレームの画素数と静止画フレームの画素数とを合わせることができる。

また、本発明は、上記の画像伝送装置であって、前記送信側信号処理部は、前記第２の符号化手段が静止画符号化データとして出力する画像に関する単位時間あたりの画像フレーム数を少なくとも２種類の中から選択する時間解像度制御手段を備え、前記時間解像度制御手段は、前記アラーム情報により異常を検知した場合は異常がない場合と比べて単位時間あたりの画像フレーム数を増やすものであり、前記受信側信号処理部の動画再構成手段は、入力される静止画復号データの単位時間あたりの画像フレーム数の違いに応じて、前記動画復号データと静止画復号データとを合成する際の両者のフレーム数の割合を変更するものとする。

これにより、異常の発生を検出した場合には、自動的に静止画の時間解像度を上げると共に、再構成する動画に含まれる静止画フレームの割合を増やすことができるので、より高画質の動画を再構成することができる。

また、本発明は、上記の画像伝送装置であって、前記送信側信号処理部は、前記撮像部から入力される画像データを処理して画像の解像度を下げ情報量を減らした第２の画像データを出力する送信側解像度変換手段と、前記送信側解像度変換手段が出力する第２の画像データを蓄積する画像データ蓄積手段と、前記画像データ蓄積手段に蓄積された複数フレームの第２の画像データを並べて１つのフレームに合成する画像合成手段と、前記画像合成手段が合成した画像のデータと前記撮像部から入力される画像データとのいずれか一方を選択的に前記第２の符号化手段に入力する送信画像選択手段とを更に備え、前記受信側信号処理部は、前記静止画復号データが合成されていない場合には入力された静止画復号データを処理して画像の解像度を動画と同等まで下げ情報量を減らした第２の静止画復号データを出力する受信側解像度変換手段と、前記静止画復号データが合成されている場合には入力された静止画復号データの１フレームを複数フレームに分割して第３の静止画復号データとして出力する画像分割手段と、前記第２の静止画復号データと第３の静止画復号データとのいずれか一方を選択して前記動画再構成手段に入力する受信画像選択手段とを更に備えるものとする。

これにより、送信側においては静止画として送出する画像を複数種類の中から選択することができる。すなわち、解像度の高い（画素数の多い）第１の静止画と、解像度を下げた（画素数の少ない）複数フレームの静止画を並べて１フレームに再構成した第２の静止画とを選択的に送出できる。また、受信側の動画再構成手段は、第１の静止画が入力された場合にはその解像度を下げ、第２の静止画が入力された場合には１フレームを複数領域に分割して元の静止画フレームを復元してから動画を再構成する。これにより、伝送する静止画の時間解像度を切り替えることができ、動画再構成手段が再構成した動画に含まれる静止画フレームの割合を増やすこともできる。

また、本発明は、上記の画像伝送装置であって、前記送信側信号処理部は、前記監視領域の異常を検知した場合に所定のアラーム情報を生成すると共に前記アラーム情報を前記伝送路に出力する異常検知手段を更に備え、前記送信画像選択手段及び受信画像選択手段は、前記異常検知手段が出力するアラーム情報に従ってデータを選択するものとする。

これにより、異常発生の有無に応じて伝送する静止画の時間解像度及び動画再構成手段が再構成した動画に含まれる静止画フレームの割合を切り替えることができ、異常時により有用な情報を蓄積することができる。

また、本発明は、上記の画像伝送装置であって、前記第１の復号化手段の出力と動画再構成手段の入力との間に、前記動画復号データを遅延させる遅延手段を更に備えるものとする。

これにより、遅延手段の通過によって発生する遅延時間を用いて、撮影時刻の同じフレームの情報同士が同時に現れるように動画像の各フレームと静止画像の各フレームとの出現時間を揃えてから動画を再構成することができる。

また、本発明は、上記の画像伝送装置であって、前記送信側信号処理部は、前記撮像部から入力される画像データを処理して画像フレーム中で予め定めた特徴の現れた領域を異常領域として検出する異常領域検出手段と、入力される画像データから画像フレーム中の前記異常領域を抽出し前記異常領域の画像をフレーム内で拡大した結果を前記第２の符号化手段に入力する画像切り出し拡大手段とを更に備え、前記受信側信号処理部は、前記第２の復号化手段の出力する静止画復号データが事前に拡大されていた場合には前記静止画復号データを処理して画像の解像度を下げ情報量を減らした画像データを前記動画再構成手段に入力する解像度変換手段を更に備え、前記動画再構成手段は、前記異常領域に相当する前記静止画復号データを動画中の該当するフレームの該当する領域にはめ込んで画像を合成するものとする。

これにより、例えば侵入者の検出のような異常が発生した場合に、異常領域の画像を切り出して拡大してから符号化処理するので、異常領域に関する情報量の減少を最小限に抑制できる。しかも、異常領域の静止画フレームを受信側の動画再構成手段が動画と組み合わせて動画を再構成するので、異常領域の画質が良好な動画が得られる。伝送路の負荷増大を伴うこともない。

本発明によれば、動画像及び静止画を伝送する場合に伝送路の負荷を増加することなく動画像の画質を改善することが可能な画像伝送装置を提供できる。

以下の実施形態では、監視カメラシステム等に用いられる画像伝送装置の構成例を示す。

（第１の実施形態）
本発明の画像伝送装置の第１の実施形態について、図１及び図２を参照しながら説明する。図１は第１の実施形態の画像伝送装置の構成例を示すブロック図である。図２は受信装置の主要な動作例を示すタイムチャートである。

第１の実施形態の画像伝送装置は、図１に示すように伝送路８０を介して接続された送信装置１０と受信装置１１とを有して構成されている。この画像伝送装置は、例えば防犯などの目的で特定の領域を監視するために用いられる。勿論、複数の送信装置１０を１つの受信装置１１に接続しても良い。

送信装置１０は、撮像部１０１、静止画符号化部１０２、動画符号化部１０３、異常検知部１０４及び送信部１０５を備えて構成される。

撮像部１０１は、二次元画像を連続的にもしくは周期的に撮影する装置であり、ＣＣＤイメージセンサ、Ｃ−ＭＯＳイメージセンサなどのような撮像素子と、この撮像素子が出力する画像の信号をディジタル信号に変換するＡ／Ｄ変換器などの電気回路とを備えている。

静止画符号化部１０２は、第２の符号化手段の一例に相当するもので、撮像部１０１が周期的に出力する画像データの中から必要な画像フレームだけを取り出すために、所定の間隔でフレームの間引きを行い、撮像部１０１が出力する画像データに比べて単位時間あたりのフレーム数が少ない画像データを静止画として抽出する。また、静止画符号化部１０２は、抽出した画像データをフレーム毎に静止画として圧縮符号化処理する。静止画符号化部１０２によって圧縮符号化された画像データは静止画符号化データとして送信部１０５に入力される。

動画符号化部１０３は、第１の符号化手段の一例に相当するもので、撮像部１０１が周期的に出力する画像データを動画として圧縮符号化処理する。動画符号化部１０３によって圧縮符号化された画像データは動画符号化データとして送信部１０５に入力される。

なお、動画符号化部１０３が画像データを動画として圧縮符号化処理する前に、必要に応じてフレームの間引きを行っても良いが、その場合でも静止画符号化部１０２が抽出する静止画の単位時間あたりのフレーム数に比べて、動画符号化部１０３が抽出する動画の単位時間あたりのフレーム数が多くなるように定める。つまり、動画の時間解像度は静止画に比べて高い。

例えば、動画符号化部１０３が１秒間に１５フレームの画像を符号化処理し、静止画符号化部１０２が１秒間に５フレームの画像を符号化処理するように定めればよい。なお、静止画符号化部１０２の符号化処理におけるデータ圧縮率は、動画符号化部１０３の符号化処理におけるデータ圧縮率に比べて低くなるように定める。

異常検知部１０４は、異常検知手段の一例に相当するもので、撮像部１０１が被写体として撮影する領域内、もしくはその近傍の領域について、異常の有無を検知し、異常がある場合には所定のアラーム情報を生成して送信部１０５に入力する。実際の異常検出については、撮像部１０１が撮影した画像を処理した結果により認識しても良いし、対象領域に例えば赤外線センサや音響センサのようなセンサを設置して画像以外の情報により認識しても良い。検出対象の異常としては、侵入者の検出などが想定される。

送信部１０５は、送信手段の一例に相当するもので、静止画符号化部１０２が出力する静止画符号化データと、動画符号化部１０３が出力する動画符号化データと、異常検知部１０４が出力するアラーム情報とを伝送路８０に送出する。

一方、受信装置１１は、受信部１０６、静止画復号化部１０７、動画復号化部１０８、動画再構成部１０９、動画再符号化部１１０、切替部１１１及び蓄積部１１２を備えて構成される。

受信部１０６は、送信装置１０が送信した前述の静止画符号化データ、動画符号化データ及びアラーム情報を伝送路８０を介して入力し所定の受信処理を行う。受信部１０６が受信した静止画符号化データは静止画復号化部１０７及び蓄積部１１２に入力され、受信部１０６が受信した動画符号化データは動画復号化部１０８及び切替部１１１に入力され、受信部１０６が受信したアラーム情報は切替部１１１に入力される。

静止画復号化部１０７は、第２の復号化手段の一例に相当するもので、受信部１０６が受信した静止画符号化データの復号化を行い、処理の結果を静止画復号データＤｂとして動画再構成部１０９に入力する。動画復号化部１０８は、第１の復号化手段の一例に相当するもので、受信部１０６が受信した動画符号化データの復号化を行い、処理の結果を動画復号データＤａとして動画再構成部１０９に入力する。

動画再構成部１０９は、動画再構成手段の一例の相当するもので、動画復号化部１０８が出力する動画復号データＤａと静止画復号化部１０７が出力する静止画復号データＤｂとを用いて動画の再構成を行う。動画再構成部１０９における処理の具体例について以下に説明する。

ここでは、図２に示すように、動画復号データＤａとしてフレーム単位の画像データｍ１，ｍ２，ｍ３，・・・が一定の周期（Ｔ１）で現れ、静止画復号データＤｂとしてフレーム単位の画像データＳ１，Ｓ４，Ｓ７，・・・が一定の周期（Ｔ１の３倍）で現れる場合を想定する。この例では、例えば動画フレームの画像データｍ１と静止画フレームの画像データＳ１とは同じタイミングで現れる。また、これらは同じタイミングで撮影された同じフレームの画像である。同様に、動画フレームの画像データｍ４と静止画フレームの画像データＳ４とが対応し、動画フレームの画像データｍ７と静止画フレームの画像データＳ７とが対応している。なお、図２において、画像データｍ１は動画符号化部１０３でＭＰＥＧ方式のＩフレームとして符号化され、以降のフレームはＰフレームとして符号化された場合を想定している。

ここで、フレーム毎に動画復号データＤａと静止画復号データＤｂとを比較すると、動画復号データＤａは送信装置１０内で静止画符号化と比較し高圧縮率で動画圧縮処理を施されているため、静止画復号データＤｂと比較し低画質である。例えば、動画フレームの画像データｍ１よりも静止画フレームの画像データＳ１の方が高画質である。

そこで、動画再構成部１０９は動画のフレームとして、画像データｍ１の代わりに画像データＳ１を採用し、画像データｍ４の代わりに画像データＳ４を採用し、画像データｍ７の代わりに画像データＳ７を採用する。従って、図２に示すように動画再構成部１０９が出力する再構成画像Ｄｃにおいては、動画として画像データＳ１，画像データｍ２，画像データｍ３，画像データＳ４，画像データｍ５，画像データｍ６，画像データＳ７，画像データｍ８，・・・のフレームが順次に現れる。つまり、静止画の存在するフレームについては、動画のフレームと静止画のフレームとをフレーム単位で入れ替える。これにより、動画の空間解像度が改善される。

動画再符号化部１１０は、再符号化手段の一例に相当するもので、動画再構成部１０９で生成された再構成画像Ｄｃに対して動画符号化処理を施す。但し、動画再符号化部１１０における符号化では、動画符号化部１０３における符号化よりも低い圧縮率で符号化処理を行う。従って、動画再符号化部１１０での符号化による空間解像度の劣化は比較的小さい。なお、動画再符号化部１１０は静止画に置き換えられたフレームはＩフレームとして再符号化を行う。

切替部１１１は、データ選択手段の一例に相当するもので、動画再符号化部１１０が出力する画像データ（低圧縮の動画再符号化データ）と受信部１０６が出力する高圧縮の動画符号化データとのいずれか一方を選択して蓄積部１１２に入力する。切替部１１１におけるデータの選択は、受信部１０６から出力されるアラーム情報に従って行われる。すなわち、異常発生時には自動的に低圧縮の動画再符号化データを選択し、異常がない時には高圧縮の動画符号化データを選択する。

蓄積部１１２は、データ蓄積手段の一例に相当するもので、受信部１０６が受信した静止画符号化データと、切替部１１１が出力する動画の符号化データとを入力して蓄積する。

上述した第１の実施形態では、動画を高圧縮で符号化して情報量を減らすので、動画及び静止画の情報を伝送路８０に大きな負担をかけることなく伝送することができる。また、受信側でフレーム単位で動画と静止画とを入れ替えて動画を再構成するので、比較的空間解像度の高い動画を受信側で再現することができる。更に、異常発生の有無に応じて低圧縮の動画と高圧縮の動画とを自動選択して蓄積するので、重要度の高い情報を効率的に蓄積することができる。

（第２の実施形態）
本発明の画像伝送装置の第２の実施形態について、図３を参照しながら説明する。図３は第２の実施形態の画像伝送装置の構成例を示すブロック図である。

第２の実施形態は第１の実施形態の変形例である。また、図３において図１と対応する要素は同一の符号を付けて示してある。第１の実施形態と異なる要素及び動作について以下に説明する。

第２の実施形態の画像伝送装置は、図３に示すように送信装置２０及び受信装置２１を備えている。送信装置２０は、撮像部１０１、静止画符号化部１０２、動画符号化部１０３、異常検知部１０４、送信部１０５及び解像度変換部２０１を備えて構成される。すなわち、解像度変換部２０１が新たに追加されている。

解像度変換部２０１は、撮像部１０１から入力される画像の各フレームを構成する画素の数を減らし、画像の空間解像度を下げる。動画符号化部１０３は、解像度変換部２０１によって処理され、解像度が変換された画像データを動画として符号化処理し、その結果を送信部１０５に出力する。

静止画符号化部１０２は撮像部１０１が出力する画像データを解像度を変更することなく符号化処理するので、動画符号化部１０３が出力する動画符号化データは静止画符号化部１０２が出力する静止画符号化データに比べて空間解像度が低くなる。その代わり、動画符号化データの情報量を大幅に減らすことができる。

一方、受信装置２１は、受信部１０６、静止画復号化部１０７、動画復号化部１０８、動画再構成部１０９、動画再符号化部１１０、切替部１１１、蓄積部１１２及び解像度変換部２０２を備えて構成される。すなわち、解像度変換部２０２が新たに追加されている。

解像度変換部２０２は、静止画復号化部１０７で復号された静止画復号データを処理して各フレームを構成する画素の数を減らし、画像の空間解像度を下げる。この解像度変換により、静止画復号データの各フレームの画素数を動画復号化部１０８が出力する動画復号データの各フレームの画素数と同一にする。すなわち、送信装置２０から送出される静止画と動画のデータは空間解像度が違うので、受信装置２１が受信した静止画と動画との合成を可能にするために動画再構成部１０９の前で静止画の解像度を下げて動画と静止画との画素数を揃える。

動画再構成部１０９は、動画復号化部１０８が出力する動画復号データと解像度変換部２０２が出力する静止画復号データとを用いて、前述の処理と同様に処理を行い動画を再構成する。

第２の実施形態では、撮像部１０１が出力する画像データの解像度が高い場合であっても、伝送路８０に送出される動画符号化データの情報量を減らし、伝送路８０に対する負荷の増大を抑制することができる。

（第３の実施形態）
本発明の画像伝送装置の第３の実施形態について、図４を参照しながら説明する。図４は第３の実施形態の画像伝送装置の構成例を示すブロック図である。

第３の実施形態は第１の実施形態の変形例である。また、図４において図１と対応する要素は同一の符号を付けて示してある。第１の実施形態と異なる要素及び動作について以下に説明する。

第３の実施形態の画像伝送装置は、図４に示すように送信装置３０及び受信装置１１を備えている。送信装置３０は、撮像部１０１、静止画符号化部３０２、動画符号化部１０３、異常検知部１０４、送信部１０５及び時間解像度制御部３０１を備えて構成される。

時間解像度制御部３０１は、時間解像度制御手段の一例に相当するもので、撮像部１０１から出力される画像をフレーム単位で間引きを行い、時間解像度（単位時間あたりのフレーム数）が制御された画像データを静止画符号化部３０２に入力する。また、時間解像度制御部３０１は異常検知部１０４が出力するアラーム情報に従って、出力する画像データの時間解像度を自動的に切り替える。例えば、異常の発生を検知した時には時間解像度制御部３０１が出力する画像データの時間解像度を上げ、異常がない時には出力する画像データの時間解像度を下げる。

静止画符号化部３０２は、時間解像度制御部３０１が出力する画像データについて、フレーム単位で静止画符号化処理を施し、その結果を送信部１０５に入力する。

なお、受信装置１１については第１の実施形態と同様である。

従って、第３の実施形態では、送信装置３０が出力する静止画の時間解像度を異常発生の有無に応じて自動的に変更することができる。また、送信装置３０が出力する静止画の時間解像度の変更に伴って、受信装置１１の動画再構成部１０９が動画を再構成する際に利用可能な静止画フレームの割合が増えるので、再構成される動画の解像度も変化する。つまり、異常が発生した場合には、再構成される動画の空間解像度を通常よりも上げることができる。

（第４の実施形態）
本発明の画像伝送装置の第４の実施形態について、図５〜図７を参照しながら説明する。図５は第４の実施形態の画像伝送装置の構成例を示すブロック図である。図６及び図７は受信装置の主要な動作例を示すタイムチャートである。

第４の実施形態は第１の実施形態の変形例である。また、図５において図１と対応する要素は同一の符号を付けて示してある。第１の実施形態と異なる要素及び動作について以下に説明する。

第４の実施形態の画像伝送装置は、図５に示すように送信装置４０及び受信装置４１を備えている。送信装置４０は、撮像部１０１、解像度変換部４００、メモリ４０１、合成部４０２、切替部４０３、静止画符号化部１０２、動画符号化部１０３、異常検知部１０４及び送信部１０５を備えて構成される。

解像度変換部４００は、送信側解像度変換手段の一例に相当するもので、撮像部１０１から入力される画像の各フレームを構成する画素の数を減らし、画像の空間解像度を下げる。解像度変換部４００によって解像度が変換された画像データがメモリ４０１及び動画符号化部１０３に入力される。

メモリ４０１は、解像度変換部４００から出力される画像データを処理し、フレーム単位で間引きを行い、間引き後の画像データを複数フレームについて蓄積し、所定フレーム数の画像データを蓄積した時点でその蓄積した画像データを合成部４０２に入力する。例えば、１秒間に３０フレームの周期（３０ｆｐｓ）で画像データがメモリ４０１に入力される場合に、メモリ４０１はフレームの間引きにより６フレーム毎に１フレームを抽出して１秒間に５フレームの周期（５ｆｐｓ）で画像データを蓄積する。また、４フレームの画像データを蓄積するたびに、その４フレームの画像データを合成部４０２に出力する。

合成部４０２は、画像合成手段の一例に相当するもので、メモリ４０１から入力される複数フレームの画像データをフレーム単位で縦横に並べて合成し、画素数の多い新たな１フレームの画像データを生成する。メモリ４０１が４フレーム毎に画像データを出力する場合には、合成部４０２は４つの小フレームを並べて１つのフレームを再構成することになる。この場合、再構成される１フレームに含まれる４つの小フレームの画像は、互いに例えば約１６５ｍsec の時間差で撮影されたタイミングの異なる画像である。

実際には、撮像部１０１が出力する画像データの各フレームの画素数と、合成部４０２が再構成したフレームの画素数とが一致するように画素数を変換する。例えば、解像度変換部４００が１／４に画素数を減らした画像データを出力する場合には、合成部４０２が４つの小フレームを並べて１つのフレームを再構成することにより、合成部４０２の出力する画像の１フレームの画素数と解像度変換部４００が出力する画像の画素数とを揃えることができる。

異常検知部１０４が出力するアラーム情報は、切替部４０３及び送信部１０５に入力される。切替部４０３は、送信画像選択手段の一例に相当するもので、合成部４０２が出力する画像データと撮像部１０１が出力する画像データとのいずれか一方をアラーム情報に従って選択し、選択された画像データを静止画符号化部１０２に入力する。実際には、切替部４０３は異常発生時には合成部４０２が出力する画像データを選択し、異常がないときには撮像部１０１が出力する画像データを選択する。

静止画符号化部１０２は、切替部４０３から入力される画像データを静止画としてフレーム毎に圧縮符号化し、その結果を静止画符号化データとして送信部１０５に入力する。なお、符号化の前にフレーム単位で画像データの間引きを実施しても良い。

動画符号化部１０３は、解像度変換部４００が出力する画像データを動画として圧縮符号化し、その結果を動画符号化データとして送信部１０５へ入力する。なお、動画符号化部１０３が符号化を実施する前にフレーム単位で画像データの間引きを実施しても良い。但し、静止画符号化部１０２が符号化する画像データの時間解像度に比べて、動画符号化部１０３が符号化する画像データの時間解像度を高くするのが望ましい。

送信部１０５は、静止画符号化部１０２が出力する静止画符号化データと、動画符号化部１０３が出力する動画符号化データと、異常検知部１０４が出力するアラーム情報とを伝送路８０に送出する。

一方、受信装置４１は、受信部１０６、静止画復号化部１０７、動画復号化部１０８、分割部４０４、バッファ４０５、切替部４０６、解像度変換部４０７、動画再構成部１０９、動画再符号化部１１０、切替部１１１及び蓄積部１１２を備えて構成される。

受信部１０６は、送信装置４０が送信した前述の静止画符号化データ、動画符号化データ及びアラーム情報を伝送路８０を介して入力し所定の受信処理を行う。受信部１０６が受信した静止画符号化データは静止画復号化部１０７及び蓄積部１１２に入力され、受信部１０６が受信した動画符号化データは動画復号化部１０８及び切替部１１１に入力され、受信部１０６が受信したアラーム情報は切替部１１１及び蓄積部１１２に入力される。

静止画復号化部１０７は、受信部１０６が受信した静止画符号化データの復号化を行い、処理の結果を静止画復号データＤｂとして分割部４０４及び解像度変換部４０７に入力する。動画復号化部１０８は、受信部１０６が受信した動画符号化データの復号化を行い、処理の結果を動画復号データＤａとしてバッファ４０５に入力する。

ところで、静止画として送信装置４０から出力される画像データには２種類ある。すなわち、送信装置４０内の切替部４０３の選択状態に応じて、撮像部１０１からの画像データが出力されるか、又は解像度変換部４００で解像度が変換された後で複数フレームを再構成した画像データが出力される。

前者の画像データが静止画として送信装置４０から送信された場合には、静止画復号データＤｂは解像度変換部４０７で処理される。解像度変換部４０７は、受信側解像度変換手段の一例に相当するもので、フレームを構成する画素数を減らして空間解像度が動画復号データＤａと同じになるように変換する。

また、後者の画像データが静止画として送信装置４０から送信された場合には、静止画復号データＤｂは分割部４０４で処理される。分割部４０４は、画像分割手段の一例に相当するもので、静止画復号データＤｂの各フレームをフレーム内の所定位置で分割し、画素数が少ない小フレームの複数フレームの画像データに分離する。

例えば、図６に示すように、４つの小フレームＳ１，Ｓ３，Ｓ５，Ｓ７を並べて１フレーム内に配置した画像データが静止画復号データＤｂとして入力された場合には、分割部４０４は小フレームＳ１の画像データと、小フレームＳ３の画像データと、小フレームＳ５の画像データと、小フレームＳ７の画像データとに分離した画像データを出力する。

切替部４０６は、受信画像選択手段の一例に相当するもので、解像度変換部４０７が出力する画像データと分割部４０４が出力する画像データとのいずれか一方を、受信したアラーム情報に従って自動的に選択する。すなわち、通常は解像度変換部４０７の出力する画像データを選択し、異常発生時には分割部４０４が出力する画像データを選択する。

バッファ４０５は、遅延手段の一例に相当するもので、入力される動画復号データＤａを遅延させてから動画再構成部１０９に入力することにより、動画再構成部１０９に入力される動画と静止画との間で撮像時刻の同じフレームが同時に出現するよう、時間位相を揃える。

動画再構成部１０９は、バッファ４０５が出力する動画復号データＤｄと切替部４０６が出力する静止画復号データＤｅとを用いて、動画の再構成を行う。動画再構成部１０９における処理の具体例について以下に説明する。

ここでは、図７に示すように、動画復号データＤｄとしてフレーム単位の画像データｍ１，ｍ２，ｍ３，・・・が一定の周期（Ｔ１）で現れ、静止画復号データＤｅとしてフレーム単位の画像データＳ１，Ｓ３，Ｓ５，・・・が一定の周期（Ｔ１の２倍）で現れる場合を想定する。この例では、例えば動画フレームの画像データｍ１と静止画フレームの画像データＳ１とは同じタイミングで現れる。また、これらは同じタイミングで撮影された同じフレームの画像である。同様に、動画フレームの画像データｍ３と静止画フレームの画像データＳ３とが対応し、動画フレームの画像データｍ５と静止画フレームの画像データＳ５とが対応している。なお、図７において、画像データｍ１は動画符号化部１０３でＩフレームとして符号化され、以降のフレームはＰフレームとして符号化された場合を想定している。

ここで、フレーム毎に動画復号データＤｄと静止画復号データＤｅとを比較すると、動画復号データＤｄは送信装置４０内で静止画符号化と比較し高圧縮率で動画圧縮処理を施されているため、静止画復号データＤｅと比較し低画質である。例えば、動画フレームの画像データｍ１よりも静止画フレームの画像データＳ１の方が高画質である。

そこで、動画再構成部１０９は動画のフレームとして、画像データｍ１の代わりに画像データＳ１を採用し、画像データｍ３の代わりに画像データＳ３を採用し、画像データｍ５の代わりに画像データＳ５を採用する。

従って、図７に示すように動画再構成部１０９が出力する再構成画像Ｄｃにおいては、動画として画像データＳ１，画像データｍ２，画像データＳ３，画像データｍ４，画像データＳ５，画像データｍ６，画像データＳ７，画像データｍ８，・・・のフレームが順次に現れる。つまり、静止画の存在するフレームについては、動画のフレームと静止画のフレームとをフレーム単位で入れ替える。これにより、動画の空間解像度が改善される。

動画再符号化部１１０は、動画再構成部１０９で生成された再構成画像Ｄｃに対して動画符号化処理を施す。但し、動画再符号化部１１０における符号化では、動画符号化部１０３における符号化よりも低い圧縮率で符号化処理を行う。従って、動画再符号化部１１０での符号化による空間解像度の劣化は比較的小さい。なお、動画再符号化部１１０は静止画に置き換えられたフレームはＩフレームとして再符号化を行う。

切替部１１１は、動画再符号化部１１０が出力する画像データ（低圧縮の動画再符号化データ）と受信部１０６が出力する高圧縮の動画符号化データとのいずれか一方を選択して蓄積部１１２に入力する。切替部１１１におけるデータの選択は、受信部１０６から出力されるアラーム情報に従って行われる。すなわち、異常発生時には自動的に低圧縮の動画再符号化データを選択し、異常がない時には高圧縮の動画符号化データを選択する。

蓄積部１１２は、受信部１０６が受信した静止画符号化データと、切替部１１１が出力する動画の符号化データとを入力して蓄積する。

第４の実施形態では、異常発生の有無に応じて送信装置４０から送出する静止画の種類を切り替えることができる。これにより、送出する静止画における空間解像度及び時間解像度を変更できる。また、この変更に伴って、受信装置４１の動画再構成部１０９が動画を再構成する際に利用可能な静止画フレームの現れる頻度が変化し、再構成される動画の画質を変化させることができる。

（第５の実施形態）
本発明の画像伝送装置の第５の実施形態について、図８を参照しながら説明する。図８は第５の実施形態の画像伝送装置の構成例を示すブロック図である。図９は画像伝送装置における画像データの例を示す図であり、（Ａ）は送信装置における画像データ、（Ｂ）は受信装置における画像データをそれぞれ示した図ある。

第５の実施形態は第１の実施形態の変形例である。また、図８において図１と対応する要素は同一の符号を付けて示してある。第１の実施形態と異なる要素及び動作について以下に説明する。

第５の実施形態の画像伝送装置は、図８に示すように送信装置５０及び受信装置５１を備えている。送信装置５０は、撮像部１０１、切り出し拡大部５０１、異常領域検出部５０２、静止画符号化部５０３、動画符号化部１０３及び送信部１０５を備えて構成される。

異常領域検出部５０２は、異常領域検出手段の一例に相当するもので、撮像部１０１の撮影対象の領域内における異常領域を検出する。例えば、侵入者を検知した場合には画像中の侵入者の近傍の領域を表す位置情報や大きさの情報を異常領域の情報として出力する。実際には、例えば撮像部１０１が出力する画像を処理して侵入者などの認識を行うことによりこの処理を実現できる。

異常領域検出部５０２が検出した異常領域の情報は、切り出し拡大部５０１及び送信部１０５に入力される。切り出し拡大部５０１は、画像切り出し拡大手段の一例に相当するもので、撮像部１０１が出力する画像データＤ１（図９（Ａ）参照）の各フレームの中から、異常領域に相当する矩形領域の画像を抽出し、更に抽出した画像を拡大してその画素数を増やし、異常領域の画像がフレーム全体と同等の大きさになるように処理する。切り出し拡大部５０１によって抽出され拡大された画像データＤ２が静止画符号化部５０３に入力される。

静止画符号化部５０３は、切り出し拡大部５０１から入力される画像データＤ２を静止画としてフレーム単位で処理し、圧縮符号化した結果を静止画符号化データとして送信部１０５に入力する。なお、静止画符号化部５０３で実施する圧縮符号化の圧縮率は、動画符号化部１０３での圧縮符号化の圧縮率と比較して低圧縮とする。

送信部１０５は、静止画符号化部５０３から出力される静止画符号化データと、動画符号化部１０３から出力される動画符号化データと、異常領域検出部５０２から出力される異常領域情報とを伝送路８０へ送出する。

一方、受信装置５１は、受信部１０６、静止画復号化部１０７、動画復号化部１０８、解像度変換部５０４、動画再構成部５０５、動画再符号化部１１０、切替部１１１及び蓄積部１１２を備えて構成される。

解像度変換部５０４は、解像度変換手段の一例に相当するもので、静止画復号化部１０７から出力される静止画復号データを処理して、この画像フレームを構成する画素数を減らすように解像度を変換する。すなわち、送信装置５０側の切り出し拡大部５０１で拡大された異常領域を元の大きさの画素数に変換するか、あるいはこの静止画の解像度が動画の解像度と同等になるように処理する。

動画再構成部５０５は、動画復号化部１０８が出力する動画復号データと解像度変換部５０４が出力する静止画復号データＤ３（図９（Ｂ）参照）とを用いて、動画の再構成を行い、動作再構成画像データＤ４を出力する。具体的には、フレーム毎に画像データを処理し、互いに対応関係にある動画フレームと静止画フレームとが存在する場合には、動画フレームの代わりに静止画フレームを挿入する。但し、静止画復号データＤ３は静止画フレームに比べて画素数が少ないので、受信部１０６から出力される異常領域情報を用いてフレーム中の静止画復号データＤ３の位置を特定し、該当する動画フレーム中の該当する領域に静止画復号データＤ３を合成し、動作再構成画像データＤ４を生成する。

第５の実施形態では、異常領域の静止画画像を拡大してから圧縮符号化処理して伝送するので、伝送路に対する負荷を増大させることなく、異常領域に関する画像情報の劣化を抑制することができ、異常領域の画像を高品質で受信側に伝達することができる。

上述した本実施形態では、伝送された静止画フレームと動画フレームとを組み合わせて動画を再構成することにより、画質の改善された動画を得ることができる。このとき、伝送路で伝送する情報量は変わらないので負荷が増えることもない。したがって、本実施形態によれば、伝送路の負荷を増大させることなく動画及び静止画を伝送することができる。しかも、伝送される静止画の情報を用いて動画の品質を改善するので、異常が発生したような場合に、静止画だけでは時間解像度が不足している場合であっても、動画を選択すれば高画質で時間解像度の高い有用な画像情報を得ることができる。

本発明は、動画像及び静止画を伝送する場合に伝送路の負荷を増加することなく動画像の画質を改善することが可能となる効果を有し、監視カメラシステム等に用いられ、撮像部で撮影した画像を含む信号を処理して処理後の信号を伝送する画像伝送装置等に有用である。

本発明の第１の実施形態に係る画像伝送装置の構成例を示すブロック図 第１の実施形態における受信装置の主要な動作例を示すタイムチャート 本発明の第２の実施形態に係る画像伝送装置の構成例を示すブロック図 本発明の第３の実施形態に係る画像伝送装置の構成例を示すブロック図 本発明の第４の実施形態に係る画像伝送装置の構成例を示すブロック図 第４の実施形態における受信装置の主要な動作例を示すタイムチャート 第４の実施形態における受信装置の主要な動作例を示すタイムチャート 本発明の第５の実施形態に係る画像伝送装置の構成例を示すブロック図 第５の実施形態の画像伝送装置における画像データの例を示す図

符号の説明

１０，２０，３０，４０，５０ 送信装置
１１，２１，４１，５１ 受信装置
８０ 伝送路
１０１ 撮像部
１０２ 静止画符号化部
１０３ 動画符号化部
１０４ 異常検知部
１０５ 送信部
１０６ 受信部
１０７ 静止画復号化部
１０８ 動画復号化部
１０９ 動画再構成部
１１０ 動画再符号化部
１１１ 切替部
１１２ 蓄積部
２０１，２０２ 解像度変換部
３０１ 時間解像度制御部
３０２ 静止画符号化部
４００ 解像度変換部
４０１ メモリ
４０２ 合成部
４０３ 切替部
４０４ 分割部
４０５ バッファ
４０６ 切替部
４０７ 解像度変換部
５０１ 切り出し拡大部
５０２ 異常領域検出部
５０３ 静止画符号化部
５０４ 解像度変換部
５０５ 動画再構成部

Claims (8)

1. 所定の監視領域の被写体を撮影する少なくとも１つの撮像部と、前記撮像部が出力する画像を含む信号を処理して処理後の信号を所定の伝送路に出力する送信側信号処理部と、前記送信側信号処理部が出力した信号を前記伝送路を介して入力し処理する受信側信号処理部とを有して構成される画像伝送装置であって、
   前記送信側信号処理部は、前記撮像部から入力される画像データを動画符号化処理し処理の結果を動画符号化データとして出力する第１の符号化手段と、前記撮像部から入力される画像データを前記動画符号化データと比べて低圧縮かつ低時間解像度で静止画符号化処理し処理の結果を静止画符号化データとして出力する第２の符号化手段と、前記動画符号化データ及び静止画符号化データを前記伝送路に出力する送信手段とを備え、
   前記受信側信号処理部は、伝送路から入力される前記動画符号化データを復号処理し処理の結果を動画復号データとして出力する第１の復号化手段と、伝送路から入力される前記静止画符号化データを復号処理し処理の結果を静止画復号データとして出力する第２の復号化手段と、画像フレーム単位で前記動画復号データと静止画復号データとの入れ替えを行い前記動画復号データと静止画復号データとの合成により動画を再構成する動画再構成手段と、前記動画再構成手段が再構成した動画を再符号化処理し処理の結果を動画再符号化データとして出力する再符号化手段とを備える画像伝送装置。
2. 請求項１記載の画像伝送装置であって、
   前記送信側信号処理部は、前記監視領域の異常を検知した場合に所定のアラーム情報を生成すると共に前記アラーム情報を前記伝送路に出力する異常検知手段を更に備え、
   前記受信側信号処理部は、前記再符号化手段が出力する動画再符号化データと伝送路から入力された前記動画符号化データとのいずれか一方を伝送路から入力された前記アラーム情報に従って選択するデータ選択手段と、前記データ選択手段が選択したデータを蓄積するデータ蓄積手段とを更に備える画像伝送装置。
3. 請求項１記載の画像伝送装置であって、
   前記送信側信号処理部は、前記撮像部から入力される画像データを処理して画像の解像度を下げ、情報量を減らした画像データを前記第１の符号化手段に与える送信側解像度変換手段を更に備え、
   前記受信側信号処理部は、前記第２の復号化手段から出力される静止画復号データを処理して画像の解像度を前記動画復号データの解像度まで下げ、情報量を減らした静止画復号データを前記動画再構成手段に与える受信側解像度変換手段を更に備える画像伝送装置。
4. 請求項２記載の画像伝送装置であって、
   前記送信側信号処理部は、前記第２の符号化手段が静止画符号化データとして出力する画像に関する単位時間あたりの画像フレーム数を少なくとも２種類の中から選択する時間解像度制御手段を備え、
   前記時間解像度制御手段は、前記アラーム情報により異常を検知した場合は異常がない場合と比べて単位時間あたりの画像フレーム数を増やすものであり、
   前記受信側信号処理部の動画再構成手段は、入力される静止画復号データの単位時間あたりの画像フレーム数の違いに応じて、前記動画復号データと静止画復号データとを合成する際の両者のフレーム数の割合を変更する画像伝送装置。
5. 請求項１記載の画像伝送装置であって、
   前記送信側信号処理部は、前記撮像部から入力される画像データを処理して画像の解像度を下げ情報量を減らした第２の画像データを出力する送信側解像度変換手段と、前記送信側解像度変換手段が出力する第２の画像データを蓄積する画像データ蓄積手段と、前記画像データ蓄積手段に蓄積された複数フレームの第２の画像データを並べて１つのフレームに合成する画像合成手段と、前記画像合成手段が合成した画像のデータと前記撮像部から入力される画像データとのいずれか一方を選択的に前記第２の符号化手段に入力する送信画像選択手段とを更に備え、
   前記受信側信号処理部は、前記静止画復号データが合成されていない場合には入力された静止画復号データを処理して画像の解像度を動画と同等まで下げ情報量を減らした第２の静止画復号データを出力する受信側解像度変換手段と、前記静止画復号データが合成されている場合には入力された静止画復号データの１フレームを複数フレームに分割して第３の静止画復号データとして出力する画像分割手段と、前記第２の静止画復号データと第３の静止画復号データとのいずれか一方を選択して前記動画再構成手段に入力する受信画像選択手段とを更に備える画像伝送装置。
6. 請求項５記載の画像伝送装置であって、
   前記送信側信号処理部は、前記監視領域の異常を検知した場合に所定のアラーム情報を生成すると共に前記アラーム情報を前記伝送路に出力する異常検知手段を更に備え、
   前記送信画像選択手段及び受信画像選択手段は、前記異常検知手段が出力するアラーム情報に従ってデータを選択する画像伝送装置。
7. 請求項５記載の画像伝送装置であって、
   前記第１の復号化手段の出力と動画再構成手段の入力との間に、前記動画復号データを遅延させる遅延手段を更に備える画像伝送装置。
8. 請求項１記載の画像伝送装置であって、
   前記送信側信号処理部は、前記撮像部から入力される画像データを処理して画像フレーム中で予め定めた特徴の現れた領域を異常領域として検出する異常領域検出手段と、入力される画像データから画像フレーム中の前記異常領域を抽出し前記異常領域の画像をフレーム内で拡大した結果を前記第２の符号化手段に入力する画像切り出し拡大手段とを更に備え、
   前記受信側信号処理部は、前記第２の復号化手段の出力する静止画復号データが事前に拡大されていた場合には前記静止画復号データを処理して画像の解像度を下げ情報量を減らした画像データを前記動画再構成手段に入力する解像度変換手段を更に備え、
   前記動画再構成手段は、前記異常領域に相当する前記静止画復号データを動画中の該当するフレームの該当する領域にはめ込んで画像を合成する画像伝送装置。

Images