【０００１】
【発明の属する技術分野】
本発明は、動画像圧縮装置に関し、特に、カメラ制御に連動した動画像圧縮装置に関するものである。
【０００２】
【従来の技術】
動画像を撮影するカメラには、カメラのパン、チルト方向や倍率を外部よりリモート制御できる機能を持ったカメラがある。このような制御機能付きカメラと動画像圧縮装置を組み合わせたシステムが実用化されている。例えば、パン、チルトの制御機能付きカメラには、雲台付カメラがある。また動画像圧縮装置は、例えば、ＩＳＯ規格で定められているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式などの動画像圧縮技術を用いてデータ量を減らし伝送する装置がある。
【０００３】
図２は、動画像伝送システムの構成の一例を示す図である。このシステムは、ネットワークを経由し、カメラ画像を伝送し、モニタに表示するものである。このシステム構成は、カメラ装置２１、動画像圧縮装置２２、ネットワーク２３、動画像伸張装置２４、モニタ２５および操作器２６からなる。以下にその動作を説明する。
【０００４】
カメラ装置２１で撮影された被写体の映像信号２７は、動画像圧縮装置２２を介してネットワーク２３に送られる。また、動画像圧縮装置２２からは、カメラ制御信号２８がカメラ装置２１に入力される。
【０００５】
動画像圧縮装置２２は、カメラ２１から入力された映像信号２７に対し、例えば、ＭＰＥＧ２の圧縮方式で画像圧縮処理を行い、画像圧縮データをネットワーク２３へ出力する。また、ネットワーク２３から入力されたカメラ制御データを、カメラ制御信号２８としてカメラ２１へ出力する。
【０００６】
ネットワーク２３は、画像圧縮データを動画像圧縮装置２２から動画像伸張装置２４へ伝送する。また、カメラ制御データは、動画像伸張装置２４から動画像圧縮装置２２へ伝送する。
【０００７】
動画像伸張装置２４は、ネットワーク２３から入力された画像圧縮データに対し画像伸張処理で、復号処理を行い、元の映像信号２９としてモニタ２５へ出力する。また、操作器２６から入力されたカメラ制御信号３０は、カメラ制御データとしてネットワーク２３へ出力する。モニタ２５は、入力された映像信号２９の画像を表示する。
【０００８】
操作器２６は、カメラ装置２１のパン、チルトあるいはズームを操作するためのレバーやボタンが取り付けられており、レンズの向きや倍率等の機能を制御することが出来る。従って、操作器２６のレバーを倒したりボタンを押すことにより、カメラ装置２１を制御するためのカメラ制御信号３０を出力する。
【０００９】
而して、カメラ２１で撮影した画像データは、映像信号２７として動画像圧縮装置２２へ出力される。動画像圧縮装置２２は、画像データに対し所定の画像圧縮処理を行い、圧縮データをネットワーク２３へ出力する。
【００１０】
ネットワーク２３を経由した画像圧縮データは、動画像伸張装置２４へ入力される。動画像伸張装置２４では、画像伸張処理を行い、映像信号２９をモニタ２５へ出力する。
【００１１】
カメラ操作を行う場合、操作器２６を操作する。操作器２６に取り付けられたレバーやボタンは、カメラ２１のレンズの向きや倍率等を制御するための機能が割り当てられている。例えば、操作器２６のレバーを右に倒すとカメラ２１のレンズの向きが右に動き、ズームボタンを押すとカメラ２１は、ズームを行うといったように機能を割り当てている。レバーやボタン等を操作した情報は、カメラ制御信号３０として動画像伸張装置２４へ出力される。
【００１２】
動画像伸張装置２４では、入力されたカメラ制御信号３０をカメラ制御データとしてネットワーク２３へ出力する。ネットワーク２３を経由したカメラ制御データは、動画像圧縮装置２２へ入力され、カメラ制御信号２８としてカメラ装置２１へ出力する。
【００１３】
動画像圧縮装置２２では、所定の伝送容量を持つ伝送路、例えば、ネットワーク２３に圧縮データを伝送する必要から、レートコントロールと呼ばれる符号量の制御が行なわれる。即ち、ネットワーク２３の伝送容量を越えないように画像データの圧縮率を変えることで動画像圧縮装置２２からの発生符号量を制御している。また、上述したＭＰＥＧ２の圧縮方式では、圧縮したデータ量を少なくするために時間的に前後した画像間の画素相関を利用し、画像の変化分だけを符号化し、伝送する方法が取られている。このため、ほとんど被写体が動かないような画像は、時間的に前後した画像が似通っているので、画像相関が高く、発生符号量は小さくなる。一方被写体に動きがあるような場合、前後の画像の相関がほとんど無いため、画素間の変化分が多く、符号化の際の発生符号量は大きくなる。このように発生符号量が増えた場合、次の画像の圧縮処理では、圧縮率を高くし発生符号量を減らす方法が取られるが、これは伝送する画像の画質劣化を生じさせる。
【００１４】
次に、動画像圧縮装置２２の構成を図３に示す。なお、図２と同じものには同じ符号が付されている。動画像圧縮装置２２は、圧縮処理部３１、送信バッファ３２、発生符号量制御部３３からなる。圧縮処理部３１は、入力された映像信号２７に対し所定の圧縮処理を行い、画像圧縮データ３４として送信バッファ３２へ出力する。また、発生符号量制御部３３から入力された発生符号量制御信号３６により圧縮率が制御される。
【００１５】
送信バッファ３２は、入力された圧縮データ３４を一時的に蓄積し、ネットワーク２３の伝送レートに合わせた速度で画像圧縮データ３７として出力する。また、画像圧縮データの蓄積データ量を監視し、その情報を発生符号量情報３５として発生符号量制御部３３へ出力する。
【００１６】
発生符号量制御部３３は、入力された発生符号量情報３５を用いて送信バッファ３２の蓄積データ量を監視する。従って、送信バッファ３２の蓄積データ量に基いて圧縮処理部３１での圧縮率を決定し、発生符号量制御信号３６として圧縮処理部３１へ出力して、圧縮処理部３１が出力する画像圧縮データ３４の発生符号量を制御する。また、ネットワーク２３より入力されたカメラ制御データは、カメラ制御信号２８として、外部に接続されたカメラ２１に出力される。
【００１７】
図４は、動画像圧縮装置２２の圧縮率と発生符号量の関係を示す図である。以下、図３及び図４を用いて、動画像圧縮装置２２の動作を説明する。圧縮処理部３１では、入力された映像信号２７に対し圧縮処理を行う。圧縮処理は、例えばＭＰＥＧ方式であれば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）、量子化、ハフマン符号化と呼ばれる周知の技術の組み合わせで構成される。他の圧縮方式としてウェーブレット変換方式、算術符号化方式等の技術を用いることもできる。
【００１８】
送信バッファ３２では、蓄積された画像圧縮データ量から圧縮処理部３１での発生符号量を知ることが出来る。従って、送信バッファ３２では、画像圧縮データの蓄積量を発生符号量情報３５として発生符号量制御部３３へ出力する。
【００１９】
発生符号量制御部３３では、送信バッファ３２の画像圧縮データの蓄積量の変動から、前もって定められた目標とする符号量との差分データ量を計算し、圧縮率の増減値を決定する。この目標符号量と圧縮率の増減については後述する。
【００２０】
発生符号量制御信号３６により圧縮率が設定されると、圧縮処理部３１では、画像データを間引く割合を圧縮率に合わせ変化させ、画像圧縮データ３４の発生符号量を増減させる。
【００２１】
次に、圧縮率と発生符号量の制御、即ち、レートコントロールについて、図４を用いて説明をする。図４は、縦軸は、圧縮率と発生符号量を示し、横軸は、時間ｔを表している。発生符号量には、目標符号量４１という圧縮処理の目安が設定されている。この目標符号量４１は、画像圧縮データを伝送路、例えば、ネットワーク２３の伝送可能なデータ量から前もって設定される。あるいは、実験的に設定することも可能である。発生符号量と目標符号量は、単位時間あたりのデータ量を表している。レートコントロールの目的は、設定されている目標符号量４１を超えず、かつ、この目標符号量に近い符号量で符号化するように発生符号量を制御することである。例えば、図４において、Ａ点からＢ点までは、直線４２で示すように発生符号量が目標符号量４１に近づくように、従って、圧縮率は、直線４３で示すように低くなるように制御される。Ｂ点では、発生符号量が目標符号量４１を超えないよう圧縮率を高く制御している。これにより発生符号量は少なくなる。そしてＢ点からＣ点までは、発生符号量が目標符号量４１に近づくよう再び圧縮率を低く制御している。圧縮率と発生符号量の関係は、このようになっている。
【００２２】
而して、ＭＰＥＧ等の画像圧縮では、画面内を決まった画素単位で区切ったブロックと呼ばれる単位で圧縮処理を行っている。このため、１つの画面内で圧縮率を変更する最小の単位はブロックを基準とする。例えばＭＰＥＧ２では、１６×１６画素のマクロブロックと呼ばれる単位を基準としている。レートコントロールは、このマクロブロック毎に圧縮率を変更して、発生符号量を制御している。従って、１つの画面内でも圧縮率の異なるブロックが混在しており、圧縮率を高くし符号量を減らすと、画質劣化が生じる。
【００２３】
このような理由からパン、チルトあるいはズーム機能のような制御機能付きカメラを操作し、カメラを急激に上下左右に動かした場合、撮影した画像全体が変化するため、時間的に前の画像との相関が小さくなる。カメラをズームイン、ズームアウトした場合も同様である。このため、動画像圧縮装置が出力する発生符号量が増えるため、圧縮処理で圧縮率を高くする必要がある。前述したように圧縮率を高くすると画質劣化が生じる。従って、動画像伝送システムを監視用途で使用する場合、画質劣化により監視対象の映像が不鮮明になり、監視用途としての画質を満たさないことがある。
【００２４】
また、符号量を削減する方法として画像符号化装置（例えば、特許文献１参照。）が知られている。この装置は、画像の位置に応じて画質を制御すること、即ち、画像中央部の画質を保ったまま画像周辺部の画質劣化を許容する符号量制御方式である。
【００２５】
更に、符号量を削減する方法として動画像符号化方式（例えば、特許文献２参照。）が知られている。この方法は、動きベクトル情報及び量子化後のブロックデータをもとに、ブロックデータのデータ補正により強制的に非符号化マクロブロック領域を発生させ、符号化量削減を行い、他方のマクロブロックへ符号量を割当てることで画面全体の画質を向上させる技術である。
【００２６】
【特許文献１】
特開２０００−３３３１７２号公報（第３−５頁、第３図）
【特許文献２】
特開平９−３７２６８号公報（第４−５頁、第１図）
【００２７】
【発明が解決しようとする課題】
パン、チルトあるいはズーム機能等の制御機能付カメラと動画像圧縮装置を組み合わせた場合、カメラを動かすことが原因で画像圧縮データの画質劣化が発生する。
【００２８】
本発明の目的は、動画像圧縮に際して画質を向上する動画像圧縮装置を提供することである。
【００２９】
本発明の他の目的は、カメラの動きに合わせて圧縮率を変更する動画像圧縮装置を提供することである。
【００３０】
【課題を解決するための手段】
本発明の動画像圧縮装置は、映像信号入力部と、上記映像信号入力部からの映像信号を画像圧縮する圧縮処理部と上記圧縮処理部からの圧縮データを伝送路に送出する送信バッファ部と、上記映像信号を発生する撮像部の動きを解析する動き解析部および上記送信バッファ部からの符号量情報に基き上記圧縮処理部の圧縮率を制御する発生符号量制御部とからなり、上記発生符号量制御部は、上記撮像部の複数の動き状態に対応した発生符号量制御機能を有し、上記動き解析部からの情報に基き上記発生符号量制御部の複数の発生符号量制御機能を選択するように構成される。
【００３１】
また、本発明の動画像圧縮装置に於いて、上記発生符号量制御部は、上記撮像部の制御内容に応じて圧縮処理部の圧縮率を設定する制御部を有する。
【００３２】
更に、本発明の動画像圧縮装置に於いて、上記動き解析部は、撮像部を制御する制御データから撮影する画像範囲の変化を検出し、上記発生符号量制御部は、時間的に前後する画像との相関が低いと判断した画像領域の圧縮率を高くし、かつ他の領域の圧縮率を低くするように上記圧縮処理部を制御するように構成される。
【００３３】
【発明の実施の形態】
図５は、本発明の原理を説明するための図で、制御機能付カメラの制御と、カメラから得られる時間的に前後した画像間の相関について説明する図である。例えば、カメラの向きを制御し、カメラを右上に向けたとする。図５の（Ａ）は、カメラ向きを制御する前の被写体の撮影範囲を示している。カメラを制御し、カメラを右上に動かすと、図５（Ｂ）のように撮影範囲が右上に移動する。図５（Ａ）の移動前の撮影範囲５１と移動後の撮像範囲５２とを重ねて比較すると、図５（Ｂ）の斜線で示したカメラ移動前の撮影範囲５３を示す領域が新しい撮影範囲５２の外に出ている。従って、図５（Ｂ）のカメラ移動後の画像５２と斜線領域５１との画像の相関は、無い状態となる。つまり、斜線領域５３の画質が高くとも、カメラ移動後の画像とは相関が取れないため、カメラ移動後の画質の向上には関与せず、斜線領域５３に多くの符号量を割り当てても無駄ということになる。一方、図５（Ａ）と図５（Ｂ）の両方に存在する範囲の画像は、時間的に前後した画像間の相関が高いため、図５（Ａ）の時点で高画質であるほど少ない発生符号量で図５（Ｂ）の画質を向上させることが出来る。
【００３４】
以上の考え方を、カメラの向きを上下左右斜め８方向、カメラ位置固定、ズームイン、ズームアウトを含めた合計１１通りについて、その重なりぐあいの状態を示したのが図６である。なお、図６で矢印は、カメラの移動方向を示す。また、斜線部は、時間的に前の画像と相関が取れない、もしくは相関が低い領域を示す。
【００３５】
（１）から（８）までは、カメラの向きを動かしている。その場合に相関が低い領域（斜線で示す領域）は、カメラを動かした方向と反対方向に集中する。カメラ位置を固定した（９）は、画像全体が前の画像と同じになるので最も相関が高い。（１０）は、ズームインした画像を示し、周辺領域（斜線で示す領域）が画面の外に出るので、周辺の相関が低くなる。ズームアウトした（１１）の画像では画面外に出る領域がないので相関が高いが、画面全体が中央に向け収縮するため、完全に一致することは無い。
【００３６】
従って、本発明では、これら図６で示した斜線部分、つまり相関が低い領域の圧縮率を上げることで発生符号量を減らし、他の相関が高い領域の発生符号量を増やすことで効率的なレートコントロールを実現するものである。
【００３７】
図１は、本発明の一実施例を示す動画像圧縮装置のブロック構成図である。なお、この動画像圧縮装置は、図２に示す動画像伝送システムに使用されることは勿論である。動画像圧縮装置１は、圧縮処理部２、送信バッファ３、発生符号量制御部４、カメラ制御データ解析部５からなる。
【００３８】
圧縮処理部２、送信バッファ３は、図３で説明した圧縮処理部３１、送信バッファ３２と同様に、入力した映像信号２７に対し圧縮処理を行い、画像圧縮データ６として送信バッファ３へ出力する。送信バッファ３は、画像圧縮データ７をネットワーク２３へ出力する。
【００３９】
また、圧縮処理部２は、例えば、ＭＰＥＧ２の圧縮処理を行なっている場合には、マクロブロックのブロック位置をブロック位置情報８として発生符号量制御部４に出力する。発生符号量制御部４は、送信バッファ３から入力された発生符号量情報９と、圧縮処理部２より入力されたブロック位置情報８から圧縮率を決定し、発生符号量制御信号１０として圧縮処理部２へ出力する。
【００４０】
また、ネットワーク２３より入力されたカメラ制御データは、カメラ制御データ解析部５に入力され、発生符号量制御部４から制御部選択信号１１を出力する。また、カメラ制御データは、カメラ制御信号２８として外部に出力される。
【００４１】
次に、図１のカメラの動きに連動した動画像圧縮装置の動作を以下に説明する。圧縮処理部２では、入力された映像信号２７に対し圧縮処理を行い、圧縮データ６として送信バッファ３へ出力する。送信バッファ３では、蓄積された圧縮データ量を発生符号量情報９として発生符号量制御部４へ出力する。また、圧縮データ７をネットワーク２３へ出力する。
【００４２】
発生符号量制御部４は、送信バッファから送られた発生符号量情報９に基き目標とする符号量との差分データ量を計算し、図４で示した方法で圧縮率の増減値を決定する。発生符号量制御部４は、カメラの動きに応じて発生符号量を制御するように構成されている。例えば、図６に示すようにカメラの動きの状態が１１個の状態を取るとした場合、発生符号量制御部４は、状態符号量制御部４−１、４−２、・・・４−１１の１１個の符号量制御部を有し、カメラ制御データ解析部５より入力される制御部選択信号１１によりいずれか１つの状態符号量制御部が選択される。そして選択された状態符号量制御部の発生符号量制御信号１０が圧縮処理部２へ入力される。
【００４３】
発生符号量制御信号１０により圧縮率が設定されると、圧縮処理部では、データを間引く割合を圧縮率に合わせ変化させ、圧縮データ６の発生符号量を増減するように制御する。
【００４４】
カメラ制御データ解析部５が出力する制御部選択信号１１の内容は、ネットワーク２３から入力されたカメラ制御データにより決定される。本実施例では、この関係は、図６で説明した１１通りのカメラの動きと、状態符号量制御部４−１、４−２、・・・４−１１の１１個の状態符号量制御部が１対１で対応するとして説明する。例えば、カメラが左上へ移動すると、状態符号量制御部４−１が選択される。従って、状態符号量制御部４−１は、画面右下の領域（斜線で示す領域）の圧縮率が高くなるよう制御される。同様に、例えばズームインの場合、状態符号量制御部４−１０が選択され、状態符号量制御部４−１０は、画像の周囲の圧縮率が高くなるよう制御される。
【００４５】
而して、このような動作には、現在圧縮処理を行っているブロックが画像のどの位置にあるかの情報を発生符号量制御部４が知らなければならない。そのため、圧縮処理部２は、現在圧縮処理を行っているブロック位置をブロック位置情報８として発生符号量制御部４に出力する。
【００４６】
なお、カメラの移動は、一定速度とは限らないため、カメラの移動速度が速いほど、図５（Ｂ）の斜線で示した領域は広くなる。そのため、カメラの移動速度の違いにより上記領域の広さが異なる複数種類の状態符号量制御部を準備することで達成することができる。
【００４７】
以上、本発明について詳細に説明したが、本発明は、ここに記載された動画像圧縮装置に限定されるものではなく、上記以外の動画像圧縮装置に広く適応することが出来ることは、言うまでも無い。
【００４８】
【発明の効果】
以上説明したように本発明は、監視等によりカメラを動かした場合にも画像圧縮データの画質の劣化を抑えた動画像圧縮装置を実現することが可能であり、実用に供し効果が極めて大きいという利点がある。
【図面の簡単な説明】
【図１】本発明の一実施例を説明するためのブロック図である。
【図２】本発明が適用される動画像伝送システムの概略構成を示す図である。
【図３】従来の動画像圧縮装置の一例を示すブロック構成図である。
【図４】動画像圧縮装置における圧縮率と発生符号量の関係を表す図である。
【図５】本発明の原理を説明するための図である。
【図６】本発明の動作を説明するための原理説明図である。
【符号の説明】
１：動画像圧縮装置、２：圧縮処理部、３：送信バッファ、４：発生符号量制御部、５：カメラ制御データ解析部、６、７：圧縮データ、８：ブロック位置情報、９：発生符号量情報、１０：発生符号量制御信号、１１：制御部選択信号、２１：カメラ、２２：動画像圧縮装置、２３：ネットワーク、２４：動画像伸張装置、２５：モニタ、２６：操作器、２７：映像信号、２８：カメラ制御信号。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a video compression device, and more particularly to a video compression device linked to camera control.
[0002]
[Prior art]
2. Description of the Related Art As a camera for capturing a moving image, there is a camera having a function of remotely controlling the pan, tilt direction and magnification of the camera from the outside. A system combining such a camera with a control function and a moving image compression device has been put to practical use. For example, cameras with pan / tilt control functions include cameras with pan heads. Further, as a moving image compression apparatus, there is an apparatus that reduces the amount of data using a moving image compression technique such as the MPEG (Moving Picture Experts Group) method defined by the ISO standard and transmits the data.
[0003]
FIG. 2 is a diagram illustrating an example of the configuration of the moving image transmission system. This system transmits a camera image via a network and displays the image on a monitor. This system configuration includes a camera device 21, a moving image compression device 22, a network 23, a moving image decompression device 24, a monitor 25, and an operation device 26. The operation will be described below.
[0004]
A video signal 27 of a subject photographed by the camera device 21 is sent to the network 23 via the moving image compression device 22. Further, a camera control signal 28 is input from the moving image compression device 22 to the camera device 21.
[0005]
The moving image compression device 22 performs image compression processing on the video signal 27 input from the camera 21 using, for example, an MPEG2 compression method, and outputs compressed image data to the network 23. The camera control data input from the network 23 is output to the camera 21 as a camera control signal 28.
[0006]
The network 23 transmits the compressed image data from the moving image compression device 22 to the moving image decompression device 24. Further, the camera control data is transmitted from the moving image decompression device 24 to the moving image compression device 22.
[0007]
The moving image decompression device 24 performs a decoding process on the compressed image data input from the network 23 by an image decompression process, and outputs the original video signal 29 to the monitor 25. The camera control signal 30 input from the operation device 26 is output to the network 23 as camera control data. The monitor 25 displays an image of the input video signal 29.
[0008]
The operation device 26 is provided with levers and buttons for operating the pan, tilt, and zoom of the camera device 21, and can control functions such as a lens direction and a magnification. Therefore, a camera control signal 30 for controlling the camera device 21 is output by tilting the lever of the operating device 26 or pressing a button.
[0009]
The image data captured by the camera 21 is output to the moving image compression device 22 as the video signal 27. The moving image compression device 22 performs a predetermined image compression process on the image data, and outputs the compressed data to the network 23.
[0010]
The compressed image data via the network 23 is input to the moving image decompression device 24. The moving image decompression device 24 performs image decompression processing and outputs a video signal 29 to the monitor 25.
[0011]
When performing a camera operation, the operation device 26 is operated. A function for controlling the direction of the lens of the camera 21, the magnification, and the like is assigned to the lever and the button attached to the operation device 26. For example, when the lever of the operation device 26 is tilted to the right, the direction of the lens of the camera 21 moves to the right, and when the zoom button is pressed, the camera 21 performs a function such as performing zooming. Information on operating the levers, buttons, and the like is output to the moving image expansion device 24 as a camera control signal 30.
[0012]
The moving image decompression device 24 outputs the input camera control signal 30 to the network 23 as camera control data. The camera control data via the network 23 is input to the moving image compression device 22 and output to the camera device 21 as a camera control signal 28.
[0013]
In the moving image compression device 22, since it is necessary to transmit the compressed data to a transmission path having a predetermined transmission capacity, for example, the network 23, a code amount control called a rate control is performed. That is, by changing the compression ratio of the image data so as not to exceed the transmission capacity of the network 23, the amount of codes generated from the moving image compression device 22 is controlled. Further, in the above-described MPEG2 compression method, in order to reduce the amount of compressed data, a method is used in which only pixel changes are encoded and transmitted using pixel correlation between temporally successive images. . For this reason, in an image in which the subject hardly moves, images that are temporally similar are similar, so that the image correlation is high and the generated code amount is small. On the other hand, when there is a motion in the subject, since there is almost no correlation between the preceding and following images, the amount of change between pixels is large, and the generated code amount at the time of encoding is large. When the generated code amount increases in this way, in the compression processing of the next image, a method of increasing the compression rate and reducing the generated code amount is used, but this causes deterioration in the image quality of the transmitted image.
[0014]
Next, the configuration of the moving image compression device 22 is shown in FIG. The same components as those in FIG. 2 are denoted by the same reference numerals. The moving image compression device 22 includes a compression processing unit 31, a transmission buffer 32, and a generated code amount control unit 33. The compression processing unit 31 performs a predetermined compression process on the input video signal 27 and outputs it as compressed image data 34 to the transmission buffer 32. The compression rate is controlled by the generated code amount control signal 36 input from the generated code amount control unit 33.
[0015]
The transmission buffer 32 temporarily stores the input compressed data 34 and outputs it as image compressed data 37 at a speed corresponding to the transmission rate of the network 23. Further, it monitors the accumulated data amount of the image compression data and outputs the information to the generated code amount control unit 33 as generated code amount information 35.
[0016]
The generated code amount control unit 33 monitors the amount of data stored in the transmission buffer 32 using the input generated code amount information 35. Therefore, the compression rate in the compression processing unit 31 is determined based on the amount of data stored in the transmission buffer 32, and is output to the compression processing unit 31 as a generated code amount control signal 36. 34 is controlled. The camera control data input from the network 23 is output as a camera control signal 28 to the camera 21 connected to the outside.
[0017]
FIG. 4 is a diagram showing the relationship between the compression ratio of the moving image compression device 22 and the generated code amount. Hereinafter, the operation of the moving image compression device 22 will be described with reference to FIGS. The compression processing section 31 performs compression processing on the input video signal 27. For example, in the case of the MPEG method, the compression processing is configured by a combination of well-known techniques called DCT (Discrete Cosine Transform), quantization, and Huffman coding. Techniques such as a wavelet transform method and an arithmetic coding method may be used as other compression methods.
[0018]
In the transmission buffer 32, the amount of code generated in the compression processing unit 31 can be known from the accumulated amount of compressed image data. Accordingly, the transmission buffer 32 outputs the accumulated amount of the compressed image data to the generated code amount control unit 33 as generated code amount information 35.
[0019]
The generated code amount control unit 33 calculates a difference data amount from a predetermined target code amount based on a change in the amount of compressed image data stored in the transmission buffer 32, and determines an increase / decrease value of the compression ratio. The increase / decrease of the target code amount and the compression ratio will be described later.
[0020]
When the compression rate is set by the generated code amount control signal 36, the compression processing unit 31 changes the rate of thinning out the image data according to the compression rate, and increases or decreases the generated code amount of the compressed image data 34.
[0021]
Next, the control of the compression ratio and the generated code amount, that is, the rate control will be described with reference to FIG. In FIG. 4, the vertical axis shows the compression rate and the generated code amount, and the horizontal axis shows time t. For the generated code amount, a target of the compression process called a target code amount 41 is set. The target code amount 41 is set in advance from the amount of data that can be transmitted through the transmission path of the image compression data, for example, the network 23. Alternatively, it can be set experimentally. The generated code amount and the target code amount represent the data amount per unit time. The purpose of the rate control is to control the generated code amount so as not to exceed the set target code amount 41 and to perform coding with a code amount close to the target code amount. For example, in FIG. 4, from point A to point B, control is performed such that the generated code amount approaches the target code amount 41 as indicated by a straight line 42, and thus the compression rate is reduced as indicated by a straight line 43. Is done. At the point B, the compression rate is controlled to be high so that the generated code amount does not exceed the target code amount 41. As a result, the generated code amount is reduced. From point B to point C, the compression rate is again controlled to be low so that the generated code amount approaches the target code amount 41. The relationship between the compression ratio and the generated code amount is as described above.
[0022]
Thus, in image compression such as MPEG, compression processing is performed in units called blocks, each of which is divided into fixed pixels in the screen. For this reason, the minimum unit for changing the compression ratio in one screen is based on the block. For example, MPEG2 is based on a unit called a macroblock of 16 × 16 pixels. The rate control controls the generated code amount by changing the compression ratio for each macroblock. Therefore, blocks having different compression ratios are mixed in one screen. If the compression ratio is increased and the code amount is reduced, image quality is deteriorated.
[0023]
For this reason, if you operate a camera with a control function such as pan, tilt, or zoom and move the camera rapidly up, down, left, or right, the entire captured image will change, and you Correlation decreases. The same applies when the camera is zoomed in and out. For this reason, the generated code amount output from the moving image compression apparatus increases, and it is necessary to increase the compression ratio in the compression processing. As described above, when the compression ratio is increased, image quality deteriorates. Therefore, when the moving image transmission system is used for surveillance use, the image to be monitored becomes unclear due to image quality deterioration, and the image quality for surveillance use may not be satisfied.
[0024]
Further, as a method of reducing the code amount, an image coding device (for example, see Patent Document 1) is known. This apparatus is a code amount control method that controls image quality according to the position of an image, that is, allows image quality degradation in the peripheral portion of an image while maintaining the image quality in the central portion of the image.
[0025]
Further, as a method of reducing the code amount, a moving image coding method (for example, see Patent Document 2) is known. In this method, based on the motion vector information and the quantized block data, a non-coded macroblock region is forcibly generated by data correction of the block data, the amount of coding is reduced, and the coding amount is reduced to the other macroblock. This is a technique for improving the image quality of the entire screen by assigning a code amount.
[0026]
[Patent Document 1]
JP 2000-333172 A (Page 3-5, FIG. 3)
[Patent Document 2]
JP-A-9-37268 (pages 4-5, FIG. 1)
[0027]
[Problems to be solved by the invention]
When a camera with a control function such as a pan, tilt or zoom function is combined with a moving image compression device, the image quality of the compressed image data is deteriorated due to the movement of the camera.
[0028]
SUMMARY OF THE INVENTION An object of the present invention is to provide a moving image compression apparatus that improves image quality when compressing a moving image.
[0029]
Another object of the present invention is to provide a moving image compression apparatus that changes a compression ratio in accordance with the movement of a camera.
[0030]
[Means for Solving the Problems]
A moving image compression apparatus of the present invention includes a video signal input unit, a compression processing unit that compresses a video signal from the video signal input unit, and a transmission buffer unit that sends compressed data from the compression processing unit to a transmission path. A motion analysis unit that analyzes the motion of the imaging unit that generates the video signal; and a generated code amount control unit that controls the compression rate of the compression processing unit based on the code amount information from the transmission buffer unit. The code amount control unit has a generated code amount control function corresponding to a plurality of motion states of the imaging unit, and performs a plurality of generated code amount control functions of the generated code amount control unit based on information from the motion analysis unit. Be configured to be selected.
[0031]
Further, in the moving picture compression device of the present invention, the generated code amount control unit has a control unit that sets a compression ratio of a compression processing unit according to the control content of the imaging unit.
[0032]
Further, in the moving picture compression device of the present invention, the motion analysis unit detects a change in an image range to be shot from control data for controlling the imaging unit, and the generated code amount control unit moves back and forth in time. The compression processing unit is configured to increase the compression ratio of an image area determined to have a low correlation with an image and to decrease the compression ratio of another area.
[0033]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 5 is a diagram for explaining the principle of the present invention, and is a diagram for explaining the control of the camera with the control function and the correlation between temporally successive images obtained from the camera. For example, suppose that the direction of the camera is controlled and the camera is turned to the upper right. FIG. 5A shows a photographing range of the subject before the camera direction is controlled. When the camera is controlled and the camera is moved to the upper right, the shooting range is moved to the upper right as shown in FIG. When the photographing range 51 before the movement and the photographing range 52 after the movement in FIG. 5A are overlapped and compared with each other, the region indicating the photographing range 53 before the camera movement indicated by the diagonal line in FIG. 52 is outside. Therefore, there is no correlation between the image 52 after the camera movement and the image of the hatched area 51 in FIG. 5B. In other words, even if the image quality of the hatched area 53 is high, it cannot be correlated with the image after moving the camera, so that it does not contribute to the improvement of the image quality after moving the camera. It turns out that. On the other hand, images in the range existing in both FIG. 5A and FIG. 5B have a high correlation between images that are temporally preceding and succeeding. Therefore, the higher the image quality at the time of FIG. The image quality of FIG. 5B can be improved by the generated code amount.
[0034]
FIG. 6 shows a state in which the above concepts are overlapped in a total of 11 ways including eight directions of the camera, including up, down, left, right, and oblique directions, fixed camera position, zoom-in, and zoom-out. Note that, in FIG. 6, the arrow indicates the moving direction of the camera. The shaded area indicates an area where the temporally preceding image has no correlation or has a low correlation.
[0035]
From (1) to (8), the direction of the camera is moved. In this case, the area having a low correlation (the area shown by oblique lines) concentrates in the direction opposite to the direction in which the camera is moved. (9) with the camera position fixed has the highest correlation since the entire image is the same as the previous image. (10) shows a zoomed-in image, and the peripheral area (the area shown by oblique lines) is outside the screen, so that the peripheral correlation is low. In the zoomed-out image (11), there is no area outside the screen, so the correlation is high. However, since the entire screen contracts toward the center, there is no perfect match.
[0036]
Therefore, in the present invention, the amount of generated code is reduced by increasing the compression ratio of the hatched portion shown in FIG. 6, that is, the region having a low correlation, and the amount of generated code is increased by increasing the amount of generated code in other regions having a high correlation. It implements rate control.
[0037]
FIG. 1 is a block diagram of a moving picture compression apparatus according to an embodiment of the present invention. It is needless to say that this video compression apparatus is used in the video transmission system shown in FIG. The moving image compression apparatus 1 includes a compression processing unit 2, a transmission buffer 3, a generated code amount control unit 4, and a camera control data analysis unit 5.
[0038]
The compression processing unit 2 and the transmission buffer 3 perform compression processing on the input video signal 27 and output the compressed video data 6 to the transmission buffer 3 as in the compression processing unit 31 and the transmission buffer 32 described with reference to FIG. . The transmission buffer 3 outputs the compressed image data 7 to the network 23.
[0039]
In addition, when performing compression processing of MPEG2, for example, the compression processing unit 2 outputs the block position of the macroblock to the generated code amount control unit 4 as block position information 8. The generated code amount control unit 4 determines a compression rate from the generated code amount information 9 input from the transmission buffer 3 and the block position information 8 input from the compression processing unit 2, and performs a compression process as a generated code amount control signal 10. Output to section 2.
[0040]
Further, the camera control data input from the network 23 is input to the camera control data analysis unit 5, and the control unit selection signal 11 is output from the generated code amount control unit 4. The camera control data is output to the outside as a camera control signal 28.
[0041]
Next, the operation of the moving picture compression apparatus linked to the movement of the camera in FIG. 1 will be described below. The compression processing unit 2 performs a compression process on the input video signal 27 and outputs it as compressed data 6 to the transmission buffer 3. The transmission buffer 3 outputs the accumulated amount of compressed data to the generated code amount control unit 4 as generated code amount information 9. Further, it outputs the compressed data 7 to the network 23.
[0042]
The generated code amount control unit 4 calculates the difference data amount from the target code amount based on the generated code amount information 9 sent from the transmission buffer, and determines the increase / decrease value of the compression ratio by the method shown in FIG. . The generated code amount control unit 4 is configured to control the generated code amount according to the movement of the camera. For example, as shown in FIG. 6, when the camera moves in 11 states, the generated code amount control unit 4 sets the state code amount control units 4-1, 4-2,. There are 11 code amount control units, and any one of the state code amount control units is selected by a control unit selection signal 11 input from the camera control data analysis unit 5. Then, the generated code amount control signal 10 of the selected state code amount control unit is input to the compression processing unit 2.
[0043]
When the compression rate is set by the generated code amount control signal 10, the compression processing unit changes the rate of thinning out the data in accordance with the compression rate and controls the generated code amount of the compressed data 6 to increase or decrease.
[0044]
The content of the control unit selection signal 11 output by the camera control data analysis unit 5 is determined by the camera control data input from the network 23. In this embodiment, this relationship is based on the 11 camera movements described in FIG. 6 and the 11 state code amount control units 4-1 4-2,... 4-11. Are explained on a one-to-one basis. For example, when the camera moves to the upper left, the state code amount control unit 4-1 is selected. Therefore, the state code amount control unit 4-1 is controlled so that the compression ratio in the lower right area of the screen (the area indicated by oblique lines) is increased. Similarly, for example, in the case of zoom-in, the state code amount control unit 4-10 is selected, and the state code amount control unit 4-10 is controlled so that the compression rate around the image is increased.
[0045]
Thus, for such an operation, the generated code amount control unit 4 must know information on where in the image the block currently undergoing compression processing is located. Therefore, the compression processing unit 2 outputs the block position where the compression processing is currently performed to the generated code amount control unit 4 as the block position information 8.
[0046]
Note that the movement of the camera is not always at a constant speed, so that the faster the movement speed of the camera, the wider the shaded area in FIG. 5B. Therefore, this can be achieved by preparing a plurality of types of state code amount control units having different areas in the above-mentioned area due to differences in the moving speed of the camera.
[0047]
As described above, the present invention has been described in detail. However, the present invention is not limited to the moving image compression device described here, and it can be said that the present invention can be widely applied to other moving image compression devices. Not even.
[0048]
【The invention's effect】
As described above, the present invention can realize a moving image compression apparatus that suppresses deterioration of image quality of image compression data even when a camera is moved by monitoring or the like, and is very practical and extremely effective. There are advantages.
[Brief description of the drawings]
FIG. 1 is a block diagram for explaining an embodiment of the present invention.
FIG. 2 is a diagram showing a schematic configuration of a moving image transmission system to which the present invention is applied.
FIG. 3 is a block diagram showing an example of a conventional moving picture compression apparatus.
FIG. 4 is a diagram illustrating a relationship between a compression ratio and a generated code amount in the moving image compression device.
FIG. 5 is a diagram for explaining the principle of the present invention.
FIG. 6 is a principle explanatory diagram for explaining the operation of the present invention.
[Explanation of symbols]
1: moving image compression device, 2: compression processing unit, 3: transmission buffer, 4: generated code amount control unit, 5: camera control data analysis unit, 6, 7: compressed data, 8: block position information, 9: generation Code amount information, 10: generated code amount control signal, 11: control unit selection signal, 21: camera, 22: moving image compression device, 23: network, 24: moving image decompression device, 25: monitor, 26: operating device, 27: video signal, 28: camera control signal.
