JP2013187769A - 符号化装置 - Google Patents

Abstract

【課題】ＲＯＩの符号化量の増加を最小限に抑えながら、ゴーストを抑制することができる符号化装置を提供する。
【解決手段】ネットワーク４が輻輳状態になっている場合、非拡張ＲＯＩ５１を符号化するときは、非拡張ＲＯＩ５１とＲＯＩ５０を含む拡張ＲＯＩ５２を夫々符号化し、特に、拡張ＲＯＩ５２の中でＲＯＩ５０以外の領域を非拡張ＲＯＩ５１と同じ画質の符号化を行い、非拡張ＲＯＩ５１を符号化しないときは、ＲＯＩ５０を符号化すると共に、拡張ＲＯＩ５２の中でＲＯＩ５０及び１フレーム前のＲＯＩ５０以外の領域をスキップマクロブロック５２１として符号化を行い、さらに、拡張ＲＯＩ５２の中のＲＯＩ５０以外の領域であって、１フレーム前のＲＯＩ５０と今回のＲＯＩ５０との差の領域を非拡張ＲＯＩ５１相当の低画質の差分マクロブロック５２２として符号化を行う。
【選択図】図２

Description

本発明は、監視カメラシステムに用いて好適な符号化装置に関する。

監視カメラシステムには、ネットワークカメラ等の映像送信装置と、ビューワ等の映像受信装置とを備え、ネットワークを利用して映像送信装置から映像受信装置へ映像を配信するようにしたものがある。また、関心領域（ＲＯＩ：Region Of Interest）を含む動画像を符号化する符号化装置が搭載されたものにあっては、ＲＯＩと非ＲＯＩとを別々に配信する機能、ネットワークが輻輳状態になったときに、非ＲＯＩのフレームレートを動的に低下させる機能及びＲＯＩの位置を動的に変化させる機能を有し、さらに、非ＲＯＩ（背景画像）は動かないようにした（固定カメラを想定）ものもある。

ここで、ネットワークが輻輳状態になったときに、非ＲＯＩのフレームレートを動的に低下させた状態（フレームレートが「ＲＯＩ＞＞非ＲＯＩ」）で、かつＲＯＩが移動する場合の画像符号化処理と画像復号化処理について説明する。図５は、画像符号化処理及び画像復号化処理を模式的に示した図である。同図において、（ａ）〜（ｄ）の各画像は、ＧＯＰ（Group Of Pictures）に含まれるフレームであり、（ａ）はＩ（Intra Picture）フレーム、（ｂ）〜（ｄ）の各々はＰ（Predictive Picture）フレームである。

いま、ネットワークの輻輳状態において、（ａ）のＩフレームでは、画像符号化処理でＲＯＩ１００と非ＲＯＩ（背景）１０１を符号化する。そして、符号化した画像データを画像復号化処理で復号化する。結果として（ｅ）に示す画像が表示される。

次に、（ｂ）のＰフレームでは、非ＲＯＩ（背景）１０１は符号化しないため、画像復号化処理で復号化してもＲＯＩ１００しか出てこない。このため、符号化後のＰフレームを復号化した後、１フレーム前のＩフレームを復号化した（ｅ）のフレームと合成する。結果として（ｆ）に示すように表示される。このように、１フレーム前のフレームを使用することで、非ＲＯＩを含む画像が表示される。ところで、（ｂ）のＰフレームでＲＯＩ１００の移動があるため、（ｂ）のＰフレームでは、（ａ）のＩフレームでのＲＯＩ１００の位置と異なる位置にあり、（ａ）のＩフレームでのＲＯＩ１００と（ｂ）のＰフレームでのＲＯＩ１００とに差が生ずる。この差がゴースト１１０として現れる。このように、ネットワークが輻輳状態にあって、非ＲＯＩ１０１を配信しない場合、１フレーム前の復号化したフレームを利用すると、ＲＯＩ１００が移動した分、１フレーム前のフレームでのＲＯＩの一部がゴースト１１０となって現れてしまう。

次に、（ｃ）のＰフレームでは、前述した（ａ）のＩフレームと同様に、画像符号化処理でＲＯＩ１００と非ＲＯＩ（背景）１０１を符号化する。そして、符号化した画像データを画像復号化処理で復号化する。なお、ＲＯＩ１００の移動があるので、（ｂ）のＰフレームでのＲＯＩ１００の位置と異なる位置にある。結果として（ｇ）に示す画像が表示される。

次に、（ｄ）のＰフレームにおいて、前述した（ｂ）のＰフレームと同様に、非ＲＯＩ１０１は符号化しないため、画像復号化処理で復号化してもＲＯＩ１００しか出てこない。このため、符号化後のＰフレームを復号化した後、１フレーム前のＰフレームを復号化した（ｇ）のフレームと合成する。結果として（ｈ）に示すように表示される。このように、１フレーム前のフレームを使用することで、非ＲＯＩを含む画像が表示される。しかし、この場合も（ｄ）のＰフレームでＲＯＩ１００の移動があるため、（ｄ）のＰフレームでは、（ｃ）のＰフレームでのＲＯＩ１００の位置と異なる位置にあり、（ｃ）のＰフレームでのＲＯＩ１００と（ｄ）のＰフレームでのＲＯＩ１００とに差が生ずる。この差がゴースト１１０として現れる。

１フレーム前のフレームのＲＯＩ１００がゴースト１１０となって現れる問題に対し、例えば特許文献１に記載されている「ビデオ時間アップコンバージョンを用いた処理方法及び装置」では、変化を緩やかにする非ＲＯＩ境界のマクロブロックに対して、隣接ＲＯＩマクロブロックの平均動きベクトルを用いるとともに、ぼかしフィルタを用いてゴーストを抑制するようにしている。また、同問題に対し、例えば特許文献２に記載されている「撮像装置及び撮像方法」では、ＲＯＩの位置を動きベクトルで調整するようにしている。即ち、注目物体である人物に対して動きベクトル方向に大きめのＲＯＩを設けるようにしてゴーストを抑制するようにしている。

特表２００９−５０１４７６号公報 特開２００６−３２４８３４号公報

しかしながら、特許文献１に記載されている「ビデオ時間アップコンバージョンを用いた処理方法及び装置」では、ゴーストを完全には除去することができない。また、大きな動きには対応できない。
また、特許文献２に記載されている「撮像装置及び撮像方法」では、読み出し範囲の画質が一定であり、符号化量が多くなってしまう。即ち、人物に対して大きめのＲＯＩを設けるようにしてＲＯＩの画質を一定にしているので、人物を高画質に保つためには符号化量が多くなってしまう。

本発明は、係る事情に鑑みてなされたものであり、ＲＯＩの符号化量の増加を最小限に抑えながら、ゴーストを抑制することができる符号化装置を提供することを目的とする。

本発明の符号化装置は、ＲＯＩを含む動画像を符号化する符号化装置であって、前記動画像から注目物体を認識する認識部と、前記注目物体を含むＲＯＩを設定する切出部と、前記注目物体の動きを考慮して前記ＲＯＩを含む拡張ＲＯＩを設定する合成部と、前記拡張ＲＯＩと前記拡張ＲＯＩ以外の領域である非拡張ＲＯＩとを符号化する符号化部とを有し、前記非拡張ＲＯＩを符号化するとき、前記拡張ＲＯＩを共に符号化し、前記拡張ＲＯＩの符号化は、前記ＲＯＩを符号化すると共に前記拡張ＲＯＩの中で前記ＲＯＩ以外の領域は前記ＲＯＩと異なる画質の符号化を行い、前記非拡張ＲＯＩを符号化しないときは、前記拡張ＲＯＩを符号化するとき、前記ＲＯＩを符号化すると共に前記拡張ＲＯＩの中で前記ＲＯＩ以外の領域であって、前回のＲＯＩの中で今回のＲＯＩに含まれない領域を前記ＲＯＩとは異なる画質の符号化を行う。

上記構成によれば、注目物体の動きを考慮した拡張ＲＯＩを設定し、非拡張ＲＯＩを符号化するとき、拡張ＲＯＩを符号化し、この拡張ＲＯＩの符号化においては、ＲＯＩを符号化すると共に、拡張ＲＯＩの中でＲＯＩ以外の領域をＲＯＩと異なる画質の符号化を行い、また、非拡張ＲＯＩを符号化しないときは、拡張ＲＯＩの符号化において、ＲＯＩを符号化すると共に、拡張ＲＯＩの中でＲＯＩ以外の領域であって、前回のＲＯＩの中で今回のＲＯＩに含まれない領域とは異なる画質の符号化を行う。

これにより、ＲＯＩに動きがあって、今回の動画像に非ＲＯＩを符号化しない場合、拡張ＲＯＩの中のＲＯＩ以外の領域であって、前回のＲＯＩと今回のＲＯＩとの差の領域（差分の領域）を、ＲＯＩとは異なる画質の符号化を行うことで、復号化処理において、前回の画像と今回の画像とを合成した際に、前記差分の領域を上書きした形になるので、ＲＯＩの動きに伴うゴーストが抑制される。そして、注目物体の動きを考慮した大きさの拡張ＲＯＩを設定することから、非ＲＯＩ以外のＲＯＩの符号化量の増加を最小限に抑えながら、ゴーストを抑制することが可能となる。

上記構成において、前記非拡張ＲＯＩを符号化するとき、前記ＲＯＩを符号化すると共に前記拡張ＲＯＩの中で前記ＲＯＩ以外の領域を前記非拡張ＲＯＩと同じ画質の符号化を行い、前記非拡張ＲＯＩを符号化しないときは、前記ＲＯＩを符号化すると共に前記拡張ＲＯＩの中で前記ＲＯＩ及び前回のＲＯＩ以外の領域をスキップマクロブロックとして符号化を行う。

上記構成によれば、非拡張ＲＯＩを符号化するとき、拡張ＲＯＩの中でＲＯＩ以外の領域を非拡張ＲＯＩと同じ画質の符号化を行い、非拡張ＲＯＩを符号化しないときは、拡張ＲＯＩの中でＲＯＩ及び前回のＲＯＩ以外の領域をスキップマクロブロックとして符号化を行うので符号化量の増加を抑えられ、復号化処理において、ＲＯＩ及び前回のＲＯＩの領域だけを上書きすることになることから、非ＲＯＩ以外のＲＯＩの符号化量の増加を最小限に抑えながら、ゴーストを抑制することが可能となる。

本発明の符号化装置は、ＲＯＩを含む動画像を符号化する符号化装置であって、前記動画像から注目物体を認識する認識部と、前記注目物体を含むＲＯＩを設定する切出部と、前記注目物体の動きを考慮して前記ＲＯＩを含む拡張ＲＯＩを設定する合成部と、前記ＲＯＩと前記ＲＯＩ以外の領域である非ＲＯＩとを符号化する符号化部とを有し、前記非ＲＯＩを符号化するとき、前記ＲＯＩを符号化すると共に前記拡張ＲＯＩの中で前記ＲＯＩ以外の領域はダミーマクロブロックとして符号化を行い、前記非ＲＯＩを符号化しないときは、前記ＲＯＩを符号化するとき、前記拡張ＲＯＩの中で前記ＲＯＩ以外の領域であって、前回のＲＯＩの中で今回のＲＯＩに含まれない領域を前記ＲＯＩとは異なる画質の符号化を行う。

上記構成によれば、注目物体の動きを考慮した拡張ＲＯＩを設定し、非ＲＯＩを符号化するとき、ＲＯＩを符号化すると共に、拡張ＲＯＩの中でＲＯＩ以外の領域はダミーマクロブロックとして符号化を行い、非ＲＯＩを符号化しないときは、ＲＯＩを符号化するとき、拡張ＲＯＩの中でＲＯＩ以外の領域であって、前回のＲＯＩの中で今回のＲＯＩに含まれない領域をＲＯＩとは異なる画質の符号化を行う。拡張ＲＯＩの中でＲＯＩ以外の領域は表示に使用されないダミーマクロブロックとして符号化を行うことで、符号化量を抑えることができる。また、前回のＲＯＩと今回のＲＯＩとの差の領域（差分の領域）を、ＲＯＩとは異なる画質の符号化を行うことで、復号化処理において、前回の画像と今回の画像とを合成した際に、前記差分の領域を上書きした形になり、ＲＯＩに動きに伴うゴーストが抑制される。したがって、非ＲＯＩ以外のＲＯＩの符号化量の増加を最小限に抑えながら、ゴーストを抑制することが可能となる。

本発明によれば、ＲＯＩの符号化量の増加を最小限に抑えながら、ゴーストを抑制することができる。

本発明の実施の形態１に係る符号化装置を適用した監視カメラシステムの概略構成を示すブロック図 図１の符号化装置における画像符号化処理及び映像受信装置における画像復号化処理を模式的に示した図 図１の符号化装置における画像符号化処理を示すフローチャート 本発明の実施の形態２に係る符号化装置における画像符号化処理及び映像受信装置における画像復号化処理を模式的に示した図 本発明に関連する画像符号化処理及び画像復号化処理を模式的に示した図

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る符号化装置を適用した監視カメラシステムの概略構成を示すブロック図である。同図において、本実施の形態に係る監視カメラシステム１は、撮像して得られた画像を符号化し、ネットワーク４を介して配信する映像送信装置２と、ネットワーク４を介して配信された符号化画像を受信して復号化し、表示する映像受信装置３とから構成される。なお、同図において、実線は画像データの流れを示し、破線は制御信号の流れを示し、点線は輻輳通知又は認識結果通知又は符号化結果通知を示している。

映像送信装置２は、撮像部２０、符号化装置２１及び通信部２２を備える。符号化装置２１は、記憶部２１０、認識部２１１、切出部２１２、合成部２１３、符号化部２１４及び制御部２１５を備える。撮像部２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子（図示略）を有し、該撮像素子に結像した被写体の動画像を出力する。記憶部２１０は、撮像部２０から出力されるフレーム毎の動画像を記憶する。認識部２１１は、記憶部２１０に記憶されたフレーム毎の動画像からＲＯＩの対象となる人物（注目物体）を認識する。また、認識部２１１は、認識結果を制御部２１５に通知する。切出部２１２は、認識部２１１の認識結果に基づいて、フレーム毎の動画像から人物を含むＲＯＩを設定する。合成部２１３は、人物の動きを考慮して、切出部２１２で設定されたＲＯＩを含む拡張ＲＯＩを設定する。

符号化部２１４は、Ｈ．２６４の動画像圧縮規格を用いて、拡張ＲＯＩと該拡張ＲＯＩ以外の領域である非拡張ＲＯＩとを符号化する。符号化部２１４は、非拡張ＲＯＩを符号化するとき、拡張ＲＯＩを共に符号化する。この際、拡張ＲＯＩの符号化は、ＲＯＩを符号化すると共に拡張ＲＯＩの中でＲＯＩ以外の領域はＲＯＩと異なる画質の符号化を行う。一方、非拡張ＲＯＩを符号化しないときは、拡張ＲＯＩを符号化するとき、ＲＯＩを符号化すると共に拡張ＲＯＩの中でＲＯＩ以外の領域であって、前回のＲＯＩの中で今回のＲＯＩに含まれない領域（差分マクロブロック）をＲＯＩとは異なる画質の符号化を行う。非拡張ＲＯＩを符号化しないときとは、例えば、輻輳が生じて回線状態が悪化したときである。符号化部２１４は、符号化結果を制御部２１５に通知する。なお、Ｈ．２６４の動画像圧縮規格については、インプレス標準教科書シリーズの「改訂三版 Ｈ．２６４／ＡＶＣ教科書」に詳しく書かれている。

通信部２２は、符号化装置２１で符号化された画像データを、ネットワーク４を介して映像受信装置３に配信する。また、通信部２２は、ネットワークが輻輳状態になったときに、符号化装置２１の制御部２１５に輻輳通知を行う。制御部２１５は、認識部２１１、切出部２１２、合成部２１３及び符号化部２１４のそれぞれに対して指示を出す。即ち、認識部２１１に対して認識の指示を出し、切出部２１２に対して認識部２１１が認識したＲＯＩを画像から切り出す指示を出す。また、合成部２１３に対して拡張ＲＯＩを作成する指示を出し、符号化部２１４に対して符号化する指示を出す。

映像受信装置３は、通信部３１、復号化部３２、記憶部３３、合成部３４、制御部３５及び表示部３６を備える。通信部３１は、映像送信装置２から配信された画像データを、ネットワーク４を介して受信し、復号化部３２に出力する。復号化部３２は、通信部３１で受信された画像データを復号化する。復号化部３２で復号化された画像データは一旦記憶部３３に記憶される。合成部３４は、記憶部３３に記憶されたＲＯＩと非ＲＯＩストリームの復号画像データを合成する。合成部３４で合成された画像データは表示部３６にて表示される。制御部３５は、復号化部３２に対して画像を復号化する指示を出し、合成部３４に対して画像を合成する指示を出す。

次に、映像送信装置２の画像符号化処理及び映像受信装置３における画像復号化処理の詳細について説明する。
図２は、符号化装置２１における画像符号化処理及び映像受信装置３における画像復号化処理を模式的に示した図である。同図において、（ａ）〜（ｄ）の各画像は、ＧＯＰ（Group Of Pictures）に含まれるフレームであり、（ａ）はＩ（Intra Picture）フレーム、（ｂ）〜（ｄ）の各々はＰ（Predictive Picture）フレームである。

いま、ネットワーク４の輻輳状態において、（ａ）のＩフレームでは、画像符号化処理で非ＲＯＩ（背景画像）５１とＲＯＩ５０を含む拡張ＲＯＩ５２を符号化する。この場合、非ＲＯＩ５１は、拡張ＲＯＩ５２から見ると非拡張ＲＯＩとなるので、以後“非拡張ＲＯＩ５１”と呼ぶ。拡張ＲＯＩ５２は、ＲＯＩ５０よりも広めの領域としており、ＲＯＩ５０は拡張ＲＯＩ５２に含まれる。拡張ＲＯＩ５２内のＲＯＩ５０を除く領域（以後、“余白”と呼ぶ）５３は、ＧＯＰ間のＲＯＩ５０の移動量を考慮して設定する。

非拡張ＲＯＩ５１を符号化するときは、ＲＯＩ５０を符号化すると共に、拡張ＲＯＩ５２の中でＲＯＩ５０以外の領域を非拡張ＲＯＩ５１と同じ画質の符号化を行う。（ａ）のＩフレームで、非拡張ＲＯＩ５１と拡張ＲＯＩ５２を符号化した後、符号化した画像データを映像受信装置３に向けて配信する。映像受信装置３では、映像送信装置２から配信された画像データを受信することで、非拡張ＲＯＩ５１と拡張ＲＯＩ５２を復号化する。結果として（ｅ）に示す画像が表示部３６に表示される。

次に、（ｂ）のＰフレームでは、非拡張ＲＯＩ５１は符号化せず、ＲＯＩ５０を含む拡張ＲＯＩ５２のみ符号化する。即ち、ＲＯＩ５０を符号化すると共に、拡張ＲＯＩ５２の中でＲＯＩ５０及び１フレーム前のＲＯＩ５０以外の領域をスキップマクロブロック５２１として符号化を行う。また、拡張ＲＯＩ５２の中のＲＯＩ５０以外の領域であって、１フレーム前のＲＯＩ５０と今回のＲＯＩ５０との差の領域を差分マクロブロック５２２として符号化を行う。スキップマクロブロック５２１は、Ｈ．２６４の規格で決まっているもので、フラグを送るだけの数ビットで済むものである。差分マクロブロック５２２は、非拡張ＲＯＩ５１相当の低画質で良い。

（ｂ）のＰフレームで、ＲＯＩ５０、スキップマクロブロック５２１及び差分マクロブロック５２２を符号化した後、符号化した画像データを映像受信装置３に向けて配信する。映像受信装置３では、映像送信装置２から配信された画像データを受信することで、ＲＯＩ５０、スキップマクロブロック５２１及び差分マクロブロック５２２を復号化する。そして、非拡張ＲＯＩ５１を得るために、１フレーム前のフレームの復号化した（ｅ）の画像と合成する。このとき、ＲＯＩ５０が移動した分の差分マクロブロック５２２が（ｅ）の画像に上書きされるので、ＲＯＩ５０が移動することによるゴーストが抑制される。差分マクロブロック５２２は、ゴースト除去用のマクロブロックとして用いられる。なお、差分マクロブロック５２２の上書きと同時に、スキップマクロブロック５２１の上書きも行われるが、拡張ＲＯＩ５２中のスキップマクロブロック５２１に対応する領域にはゴーストが発生していないので、変化はない。結果として（ｆ）に示す画像が表示部３６に表示される。

次に、（ｃ）のＰフレームでは、前述した（ａ）のＩフレームと同様に、画像符号化処理で非拡張ＲＯＩ５１と拡張ＲＯＩ５２を符号化する。但し、（ｃ）のＰフレームでは、ＲＯＩ５０が（ｂ）のＰフレームのＲＯＩ５０から移動している。（ｃ）のＰフレームで、非拡張ＲＯＩ５１と拡張ＲＯＩ５２を符号化した後、符号化した画像データを映像受信装置３に向けて配信する。映像受信装置３では、映像送信装置２から配信された画像データを受信することで、非拡張ＲＯＩ５１と拡張ＲＯＩ５２を復号化する。結果として（ｇ）に示す画像が表示部３６に表示される。

次に、（ｄ）のＰフレームでは、前述した（ｂ）のＰフレームと同様に、ＲＯＩ５０を含む拡張ＲＯＩ５２のみ符号化する。即ち、ＲＯＩ５０を符号化すると共に、拡張ＲＯＩ５２の中でＲＯＩ５０及び１フレーム前のＲＯＩ５０以外の領域をスキップマクロブロック５２１として符号化を行う。さらに、拡張ＲＯＩ５２の中のＲＯＩ５０以外の領域であって、１フレーム前のＲＯＩ５０と今回のＲＯＩ５０との差の領域を差分マクロブロック５２２として符号化を行う。（ｄ）のＰフレームで、ＲＯＩ５０、スキップマクロブロック５２１及び差分マクロブロック５２２を符号化した後、符号化した画像データを映像受信装置３に向けて配信する。映像受信装置３では、映像送信装置２から配信された画像データを受信することで、ＲＯＩ５０、スキップマクロブロック５２１及び差分マクロブロック５２２を復号化する。そして、非拡張ＲＯＩ５１を得るために、１フレーム前のフレームの復号化した（ｇ）の画像と合成する。このとき、ＲＯＩ５０が移動した分の差分マクロブロック５２２が（ｇ）の画像に上書きされるので、ＲＯＩ５０が移動することによるゴーストが抑制される。なお、差分マクロブロック５２２の上書きと同時に、スキップマクロブロック５２１の上書きも行われるが、拡張ＲＯＩ５２中のスキップマクロブロック５２１に対応する領域にはゴーストが発生していないので、変化はない。結果として（ｈ）に示す画像が表示部３６に表示される。

このように、スキップマクロブロック５２１とゴースト除去用の差分マクロブロック５２２を含む拡張ＲＯＩ５２を設けることで、非拡張ＲＯＩ５１が無く、かつＲＯＩ５０が移動した場合で、１フレーム前の画像（復号化済みの画像）と合成する場合に、スキップマクロブロック５２１とゴースト除去用の差分マクロブロック５２２を上書きするので、１フレーム前の画像のＲＯＩ５０の一部がゴーストとなって現れるのを抑制することができる。

図３は、符号化装置２１における画像符号化処理を示すフローチャートである。本処理は、主に制御部２１５によって行われる。
図３において、まずネットワーク状態が輻輳しているどうか判定する（ステップＳ１）。ネットワーク状態が輻輳していない場合（即ち、ステップＳ１の判定で「Ｎｏ」と判断した場合）、符号化を抑制しているかどうか判定する（ステップＳ２）。符号化を抑制している場合（即ち、ステップＳ２の判定で「Ｙｅｓ」と判断した場合）、符号化抑制を解除し（ステップＳ３）、通常の符号化量で符号化を行う（ステップＳ５）。即ち、制御部２１５は、符号化部２１４に対して通常の符号化量で符号化を行う指示を出力する。ステップＳ２の判定で、符号化を抑制していない場合（即ち、ステップＳ２の判定で「Ｎｏ」と判断した場合）、通常の符号化量で符号化を行う（ステップＳ５）。即ち、制御部２１５は、符号化部２１４に対して通常の符号化量で符号化を行う指示を出力する。

一方、ネットワーク状態が輻輳している場合（即ち、ステップＳ１の判定で「Ｙｅｓ」と判断した場合）は、非拡張ＲＯＩ（非ＲＯＩ）５１の符号化を抑制する（ステップＳ４）。即ち、制御部２１５は、符号化部２１４に対して符号化量を減らして符号化を行う指示を出力する。例えば、ＧＯＰに含まれる４つのフレームＩ，Ｐ，Ｐ，Ｐのうちの２つのフレームしか符号化しないように間引く（フレームレートを下げる）指示を出力する。以上、ステップＳ１〜ステップＳ５の処理は、非拡張ＲＯＩ（非ＲＯＩ）５１に対する処理である。

非拡張ＲＯＩ（非ＲＯＩ）５１に対する処理が行われた後、制御部２１５は、認識部２１１からＲＯＩ情報（ＲＯＩ５０の位置と大きさ）と移動量（ＲＯＩ５０の移動量）を取得する（ステップＳ６）。次いで、取得したＲＯＩ情報と移動量から、ＲＯＩ５０があるかどうか判定し（ステップＳ７）、ＲＯＩ５０が無ければ、ステップＳ１に戻り、ＲＯＩ５０があれば、ステップＳ８の処理に進む。

ステップＳ８では、Ｈ．２６４に規定されているＩＤＲフレーム（Ｉフレーム）かどうか判定し、ＩＤＲフレームでない場合（即ち、ステップＳ８の判定で「Ｎｏ」の場合）、余白５３がゼロかどうか判定する（ステップＳ９）。即ち、拡張ＲＯＩ５２を設定しているかどうか判定する（ステップＳ９）。この判定において、余白５３がゼロの場合（ステップＳ９の判定で「Ｙｅｓ」と判断した場合、拡張ＲＯＩ５２を設定していない場合）、符号化抑制中であるかどうか判定する（ステップＳ１０）。この判定において、符号化を抑制中でない場合（即ち、ステップＳ１０で「Ｎｏ」と判断した場合）、合成処理を行わず（ステップＳ１１、拡張ＲＯＩ５２を作らない）、符号化を行う（ステップＳ１３）。

ステップＳ１０において、符号化を抑制中と判断した場合（ステップＳ１０の判定で「Ｙｅｓ」と判断した場合）、制御部２１５は、符号化部２１４に対して、Ｈ．２６４で規定されているＩＤＲフレームを挿入する指示を出す（ステップＳ１２）。

また、ステップＳ９において、余白５３がゼロでない場合（ステップＳ９の判定で「Ｎｏ」と判断した場合、拡張ＲＯＩ５２を設定している場合）、ＲＯＩ５０の移動量が設定余白５３内であるかどうか判定する（ステップＳ１４）。この判定において、ＲＯＩ５０の移動量が設定余白５３内でない場合（即ち、ステップＳ１４で「Ｎｏ」と判断した場合、余白外である場合）、ステップＳ１２に進み、当該ステップでの処理を行う。これに対して、ＲＯＩ５０の移動量が設定余白５３内の場合（即ち、ステップＳ１４で「Ｙｅｓ」と判断した場合、余白５３内である場合）、制御部２１５は合成部２１３に対して、余白・移動量を考慮した合成を行う指示を出す（ステップＳ１５）。次いで、ステップＳ１３で符号化を行う（即ち、制御部２１５は、符号化部２１４に対して、合成したフレームに対する符号化を行う指示を出す）。

一方、ステップＳ８において、Ｈ．２６４に規定されているＩＤＲフレーム（Ｉフレーム）であると判断した場合（即ち、同ステップで「Ｙｅｓ」と判断した場合）、又は、ステップＳ１２の処理を行った場合、符号化抑制中であるかどうか判定する（ステップＳ１６）。この判定において、符号化を抑制中でない場合（即ち、ステップＳ１６で「Ｎｏ」と判断した場合）、余白５３をゼロに設定し（ステップＳ１７）、その後、符号化を行う（ステップＳ１３）。即ち、制御部２１５は、符号化部２１４に対して符号化を行う指示を出す。これに対し、符号化を抑制中である場合（即ち、ステップＳ１６で「Ｙｅｓ」と判断した場合）、ＲＯＩ５０の移動量を考慮した余白５３を設定し（ステップＳ１８）、その後、符号化を行う（ステップＳ１３）。ステップＳ１３で符号化を行った後、ステップＳ１に戻る。以上、ステップＳ８〜ステップＳ１８の処理は、ＲＯＩ５０に対する処理である。

このように本実施の形態に係る符号化装置２１は、Ｈ．２６４の動画像圧縮規格を用いてＲＯＩを含む動画像を符号化する符号化装置であり、ネットワーク４が輻輳状態になっている場合、非拡張ＲＯＩ５１を符号化するときは、非拡張ＲＯＩ５１とＲＯＩ５０を含む拡張ＲＯＩ５２を夫々符号化し、特に、拡張ＲＯＩ５２の中でＲＯＩ５０以外の領域を非拡張ＲＯＩ５１と同じ画質の符号化を行い、非拡張ＲＯＩ５１を符号化しないときは、ＲＯＩ５０を符号化すると共に、拡張ＲＯＩ５２の中でＲＯＩ５０及び１フレーム前のＲＯＩ５０以外の領域をスキップマクロブロック５２１として符号化を行い、さらに、拡張ＲＯＩ５２の中のＲＯＩ５０以外の領域であって、１フレーム前のＲＯＩ５０と今回のＲＯＩ５０との差の領域を非拡張ＲＯＩ５１相当の低画質の差分マクロブロック５２２として符号化を行うので、非ＲＯＩ以外のＲＯＩとしての符号化量の増加を最小限に抑えながら、ゴーストを抑制することが可能となる。
なお、本実施の形態においては、例として２フレームに１回の間引き処理を行っているが、本来この間引き間隔はネットワーク４の輻輳状態に応じて決定される。

なお、実施の形態１に係る符号化装置２１における処理を記述したプログラムを、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して配布したり、インターネット等の電気通信回線を利用して配布したりすることも可能である。

（実施の形態２）
図４は、本発明の実施の形態２に係る符号化装置における画像符号化処理及び映像受信装置における画像復号化処理を模式的に示した図である。なお、実施の形態２に係る符号化装置は実施の形態１に係る符号化装置２１と同一の構成であるので、図１を援用する。また、実施の形態２に係る符号化装置には符号２１Ａを付す。

実施の形態２に係る符号化装置２１Ａでは、拡張ＲＯＩ５２の余白５３Ａをフレーム間のＲＯＩ５０の移動量を考慮して設定している。余白５３Ａは、ダミーマクロブロックと呼んでいるもので、表示には使用されない。余白５３Ａが表示に使用されない分、符号化量を抑えることができる。ダミーマクロブロックはＨ．２６４の規格においては、例えば動き予測やイントラ予測の予測誤差を符号化時にゼロに置き換えることで実現される。実施の形態１に係る符号化装置２１における余白５３が表示に使用されることから、実施の形態２に係る符号化装置２１Ａは、実施の形態１に係る符号化装置２１よりもＲＯＩの符号化量の増加を抑えることができる。また、実施の形態２に係る符号化装置２１Ａでは、ＲＯＩ５０と拡張ＲＯＩ５２は共にフレーム単位で移動することができる。なお、実施の形態１に係る符号化装置２１では、ＲＯＩ５０はフレーム単位で移動することができるが、拡張ＲＯＩ５２はＧＯＰの間で固定となる。

図４において、ネットワーク４が輻輳状態である場合、（ａ）のＩフレームでは、画像符号化処理で非ＲＯＩ（背景画像）５１とＲＯＩ５０を含む拡張ＲＯＩ５２を符号化する。この場合も非ＲＯＩ５１は、拡張ＲＯＩ５２から見ると非拡張ＲＯＩとなるので、以後“非拡張ＲＯＩ５１”と呼ぶ。

非拡張ＲＯＩ５１を符号化するときは、ＲＯＩ５０を符号化すると共に、拡張ＲＯＩ５２の中でＲＯＩ５０以外の領域はダミーマクロブロックとして符号化を行う。（ａ）のＩフレームで、非拡張ＲＯＩ５１と拡張ＲＯＩ５２を符号化した後、符号化した画像データを映像受信装置３に向けて配信する。映像受信装置３では、映像送信装置２から配信された画像データを受信することで、非拡張ＲＯＩ５１と拡張ＲＯＩ５２を復号化する。結果として（ｅ）に示す画像が表示部３６に表示される。

次に、（ｂ）のＰフレームでは、非拡張ＲＯＩ５１は符号化しない。非拡張ＲＯＩ５１を符号化しないときは、ＲＯＩ５０を符号化するとき、拡張ＲＯＩ５２の中でＲＯＩ５０以外の領域であって、１フレーム前のＲＯＩ５０の中で今回のＲＯＩに含まれない領域をＲＯＩ５０とは異なる画質の符号化を行う。即ち、ＲＯＩ５０を符号化すると共に、拡張ＲＯＩ５２の中でＲＯＩ５０及び１フレーム前のＲＯＩ５０以外の領域をスキップマクロブロック５２１として符号化を行う。また、拡張ＲＯＩ５２の中のＲＯＩ５０以外の領域であって、１フレーム前のＲＯＩ５０と今回のＲＯＩ５０との差の領域を差分マクロブロック５２２として符号化を行う。

（ｂ）のＰフレームで、ＲＯＩ５０、スキップマクロブロック５２１及び差分マクロブロック５２２を符号化した後、符号化した画像データを映像受信装置３に向けて配信する。映像受信装置３では、映像送信装置２から配信された画像データを受信することで、ＲＯＩ５０、スキップマクロブロック５２１及び差分マクロブロック５２２を復号化する。そして、非拡張ＲＯＩ５１を得るために、１フレーム前のフレームの復号化した（ｅ）の画像と合成する。このとき、ＲＯＩ５０が移動した分の差分マクロブロック５２２が（ｅ）の画像に上書きされるので、ＲＯＩ５０が移動することによるゴーストが抑制される。結果として、（ｆ）に示す画像が表示部３６に表示される。

次に、（ｃ）のＰフレームでは、前述した（ａ）のＩフレームと同様に、画像符号化処理で非拡張ＲＯＩ５１と拡張ＲＯＩ５２を符号化する。但し、（ｃ）のＰフレームでは、ＲＯＩ５０と拡張ＲＯＩ５２が（ｂ）のＰフレームのＲＯＩ５０と拡張ＲＯＩ５２から移動している。（ｃ）のＰフレームで、非拡張ＲＯＩ５１と拡張ＲＯＩ５２を符号化した後、符号化した画像データを映像受信装置３に向けて配信する。映像受信装置３では、映像送信装置２から配信された画像データを受信することで、非拡張ＲＯＩ５１と拡張ＲＯＩ５２を復号化する。結果として（ｇ）に示す画像が表示部３６に表示される。

次に、（ｄ）のＰフレームでは、前述した（ｂ）のＰフレームと同様に、ＲＯＩ５０を含む拡張ＲＯＩ５２のみ符号化する。即ち、ＲＯＩ５０を符号化すると共に、拡張ＲＯＩ５２の中でＲＯＩ５０及び１フレーム前のＲＯＩ５０以外の領域をスキップマクロブロック５２１として符号化を行う。さらに、拡張ＲＯＩ５２の中のＲＯＩ５０以外の領域であって、１フレーム前のＲＯＩ５０と今回のＲＯＩ５０との差の領域を差分マクロブロック５２２として符号化を行う。（ｄ）のＰフレームで、ＲＯＩ５０、スキップマクロブロック５２１及び差分マクロブロック５２２を符号化した後、符号化した画像データを映像受信装置３に向けて配信する。映像受信装置３では、映像送信装置２から配信された画像データを受信することで、ＲＯＩ５０、スキップマクロブロック５２１及び差分マクロブロック５２２を復号化する。そして、非拡張ＲＯＩ５１を得るために、１フレーム前のフレームの復号化した（ｇ）の画像と合成する。このとき、ＲＯＩ５０が移動した分の差分マクロブロック５２２が（ｇ）の画像に上書きされるので、ＲＯＩ５０が移動することによるゴーストが抑制される。結果として（ｈ）に示す画像が表示部３６に表示される。

このように本実施の形態に係る符号化装置２１Ａにおいても、非ＲＯＩ以外のＲＯＩとしての符号化量の増加を最小限に抑えながら、ゴーストを抑制することが可能となる。特に、表示に使用しないダミーマクロブロックを用いたので、実施の形態１に係る符号化装置２１よりもさらにＲＯＩの符号化量の増加を抑えることができる。
なお、本実施の形態においては、表示には使用しないダミーマクロブロックを用いているために、映像受信装置３で拡張ＲＯＩと非拡張ＲＯＩストリームの復号画像データを合成する際に、拡張ＲＯＩストリームのデコードしたマクロブロックを表示に使用する／しない領域を特定できるように位置情報を別途送る必要がある。これは、例えばストリームをＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）で送信する場合には、ＲＴＰの拡張ＲＴＰヘッダに映像送信装置と映像受信装置間で予め決められた形式で位置情報を格納することで対応することができる。

本発明は、ＲＯＩの符号化量の増加を最小限に抑えながら、ゴーストを抑制することができるといった効果を有し、監視カメラシステムなどへの適用が可能である。

１ 監視カメラシステム
２ 映像送信装置
３ 映像受信装置
４ ネットワーク
２０ 撮像部
２１，２１Ａ 符号化装置
２２，３１ 通信部
３２ 復号化部
３３，２１０ 記憶部
３４，２１３ 合成部
３５，２１５ 制御部
３６ 表示部
２１１ 認識部
２１２ 切出部
２１４ 符号化部
５０ ＲＯＩ
５１ 非ＲＯＩ（非拡張ＲＯＩ）
５２ 拡張ＲＯＩ
５３，５３Ａ 余白
５２１ スキップマクロブロック
５２２ 差分マクロブロック

Claims (3)

1. ＲＯＩを含む動画像を符号化する符号化装置であって、
   前記動画像から注目物体を認識する認識部と、
   前記注目物体を含むＲＯＩを設定する切出部と、
   前記注目物体の動きを考慮して前記ＲＯＩを含む拡張ＲＯＩを設定する合成部と、
   前記拡張ＲＯＩと前記拡張ＲＯＩ以外の領域である非拡張ＲＯＩとを符号化する符号化部とを有し、
   前記非拡張ＲＯＩを符号化するとき、前記拡張ＲＯＩを共に符号化し、前記拡張ＲＯＩの符号化は、前記ＲＯＩを符号化すると共に前記拡張ＲＯＩの中で前記ＲＯＩ以外の領域は前記ＲＯＩと異なる画質の符号化を行い、
   前記非拡張ＲＯＩを符号化しないときは、前記拡張ＲＯＩを符号化するとき、前記ＲＯＩを符号化すると共に前記拡張ＲＯＩの中で前記ＲＯＩ以外の領域であって、前回のＲＯＩの中で今回のＲＯＩに含まれない領域を前記ＲＯＩとは異なる画質の符号化を行うことを特徴とする符号化装置。
2. 前記非拡張ＲＯＩを符号化するとき、前記ＲＯＩを符号化すると共に前記拡張ＲＯＩの中で前記ＲＯＩ以外の領域を前記非拡張ＲＯＩと同じ画質の符号化を行い、
   前記非拡張ＲＯＩを符号化しないときは、前記ＲＯＩを符号化すると共に前記拡張ＲＯＩの中で前記ＲＯＩ及び前回のＲＯＩ以外の領域をスキップマクロブロックとして符号化を行うことを特徴とする請求項１に記載の符号化装置。
3. ＲＯＩを含む動画像を符号化する符号化装置であって、
   前記動画像から注目物体を認識する認識部と、
   前記注目物体を含むＲＯＩを設定する切出部と、
   前記注目物体の動きを考慮して前記ＲＯＩを含む拡張ＲＯＩを設定する合成部と、
   前記ＲＯＩと前記ＲＯＩ以外の領域である非ＲＯＩとを符号化する符号化部とを有し、 前記非ＲＯＩを符号化するとき、前記ＲＯＩを符号化すると共に前記拡張ＲＯＩの中で前記ＲＯＩ以外の領域はダミーマクロブロックとして符号化を行い、
   前記非ＲＯＩを符号化しないときは、前記ＲＯＩを符号化するとき、前記拡張ＲＯＩの中で前記ＲＯＩ以外の領域であって、前回のＲＯＩの中で今回のＲＯＩに含まれない領域を前記ＲＯＩとは異なる画質の符号化を行うことを特徴とする符号化装置。

Images