JP2011023885A

JP2011023885A - 映像符号化装置及び映像符号化方法

Info

Publication number: JP2011023885A
Application number: JP2009165920A
Authority: JP
Inventors: Yousuke Sato; 陽輔佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-07-14
Filing date: 2009-07-14
Publication date: 2011-02-03

Abstract

【課題】広角レンズで撮像された映像の歪曲収差に起因する情報密度の偏りを低減して符号化効率を向上させることができるようにする。
【解決手段】量子化部１１０４において量子化を行うための量子化パラメータを補正する量子化パラメータ補正器６０３を備え、量子化パラメータ補正器６０３は、映像信号の入力を遅延させる映像遅延制御部６０７と、時空間情報偏在度を入力する時空間情報偏在度出力部６０６と、時間情報偏在度補正値マップ生成部６０４と、空間情報偏在度補正値マップ生成部６０５と、累積動きベクトルマップ生成部６０８と、量子化パラメータ補正部６０９とを備える。そして、時空間情報偏在度に応じて量子化パラメータの補正値を決定するようにする。
【選択図】図１

Description

本発明は映像符号化装置、映像符号化方法、プログラム及び記憶媒体に関し、特に、魚眼レンズなどの広角レンズを用いて撮影された映像信号を符号化するために用いて好適な技術に関する。

一般に、光学レンズを用いて映像を撮影する場合、撮像素子に結像される光学情報には光学収差が発生する。この光学収差における歪曲収差により、レンズの周辺部から集光された結像情報であるほど、実際の形状に対して歪むことが知られている。そのため、光学レンズを用いて撮影する場合には、空間領域や時間領域に依存した情報量の偏りが全くない映像というものは存在しないことになる。

光学レンズは、焦点距離によって大まかに分類されており、一般的に焦点距離が８５ｍｍ以上のものが望遠レンズ、５０ｍｍ前後のものが標準レンズ、３５ｍｍ以下のものが広角レンズと呼ばれている。また、広角レンズの中でも、特に、短い焦点距離でありかつ広画角な特性を持つレンズは超広角レンズに分類され、球面として被写体を捉えることにより１８０度近い画角を持つレンズは魚眼レンズに分類される。さらに、魚眼レンズは、集光された全ての光学情報が撮像素子上に結像される光学系の円周魚眼レンズと、円の直径と撮像素子の対角線とが一致するように結像される光学系の対角魚眼レンズとに分類される。

このように広角レンズ（特に、超広角レンズや魚眼レンズ）を用いることにより、他に分類されるレンズでは撮影不可能な高画角な映像を撮影することができる。そこで、この点を活用することにより製品やシステムに高い性能を付与することができる。

その一例として、定点観測により広範囲に撮影する監視カメラ装置及び監視カメラシステムがあげられる。図１４及び図１５を参照しながら、標準レンズを用いた監視カメラシステムと、魚眼レンズを用いた監視カメラシステムとを比較して魚眼レンズを用いた監視カメラシステムの利点について説明する。

図１４は、標準レンズを用いた監視カメラシステム２２０の一例を示す図である。
図１４において、監視カメラ装置２１５は、標準レンズ２００と、カメラボディ２０１と、カメラクレードル２０２とから構成されている。監視カメラシステム２２０は、監視カメラ装置２１５と、電源２０３と、サーバー２０４と、クライアント２０５と、電源ケーブル２０６と、第１のネットワークケーブル２０７と、第２のネットワークケーブル２０８とから構成されている。また、２０９は標準レンズ２００の画角であり、２１０は撮影している室内スペースである。

監視カメラ装置２１５は、電源ケーブル２０６により電源２０３と接続されており、電源２０３から供給される電力は、カメラボディ２０１の映像情報記録機構及びカメラクレードル２０２のパン・チルト機構の駆動源となる。

また、監視カメラ装置２１５は、第１のネットワークケーブル２０７によりサーバー２０４とも接続されている。監視カメラ装置２１５が撮像した画角２０９内の室内スペース２１０に関する映像情報は、第１のネットワークケーブル２０７を経由してサーバー２０４へ伝送される。サーバー２０４は、第２のネットワークケーブル２０８によりクライアント２０５と接続されており、サーバー２０４に一時的に記憶されている映像情報はクライアント２０５に伝送される。視聴者はクライアント２０５を用いて画角２０９内の室内スペース２１０に関する映像情報を任意のタイミングで視聴することができる。

図１５は、魚眼レンズを用いた監視カメラシステム３２０の一例を示す図である。
図１５において、監視カメラ装置３１５は、魚眼レンズ３００と、カメラボディ３０１とから構成されている。監視カメラシステム３２０は、監視カメラ装置３１５と、サーバー３０２と、クライアント３０３と、第１のネットワークケーブル３０４と、第２のネットワークケーブル３０５とから構成されている。また、３０６は魚眼レンズ３００の画角であり、３０７は室内スペース３０７である。

監視カメラ装置３１５は、第１のネットワークケーブル３０４によりサーバー３０２と接続されている。監視カメラ装置３１５が撮像した画角３０６内の室内スペース３０７に関する映像情報は、第１のネットワークケーブル３０４を経由してサーバー３０２へ伝送される。サーバー３０２は、第２のネットワークケーブル３０５によりクライアント３０３とも接続されており、サーバー３０２に一時的に記憶されている映像情報はクライアント３０３に伝送される。視聴者はクライアント３０３を用いて画角３０６内の室内スペース３０７に関する映像情報を任意のタイミングで視聴することができる。

標準レンズを用いる場合、以下のような不都合が生じる。まず、画角の狭さを補うために監視カメラ装置２１５にパン・チルト機構を備えることが重要となる。そして、パン・チルト機構を駆動させるためには比較的大電力を要することになり、監視カメラ装置２１５は、電源２０３より電力の供給を受ける構成にする必要がある。したがって、監視カメラシステムの設置作業が煩雑になり、場合によってはシステム価格が高騰する要因となる。

また、パン・チルト機構を実装した分だけ監視カメラ装置２１５の部品点数は増加するため、製造コストが増大し、製品価格が高騰する要因となる。

一方、魚眼レンズを用いる場合、以下のような利点がある。まず、画角が室内スペース３０７のほぼ全域をカバーするため、監視カメラ装置３１５にパン・チルト機構が不要となる。また、監視カメラ装置３１５が映像を撮影する時と、撮影した映像情報をサーバー３０２へ伝送する時とにのみ電力が必要となる。このため、第１のネットワークケーブル３０５にＰｏＥ（Power of Ethernet（登録商標））を用いることにより電力を共有することが可能となる。したがって、監視カメラシステムの設置作業が容易になり、場合によってはシステム価格を抑えることができる。

また、パン・チルト機構がない分だけ監視カメラ装置の部品点数を抑えることができ、その結果、製造コストが減少し、製品価格を抑えることができる。

このように魚眼レンズの高画角の特性を応用した製品やシステムには利点がある。ところが、魚眼レンズは、前述した光学レンズにおける歪曲収差において不都合が存在する。超広角レンズや魚眼レンズを用いて撮影した映像は、歪曲収差が顕著であるため、方形の物体が方形の像を結ばず、樽型に結像される。特に、魚眼レンズを用いて撮影された映像は、用途によっては視聴するのが難しく、視聴する際には歪曲収差を補正するのが一般的である。

また、歪曲収差に起因して、撮影された映像の中心部と周辺部とで時空間的な情報密度に相当な差異が生じる。このことについて、図１６を参照しながら説明する。

図１６は、同一の撮影環境下における標準レンズ及び魚眼レンズの映像の違いを表す模式図である。
図１６において、結像模式は、監視カメラ装置が３次元空間を撮影する際の結像のされ方を模式的に表している。また、映像模式は、監視カメラ装置により撮影された画像を１２時刻で重ね合わせて、歪曲収差による時空間的な情報密度の差異を模式的に表している。

標準レンズによる構成では、視界５００において、動物体５０２が進行方向５０６へ等速直線運動をしている。動物体５０２が標準レンズカメラ装置５０７の画角５０９内を通過したときに、標準レンズカメラ装置５０７は動物体映像として標準レンズ画像５１１を生成する。

一方、魚眼レンズによる構成では、視界５０１において、動物体５０３が進行方向５０６へ等速直線運動をしている。動物体５０３が魚眼レンズカメラ装置５０８の画角５１０内を通過したときに、魚眼レンズカメラ装置５０８は動物体映像として魚眼レンズ画像５１２を生成する。

図１６の映像模式に示すように、標準レンズの方は、１２時刻の動物体５０４が全て等しい空間解像度となり、隣接する２時刻間で全て空間的に等間隔に撮影される。一方、魚眼レンズの方は、１２時刻の動物体５０５は円周領域で小さく、円中心領域で大きく、空間解像度が異なる。また、動物体５０５は等速直線運動しているにも関わらず、隣接する２時刻間で空間的に等間隔に撮影されない。

この標準レンズと魚眼レンズとの撮影のされ方の違いの原因は、画角の違いである。標準レンズの場合、撮像系の仕様によって異なるが、画角はおよそ５０°以下である。さらに、標準レンズを用いた撮像系では光学情報の中心領域だけが撮像素子に結像されるように構成されているため、撮影された映像の歪曲収差は小さい。一方、魚眼レンズの場合は、画角はおよそ１７０°以上であり、撮像系の仕様によっては１８０°を超えるものもある。このように画角が大きいと歪曲収差が大きくなってしまう。

このように歪曲収差が大きいと、映像の中心部と周辺部とで時空間的な情報密度に相当な差異が生じる。以下、この歪曲収差に起因する映像の情報密度の偏りを時空間情報偏在度と定義する。

図１７は、円周魚眼レンズによって撮影された画像の一例を示す図である。図１７を参照しながら、撮影角度による映像の歪曲収差と時空間情報偏在度との関係について説明する。
図１７の円周魚眼映像１８０１において、円周１８０２は撮影角度１８０°で集光される光学情報を表している。第１の同心円１８０３は、撮影角度１２０°で集光される光学情報を表している。第１の同心円１８０３に囲まれた領域は、画角が１２０°の広角レンズを用いて撮影した場合に同様の映像が記録できる領域である。第２の同心円１８０４は、撮影角度９０°で集光される光学情報を表している。第２の同心円１８０４に囲まれた領域は、撮影角度が９０°の広角レンズを用いて撮影した場合に同様の映像が記録できる領域である。さらに、第３の同心円１８０５は撮影角度６０°で集光される光学情報を表している。第３の同心円１８０５に囲まれた領域は、撮影角度６０°の広角レンズあるいは標準レンズを用いて撮影した場合に同様の映像が記録できる領域である。

図１７に示すように、第３の同心円１８０５より外側の撮影角度６０°以上の画像領域では歪曲収差が大きい。また、第３の同心円１８０５より内側の撮影角度６０°未満の画像領域においても、第３の同心円１８０５の円周領域において歪曲収差が発生している。このように、撮影角度６０°弱以上の広角レンズを用いて撮影された映像においては時空間情報偏在度が大きくなる。

一方、デジタル化された映像データは一般に情報量が多いため、記録または伝送する際に、情報を圧縮する技術が必要になる。映像符号化技術の代表例としては、ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５やＨ．２６４ＶｅｒｉｆｉｃａｔｉｏｎＭｏｄｅｌ９．３などのハイブリッド符号化方式が挙げられる。

従来は、魚眼レンズなどの広角レンズを用いて撮影された映像データを符号化する時も、既存の映像符号化技術を用いていた。このように符号化の際には、広角レンズを用いて撮影された映像データは標準レンズを用いて撮影された映像データと同じように扱っていた。既存の映像符号化方式では、映像の時空間領域に適応的な処理を行っておらず、映像データにおける時空間情報偏在度による冗長成分については圧縮しない。そのため、時空間情報偏在度が大きい映像データを符号化すると、符号化効率が損なわれていた。

この問題点を解決するために、例えば、特許文献１に記載の画像処理装置では、ＪＰＥＧ２０００におけるウェーブレット変換を行う時に、画像の空間領域に応じてサブバンドのウェーブレット係数に符号を割り当てる優先度を変更している。これにより、空間的な情報の冗長性を低減している。

特許文献１に記載の画像処理装置は、歪曲収差により空間解像度に方向性がある画像に対して、縦方向、横方向、斜め方向にそれぞれ適応的に符号量を割り当てることができる。したがって、空間領域に依存せず一様に符号量を割り当てる場合よりも符号化効率が向上する。この点で、空間領域における情報の冗長性を低減することができる。

特開２００４−８０１８５号公報

しかしながら、特許文献１に記載の技術は、静止画像に対する空間解像感の向上を目的とした技術であり、映像（動画像）に対する時空間解像感を向上させることはできない。したがって、映像の時空間情報偏在度を低減して、符号化効率を向上させることができない。

本発明は前述の問題点に鑑み、広角レンズで撮像された映像の歪曲収差に起因する情報密度の偏りを低減して符号化効率を向上させることができるようにすることを目的としている。

本発明の映像符号化装置は、入力される映像信号を符号化する映像符号化装置であって、前記映像信号を小矩形の単位で量子化し、前記量子化した信号を符号化する符号化手段と、前記映像信号の情報密度の偏りを示す時空間情報偏在度に基づいて、前記符号化手段による量子化の際に設定される量子化パラメータを補正する補正手段とを備えることを特徴とする。

本発明によれば、歪曲収差に起因する情報密度の偏りを低減することができるので、広角レンズで撮像された映像における符号化時の符号化効率を向上させることができる。

映像符号化装置の構成例を示すブロック図である。結像のされ方の違いを示す模式図である。時空間情報偏在度の算出処理手順の一例を示すフローチャートである。時空間情報偏在度の解析処理アルゴリズムを示す模式図である。画像におけるマクロブロックの位置を示す図である。時間情報偏在度補正値マップの生成手順例を示すフローチャートである。楕円モデルを示す模式図である。空間情報偏在度補正値マップの生成手順例を示すフローチャートである。ローパスフィルタのフィルタ面積の適用例を示す模式図である。量子化パラメータ補正値マップの生成例を示すフローチャートである。映像符号化装置の構成例を示すブロック図である。映像符号化装置の構成例を示すブロック図である。従来における映像符号化装置の構成例を示すブロック図である。監視カメラ装置及び監視カメラシステムの一例を示す図である。監視カメラ装置及び監視カメラシステムの一例を示す図である。標準レンズ及び魚眼レンズの映像の記録の違いを表す模式図である。円周魚眼レンズによって撮影された画像の一例を示す図である。ベクトル成分ＣＭＶｐ_mnの算出方法の一例を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）

まず、従来の映像符号化装置の構成について説明する。図１３は、従来における映像符号化装置の構成例を示すブロック図である。以下、図１３を参照しながら従来技術における映像符号化装置の処理の流れについて簡単に説明する。

映像入力部１００は、時間方向に連続する画像（フレーム）によって構成されるデジタル映像信号をブロック単位で入力する。動きベクトル検出部１０９は、フレームメモリ１０８に記憶された前時刻の符号化画像信号（参照画像信号）を参照して、映像入力部１００に入力された映像信号に対してブロック単位で動きベクトルの検出を行う。

フレームメモリ１０８は、予測画像保持部１１１から出力される予測画像信号と、減算部１０１、直交変換部１０３、量子化部１０４、逆量子化部１０５及び逆直交変換部１０６を経た差分信号とを加算部１０７で加算した参照画像信号を蓄積する領域を有する。動き補償部１１０は、動きベクトル検出部１０９により検出された動きベクトルを用いて、フレームメモリ１０８に蓄積された参照画像信号から予測ブロックを検出し、予測画像保持部１１１に出力する。

予測画像保持部１１１は、蓄積している予測画像信号を減算部１０１と加算部１０７とに出力する。減算部１０１は、小矩形分割部１１６から入力される符号化対象のブロックと、予測画像保持部１１１から出力される予測画像信号との差を算出し、予測値の差分信号（以下、予測誤差信号）を直交変換部１０３に出力する。

直交変換部１０３は、符号化モード判定部１０２の制御により、減算部１０１から出力された予測誤差信号と原画像とのいずれかをマクロブロック単位で直交変換する。量子化部１０４は、入力された情報に対し、量子化パラメータに基づきスカラー量子化を行い、量子化後の値をエントロピー符号化部１１３と逆量子化部１０５とに出力する。

エントロピー符号化部１１３は、量子化部１０４において量子化された値を可変長符号化し、バッファ１１４へ出力する。符号出力部１１５は、バッファ１１４から符号化された映像信号を入力して外部に出力する。

逆量子化部１０５は、量子化部１０４において量子化された値を逆量子化し、逆量子化された値を逆直交変換部１０６へ出力する。逆直交変換部１０６は、逆量子化された予測誤差信号を逆直交化し、加算部１０７に出力する。加算部１０７は、逆直交変換部１０６から出力された予測誤差信号と、予測画像保持部１１１から出力された予測画像信号とを加算して符号化対象ブロックを再生し、フレームメモリ１０８に出力する。符号化モード判定部１０２は、画像単位及び小矩形単位において画像内符号化（フレーム内符号化）と画像間符号化（フレーム間符号化）との選択を行う。

次に、図１５に示した魚眼レンズを用いた監視カメラシステム３２０を参照しながら、本実施形態における映像符号化装置の適用例について説明する。

図１５において、魚眼レンズ３００とカメラボディ３０１とにより構成される監視カメラ装置３１５は、魚眼レンズ３００の画角３０６内に収まる室内スペース３０７の光学情報を集光し、カメラボディ３０１に内蔵されている撮像素子に結像する。結蔵された光学情報は撮像素子により、電気的な映像信号に変換され、カメラボディ３０１内に内蔵されている映像符号化装置に入力される。

本実施形態における映像符号化装置により、映像信号は符号化されて出力される。出力された符号化データは第１のネットワークケーブル３０４を経由してサーバー３０２へ入力される。サーバー３０２へ入力された符号化データは一時的に蓄積される。そして、クライアント３０３の要求に応じて、第２のネットワークケーブル３０５を経由してクライアント３０３へ入力される。クライアント３０３に入力された符号化データは、クライアント３０３に内蔵されている映像復号化装置により映像情報に復号される。

図１は、本実施形態における映像符号化装置６０１の構成例を示すブロック図である。
図１に示す映像符号化装置６０１は、映像符号化器６０２と、量子化パラメータ補正器６０３とを備えている。映像符号化器６０２は、不図示の記録媒体や広角レンズを用いた撮像部から入力される、方向または領域によって変倍率の異なる映像信号を符号化する。量子化パラメータ補正器６０３は、映像符号化器６０２において映像信号を符号化する際に、映像符号化器６０２において小矩形単位に設定する量子化パラメータを、映像が有する時空間情報偏在度を考慮して補正する。

ここで、小矩形とは、映像符号化器６０２における符号化の単位であり、その面積は既存の映像符号化技術によっては可変であるが、本実施形態においてはマクロブロックに一致するものとして小矩形を扱う。しかし、発明の本質はこの制限によらず、小矩形は既存の映像符号化技術によって変わりうる全ての面積に対応するものである。

映像入力部１１００は、時間方向に連続する画像（フレーム）によって構成されるデジタル映像信号をブロック単位で入力する。小矩形分割部１１１６は、映像入力部１１００に入力される映像信号を、小さな矩形Ｂｉｊ（例えば８×８、１６×１６画素単位など）に分割する。また、カラー映像の場合はマクロブロック（ＭＢｉｊ）と呼ばれる矩形単位で分割する（ＭＢｉｊ＞Ｂｉｊ）。以下では、入力画像がカラー画像であることを想定し、マクロブロックの単位で処理を行う。

動きベクトル検出部１１０９は、フレームメモリ１１０８に記憶された前時刻の符号化画像信号（参照画像信号）を参照して、映像入力部１１００に入力された映像信号に対してブロック単位で動きベクトルの検出を行う。この際、符号化対象ブロックの周囲±１５画素の範囲で、ブロックマッチングを行い、各輝度の予測誤差の絶対和の平均が最小であるブロックを予測ブロックとして、動きベクトルを検出する。

フレームメモリ１１０８は、予測画像保持部１１１１から出力される予測画像信号と、減算部１１０１、直交変換部１１０３、量子化部１１０４、逆量子化部１１０５及び逆直交変換部１１０６を経た差分信号とを加算した参照画像信号を蓄積する領域を有する。動き補償部１１１０は、動きベクトル検出部１１０９により検出された動きベクトルを用いて、フレームメモリ１１０８に蓄積された参照画像信号から予測ブロックを検出し、予測画像保持部１１１１に出力する。

予測画像保持部１１１１は、蓄積している予測画像信号を減算部１１０１と加算部１１０７とに出力する。なお、加算部１１０７へ出力するか否かについては、後述する符号化モード判定部１１０２によって制御される。減算部１１０１は、小矩形分割部１１１６から入力される符号化対象のブロックと、予測画像保持部１１１１から出力される予測画像信号との差を算出し、予測値の差分信号（以下、予測誤差信号）を直交変換部１１０３に出力する。

直交変換部１１０３は、符号化モード判定部１１０２の制御により、減算部１１０１から出力された予測誤差信号と原画像とのいずれかをマクロブロック単位で直交変換する。量子化部１１０４は、入力された情報に対し、量子化パラメータに基づきスカラー量子化を行い、量子化後の値をエントロピー符号化部１１１３と逆量子化部１１０５とに出力する。

エントロピー符号化部１１１３は、量子化部１１０４において量子化された値を可変長符号化し、バッファ１１１４へ出力する。符号出力部１１１５は、バッファ１１１４から符号化された映像信号を入力して外部に出力する。なお、バッファ１１１４には、バッファ１１１４内における符号量などの情報をレート制御情報として蓄積させ、レート制御情報により量子化部１１０４で用いられる量子化パラメータを設定して、レート制御を実現する機能も備えている。

逆量子化部１１０５は、量子化部１１０４において量子化された値を逆量子化し、逆量子化された値を逆直交変換部１１０６へ出力する。逆直交変換部１１０６は、逆量子化された予測誤差信号を逆直交化し、加算部１１０７に出力する。加算部１１０７は、逆直交変換部１１０６から出力された予測誤差信号と、予測画像保持部１１１１から出力された予測画像信号とを加算して符号化対象ブロックを再生し、フレームメモリ１１０８に出力する。符号化モード判定部１１０２は、画像単位及び小矩形単位において画像内符号化（フレーム内符号化）と画像間符号化（フレーム間符号化）との選択を行う。

本実施形態において、映像符号化器６０２は、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の標準の映像符号化アルゴリズムによって映像信号の符号化処理を行うように構成されている。なお、本実施形態では詳細な説明は省略する。

量子化パラメータ補正器６０３は、映像遅延制御部６０７と、時空間情報偏在度出力部６０６と、累積動きベクトルマップ生成部６０８とを備えている。さらに、時間情報偏在度補正値マップ生成部６０４と、空間情報偏在度補正値マップ生成部６０５と、量子化パラメータ補正部６０９とを備えている。

本実施形態では、映像の時空間情報偏在度を考慮して符号化を行うことにより、既存の映像符号化アルゴリズムよりも優れた符号化効率となる。そのためには、以下の手順により行われる。まず、映像信号の時間情報偏在度の補正アルゴリズムにより時間情報偏在度補正値マップを生成し、次に、映像信号の空間情報偏在度の補正アルゴリズムにより空間情報偏在度補正値マップを生成する。そして、前記２つの補正アルゴリズムによる補正値を比較して、映像信号の量子化パラメータ補正値マップを生成する。なお、時間情報偏在度及び空間情報偏在度の詳細については後述する。

時間情報偏在度の補正アルゴリズムを用いる際には、時間情報偏在度補正値マップ生成部６０４は、映像遅延制御部６０７から２時刻以上の画像データと、時空間情報偏在度出力部６０６から時空間情報偏在度の情報とを入力する。さらに、累積動きベクトルマップ生成部６０８から累積動きベクトルマップを入力する。そして、前記入力した３つのデータを演算することにより時間情報偏在度補正値マップを生成する。

一方、空間情報偏在度の補正アルゴリズムを用いる際には、空間情報偏在度補正値マップ生成部６０５は、映像遅延制御部６０７から１時刻の画像データと、時空間情報偏在度出力部６０６から時空間情報偏在度の情報とを入力する。そして、前記入力した２つのデータを演算することにより空間情報偏在度補正値マップを生成する。

そして、量子化パラメータ補正値マップを生成する際には、量子化パラメータ補正部６０９は、時間情報偏在度補正値マップ生成部６０４から時間情報偏在度補正値マップを入力する。さらに、空間情報偏在度補正値マップ生成部６０５から空間情報偏在度補正値マップを入力する。そして、入力した２つのデータを演算することにより量子化パラメータ補正値マップを生成する。

以下、量子化パラメータ補正器６０３が備える機能について、機能間で授受されるデータと、各機能とについて説明する。

映像遅延制御部６０７は、入力される映像信号を所定の時刻にわたって、映像符号化器６０２に入力されるのを遅延させる。量子化パラメータ補正部６０９は、映像符号化器６０２によって設定される量子化パラメータを補正するために、映像符号化器６０２において映像符号化処理を行う前に量子化パラメータ補正値マップを生成する必要がある。そのため、映像遅延制御部６０７は、映像符号化器６０２に映像信号が入力されるのを所定の期間遅延させる制御を行う。

また、量子化パラメータ補正値マップを生成する際には、時間情報偏在度補正値マップが必要であり、時間情報偏在度補正値マップを生成するためには複数の時刻の画像（フレーム）が必要となる。映像遅延制御部６０７は、映像信号の入力を遅延させる制御を可能とし、その結果、画像が小矩形単位で量子化される際に、量子化パラメータ補正値マップにより量子化パラメータを補正することを可能にする。

映像遅延制御部６０７が映像符号化器６０２に映像信号を入力するタイミングの制御は、予め設定した所定の遅延時間を経過したとき、または量子化パラメータ補正部６０９が量子化パラメータ補正値マップの生成を完了したときに行われる。

予め設定した所定の遅延時間を経過したときのタイミングで制御する場合、量子化パラメータ補正値マップの生成を完了したときに制御するよりも簡素な実装で実現できる。したがって、その分映像符号化装置全体の実装コストを低減することが可能である。しかし、映像符号化装置６０１が安定して駆動するためには、量子化パラメータ補正部６０９が量子化パラメータ補正値マップを生成した後に、映像符号化器６０２による映像符号化処理を開始する必要がある。したがって、量子化パラメータ補正値マップの生成を完了したときに映像信号を入力するタイミングで制御し、量子化パラメータ補正器６０３と映像符号化器６０２とが同期するように実装することが望ましい。

量子化パラメータ補正値マップの生成を完了したときに映像信号を入力するように制御する場合は、例えば、量子化パラメータ補正部６０９が量子化パラメータ補正値マップを生成した後に、映像遅延制御部６０７へ制御信号を送信する。そして、映像遅延制御部６０７は制御信号を受信した後に、映像符号化器６０２へ映像信号を入力することにより実現することができる。

しかし、前述したタイミングの制御は、あくまでも１つの実現例である。量子化パラメータ補正器６０３が備える量子化パラメータ補正部６０９以外の他の構成により映像遅延制御部６０７へ制御信号を発信するようにしてもよい。また、映像符号化器６０２が備える構成の中の所定の構成により映像遅延制御部６０７へ制御信号を発信するようにしてもよい。

時空間情報偏在度出力部６０６は、外部の装置から入力される映像信号の時空間情報偏在度の情報を取得し、時間情報偏在度補正値マップ生成部６０４に出力するためのものである。

ここで、時空間情報偏在度とは、映像の情報密度の偏りを算出あるいは類推するためのモデルであり、円周魚眼レンズを用いた映像の場合、時空間情報偏在度は、円で表される映像上の領域における、円中心点（中心座標）及び円半径が最小構成となる。さらに、撮像系から撮影角度などの撮像情報を取得することができる場合は、撮像情報をも含むことになる。

なお、円周魚眼レンズ以外の広角レンズ、あるいは標準レンズや望遠レンズを用いた映像の場合、映像領域は方形となることが多く、映像領域の空間的な中心点を円中心点と同様に扱うことができるが、円半径を取得するのは比較的困難である。この場合は、撮像系情報から撮影角度の情報を取得して円半径が算出される。

また、複数の撮像系を用いたカメラシステムの構成や、赤外線、超音波など光学情報以外の信号を送受信できるカメラシステムの構成の場合、被写体とカメラシステムとの距離情報を取得できるようにしてもよい。これにより、時空間情報偏在度として、更に距離情報を追加してもよい。本実施形態では、円周魚眼レンズを用いた映像のみから算出された時空間情報偏在度を外部から取得する。

累積動きベクトルマップ生成部６０８は、まず、映像遅延制御部６０７より映像信号を入力し、入力した映像信号のうち、２時刻以上の画像データを用いて動きベクトルマップを作成する。そして、作成した動きベクトルマップを数時刻分積和演算することにより映像の累積動きベクトルマップを生成する。この累積動きベクトルマップは、後述する時間情報偏在度補正値マップ生成部６０４において、時間情報偏在度補正値マップを作成するために用いられる。累積動きベクトルマップは、数時刻にわたって記録された動きベクトルマップを用いて算出される。

動きベクトルマップは、前時刻の画像を参照して小矩形単位で動きベクトル検出処理を行うことにより作成される。動きベクトルの検出処理については、既存のアルゴリズムを適応することが可能である。なお、本実施形態では、累積動きベクトルマップ生成部６０８は、映像遅延制御部６０７から入力された映像信号から動きベクトルマップを作成する。ところが、外部の装置からその映像信号の動きベクトルマップを取得できる場合には、動きベクトルマップを入力するようにしてもよい。

次に、累積動きベクトルマップ生成部６０８による累積動きベクトルマップの算出アルゴリズムについて図５を参照しながら説明する。図５は、画像におけるマクロブロックの位置を示す図である。
図５において、ＭＶ（ｔ，ｍ，ｎ）は、時刻ｔ−１から時刻ｔにおける画像をｍ×ｎ個の小矩形に分割し、それぞれの小矩形に対して動きベクトル検出処理を行って作成された、ｍ行ｎ列目の動きベクトルマップである。同様に、ＭＶ（ｔ−１，ｍ，ｎ）は、時刻ｔ−２から時刻ｔ−１における画像を用いて作成された動きベクトルマップである。

このＭＶ（ｔ，ｍ，ｎ）やＭＶ（ｔ−１，ｍ，ｎ）など、複数の時刻の動きベクトルマップを用いて以下の数１に示す式により、累積動きベクトルマップＣＭＶ（ｔ，ｍ，ｎ）を生成することができる。

ここで、Ｃ１及びＣ２は、動きベクトルマップの各成分に対して時空間的に任意設定できる係数である。本実施形態では説明を簡単にするため、Ｃ１＝１、Ｃ２＝０とする。また、Ｆは関数であり、入力される複数の時刻の動きベクトルマップの（ｍ、ｎ）成分を用いた関数である。関数Ｆには、有限インパルス応答フィルタや非線形応答フィルタが適応され、具体的には算術平均値算出、加重平均値算出、中央値算出などが挙げられる。このように、累積動きベクトルマップ生成部６０８は、複数の時刻の動きベクトルマップを用いて累積動きベクトルマップを作成する。

次に、時間情報偏在度補正値マップ生成部６０４の機能及び処理の詳細について説明する。時間情報偏在度補正値マップ生成部６０４は、複数の時刻の画像データ、時空間情報偏在度及び累積動きベクトルマップを用いて、１時刻の画像データに対する時間情報偏在度補正値マップを生成する。

魚眼映像に代表される広角映像は、前述したように歪曲収差が大きいため、映像中心領域に比べて、映像周辺領域の時間的な動きが相対的に小さくなる。このため、魚眼映像の全領域に対して同一の時間解像度を割り当てると、映像周辺領域は映像中心領域と比較して、時間解像度が冗長になる。

そこで、映像周辺領域における時間解像度の冗長成分を圧縮して映像符号化効率を向上させるために、相対的に映像中心領域の量子化レベルよりも映像周辺領域の量子化レベルを大きくする補正を行う。時間情報偏在度補正値マップは、このような時間長の補正を行うためのマップである。

このように時間情報偏在度補正値マップを用いて補正された量子化レベルを用いて映像信号を符号化すると、映像周辺領域において時間解像度が低くなるが、映像周辺領域は映像中心領域と比べて相対的に映像の動きが小さくなる。このため、視聴するのに好適な時間解像度を十分に保つことができる。

以下、図６を参照しながら時間情報偏在度補正値マップ生成部６０４による時間情報偏在度補正値マップを生成するアルゴリズムについて説明する。なお、本実施形態では、円周魚眼レンズを用いた映像信号に対する時間情報偏在度補正値マップを生成するアルゴリズムを説明するが、円周魚眼レンズに限定されるものではない。例えば、他の光学レンズを用いた撮像系でも、映像における収差（歪曲収差を含む）は不可避であることから、全ての光学レンズを用いた撮像系による映像に対しても適応可能である。

図６は、本実施形態の時間情報偏在度補正値マップ生成部６０４による時間情報偏在度補正値マップを生成する処理手順の一例を示すフローチャートである。
図６のステップＳ１１０１において処理を開始すると、ステップＳ１１０２において、時間情報偏在度補正値マップを算出するのに必要な画像データが、映像遅延制御部６０７から取得できるか否かを判定する。この判定の結果、必要な画像データを取得できない場合はそのまま処理を終了する。

一方、ステップＳ１１０２の判定の結果、必要な画像データを取得できる場合は、ステップＳ１１０３へ進む。なお、ステップＳ１１０２における判定の結果は、映像遅延制御部６０７の画像遅延量に依存する。例えば、４時刻の画像データを遅延する場合、ステップＳ１１０２で取得できると判定するのは（４ｎ−１）時刻目であり、それ以外の時刻では取得できないと判定する。

次に、ステップＳ１１０３において、時間情報偏在度補正値マップの書き込み領域を初期化する。なお、時間情報偏在度補正値マップは不図示のメモリに格納され、書き込み領域のメモリ量は、映像遅延制御部６０７の画像遅延量に依存する。例えば、４時刻の画像データを遅延する場合、１時刻あたりの書き込み領域をｍ×ｎとすると、４×ｍ×ｎとなる。

次に、ステップＳ１１０４において、時空間情報偏在度出力部６０６から入力された時空間情報偏在度を用いて、映像信号に対して空間的な領域の分割を行う。本実施形態で得られる時空間情報偏在度には、魚眼レンズを用いた映像における円中心点と円半径との情報が含まれており、これらの情報を用いて円中心点に対して同心円状に領域分割を行う。分割位置の決める際には、光学レンズを用いて映像信号を撮像することから、撮像範囲を楕円でモデル化する。

図７を参照しながら、楕円モデルを用いた分割位置の決定方法について説明する。図７は、時間情報偏在度補正値マップを生成するアルゴリズムにおいて用いる楕円モデルを示す模式図である。
図７において、横軸は映像における円中心からの正規化された距離を示しており、円中心点での距離は０であり、円周の最端部においては距離が１００である。一方、縦軸は映像における単位時間あたりの正規化された平均動き量を示している。

図７に示す楕円モデルにおいて、円中心点では最も物理的に近くにある物体を記録しているため、平均動き量が最大の１とする。一方、円周の最端部に向かうに従い、記録される映像信号は撮像系から物理的に遠方の情報となるため、円周上の平均動き量が最小の０とする。図７に示す例では、距離８６での平均動き量は約０．５となり、距離９６での平均動き量は約０．２５となる。

したがって、円周魚眼映像において、円中心点から半径８６％以上の領域の時間解像度を１／２に低減し、半径９６％以上の領域の時間解像度を１／４に低減することが望ましい。そこで、ステップＳ１１０４においては、円中心点から半径の８６％未満の領域を円中心領域、円中心点から半径の８６％以上の領域を円周辺１／２圧縮領域、円中心点から半径の９６％以上の領域を円周辺１／４圧縮領域、と領域分割する。

また、この楕円モデルを用いた領域分割に加えて、累積動きベクトルマップ生成部６０８より入力される累積動きベクトルマップを用いて、割り当てた領域の補正を行う。これにより、分割された領域の境界では時間解像度が変化するため、円周辺領域において映像の動き量が大きい場合は、時間解像度を低下させないようにする。

円周辺１／２圧縮領域に指定されている小矩形領域Ｒ_mnに対して、累積動きベクトルＣＭＶ_mnが与えられており、累積動きベクトルＣＭＶ_mnのベクトル成分がｘ、ｙで与えられている場合について説明する。ｘ、ｙから円中心点方向のベクトル成分ＣＭＶｐ_mnを求め、ＣＭＶｐ_mnが閾値ｔｈ１を超えていた場合に、小矩形領域Ｒ_mnは円周辺１／２圧縮領域から円中心領域に再定義する。

また、円周辺１／４圧縮領域に指定されている小矩形領域Ｒ_mnに対しては、累積動きベクトルＣＭＶ_mnから円中心点方向のベクトル成分ＣＭＶｐ_mnを求める。そして、ＣＭＶｐ_mnが閾値ｔｈ２を超えていた場合に、小矩形領域Ｒ_mnは円周辺１／４圧縮領域から円周辺１／２圧縮領域に再定義する。また、ＣＭＶｐ_mnが閾値ｔｈ１を超えていた場合に、小矩形領域Ｒ_mnは円周辺１／４圧縮領域から円中心領域に再定義する。

次に、図１８を参照しながら、円中心点方向のベクトル成分ＣＭＶｐ_mnの算出方法を説明する。図１８は、円中心点方向のベクトル成分ＣＭＶｐ_mnの算出方法の一例を示す図である。
図１８において、点Ｏは円中心点である。点Ｐは小矩形Ｓの重心点であり、座標（Ｘ１，Ｙ１）に存在し、その累積動きベクトルＣＭＶ_mnは、（ｘ１、ｙ１）で表されるものとする。小矩形Ｓは座標（Ｘ２，Ｙ２）である点Ｑを左上端点に持ち、幅ｗ１、高さｈ１である。点Ｐの座標（Ｘ１，Ｙ１）の算出方法は以下の数２に示す式により示される。

小矩形Ｓの円中心点方向のベクトルは、線分（点Ｐ、点Ｏ）上で表される。θ１はＸ軸と線分（点Ｐ、点Ｏ）との成す角であり、θ２は線分（点Ｐ、点Ｏ）と小矩形Ｓの累積動きベクトルＣＭＶ_mnとの成す角であり、θ３は小矩形Ｓの累積動きベクトルとＹ軸との成す角である。

小矩形Ｓの円中心点方向のベクトル成分ＣＭＶｐ_mnの大きさは、小矩形Ｓの累積動きベクトルＣＭＶ_mnのベクトル成分を斜辺とする直角三角形の一辺で表すことが可能であり、以下の数３に示す式により算出される。

図１８に示すように、θ１＋θ２＋θ３＝π／２であることから、θ２は、以下の数４に示す式８により表される。

また、ｔａｎ（θ１）＝Ｙ１／Ｘ１であり、ｔａｎ（θ３）＝ｘ１／ｙ１であることより、以下の数５に示す式が導かれる。

以上より、円中心点方向のベクトル成分ＣＭＶｐ_mnは、以下の数６に示す式により算出される。

このように数２に示した式からも明らかなように、円中心点方向のベクトル成分ＣＭＶｐ_mnは、累積動きベクトルＣＭＶ_mnと小矩形Ｓの重心点とにより一意に算出できる。

なお、本実施形態では３つの領域に分割したが、円中心領域と円周辺１／２圧縮領域との２つの領域に分割してもよく、さらに円周辺１／８圧縮領域を加えた４つの領域に分割しても良い。また、図７においては、距離８６と距離９６とを境界にして領域分割を行ったが、どの距離においても分割してもよい。さらに、楕円モデル以外のモデルを用いて領域分割を行ってもよい。

次に、ステップＳ１１０５において、映像遅延制御部６０７から数時刻に亘る同一空間座標に存在する小矩形領域の画像を取得する。そして、ステップＳ１１０６において、分割した３つの領域のうち、所定の小矩形領域に対して複数時刻の小矩形画像を用いた積和演算を行い、時間情報偏在度補正値マップの書き込み領域に演算結果を書き込む。本実施形態では、円周辺１／２圧縮領域及び円周辺１／４圧縮領域において積和演算を行い、円中心領域においては積和演算を行わないようにする。

まず、円周辺１／４圧縮領域における積和演算方法について説明する。ステップＳ１１０５で取得した時刻ｔ、ｔ＋１、ｔ＋２、ｔ＋３の小矩形画像領域に対する時間情報偏在度補正値ＩＰ_mnは、以下の数７に示す式により求められる。

次に、求めた時間情報偏在度補正値ＩＰ_mnを時間情報偏在度補正値マップの所定の領域に書き込む。ここで、例えば、複数時刻における小矩形画像の配分比率が１、０、０、０と設定されているものとする。なお、この配分比率はユーザの操作により変更可能な比率である。この場合、数７に示す式において、時刻ｔ、ｔ＋１、ｔ＋２、ｔ＋３における判定結果は、同時に複数時刻における小矩形画像の配分比率でもある。したがって、映像遅延制御部６０７に遅延されている時刻ｔ＋１、ｔ＋２、ｔ＋３の小矩形領域の画像を、時刻ｔの小矩形領域の画像に置換する。

また、別の例として、配分比率がそれぞれ、０．２５、０．２５、０．２５、０．２５であった場合は、映像遅延制御部６０７に遅延されている時刻ｔ、ｔ＋１、ｔ＋２、ｔ＋３の小矩形領域の画像に対して４時刻の小矩形領域の画像の平均値を書き込む。

以上のようにＩＰ_mnに基づいて複数時刻における小矩形画像領域を同一値に置換して、画像間の差分を０とすることにより、差分画像の情報量を減らし、符号化効率が向上させることができる。なお、円周辺１／２圧縮領域における積和演算の場合は、時刻ｔ、ｔ＋１の２時刻の小矩形画像領域において、時間情報偏在度補正値ＩＰ_mnに基づいて積和演算を行う。また、円周辺１／８圧縮領域では、時刻ｔ、ｔ＋１、ｔ＋２、ｔ＋３、ｔ＋４、ｔ＋５、ｔ＋６、ｔ＋７の８時刻の小矩形画像領域において、時間情報偏在度補正値ＩＰ_mnに基づいて積和演算を行う。

さらに、数７に示す積和演算式は非線形応答フィルタの一種であるが、有限インパルス応答フィルタや非線形応答フィルタを適応することも可能である。

次に、ステップＳ１１０７において、すべての小矩形領域に対して処理を行ったか否かを判断する。この判断の結果、全ての小矩形領域に対して処理を行った場合は、ステップＳ１１０８に進み、そのまま処理を終了する。一方、ステップＳ１１０７の判断の結果、処理を行っていない小矩形領域がまだある場合は、ステップＳ１１０４に戻る。

以上のような手順により、時間情報偏在度補正値マップ生成部６０４は、時間情報偏在度補正値マップを生成し、量子化パラメータ補正部６０９に出力する。

次に、空間情報偏在度補正値マップ生成部６０５の機能及び処理の詳細について説明する。空間情報偏在度補正値マップ生成部６０５は、複数の時刻の画像、及び時空間情報偏在度を用いて１時刻の画像に対する空間情報偏在度補正値マップを生成する。

魚眼映像に代表される広角映像は、前述したように歪曲収差が大きいため、映像周辺領域に比べて、映像中心領域の空間解像度が相対的に大きくなる。そこで、映像中心領域に割り当てる符号量を減らして符号化効率を向上させるために、映像中心領域の量子化レベルを大きくする補正を行う。空間情報偏在度補正値マップは、このような補正を行うためのマップである。

このように空間情報偏在度補正値マップを用いて補正された量子化レベルを用いて映像信号を符号化すると、映像中心領域においては空間解像度が低くなるが、映像中心領域は映像周辺領域と比べて相対的に映像の空間解像度が大きい状態が維持される。このため、視聴するのに好適な空間解像度を十分に保つことができる。

以下、図８を参照しながら空間情報偏在度補正値マップ生成部６０５による空間情報偏在度補正値マップを生成するアルゴリズムについて説明する。図８は、本実施形態の空間情報偏在度補正値マップ生成部６０５による空間情報偏在度補正値マップを生成する処理手順の一例を示すフローチャートである。

まず、図８のステップＳ１３０１において処理を開始すると、ステップＳ１３０２において、空間情報偏在度補正値マップの書き込み領域を初期化する。なお、空間情報偏在度補正値マップは不図示のメモリに格納され、書込み領域のメモリ量は、映像遅延制御部６０７の画像遅延量に依存する。例えば、４時刻の画像データを遅延する場合、１時刻あたりの書き込み領域をｍ×ｎとすると、４×ｍ×ｎとなる。

次に、ステップＳ１３０３において、対象となる小矩形領域を中心に、時空間情報偏在度を用いた空間領域別適応型ローパスフィルタのフィルタ面積を決定する。

図９を参照しながら、時空間情報偏在度を用いた空間領域別適応型ローパスフィルタについて説明する。図９は、空間情報偏在度補正値マップ生成部６０５において空間情報偏在度補正値マップを生成する際の空間領域別適応型ローパスフィルタのフィルタ面積の適用例を示す模式図である。

円周魚眼映像は、円中心点において最も空間解像度が高く、円周端点において最も空間解像度が低い。そのため、時空間情報偏在度から円中心点と円半径との情報を取得し、円中心点においてローパスフィルタのフィルタ面積を最大に設定し、円周端点においてローパスフィルタのフィルタ面積を最小に設定する。

また、空間解像度は円周端点に向かうほど、半径方向を短半径とする楕円状に変形する。このため、ローパスフィルタのフィルタ形状は、半径方向を短半径とする楕円であり、円中心方向から円周方向に向かうほど離心率ｅを増大させていく。本実施形態では、円中心方向から円周方向に向かうほど離心率ｅを０から１に近づけるように設定するが、０から０以上１未満の数値に変化するのであれば、どのように設定してもよい。

ここで、離心率ｅは楕円の形状を表すパラメータで、楕円の長半径をａ、短半径をｂとしたとき、離心率ｅは以下の数８に示す式で表される。真円のときはａ＝ｂで離心率ｅは０となり、扁平した楕円になるほど離心率ｅは１に収束する。

このように空間領域別適応型ローパスフィルタを適用することにより、歪曲収差による空間情報偏在度を低減することができる。

次に、ステップＳ１３０４において、ステップＳ１３０３で決定されたローパスフィルタのフィルタ面積に応じて小矩形画像領域にローパスフィルタをかけ、画像処理により空間解像度を低下させた小矩形画像を生成する。そして、生成した空間解像度が低下した小矩形画像と元の小矩形画像とを比較して得られるパラメータに対してスコアリングを行う。スコアリングにて算出された値は空間情報偏在度補正値であり、この値を空間情報偏在度補正値マップの書き込み領域に書き込む。

スコアリングの方法については、例えば、空間解像度が低下した小矩形画像と元の小矩形画像との絶対差分の総和を、複数のレベルを持つルックアップテーブルによりスコアリングする方法などがある。

次に、ステップＳ１３０５において、すべての小矩形領域に対して処理が終了したか否かを判断する。この判断の結果、小矩形領域に対して処理が終了していない小矩形領域がある場合は、ステップＳ１３０３に戻る。一方、ステップＳ１３０５の判断の結果、すべての小矩形領域に対して処理が終了した場合は、ステップＳ１３０６において、入力されたすべての画像（フレーム）に対して処理が終了したか否かを判断する。この判断の結果、すべての画像に対して処理が終了した場合は、ステップＳ１３０７に進み、そのまま処理を終了する。一方、ステップＳ１３０６の判断の結果、処理を行っていない画像がある場合は、ステップＳ１３０３に戻る。

なお、空間情報偏在度補正値マップ生成部６０５による空間情報偏在度補正値マップの生成アルゴリズムは、時空間情報偏在度を用いて動的に空間情報偏在度補正値マップを算出する方法である。ところが、空間情報偏在度補正値マップは時空間情報偏在度を用いて一意に算出可能なものである。そこで、不図示のメモリに複数の空間情報偏在度補正値マップを予め記憶させておき、入力される時空間情報偏在度に応じて、メモリから所定の空間情報偏在度補正値マップを読み出してもよい。

次に、量子化パラメータ補正部６０９の機能及び処理の詳細について説明する。量子化パラメータ補正部６０９は、以下に示すように大きく分けて２つの処理を行う。１つは、時間情報偏在度補正値マップと空間情報偏在度補正値マップとを用いて１時刻分（１フレーム分）の画像データに対する量子化パラメータ補正値マップを生成する。もう１つは、作成した量子化パラメータ補正値マップを用いて、映像符号化器６０２が小矩形画像を量子化する際に使用される量子化パラメータを補正する。

まず、量子化パラメータ補正値マップを生成する処理について、図１０を参照しながら説明する。図１０は、本実施形態の量子化パラメータ補正部６０９による量子化パラメータ補正値マップを生成する処理手順の一例を示すフローチャートである。

まず、図１０のステップＳ１５０１において処理を開始すると、ステップＳ１５０２において、量子化パラメータ補正値マップの書き込み領域を初期化する。次に、ステップＳ１５０３において、時間情報偏在度補正値マップ生成部６０４で生成された時間情報偏在度補正値マップのうち、当該時刻の時間情報偏在度補正値マップを取得する。

次に、ステップＳ１５０４において、空間情報偏在度補正値マップ生成部６０５で生成された空間情報偏在度補正値マップのうち、当該時刻の空間情報偏在度補正値マップを取得する。量子化パラメータ補正値マップは、時間情報偏在度補正値マップのみを用いて作成することが可能であり、また、空間情報偏在度補正値マップも用いて作成することが可能である。そのため、ステップＳ１５０４では、空間情報偏在度補正値マップが取得できない場合がある。そこで、ステップＳ１５０４では、さらに空間情報偏在度補正値マップ取得状態を設定する。空間情報偏在度補正値マップ取得状態の設定では、取得できた場合には真と設定し、取得できなかった場合には偽と設定する。

次に、ステップＳ１５０５において、ステップＳ１５０３で取得した時間情報偏在度補正値マップから、対象となる小矩形領域に対する時間情報偏在度補正値を取得する。そして、ステップＳ１５０６において、ステップＳ１５０４で取得した空間情報偏在度補正値マップから、対象となる小矩形領域に対する空間情報偏在度補正値を取得する。但し、空間情報偏在度補正値マップ取得状態が偽の場合は取得できないため、そのまま次のステップＳ１５０７に進む。

次に、ステップＳ１５０７において、円中心からの１つの同心円状に位置するすべての小矩形領域に対して補正値を取得したか否かを判断する。この判断の結果、補正値を取得していない小矩形領域がある場合は、ステップＳ１５０５に戻る。一方、ステップＳ１５０７の判断の結果、円中心からの同心円状に位置するすべての小矩形領域に対して補正値を取得した場合は、ステップＳ１５０８において、ステップＳ１５０４で設定した空間情報偏在度補正値マップ取得状態を判定する。この判定の結果、空間情報偏在度補正値マップ取得状態が真の場合は、ステップＳ１５０９に進む。一方、ステップＳ１５０８の判定の結果、空間情報偏在度補正値マップ取得状態が偽の場合は、ステップＳ１５１０に進む。

次に、ステップＳ１５０９において、時間情報偏在度補正値と空間情報偏在度補正値とを用いて量子化パラメータ補正値を算出する。ここで、時間情報偏在度補正値マップと空間情報偏在度補正値マップとについて比較する。

空間情報偏在度補正値マップにおいて、円周魚眼映像の円中心点から同心円周上に位置する小矩形群では同一の空間情報偏在度補正値が記録されており、時空間情報偏在度のみに依存している。一方、時間情報偏在度補正値マップにおいては、累積動きベクトルによる領域補正がなされた上で作成されているため、時空間情報偏在度のみに依存していない。このことから、同心円周上に位置する小矩形群において、時空間トータルでの補正量が不均一である可能性がある。本実施形態では、同心円周上に位置する小矩形群において補正量を均一に近づける。

例えば、円周辺１／４圧縮領域において、円中心からの同心円状に位置する４つの小矩形領域が有るものとする。そして、４つの小矩形領域の時間情報偏在度補正値をそれぞれ、ＴＩＵ１、ＴＩＵ２、ＴＩＵ３、ＴＩＵ４とする。さらに、累積動きベクトル値が、ＴＩＵ１及びＴＩＵ２ではＣＭＶｐ_mn≦ｔｈ２であり、ＴＩＵ３ではＣＭＶｐ_mn＞ｔｈ２であり、ＴＩＵ４ではＣＭＶｐ_mn＞ｔｈ１（ｔｈ１＞ｔｈ２）であるものとする。この場合、ＴＩＵ１、ＴＩＵ２、ＴＩＵ３、及びＴＩＵ４の間には、ＴＩＵ１＝ＴＩＵ２＜ＴＩＵ３＜ＴＩＵ４の関係が成り立つ。

また、空間情報偏在度補正値をそれぞれ、ＴＩＵ１に対応してＳＩＵ１、ＴＩＵ２に対応してＳＩＵ２、ＴＩＵ３に対応してＳＩＵ３、ＴＩＵ４に対応してＳＩＵ４とする。量子化パラメータ補正値は、以下の数９に示す式により、対応する時間情報偏在度補正値及び空間情報偏在度補正値を用いて算出される。

このとき、Ｃ１＝Ｃ２≧Ｃ３≧Ｃ４となるように係数Ｃ１，Ｃ２，Ｃ３，Ｃ４を設定し、量子化パラメータ補正値ＱＰＩ１、ＱＰＩ２、ＱＰＩ３、ＱＰＩ４がほぼ等しい値に収束するようにする。このような処理を行うことにより、円周魚眼映像の時空間解像度を低減させる程度が均一となり、時空間情報偏在度を好適に低減ないしなくすことができる量子化パラメータ補正値マップを生成できる。

一方、ステップＳ１５１０においては、時間情報偏在度補正値のみを用いて量子化パラメータ補正値を作成する。この場合、各小矩形領域における量子化パラメータ補正値は、時間情報偏在度補正値と実質的に等価である。なお、ある小矩形領域に対して時空間的に隣接する小矩形領域の時間情報偏在度を用いて、時空間的にフィルタリングをかけて量子化パラメータ補正値を求めてもよい。

次に、ステップＳ１５１１において、すべての小矩形領域に対して処理が終了したか否かを判断する。この判断の結果、すべての小矩形領域に対して処理が終了した場合は、そのまま処理を終了する。一方、ステップＳ１５１１の判断の結果、まだ処理を行っていない領域がある場合は、ステップＳ１５０５に戻る。

次に、映像符号化器６０２が小矩形画像を量子化する際に使用される量子化パラメータを補正する処理について説明する。所定の小矩形を量子化する前に、量子化パラメータ補正部６０９は、量子化部１１０４から量子化パラメータを入力する。そして、量子化パラメータ補正部６０９は、作成した量子化パラメータ補正値マップから当該小矩形に該当する量子化パラメータ補正値を参照し量子化パラメータを補正する。量子化部１０４はこの補正された量子化パラメータを受け取り、当該小矩形を量子化する。

なお、本実施形態においては、以上の手順により量子化パラメータ補正部６０９は量子化パラメータを補正したが、他の方法によって量子化パラメータを補正してもよい。

以上のように本実施形態によれば、映像信号の情報密度の偏りを示す時空間情報偏在度に基づいて、量子化部１１０４による量子化の際に設定される量子化パラメータを補正するようにした。これにより、歪曲収差に起因する情報密度の偏りを低減することができるので、広角レンズで撮像された映像における符号化時の符号化効率を向上させることができる。

（第２の実施形態）
以下、本発明の第２の実施形態について添付図面を参照しながら説明する。

図１１は、本実施形態における映像符号化装置の構成例を示すブロック図である。なお、図１に示した第１の実施形態における映像符号化装置６０１と重複する構成については説明を省略する。
本実施形態では、第１の実施形態における時空間情報偏在度出力部６０６の代わりに時空間情報偏在度算出部１６０６を設けている。時空間情報偏在度算出部１６０６は、映像信号を入力して、映像信号から時空間情報偏在度を算出するためのものである。

また、本実施形態においては、映像遅延制御部１６０７は、時空間情報偏在度算出部１６０６より時間情報偏在度の情報を入力し、入力した時間情報偏在度の情報を用いて映像符号化器１６０２に対して映像信号を遅延させるか否かを判断する。

例えば、入力された映像信号が、円周魚眼レンズを用いて撮影されたものである場合には、前述したように映像信号が映像符号化器１６０２に入力されるのを遅延する。一方、標準レンズを用いて撮影されたものである場合には、歪曲収差が小さいものもある。したがって、算出した時間情報偏在度の情報を参照し、入力された映像信号の種類に基づいて映像信号を遅延させるか否かを判断する。

次に、時空間情報偏在度算出部１６０６において時空間情報偏在度を算出する手順について説明する。図２は、異なる円周魚眼レンズを用いた撮像系において、結像のされ方の違いを示す模式図である。

図２（ａ）に示す円周魚眼映像は、円形で表される像７０３が撮像素子７０１の面積内に収まるように結像されている。一方、図２（ｂ）に示す円周魚眼映像は、撮像素子７０２の面積内に円形で表される像７０４が収まらず、より高い空間解像度で結像されている。なお、図２（ａ）に示す撮像素子７０１及び図２（ｂ）に示す撮像素子７０２は、例えば、３５ｍｍフルサイズのＣＣＤイメージセンサである。このように撮像系の構成により、撮像素子に結像される映像は異なる。

図３は、本実施形態において、時空間情報偏在度算出部１６０６による円周魚眼映像における時空間情報偏在度の算出処理手順の一例を示すフローチャートである。
図３のステップＳ８０１において処理を開始すると、ステップＳ８０２において、映像信号の中の入力された画像データのうち、１本の水平ラインを走査して、ライン上にある画素データの構成を調べる。

円周魚眼映像の場合、結像されない撮像素子の領域があり、その領域に存在する画素データは一律に例えば０の一定の信号レベルを示す。ステップＳ８０２においては、そのような一定の信号レベルを示す画素によって構成される線分と結像領域内のばらつきのある信号レベルを示す画素の線分とを算出する。

図４は、円周魚眼映像における時空間情報偏在度の解析処理アルゴリズムを示す模式図である。図４を参照しながらステップＳ８０２の処理について説明する。なお、図４に示す例では、画面を１／４に分割して結像が円周角９０°の円弧として表されているが、同様の処理は円周角３６０°の円に対しても適応可能である。

ステップＳ８０２において、例えば、座標（ｗ０、ｈ１）から座標（ｗ２、ｈ１）で表される水平ラインを走査の対象のラインとする。この場合、円弧の領域外である座標（ｗ０、ｈ１）から座標（ｗ１、ｈ１）までが一定の信号レベルを示す画素によって構成される線分となる。また、座標（ｗ１、ｈ１）から座標（ｗ２、ｈ１）までが結像領域内にあるばらつきのある信号レベルを示す画素の線分となる。同様に、座標（ｗ０、ｈ２）から座標（ｗ４、ｈ２）で表される水平ラインが走査された場合も、座標（ｗ３、ｈ２）を境に２つの線分に分けられる。

次に、ステップＳ８０３において、所定回数分ラインの走査を行ったか否かを判断する。この判断の結果、所定回数分ラインの走査を行っていない場合は、ステップＳ８０２に戻る。一方、ステップＳ８０３の判断の結果、所定回数分ラインの走査を行った場合は、ステップＳ８０４に進む。

ステップＳ８０２では、入力される画像のうち、１本の水平ライン単位に処理を行うが、ループ回数は最低２回であり、回数を増やすほど時空間情報偏在度を精度よく解析できる。したがって、ループ回数は２回以上でありかつ画像の垂直解像度以下の範囲で任意に設定可能ある。なお、ループ回数を増やすほど時空間情報偏在度を精度よく解析可能であるが、一方で処理コストが増大する。

次に、ステップＳ８０４において、ステップＳ８０２で走査された水平ラインを用いて、円形の結像領域における円の半径を算出する。手順としては、水平ライン上にある結像領域内にあるばらつきのある信号レベルを示す画素の線分の一端から、線分に対して垂直な線分を作成し、２本の線分と、２本の線分のもう一端同士を結ぶ線分とによって直角三角形を形成する。同じ処理を別の水平ラインにも適用し、得られた２つの直角三角形の斜辺を比較することにより、円の半径を算出する。

図４を参照しながらステップＳ８０４の処理について説明する。図４において、座標（ｗ１、ｈ１）と座標（ｗ２、ｈ１）とを結ぶ線分に対して、座標（ｗ２、ｈ１）から垂直に座標（ｗ２、ｈ３）までの線分を引く。これにより、座標（ｗ１、ｈ１）、座標（ｗ２、ｈ１）及び座標（ｗ２、ｈ３）を頂点とする直角三角形が得られる。同様に、座標（ｗ３、ｈ２）、座標（ｗ４、ｈ２）および座標（ｗ４、ｈ４）を頂点とする直角三角形が得られる。この２つの直角三角形の斜辺から以下の数１０に示す式を用いてｔｈ₀₁を算出する。

数１０に示す式において、誤差がｔｈ₀₁未満の値を示した場合は、座標（ｗ２、ｈ３）もしくは、座標（ｗ４、ｈ４）を円中心点とし、ＡもしくはＢを円半径とする。なお、誤差がｔｈ₀₁以上であった場合は、再度座標を調整して誤差がｔｈ₀₁よりも小さくなるように再計算を行う。

次に、ステップＳ８０５において、所定回数、円半径を算出したか否かを判断する。この判断の結果、所定回数、円半径を算出していない場合は、ステップＳ８０４に戻る。一方、ステップＳ８０５の判断の結果、所定回数、円半径を算出した場合は、ステップＳ８０６に進む。ステップＳ８０４では、ステップＳ８０２で走査された水平ラインを２つ用いて円半径を算出している。したがってループ回数は、ステップＳ８０２及びステップＳ８０４のループ回数に依存し、最低１回はループする。

次に、ステップＳ８０６において、ステップＳ８０４で算出された円中心点及び円半径を用いて、円周魚眼映像の時空間情報偏在度を算出する。そして、ステップＳ８０６に進み、処理を終了する。ステップＳ８０４では最低１回はループして算出されているため、算出した円中心点及び円半径は複数存在し得る。そこで、ステップＳ８０６では、時空間情報偏在度として適用する円中心点及び円半径を決定する。

決定手順としては、ステップＳ８０４で算出した円中心点及び円半径の算術平均値を求める。また、算術平均値の代わりに中央値を算出してもよく、母集団における異常値を取り除いた上で、算術平均値もしくは中央値を算出してもよい。また、これ以外の方法を用いて算出してもよく一意に時空間情報偏在度を決定する。

以上のように本実施形態によれば、円周魚眼映像における時空間情報偏在度を算出することができる。これにより、算出した時空間情報偏在度に基づいて、量子化部１１０４による量子化の際に設定される量子化パラメータを補正することができる。

（第３の実施形態）
以下、本発明の第３の実施形態について添付図面を参照しながら説明する。

図１２は、本実施形態における映像符号化装置１７０１の構成例を示すブロック図である。なお、図１１で示した第２の実施形態の映像符号化装置１６０１と重複する構成については説明を省略する。

本実施形態においては、映像符号化器１７０２が具有する動きベクトル検出部１７１０を用いて累積動きベクトルマップを算出する。動きベクトル検出部１７１０において生成された動きベクトルマップを利用することにより、本実施形態における量子化パラメータ補正部１７０３は、第２の実施形態における量子化パラメータ補正部１６０３よりも簡便かつ安価な構成で実現することが可能となる。

累積動きベクトルマップ生成部１７０８は、第２の実施形態における累積動きベクトルマップ生成部１６０８とは異なり、動きベクトルマップを算出する機能はない。したがって、映像符号化器１７０２における動きベクトル検出部１７１０より動きベクトルマップを入力する。

また、本実施形態の映像遅延制御部１７０７は、フレームが入力されるごとにカウントアップする内部カウンタを保持しており、カウントが一定値に達したときに、第１の実施形態におけるアルゴリズムを実行するように制御する。

以上のような手順により、本実施形態では、累積動きベクトルマップを算出するために用いる動きベクトルマップの時間軸が所定時刻ずれることになる。したがって、時間情報偏在度補正値マップの精度が低下する可能性があるが、数１に示す式におけるＣ１及びＣ２を適切に設定し、過去の動きベクトルほど重みを下げることによりずれの影響を小さくする。

以上のように本実施形態によれば、動きベクトルマップを共有することができるので、累積動きベクトルマップ生成部１７０８の処理の負荷を低減することができる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における映像符号化装置を構成する各手段、並びに映像符号化方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３、６、８、１０に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

Claims

入力される映像信号を符号化する映像符号化装置であって、
前記映像信号を小矩形の単位で量子化し、前記量子化した信号を符号化する符号化手段と、
前記映像信号の情報密度の偏りを示す時空間情報偏在度に基づいて、前記符号化手段による量子化の際に設定される量子化パラメータを補正する補正手段とを備えることを特徴とする映像符号化装置。
前記補正手段は、
前記映像信号が前記符号化手段に入力するのを所定の期間遅延させる映像遅延制御手段と、
前記時空間情報偏在度と前記映像遅延制御手段によって遅延された映像信号とに基づいて前記映像信号の時間の偏在度を補正するための時間情報偏在度補正値マップを生成する時間情報偏在度補正値マップ生成手段と、
前記時間情報偏在度補正値マップに基づいて前記量子化パラメータを補正する量子化パラメータ補正手段とを備えることを特徴とする請求項１に記載の映像符号化装置。
前記量子化パラメータ補正手段は、複数の小矩形の単位の補正値を含む量子化パラメータ補正値マップを生成して、前記生成した量子化パラメータ補正値マップに基づいて前記量子化パラメータを補正し、
前記映像遅延制御手段は、前記量子化パラメータ補正手段によって前記映像信号の１フレーム分の量子化パラメータ補正値マップを生成するまで、前記映像信号が前記符号化手段に入力するのを遅延させることを特徴とする請求項２に記載の映像符号化装置。
前記時間情報偏在度補正値マップ生成手段は、前記時空間情報偏在度に基づいて前記小矩形の単位で前記映像信号の時間長を変更して積和演算を行うことにより前記時間情報偏在度補正値マップを生成することを特徴とする請求項２又は３に記載の映像符号化装置。
前記量子化パラメータ補正手段は、前記時間情報偏在度補正値マップにおける所定の小矩形に対応する補正値を用いて、前記所定の小矩形に対応する量子化パラメータ補正値マップを生成することを特徴とする請求項３に記載の映像符号化装置。
前記補正手段は、前記映像遅延制御手段によって遅延された映像信号を用いて、複数のフレーム間の動きベクトルの情報を含む累積動きベクトルマップを生成する累積動きベクトルマップ生成手段をさらに備え、
前記時間情報偏在度補正値マップ生成手段は、さらに前記累積動きベクトルマップ生成手段によって生成された累積動きベクトルマップに基づいて前記時間情報偏在度補正値マップを生成することを特徴とする請求項２〜５の何れか１項に記載の映像符号化装置。
前記累積動きベクトルマップ生成手段は、前記映像遅延制御手段によって遅延された映像信号のうち、互いに隣接する２つのフレームの間における動きベクトルを時間的に積和演算することにより前記累積動きベクトルマップを生成することを特徴とする請求項６に記載の映像符号化装置。
前記時間情報偏在度補正値マップ生成手段は、前記累積動きベクトルマップにおける所定の小矩形に対応する累積動きベクトルに基づいて前記所定の小矩形に対応する補正値を決定することにより、前記時間情報偏在度補正値マップを生成することを特徴とする請求項６又は７に記載の映像符号化装置。
前記補正手段は、前記時空間情報偏在度と前記映像遅延制御手段によって遅延された映像信号とに基づいて前記映像信号の空間の偏在度を補正するための空間情報偏在度補正値マップを生成する空間情報偏在度補正値マップ生成手段をさらに備え、
前記量子化パラメータ補正手段は、さらに前記空間情報偏在度補正値マップに基づいて前記量子化パラメータを補正することを特徴とする請求項２〜８の何れか１項に記載の映像符号化装置。
前記空間情報偏在度補正値マップ生成手段は、所定の小矩形に対して前記時空間情報偏在度に応じた画像処理を行うことにより前記所定の小矩形に対する補正値を算出して前記空間情報偏在度補正値マップを生成することを特徴とする請求項９に記載の映像符号化装置。
前記量子化パラメータ補正手段は、前記空間情報偏在度補正値マップにおける補正値が互いに同じ領域であって、前記時間情報偏在度補正値マップにおける補正値が異なる場合は、前記量子化パラメータの補正値を互いに収束させることを特徴とする請求項９又は１０に記載の映像符号化装置。
前記時空間情報偏在度は、広角レンズにより撮像された映像信号の円の中心座標及び半径の情報を含むことを特徴とする請求項１〜１０の何れか１項に記載の映像符号化装置。
前記時空間情報偏在度は、前記映像信号の撮像情報をさらに含むことを特徴とする請求項１２に記載の映像符号化装置。
前記補正手段は、前記映像信号の円の中心座標及び半径を算出することにより、前記時空間情報偏在度を算出する時空間情報偏在度算出手段をさらに備えることを特徴とする請求項１２又は１３に記載の映像符号化装置。
入力される映像信号を符号化する映像符号化方法であって、
前記映像信号を小矩形の単位で量子化し、前記量子化した信号を符号化する符号化ステップと、
前記映像信号の情報密度の偏りを示す時空間情報偏在度に基づいて、前記符号化ステップにおける量子化の際に設定される量子化パラメータを補正する補正ステップとを備えることを特徴とする映像符号化方法。
入力される映像信号を符号化するようコンピュータに実行させるプログラムであって、
前記映像信号を小矩形の単位で量子化し、前記量子化した信号を符号化する符号化ステップと、
前記映像信号の情報密度の偏りを示す時空間情報偏在度に基づいて、前記符号化ステップにおける量子化の際に設定される量子化パラメータを補正する補正ステップとをコンピュータに実行させることを特徴とするプログラム。
請求項１６に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。