JP2014179830A - 画像符号化装置、撮影システム、撮影記録システム、画質符号化方法、及び画像符号化制御プログラム - Google Patents

Abstract

【課題】 実際の重要度の変化に応じたパラメータで動画像の符号化を行う画像符号化装置を提供する。
【解決手段】 画像符号化装置１２０は、連続的に入力される複数の入力画像の各々について重要度を算出する重要度算出部１１と、重要度の周期である重要度周期を算出する重要度周期算出部１２と、過去の複数の重要度周期の各々における、現在時刻に対応する時刻の重要度の平均である平均重要度を算出する平均重要度算出部１３と、平均重要度に基づいて、画質制御パラメータを算出する画質制御パラメータ算出部１４と、画質制御パラメータを用いて入力画像を符号化して映像データを生成する画像符号化部１２２とを備えている。
【選択図】 図１

Description

本発明は、連続的に入力される複数の入力画像を符号化して映像データを生成する画像符号化装置及びそれを含む撮影システム及び撮影記録システム、画像符号化方法、ならびに画像符号化プログラムに関するものである。

監視カメラは、監視箇所に設置されて、監視対象の動画像を撮影して記録する。このような監視対象の動画像の記録において、記録される動画像には、重要度の高いフレーム、重要度の低いフレーム、及び重要度が中程度であるフレームが混在する。例えば、監視カメラにおいて、人物の顔や車両のナンバープレートが撮影されているフレームは、重要なフレームであるが、背景だけが写っているフレームや、前フレームとの違いがほとんどないフレーム等は重要度の低いフレームである。また、監視カメラの設置位置によっては、重要度の高いフレームが多く撮影されることもあれば、重要度の低いフレームが多く撮影されることもある。

動画像を撮影して記録する際に、重要なフレームは高画質で撮影・記録し、重要度の低いフレームについては画質を落として撮影・記録することができれば、監視の用途を損なわないで限られた記憶容量を有効に活用でき、また動画像を伝送する場合にも監視の用途を損なわないでネットワークの負担を軽減できる。ここで、動画像の画質を決定する要素としては、動画像のフレームレートや符号化部における圧縮率がある。

従来、動画像の重要度に応じて画質を調整する方法が提案されている（例えば、特許文献１）。この特許文献１の方式によると、複数台の監視カメラを設置する際に、事前にそれぞれの記録時間と重要度（１〜１０の整数値で表される）を設定することで、重要度に応じて各監視カメラの画質を設定することができる。そして、監視カメラの台数が増えた場合や記録装置の容量が変わった場合にも、記録時間と重要度を設定し直すだけで、画質を調整できる。

また、特許文献１の方式によれば、周期的な所定の時間帯の重要度を事前に設定しておくことで、時間帯によって重要度を切り替えるなどして、画質を動的に調整できる。

特開２００９−５５３４１号公報

しかしながら、上記の従来の方式では、以下の課題があった。一つは、事前に重要度を数値化する際に勘に頼っていたことに起因する課題であり、さらに、事前に重要度の時間変化を固定的に設定することに起因する課題があった。以下、これらの課題を説明する。

図１４は、小売店の店内に監視カメラを設置した場合の重要度の変化の例を示すグラフである。実線は、実際の重要度の変化を示している。実際の重要度は、例えば来客数に基づいて計算される。実際の重要度は、小売店の開店時間である８時を過ぎてから高くなり、閉店時間である２２時前に低くなっている。このような実際の重要度を踏まえて、従来の方式では、破線に示すように、営業時間である８時から２２時までの重要度を高くし、それ以外の時間帯の重要度を低くするように重要度が設定される。

図１５は、小売店の店内に監視カメラを設置した場合の重要度の変化の例を示すグラフであり、図１４のグラフに異なる季節の実際の重要度を追加したものである。図１５の一点鎖線は冬季の実際の重要度の変化を示しており、実線は夏季の実際の重要度の変化を示している。冬季と夏季とを比較すると、営業時間は８時から２２時までで同じであるが、夏季の方が冬季よりも、重要度が高い時間帯が長く、立ち上がりも急峻で、ピークの大きさも大きい。

このように、単に営業時間等に基づいて勘に頼って重要度を設定すると、ピークの大きさや変化の傾きが実際の重要度と一致しなくなることがある。また、重要度の算出根拠となる来客数は、サマータイム、日照時間等の季節による影響を受け、また、学校の登下校時間、会社の出退社時間等の周辺環境にも影響される。したがって、事前に重要度の時間変化を固定的に設定してしまうと、そのような季節や周辺環境の変化に対応できない。

さらに、動画像から重要度を判断して画質を調整する場合には、その判断に誤りがあると動画像を高画質にすべきときに高画質にできない場合がある。例えば、顔検出の結果を重要度とする場合において、人が横を向きながら監視カメラの前を通った場合には、顔が検出できず、高画質に切り替えることができないという問題がある。

本発明は、上記の問題に鑑みてなされたものであり、実際の重要度の変化に応じたパラメータで動画像の符号化を行う画像符号化装置、画像符号化方法、及び画像符号化プログラム、実際の重要度の変化に応じて重要度を設定して動画像の撮影を行う撮像装置、並びに実際の重要度の変化に応じて重要度を設定する画像符号化装置及びそれを含む撮影システム及び撮影記録システム、画像符号化方法、ならびに画像符号化プログラムを提供することを目的とする。

本発明の画像符号化装置は、連続的に入力される複数の入力画像の重要度の周期である重要度周期における、現在時刻に対応する過去の時刻の重要度に基づいて、画質制御パラメータを算出する画質制御パラメータ算出部と、前記画質制御パラメータを用いて前記入力画像を符号化して映像データを生成する画像符号化部とを備えた構成を有している。

この構成により、過去の重要度周期における対応する時刻の重要度を用いて画質制御パラメータが決定されるので、実際の重要度の変化に応じた画質制御パラメータで入力画像を符号化して映像データを生成できる。

上記の画像符号化装置において、前記画質制御パラメータ算出部は、前記重要度周期における、現在時刻に対応する複数の過去の時刻の重要度の平均である平均重要度に基づいて画質制御パラメータを算出してよい。

この構成により、重要度周期における複数の対応する時刻の重要度を用いて画質制御パラメータを決定できる。

上記の画像符号化装置は、前記重要度周期における、現在時刻に対応する複数の過去の時刻の重要度に基づいて前記平均重要度を算出する平均重要度算出部をさらに備えていてよい。

この構成により、画像符号化装置において平均重要度を算出できる。

上記の画像符号化装置は、前記入力画像に基づいて前記重要度を算出する重要度算出部と、前記重要度に基づいて前記重要度周期を算出する重要度周期算出部とをさらに備えていてよい。

この構成により、画像符号化装置がユーザに頼らずに入力画像に基づいて自ら重要度周期を算出できる。

上記の画像符号化装置において、前記画質制御パラメータ算出部は、一日における前記画像符号化装置の稼働時間を前記重要度周期として、現在時刻に対応する過去の時刻の重要度に基づいて前記画質制御パラメータを算出してよい。

この構成により、入力画像から重要度周期の算出を行う構成を備えずに画質制御パラメータを算出できる。

上記の画像符号化装置において、前記画質制御パラメータ算出部は、一週間における前記画像符号化装置の稼働時間を前記重要度周期として、現在時刻に対応する過去の時刻の重要度に基づいて前記画質制御パラメータを算出してよい。

この構成によっても、入力画像から重要度周期の算出を行う構成を備えずに画質制御パラメータを算出できる。

上記の画像符号化装置において、前記画質制御パラメータ算出部は、さらに前記重要度算出部で算出された現在時刻の入力画像の重要度である現在重要度にも基づいて前記画質制御パラメータを算出してよい。

この構成により、過去の重要度のみならず、現在の重要度にも応じて画質制御パラメータが決定されるので、通常は重要度が低いが現在において重要度が高い場合には画質を上げる等の柔軟な画質制御が可能となる。

上記の画像符号化装置において、前記画質制御パラメータ算出部は、前記現在重要度及び複数周期分の前記平均重要度の平均に比例するように画質制御パラメータを算出してよい。

この構成により、現在重要度と平均重要度とを複合的に用いて画質制御パラメータ決定できる。

上記の画像符号化装置において、前記画質制御パラメータ算出部は、前記現在重要度及び前記平均重要度のうちの大きい方に比例するように前記画質制御パラメータを算出してよい。

この構成により、現在重要度の算出に誤りがあって低く算出された場合にも、過去の平均重要度に基づいて適切な画質制御パラメータを決定できる。

上記の画像符号化装置において、前記画質制御パラメータ算出部は、前記現在重要度と前記平均重要度との比較、及び前記現在重要度又は前記平均重要度と所定の閾値との比較に基づいて、前記画質制御パラメータを算出してよい。

この構成により、平常とは異なる異常な事態が生じている状況や、現在重要度の算出に誤りがある状況等に適切に対応して画質制御パラメータを決定できる。

上記の画像符号化装置において、前記画質制御パラメータ算出部は、前記平均重要度のみに基づいて、前記平均重要度に比例するように前記画質制御パラメータを算出してよい。

この構成により、現在重要度に左右されることなく画質制御パラメータを決定できる。なお、現在重要度は、後に平均重要度に反映されることになる。

上記の画像符号化装置は、前記画像符号化部にて生成された前記映像データの複雑度を算出する複雑度算出部と、前記複雑度の周期である複雑度周期を算出する複雑度周期算出部と、前記複雑度周期の整数倍の周期における平均画像複雑度を算出する平均画像複雑度算出部とをさらに備えていてよく、前記画質制御パラメータ算出部は、前記平均画像複雑度にも基づいて前記画質制御パラメータを算出してよい。

この構成により、映像データの複雑度周期に基づいて画質制御パラメータが決定されて発生符合量が制御されるので、所定の記憶容量を有する記録媒体に所望の時間分の符号化データを記録できる。なお、複雑度周期の整数倍の周期には、複雑度周期の１倍の周期、即ちもとの複雑度周期も含まれる。

上記の画像符号化装置において、前記重要度算出部は、前記入力画像に特定の被写体が含まれているか否かに基づいて、前記重要度を算出してよい。

この構成により、入力画像に含まれている人の顔や車のナンバープレート等の特定の被写体に基づいて重要度を算出できる。

上記の画像符号化装置において、前記重要度算出部は、前記特定の種類の被写体のモデルと前記入力画像との比較に基づいて、前記重要度を算出してよい。

この構成により、人の顔や車のナンバープレート等を特定の種類の被写体として、そのモデルと入力画像とを比較することにより、当該特定の種類の被写体が含まれている入力画像について高い重要度を算出できる。

上記の画像符号化装置において、前記重要度算出部は、特定の画像と前記入力画像との比較に基づいて、前記重要度を算出してよい。

この構成により、特定の顔画像や車のナンバープレートの画像を特定の画像として、当該特定の顔画像やナンバープレートに適合する被写体を含む入力画像について高い重要度を算出できる。

上記の画像符号化装置において、前記重要度算出部は、前記入力画像の時間的変化の大きさ、及び／又は空間的変化の大きさに基づいて、前記重要度を算出してよい。

この構成により、入力画像の複雑度（前後フレームの変化の大きさ）や混雑度（画像内での変化した箇所の多さ）を重要度として算出できる。

上記の画像符号化装置において、前記複雑度周期の整数倍の周期は、前記重要度周期の整数倍でもある共通周期であってよい。

この構成により、重要度の変動による発生符号量の変動も各共通周期内でほぼ一定となるので、共通周期における発生符号量を制御できる。

上記の画像符号化装置において、前記画像符号化部は、量子化器を備えていてよく、前記画質制御パラメータは、前記量子化器における量子化パラメータであってよい。

この構成により、量子化パラメータを調整することで映像データの画質を調整できる。

上記の画像符号化装置において、前記画質制御パラメータは、前記画像符号化部にて前記入力画像を符号化するか否かを指示するパラメータであってよい。

この構成により、符号化の要否によって映像データの画質を調整できる。

本発明の撮影システムは、上記の画像符号化装置と、被写体を撮影して映像信号を生成する撮像部と、前記映像信号を処理して前記入力画像を生成する信号処理部とを備えた構成を有している。

この構成によっても、過去の重要度周期における対応する時刻の重要度を用いて画質制御パラメータが決定されるので、実際の重要度の変化に応じたパラメータで入力画像を符号化して映像データを生成できる。

上記の撮影システムにおいて、前記画質制御パラメータは、前記撮像部における撮影のフレームレートであってよい。

この構成により、フレームレートを調整することで映像データの画質を調整できる。

上記の撮影システムにおいて、前記画質制御パラメータは、前記信号処理部において前記入力画像を生成する際の解像度であってよい。

この構成により、解像度を調整することで映像データの画質を調整できる。

本発明の撮影記録システムは、上記の撮影システムと、前記撮影システムと通信可能に接続され、前記画像符号化装置で生成された映像データを記録する記録装置とを備えた構成を有している。

この構成によっても、過去の重要度周期における対応する時刻の重要度を用いて画質制御パラメータが決定されるので、実際の重要度の変化に応じたパラメータで入力画像を符号化して映像データを生成でき、記録装置の記憶容量を有効に活用できる。

本発明の画像符号化方法は、連続的に入力される複数の入力画像の重要度の周期である重要度周期における、現在時刻に対応する過去の時刻の重要度に基づいて、画質制御パラメータを算出する画質制御パラメータ算出ステップと、前記画質制御パラメータを用いて前記入力画像を符号化して映像データを生成する画像符号化ステップと含んでいる。

この構成によっても、過去の重要度周期における対応する時刻の重要度を用いて画質制御パラメータが決定されるので、実際の重要度の変化に応じたパラメータで入力画像を符号化して映像データを生成できる。

本発明の画像符号化プログラムは、コンピュータを、連続的に入力される複数の入力画像の重要度の周期である重要度周期における、現在時刻に対応する過去の時刻の重要度に基づいて、画質制御パラメータを算出する画質制御パラメータ算出部、及び前記画質制御パラメータを用いて前記入力画像を符号化して映像データを生成する画像符号化部として機能させる。

この構成によっても、過去の重要度周期における対応する時刻の重要度を用いて画質制御パラメータが決定されるので、実際の重要度の変化に応じたパラメータで入力画像を符号化して映像データを生成できる。

本発明によれば、過去の重要度周期における対応する時刻の重要度を用いて画質制御パラメータが決定されるので、実際の重要度の変化に応じたパラメータで入力画像を符号化して映像データを生成できる。

本発明の第１の実施の形態における画像符号化装置の構成を示すブロック図 本発明の第１の実施の形態の撮影記録システムの構成を示すブロック図 本発明の第１の実施の形態の重要度の変化の例を示すグラフ 本発明の第１の実施の形態の重要度周期算出部が自己相関関数による周期解析を行って得られるグラフ 本発明の第１の実施の形態の現在時刻に対応する過去の複数の重要度周期における時刻の重要度を示すグラフ 本発明の第１の実施の形態の重要度の変動の例（平日及び週末）を示すグラフ 本発明の第１の実施の形態の重要度の変動の例（サマータイム及びそれ以外の期間）を示すグラフ 本発明の第１の実施の形態の重要度の変動の例（夏季及び冬季）を示すグラフ 本発明の第１の実施の形態の画像符号化方法のフロー図 本発明の第２の実施の形態の画像符号化装置の構成を示すブロック図 本発明の第２の実施の形態の１ＧＯＰの画像複雑度の変動の例を示すグラフ 本発明の第２の実施の形態の画像複雑度に対してフーリエ変換を行なって得られる周波数スペクトルを示すグラフ 本発明の第２の実施の形態の画像符号化装置の動作を示すフロー図 小売店の店内に監視カメラを設置した場合の重要度の変化の例を示すグラフ 小売店の店内に監視カメラを設置した場合の重要度の変化の例を示すグラフ

以下、本発明の実施の形態の撮影記録システムについて、図面を参照しながら説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

（第１の実施の形態）
図２は、本発明の実施の形態の撮影記録システムの構成を示すブロック図である。撮影記録システム１０００は、撮影システム１００と記録装置２００を備えている。撮影システム１００は、カメラ１１０と画像符号化装置１２０を備えている。カメラ１１０は、画像符号化装置１２０と接続されており、画像符号化装置１２０はネットワークＮＷを介して記録装置２００に接続されている。なお、必ずしも画像符号化装置１２０と記録装置２００との間にネットワークＮＷが介在している必要はなく、例えば記録装置２００が撮影システム１００に内蔵される構成であってもよい。

このような撮影記録システム１０００は、例えば、店舗等に設置された監視カメラの映像を記録する監視映像記録システムとして応用され得る。この場合、監視カメラであるカメラ１１０は例えば店舗入り口付近を撮影するように設置され、画像符号化装置１２０は例えば店舗事務所に設置され、記録装置２００は監視センタに設置され、画像符号化装置１２０と記録装置２００とはインターネット経由で通信を行なう。これによって、カメラ１１０で撮影された監視映像が記録装置２００に記録される。

カメラ１１０は、撮像部１１１と信号処理部１１２を備えている。撮像部１１１は、レンズ、撮像素子等を備えた一般的な撮影ユニットである。撮像素子は、設定されたフレームレート（例えば１／３０秒）で被写体を撮影して、フレームごとに映像信号を出力する。信号処理部１１２は、撮像素子から出力された映像信号に対して、解像度の調整、明るさや色の調整等の信号処理を行い、処理後の映像信号を（フレーム画像）を画像符号化装置１２０に出力する。

カメラ１１０にて生成されたフレーム画像は、入力画像として、画像符号化装置１２０に連続的に入力される。画像符号化装置１２０は、これらの入力画像を符号化して映像データを構成する複数の符号化データを生成する。生成された複数の符号化データは、ネットワークＮＷを介して記録装置２００に送信される。記録装置２００は、所定の記憶容量を有する記録媒体を備えており、ネットワークＮＷを介して送信されてきた複数の符号化データ（映像データ）を記録媒体に記録する。

画像符号化装置１２０は、制御部１２１と画像符号化部１２２を備えている。制御部１２１は、撮影システム１００にて生成される映像データの画質を制御するための画質制御パラメータを決定して出力する。本実施の形態の撮影システム１００では、画質制御パラメータは、撮像部１１１、信号処理部１１２、及び／又は画像符号化部１２２に出力される。

図１は、本発明の実施の形態の画像符号化装置の構成を示すブロック図である。画像符号化装置１２０は、上述のように、制御部１２１と画像符号化部１２２とを備えている。図１に示す画像符号化装置１２０の構成は、コンピュータが本発明の実施の形態の画像符号化プログラムを実行することで実現されてよい。

画像符号化装置１２０には、入力画像が連続的に入力され、これが制御部１２１及び画像符号化部１２２にそれぞれ入力される。画像符号化部１２２は入力画像を符号化して映像データを生成する。画像符号化部１２２の量子化の工程における量子化パラメータは可変であり、この量子化パラメータを大きくすると生成される映像データの画質が低くなり、逆に量子化パラメータを小さくすると生成される映像データの画質が高くなる。

制御部１２１は、重要度算出部１１、重要度周期算出部１２、平均重要度算出部１３、及び画質制御パラメータ算出部１４を備えている。入力画像は重要度算出部１１に入力される。

重要度算出部１１は、連続的に入力される複数の入力画像の各々について（各フレーム画像について）重要度を算出する。ここで、フレームの重要度は、当該フレームを高画質で記録する必要性の高さと言い換えることもできる。具体的には、この撮影記録システム１０００ないし撮影システム１００が小売店の監視システムとして応用される場合には、主要な被写体は人、商品、貨幣であり、重要度の算出元となるのは、例えば人の顔、紙幣、硬貨であり、人の顔、紙幣、硬貨が写っているフレームは重要度が高いと判断する。この場合には、重要度算出部１１は、人の顔、紙幣、硬貨等の特定の種類の被写体のモデルを有しており、このモデルと入力されたフレームとのマッチングを行い、そのマッチングのスコア（人の顔等と認識された度合い）を重要度とすることができる。

この例のほかにも、重要度は目的に応じて、ナンバープレートと認識された度合いとしてもよい。また、重要度算出部１１は、所定の時間内における人の顔やナンバープレートのモデルとのマッチングの回数（マッチングスコアが所定の閾値以上になった回数）、すなわち、所定の時間内における店舗への来客数や通行車両の台数を重要度として算出してもよい。さらに、重要度算出部１１は、特定の顔、服装、体格、車種などのターゲット画像のリストを記憶しておいて、入力されたフレームとそれらのターゲット画像とのマッチングを行い、そのマッチングのスコア、又はマッチングした回数を重要度として算出してもよい。即ち、重要度算出部１１は、入力画像とモデルとのマッチングに基づいて重要度を算出してもよいし、入力画像と特定のターゲット画像とのマッチングに基づいて重要度を算出してもよい。

また、重要度算出部１１は、上記のようなマッチングを行わず、単に画像の複雑度（前後フレームの変化の大きさ、即ち時間的変化の大きさ）や混雑度（画像内での変化した箇所の多さ、即ち空間的変化の大きさ）を重要度として算出してもよい。さらに、重要度算出部１１は、上記の種々の要素を複合的に組み合わせて重要度を算出してもよい。

上述のように重要度算出部１１は、種々の要素に基づいて重要度を算出できるが、重要度の算出方法は、その用途に応じて適切に設定される。例えば、上述のように、カメラ１１０が小売店に設置される場合には、その主要な被写体は人、商品、貨幣であり、人の顔、紙幣、貨幣が重要度の算出元となり得る。これによって、小売店の出入口、通路、エスカレータ、エレベータ前などにカメラ１１０を設置すれば、窃盗犯の映像を高画質に記録できる。また、レジにカメラ１１０を設置して紙幣を撮影することで、金銭授受の瞬間を高画質で記録できる。

カメラ１１０が街頭に設置される場合には、その主要な被写体は人や自動車であり、画像に写った人の顔、体格、服装、ナンバープレート、車種、車体の色等が重要度の算出元となり得る。これによって、繁華街にカメラ１１０を設置すれば、人の顔、体格、服装等から、特定の人物を高画質で記録できる。また、車両であれば、ナンバープレート、車種、車体の色などから、特定のものを高画質で記録できる。

また、カメラ１１０が駐車場に設置される場合には、その主な被写体は人や自動車であり、顔やナンバープレートが重要度の算出元となり得る。これによって、駐車場の出入口や、場内を見渡せる位置にカメラ１１０を設置すれば、料金の不払いや、場内でのトラブルがあった際の証拠として該当する車両を高画質で記録できる。

さらに、カメラ１１０がマンションに設置される場合には、その主な被写体は人であり、人の顔、体格、服装が重要度の算出元となり得る。これによって、駐輪場、ゴミ捨て場などにカメラ１１０を設定すれば、不法投棄者を高画質で記録できる。

重要度算出部１１は、算出した重要度を画質制御パラメータ算出部１４に出力し、画質制御パラメータ算出部１４は、重要度算出部１１にて算出された重要度に基づいて画像制御パラメータを算出する。本実施の形態の画質制御パラメータ算出部１４は、さらに、重要度の変動周期を把握することにより、現在時刻と相関する過去の周期（１〜ｎ周期前）における時間帯の重要度をも考慮して、画質制御パラメータを算出する。

このために、制御部１２１は、重要度周期算出部１２及び平均重要度算出部１３を備えており、重要度算出部１１は算出した重要度を重要度周期算出部１２及び平均重要度算出部１３の各々に出力する。

例えば、カメラ１１０が小売店に設置される監視カメラである場合には、被写体の変動は周期的である。すなわち、昼間は来客で賑わい、夜間は換算とした動きの少ない静止画同様になるというサイクルが繰り返される。例えば重要度をフレーム間の変化の大きさとしている場合には、昼間の重要度は高くなり、夜間の重要度は低くなり、２４時間を周期としてこのような重要度の変化が繰り返されることになる。

図３は、重要度の変化の例を示すグラフである。重要度周期算出部１２は、重要度算出部１１にて算出された重要度を入力して、過去の一定の時間（例えば６００時間）の最新の重要度を記録している。重要度周期算出部１２は、記録している重要度の時間変化に対して周期解析を行って、重要度周期を算出する。周期解析には、例えば、フーリエ解析、自己相関関数等の既知の手法を採用できる。

図４は、図３の例について重要度周期算出部１２が自己相関関数による周期解析を行って得られるグラフである。重要度周期算出部１２は、図４のグラフのピーク値を示す周期を重要度周期として算出する。ピーク値が同じ周期が複数ある場合は、最も短い周期を選択すれば被写体の変化に対して速やかに適応できて有利である。

重要度周期算出部１２は、所定のタイミングで上記のようにして重要度を算出して更新する。例えば、重要度周期算出部１２は、すでに算出されている最新の重要度周期ごとに重要度周期を算出して更新してよく、又は複数のフレームからなるＧＯＰ（Group Of Pictures）ごとに重要度周期を算出して更新してよく、あるいは、所定の時間ごと（例えば、１時間ごと、２４時間ごと等）に重要度周期を算出して更新してもよい。重要度周期算出部１２は、算出した重要度周期を平均重要度算出部１３に出力する。

平均重要度算出部１３は、重要度算出部１１にて算出された重要度を入力して記録する。重要度算出部１３には、過去の一定の時間（例えば６００時間）の最新の重要度が記録されている。平均重要度算出部１３は、過去の複数の重要度周期の各々における、現在時刻に対応する時刻の重要度の平均を算出して出力する。このとき、一周期の長さは重要度周期算出部１２が算出した重要度周期を採用する。図５は、図３の例において、現在時刻に対応する、過去の複数の重要度周期における時刻の重要度を示すグラフである。破線の円で囲った重要度が現在時刻の重要度であり、実線の円で囲った複数の重要度は、過去の複数の重要度周期における、現在時刻に対応する各時刻の重要度である。

具体的には、平均重要度算出部１３は、重要度算出部１１から現在時刻の（最新の）重要度を受けると、それを記憶するとともに、現在時刻からその重要度周期の整数倍だけ遡った過去の複数の時点の重要度を抽出して、それらを平均することにより、平均重要度を算出する。平均重要度算出部１３は、算出した平均重要度を画質制御パラメータ算出部１４に出力する。

このように、平均重要度算出部１３が最新の重要度を用いて平均重要度を更新し、かつ、重要度周期算出部１２においても重要度周期を更新することは、実際の重要度の変化に応じた画質制御パラメータを求めるのに有利である。なぜなら、季節や社会的な要因によって、重要度の変動の仕方や変動の周期は変わり得るからである。

図６〜８は、重要度の変動の仕方の違いを示すグラフである。図６は、平日における重要度の変動（実線）と週末における重要度の変動（破線）を示している。このような例は、例えば監視カメラを小売店や道路に設置し、人物や車体を検出してそれを重要度の算出元とした場合に見られる。図６に示すように、週末は平日に比べて全体的に重要度が増加している。

図７は、サマータイムにおける重要度の変動（実線）とそれ以外の期間における重要度の変動（破線）を示している。このような例も、例えば監視カメラを小売店や道路に設置し、人物や車体を検出してそれを重要度の算出元とした場合に見られる。図７に示すように、サマータイムの重要度の変動は、それ以外の期間における重要度の変動を約１時間前にシフトしたものとなっている。

図８は、夏季における重要度の変動（実線）と冬季における重要度の変動（破線）を示している。このような例は、例えば監視カメラを小売店に設置し、人物（来客）を検出して来客数を重要度の算出元とした場合に見られる。図８に示すように、夏季では、朝夕の涼しい時間帯に冬季と比較して来客数が増加して重要度が高くなり、日中の暑い時間帯には、冬季と比較して来客数が減少して重要度が低くなっている。

図６〜８の例のように、重要度の変動の仕方や変動の周期は常に一定であるわけではなく、変化し得るものである。その他、夏季は日没が遅く、来客数のピークは遅くなり、春季及び秋季は外出が容易で来客数が増える等の季節による来客数の変化、冬季は積雪の影響で通勤時間が早めにシフトし、除雪の行き届いた主要道では交通量が増加する等の天候による通勤者（自動車）数の変化、ノーマイカーデー、週末、月末等の文化や習慣による通勤形態の変化等の要因によっても重要度の変動の仕方や変動の周期は変化し得る。

そこで、平均重要度算出部１３は、重要度算出部１１で算出された新たな重要度を取り込んで、古い重要度から順に破棄していくことで、平均重要度を算出するための重要度を更新し、平均重要度も更新する。また、重要度周期算出部１２も同様に、重要度算出部１１で算出された新たな重要度を取り込んで、古い重要度から順に破棄していくことで、重要度周期を算出するための重要度を更新し、重要度周期も更新する。

画像制御パラメータ算出部１４は、重要度算出部１１から現在時刻における現在重要度Ｉ_nowを受け、平均重要度算出部１３から現在時刻に対応する過去の平均重要度Ｉ_aveを受けて、これらに基づいて画質制御パラメータＱを算出する。現在重要度Ｉ_nowと平均重要度Ｉ_aveに基づく画質制御パラメータの算出方法としては種々の方法が考えられる。画質制御パラメータ算出部１４は、これらの方法のいずれか一つを採用してもよいし、これらの方法を適宜に切り替えて採用してもよい。以下、現在重要度Ｉ_nowと平均重要度Ｉ_aveに基づく画質制御パラメータの算出について説明する。

第一の算出方法は、平均重要度Ｉ_aveのみを利用する方法である。すなわち、画質制御パラメータ算出部１４は、以下の式（１）によって画質制御パラメータＱを算出する。
Ｑ＝Ｑ_ref×Ｉ_ave ・・・（１）
ここで、Ｑ_refは、重要度が所定の基準値であるときの基準の画質を表す基準画質制御パラメータである。

この第一の算出方法によれば、過去の平均的な重要度に比例するように画質制御パラメータＱが決定される。なお、この第一の算出方法の場合には、現在重要度Ｉ_aveは不要であるので、重要度算出部１１から画質制御パラメータ算出部１４へ現在重要度Ｉ_aveを出力しなくてもよい。

第二の算出方法は、現在重要度Ｉ_nowと平均重要度Ｉ_aveを複合的に利用する方法である。すなわち、画質制御パラメータ算出部１４は、以下の式（２）によって画質制御パラメータＱを算出する。
Ｑ＝Ｑ_ref×（Ｉ_now＋Ｉ_ave×ｎ）／（ｎ＋１） ・・・（２）
この式（２）による画像制御パラメータの算出は、現在重要度Ｉ_nowも含めた過去のｎ＋１周期の平均に比例するように画質制御パラメータＱを算出する。

この第二の方法によれば、現在重要度Ｉ_nowも含めた平均的な重要度に比例するように画質制御パラメータＱが決定される。なお、式（２）は、現在重要度Ｉ_nowと平均重要度Ｉ_aveとの重みを変えて、式（２´）のようにしてもよい。
Ｑ＝Ｑ_ref×｛（αＩ_now＋（１−α）Ｉ_ave×ｎ）／（ｎ＋１） ・・・（２´）
ここで、０＜α＜１である。

第三の算出方法は、現在重要度Ｉ_nowと平均重要度Ｉ_aveの大きい方を利用する方法である。すなわち、画質制御パラメータ算出部１４は、以下の式（３）によって画質制御パラメータＱを算出する。
Ｑ＝Ｑ_ref×ｍａｘ（Ｉ_now，Ｉ_ave） ・・・（３）
この第三の算出方法によれば、現在重要度Ｉ_nowと平均重要度Ｉ_aveのうちの大きい方に比例するように画質制御パラメータＱが決定される。

第四の算出方法は、現在重要度Ｉ_nowのみを利用する方法である。すなわち、画質制御パラメータ算出部１４は、以下の式（４）によって画質制御パラメータＱを算出する。
Ｑ＝Ｑ_ref×Ｉ_now ・・・（４）
なお、この第四の算出方法は、過去の重要度周期の対応する時刻の平均重要度を用いていないが、他の算出方法と組み合わせて用いることができる。すなわち、制御部１２１が複数の算出方法の中から使用する算出方法を適宜切り替える場合において、その複数の算出方法の一つに第四の算出方法が含まれていてよい。

第五の算出方法は、現在重要度Ｉ_nowと平均重要度Ｉ_aveとを比較してそのいずれかを利用する方法である。すなわち、画質制御パラメータ算出部１４は、現在重要度Ｉ_nowと平均重要度Ｉ_ave、さらに重要度閾値Ｉ_thrとの比較結果が示す状況に応じて、以下の式（５）〜（８）のいずれかを選択し、選択された式によって画質制御パラメータＱを算出する。以下、具体的に説明する。

（第一の状況）
平均重要度Ｉ_aveが現在重要度Ｉ_nowより低く、かつ、現在重要度Ｉ_nowが重要度閾値Ｉ_thrより高い場合（第一の状況）は、画質制御パラメータ算出部１４は、以下の式（５）によって画質制御パラメータＱを算出する。
Ｑ＝Ｑ_ref×Ｉ_now×ｃ ・・・（５）
なお、重要度閾値Ｉ_thrは、重要度の判定の基準となる閾値である。また、ｃは１より大きい定数である。

この第一の状況とは、例えば、普段は人がいない等の理由で平均重要度Ｉ_aveが低くなっている時間帯に、人が検知された場合等の理由で高い現在重要度Ｉ_nowが算出された状況を意味しており、すなわち、平常とは異なる異常な事態が生じている状況であるので、画質制御パラメータ算出部１４は、平均重要度Ｉ_aveは無視して現在重要度Ｉ_nowによって画質制御パラメータを決めるとともに、通常時のｃ倍（１＜ｃ）の画質制御パラメータを算出する。

（第二の状況）
平均重要度Ｉ_aveが現在重要度Ｉ_nowより低く、かつ、現在重要度Ｉ_nowが重要度閾値Ｉ_thrより低い場合（第二の状況）は、画質制御パラメータ算出部１４は、以下の式（６）によって画質制御パラメータＱを算出する。
Ｑ＝Ｑ_ref×ｍｉｎ（Ｉ_now，Ｉ_ave） ・・・（６）

この第二の状況は、普段から何もない等の理由で平均重要度Ｉ_aveが低くなっている時間帯に、普段どおりに何もなく、低い現在重要度Ｉ_nowが算出された状況を意味しており、すなわち、平常どおりであって異常がない状況であるので、画質制御パラメータ算出部１４は、平均重要度Ｉ_aveと現在重要度Ｉ_nowのうちのより低いほうの重要度を採用して、採用した重要度に比例するように画質制御パラメータＱを決定する。

（第三の状況）
平均重要度Ｉ_aveが現在重要度Ｉ_nowより高く、かつ、現在重要度Ｉ_nowが重要度閾値Ｉ_thrより高い場合（第三の状況）は、画質制御パラメータ算出部１４は、以下の式（７）によって画質制御パラメータＱを算出する。
Ｑ＝Ｑ_ref×ｍａｘ（Ｉ_now，Ｉ_ave） ・・・（７）

この第三の状況は、普段から人が多い等の理由で平均重要度Ｉ_aveが高い時間帯に、普段どおりに人が多く、高い現在重要度Ｉ_nowが算出された状況を意味しており、すなわち、平常どおりに重要度が高い状況であるので、画質制御パラメータ算出部１４は、平均重要度Ｉ_aveと現在重要度Ｉ_nowのうちのより高いほうの重要度を採用して、採用した重要度に比例するように画質制御パラメータＱを決定する。

（第四の状況）
平均重要度Ｉ_aveが現在重要度Ｉ_nowより高く、かつ、現在重要度Ｉ_nowが重要度閾値Ｉ_thrより低い場合（第四の状況）は、画質制御パラメータ算出部１４は、以下の式（８）によって画質制御パラメータＱを算出する。
Ｑ＝Ｑ_ref×Ｉ_ave ・・・（８）

この第四の状況は、過去の履歴からすれば現在重要度は高いはずであるのに、現在重要度が高くない状況を意味しており、すなわち、現在の重要度を算出するに当たってその算出元の検出漏れの可能性がある状況であるので、画質制御パラメータ算出部１４は、現在重要度Ｉ_nowは無視して平均重要度Ｉ_aveに比例するように画質制御パラメータＱを決定する。

次に、画質制御パラメータと画質制御との関係について説明する。画質制御パラメータＱは、その値が大きいほど高画質の映像データが生成されるように制御するパラメータである。画像符号化部１２２からは複数の連続する符号化された複数の入力画像が映像データとして出力されるが、この映像データの画質は、種々の方法で調整できる。

まず、撮像部１１１におけるフレームレート（毎秒何フレームの映像信号を出力するか）によって画質を調整できる。フレームレートが上がれば、映像が滑らかになって、映像データの画質が向上する。また、信号処理部１１２において各フレームの解像度を調整すること（所定の割合で１フレーム中の映像信号を間引くこと）によっても画質を調整できる。

さらに、画像符号化部１２２での圧縮符号化における圧縮率を調整することによっても画質を調整できる。具体的には、量子化パラメータを調整することで画質を調整できる。また、画像符号化部１２２における符号化の要否を切り替えることでも画質を調整できる。

このように、画質の調整は、撮像部１１１、信号処理部１１２、画像符号化部１２２で行うことができる。撮影システム１００は、これらのいずれかで画質の調整を行ってもよいし、これらの複数の構成のそれぞれにおいて画質の調整を行ってもよいし、平均重要度と現在重要度との関係に基づいて、適宜どの構成で画質の調整を行うかを切り替えてもよい。

画質制御パラメータ算出部１４は、画質の調整を行う構成に応じた画質制御パラメータを生成する。例えば、撮像部１１１でフレームレートを調整することで画質を調整する場合には、画質制御パラメータ算出部１４は、画質制御パラメータＱとして、撮像部１１で設定すべきフレームレートを算出して、撮像部１１１に出力する。信号処理部１１２で解像度を調整することで画質を調整する場合には、画質制御パラメータ算出部１４は、画質制御パラメータＱとして、信号処理部１１２で設定すべき解像度を算出して、信号処理部１１２に出力する。

また、画像符号化部１２２にて量子化パラメータを調整することで画質を調整する場合には、画質制御パラメータ算出部１４は、画質制御パラメータＱとして、画像符号化部１２２にて設定すべき量子化パラメータを算出して、画像符号化部１２２に出力する。画像符号化部１２２における符号化の要否によって画質を調整する場合には、画像制御パラメータ算出部１４は、画質制御パラメータＱとして、符号化の要否を指示するパラメータを画像符号化部１２２に出力する。

撮像部１１１は、画質制御パラメータ算出部１４より画質制御パラメータＱとしてフレームレートを指定されたときは、そのフレームレートに従って撮像素子による撮像を行う。信号処理部１１２は、画質制御パラメータ算出部１４より画質制御パラメータＱとして解像度を指定されたときは、その解像度に従って、入力された映像信号に対して信号処理を行う。画像符号化部１２２は、画像制御パラメータ算出部１４より画質制御パラメータとして量子化パラメータを指定されたときは、その量子化パラメータによって量子化を行う。画像符号化部１２２は、画質制御パラメータ算出部１４より画質制御パラメータＱとして符号化の停止が指定されたときは、符号化を停止して入力画像をそのまま映像データとして出力する。

画像符号化部１２２から出力された映像データは、ネットワークＮＷを介して記録装置２００に伝送され、記録装置２００に記録される。

図９は、本発明の実施の形態の画像符号化方法のフロー図である。画像符号化方法は、画像符号化装置１２０の制御部で実行される。まず、画質制御パラメータ算出部１４は、画質制御パラメータＱをＱ_refで初期化する（ステップＳ１１）。また、平均重要度算出部１３は、重要度周期λをλ₀で初期化する（ステップＳ１２Ｉ）。

次に、信号処理部１１２からの入力画像の有無を判断する（ステップＳ１３）。入力画像が入力されない場合には（ステップＳ１３にてＮＯ）、入力画像が入力されるまで待つ。入力画像が入力されると、符号化が完了したか否かを判断し（ステップＳ１４）、終了した場合には（ステップＳ１４にてＹＥＳ）、処理を終了する。符号化が完了していない場合には（ステップＳ１４にてＮＯ）、以下の処理を行う。

まず、重要度算出部１１は、信号処理部１２より１フレームの入力画像を受けて、そのフレームの重要度、すなわち現在重要度Ｉ_nowを算出し、重要度周期算出部１２、平均重要度算出部１３、及び画像制御パラメータ算出部１４に入力する（ステップＳ１５）。次に、重要度周期算出部１２は、ステップＳ１５にて重要度算出部１１より入力された重要度を記憶するとともに、重要度周期を更新する条件を満足するか否かを判断する（ステップＳ１６）。この条件とは、例えば、前回の更新から所定の時間が経過すること、所定の時刻が到来すること、１ＧＯＰの処理が終了すること等であり、適宜に設定できる。

重要度周期を更新する条件が満足される場合には（ステップＳ１６にてＹＥＳ）、重要度周期算出部１２は、重要度周期λ_newを算出してその結果を平均重要度算出部１３に出力し、平均重要度算出部１３は、既存の重要度周期をλ_newで更新する（ステップＳ１７）。

重要度周期が更新された場合にはその後に、重要度周期の更新のタイミングでなかった場合（ステップＳ１６にてＮＯ）にはステップＳ１７をスキップして、平均重要度算出部１３は、重要度算出部１１から重要度が入力されたフレームの周期内時刻に対応する過去の複数の周期の重要度を用いて、入力されたフレームの周期内の時刻の過去の平均重要度Ｉ_aveを求める（ステップＳ１８）。

画質制御パラメータ算出部１４は、重要度算出部１１から入力された現在重要度Ｉ_now及び平均重要度算出部１３から入力された平均重要度Ｉ_aveに基づいて、画質制御パラメータＱを算出し、それを関係する構成に出力して設定する（ステップＳ１９）。撮影システム１００は、設定された画質制御パラメータＱに従って撮影、信号処理、符号化等の処理を行い、映像データを生成する（ステップＳ２０）。その後、ステップＳ１４に戻って、入力されたすべてのフレームについて符号化が終了したかを判断し、映像信号が入力され続ける限り、ステップＳ１４〜ステップＳ２０の処理を繰り返す。

以上のように、本実施の形態の撮影記録システム１０００によれば、フレームの実際の重要度に応じて画質を調整できる。また、単に現在のフレームの重要度に基づいて画質を制御するのではなく、過去のフレームの重要度から重要度周期を算出して、過去の周期の対応する時刻の重要度をも加味して画質を調整するので、より適切に画質の制御を行うことができる。

（第２の実施の形態）
第１の実施の形態では、重要度に応じた画質で映像データを生成することで、その映像データを記録装置２００に記録する際の記憶容量を有効に活用できた。さらに、記録装置２００の記録媒体の記憶容量いっぱいに映像データを記録して記録媒体の空き容量がなくなるタイミングを指定できれば便利である。そのようなタイミングで、記録装置２００記録媒体に記録された映像データを他の記録媒体に複写して空き容量を確保したり、新たな記録媒体への切替えを行なったりできるからである。

しかしながら、画像符号化装置２００が重要度に応じて画質を制御しながら入力画像を符号化すると、入力画像の内容と画質に応じて発生符号量が変動し、記録媒体の空き容量がなくなる時間を予測することはできない。よって、記録装置２００の記録媒体の空き容量がなくなって記録ができなくなる事態を避けるために、記録装置２００の記録媒体の空き容量を監視しなければならない。そこで、本実施の形態では、重要度に応じて画質を制御するとともに、記録装置２００の記録媒体に記録される映像の時間（日数）を指定できる画像符号化装置を提供する。このために、本実施の形態の画像符号化装置は、所望する記録時間に応じて、上記の画質制御パラメータの基準値Ｑ_ref（以下、「基準画質制御パラメータ」という。）を設定する。

図１０は、第２の実施の形態の画像符号化装置の構成を示すブロック図である。第１の実施の形態の画像符号化装置１２０と比較すると、本実施の形態の画像符号化装置１２０´は、第１の実施の形態の画像符号化装置１２０の構成に加えて、発生符号量検出部３１、平均ＱＰ検出部３２、複雑度算出部３３、複雑度周期算出部３４、平均複雑度算出部３５、符号量制御部３６、目標ビットレート設定部３７、記録時間設定部３８、記憶容量設定部３９、及び共通周期算出部４０を備えている。また、画像符号化部１２２の構成は第１の実施の形態と同様であるが、図１０ではその詳細な構成が示されている。その他の構成は、第１の実施の形態の構成と同様であるので、同じ符号を付して適宜説明を省略する。以下では、画質制御パラメータＱが、量子化パラメータである場合を例に本実施の形態を説明する。

画像符号化部１２２は、減算器２１、ＤＣＴ器２２、量子化器２３、逆量子化器２４、逆ＤＣＴ器２５、加算器２６、フレームメモリ２７、動き補償予測器２８、及び可変長符号化器２９を備えている。

画像符号化部１２２には、カメラ１１０で撮影された連続するフレームの映像信号が、入力画像として入力される。画像符号化部１２２では、入力画像は、フレーム内符号化を行なうＩピクチャと、順方向予測のみでフレーム間予測符号化を行なうＰピクチャと、順方向及び逆方向の両方向のフレーム間予測符号化を行なうＢピクチャとに分類される。また、画像符号化部１２２において、入力画像は、１６×１６画素のマクロブロックに分割されて、マクロブロック単位で符号化処理が行なわれる。

減算器２１に入力されたＩピクチャの入力画像は、そのままＤＣＴ器２２に入力される。ＤＣＴ器２２は、入力画像に対して離散コサイン変換をして、ＤＣＴ係数を生成し、量子化器２３に出力する。量子化器２３は、入力されたＤＣＴ係数を後述する符号量制御部３６より指定された量子化パラメータ（量子化幅）で量子化して、量子化変換係数を生成し、逆量子化器２４及び可変長符号化器２９に出力する。可変長符号化器２９は、入力された量子化変換係数を符号化して、Ｉピクチャの符号化データを生成して出力する。

逆量子化器２４は、入力された量子化変換係数を逆量子化して、逆量子化変換係数を生成し、逆ＤＣＴ器２５に出力する。逆ＤＣＴ器２５は、入力された逆量子化変換係数を逆離散コサイン変換して、入力画像を復元する。復元された入力画像は、後のフレーム間予測において参照画像として用いられるためにフレームメモリ２７に記録される。

動き補償予測器２８にはＰピクチャ及びＢピクチャの入力画像が入力される。動き補償予測器２８は、入力画像とフレームメモリ２７に記録された参照画像とを比較して、マクロブロックごとに動きベクトルを算出する。動き補償予測器２８は、さらに算出された動きベクトルに基づいて動き補償フレーム予測を行なうことにより入力画像に対する予測画像を生成する。動き補償予測器２８で生成された予測画像は、減算器２１及び加算器２６に出力される。

減算器２１は、入力画像と予測画像との差分画像を算出してＤＣＴ器２２に出力する。ＤＣＴ器２２は入力された差分画像を離散コサイン変換して、ＤＣＴ係数を算出し、量子化器２３に出力する。量子化器２３は、入力されたＤＣＴ係数を符号量制御器２５より指定された量子化パラメータで量子化して、量子化変換係数を生成し、逆量子化器２４及び可変長符号化器２９に出力する。可変長符号化器２９は、入力された量子化変換係数を符号化して、ＰピクチャまたはＢピクチャの符号化データを生成して出力する。

逆量子化器２４は、入力された量子化変換係数を逆量子化して、逆量子化変換係数を生成し、逆ＤＣＴ器２５に出力する。逆ＤＣＴ器２５は、入力された逆量子化変換係数を逆離散コサイン変換して、差分画像を復元し、加算器２６に出力する。加算器２６は、入力された差分画像と先に動き補償予測器２８より出力された予測画像とを加算することで、入力画像を復元する。復元された入力画像は、参照画像としてフレームメモリ２７に記録される。

以下、同様の処理を繰り返されることで、可変長符号化器２９からは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの符号化データが所定の順序でビットストリームとして出力される。可変長符号化器２９から出力されたビットストリームは、記録装置２００に出力される。

上述のように、量子化器２３における量子化パラメータは可変であり、この量子化パラメータを大きくすると可変長符号化器２９で生成される符号化データの符号量が少なくなり、逆に量子化器２３における量子化パラメータを小さくすると可変長符号化器２９で生成される符号化データの符号量が多くなる。また、量子化パラメータが固定されていても、映像信号の空間周波数が高いほど、また、連続するフレームにおける被写体の動きが激しいほど、生成される符号化データの符号量が多くなる。

次に、制御部１２１について説明する。平均ＱＰ検出部３２は、符号量制御器３６にて算出された後述する基準画質制御パラメータＱ_ref（量子化パラメータ）を受けて、１ＧＯＰ分の量子化パラメータの平均（平均量子化パラメータ）を算出して、複雑度算出部３３に出力する。また、可変長符号化器２９で生成された符号化データは、発生符号量検出部３１に出力される。発生符号量検出部３１は、１ＧＯＰ分の発生符号量を蓄積して、当該１ＧＯＰのビットレートを算出し、複雑度算出部３３に出力する。

ここで、ＧＯＰは、少なくとも１フレームのＩピクチャを含む複数のフレームの集合を意味する。ＧＯＰは、そこに１フレームのＩピクチャが含まれる場合には、再生可能な動画像を構成している最小の単位構造となる。発生符号量検出器３１は、１ＧＯＰ分の複数の符号化データの符号量の総和を当該１ＧＯＰの時間で割ることで、ビットレートを算出する。

複雑度算出部３３は、平均ＱＰ検出部３２から入力された平均量子化パラメータ及び発生符号量検出器３１から入力されたビットレートに基づいて、画像複雑度を算出する。画像複雑度（Ｆｉｍ）は、入力された平均量子化パラメータ（ＱＰ_AVG）及びビットレート（Ｂｒ）を所定の変換関数ｆ₁に適用して得られる、符号化の難易度ないしは画像の複雑度を示す値であり、下式（９）によって算出される。
Ｆｉｍ＝ｆ₁（ＱＰ_AVG，Ｂｒ） ・・・（９）
ここで、変換関数ｆ₁は、平均量子化パラメータ（ＱＰ_AVG）及びビットレート（Ｂｒ）の各々の増加に対して画像複雑度（Ｆｉｍ）が単純増加するように選択される。算出された画像複雑度は、複雑度周期算出部３４及び平均複雑度算出部３５に出力される。

複雑度周期算出部３４は、複雑度算出部３３から入力されたＧＯＰごとの画像複雑度を記録して、その記録に対して周期解析を行なうことで、複雑度周期を算出する。本実施の形態の複雑度周期算出部３４は、周期解析にフーリエ変換を採用するが、自己相関関数を用いた解析等、他の周期解析を行なってもよい。複雑度周期算出部３４は、設定された周期ごと（例えば毎日１回）、又は複雑度周期算出部３４が算出した最新の複雑度周期ごとに、定期的に複雑度周期を算出する。また、複雑度周期算出部３４は、複雑度周期を算出する時刻になったか否かにかかわらず、外部のトリガ入力（例えば、ユーザからの指示）に応じて複雑度周期を算出する。ユーザは、例えば１日の稼働時間を変更した場合に、複雑度周期の算出を指示する。

複雑度周期算出部３４は、直前の１週間（７日間）分の画像複雑度をフーリエ変換することで複雑度周期を算出する。なお、画像が１週間にわたって連続で入力されない場合、例えば毎日８時間しか画像が入力されない（画像符号化装置が稼動しない）場合にも、複雑度周期算出部３４は、直前１週間分（８時間×７日分）の画像複雑度の周期解析をして複雑度周期を算出する。

複雑度周期算出部３４で算出された複雑度周期は、共通周期算出部４０に出力される。また、重要度周期算出部１２で算出された重要度周期も、共通周期算出部４０に出力される。共通周期算出部４０は、入力された複雑度周期と重要度周期の最小公倍数の周期を共通周期として算出し、これを平均複雑度算出部３５及び平均重要度算出部１３にそれぞれ設定する。これにより、平均複雑度算出部３５及び平均重要度算出部１３では同一の周期が用いられることになる。

なお、複雑度周期算出部３４で算出された複雑度周期と重要度周期算出部１２で算出された重要度周期とが同じであれば、当然ながら共通周期算出部４０ではそれらの周期が変更されることなく、そのまま共通周期として平均複雑度算出部３５及び平均重要度算出部１３に設定される。また、重要度算出部１１が画像の複雑度を重要度としている場合には、複雑度周期と重要度周期は一致するので、共通周期算出部４０自体が不要である。

平均複雑度算出部３５は、共通周期算出部４０によって設定された共通周期に基づいて、共通周期１周期分の画像複雑度の平均（平均画像複雑度Ｆｉｍ_AVG）を算出し、符号量制御部３６に出力する。平均複雑度算出部３５は、１ＧＯＰごとに、その画像複雑度のＧＯＰ以前の１共通周期分の画像複雑度を用いて、最新の１共通周期における平均画像複雑度を算出する。平均複雑度算出部３５は、共通周期算出部４０によって設定された共通周期１周期ごとに平均画像複雑度を算出してもよいし、複雑度算出部３３から画像複雑度が入力されるごとに平均画像複雑度を算出してもよい。平均複雑度算出部３５は、平均画像複雑度を算出すると、それを符号量制御部３６に出力する。

記録時間設定部３８は、１日の稼働時間と所望の記録日数とに基づいて、記録時間を算出する。所望の記録日数は、記録装置２００の記録媒体に記録したい日数として、ユーザによって設定される。１日の稼働時間は、共通周期算出部４０が算出した共通周期を用いる。１日の稼働時間は、ユーザが記録時間設定部３８に設定してもよい。記録時間設定部は、１日の稼働時間に所望の記録日数をかけて記録時間を算出する。例えば、１日の稼働時間（複雑度周期）が８時間であり、３０日分の映像データをこの記録媒体に記録したい場合は、記録時間設定部３８にて設定される記録時間は、２４０時間（＝８時間×３０日）となる。記録時間設定部３８は、算出した記録時間を目標ビットレート設定部３７に出力する。

記憶容量設定部３９には、ユーザによって、記録装置２００の記録媒体の記憶容量が設定される。記憶容量設定部３９は、記録装置２００からその記憶媒体の記憶容量の情報を取得してもよい。記憶容量設定部３９は、記憶容量の情報を目標ビットレート設定部３７に出力する。

目標ビットレート設定部３７は、記憶容量設定部３９から得た記録装置２００の記憶媒体の記憶容量及び記録時間設定部３８から得た記録時間に基づいて、目標ビットレートを設定する。記録装置２００の記録媒体の記憶容量が４８０ＧＢであり、記録時間が２４０時間である場合には、１時間当たりの総発生符号量を約２ＧＢ／ｈ（＝４８０ＧＢ／２４０時間）にすべきである。即ち、この場合には、平均のビットレートを約４．５５Ｍｂｐｓ（＝２ＧＢ×８×１０２４／６０分／６０秒）とすべきである。この場合には、目標ビットレート設定部３７は、目標ビットレートとして、４．５５Ｍｂｐｓを設定する。

符号量制御部３６は、平均複雑度算出部３５から取得した平均画像複雑度及び目標ビットレート設定部３７から取得した目標ビットレートに基づいて、基準画質制御パラメータＱ_refを決定する。具体的には、符号量制御部３６は、下式（１０）によって、基準画質制御パラメータＱ_refを決定する。
Ｑ_ref＝ｆ₂（Ｆｉｍ_AVG，ＴｇｔＢｒ） ・・・（１０）
ここで、Ｆｉｍ_AVGは平均画像複雑度であり、ＴｇｔＢｒは目標ビットレートであり、ｆ₂は平均画像複雑度から目標ビットレートを達成するために基準画質制御パラメータＱ_refをどの程度にすればよいかを決定する関数である。なお、本実施の形態では、画質制御パラメータＱは、量子化パラメータであるので、この基準画質制御パラメータＱ_refは基準となる量子化パラメータである。

符号量制御部３６は、算出された基準画質制御パラメータＱ_refを画質制御パラメータ算出部１４及び平均ＱＰ検出部３２に出力する。画質制御パラメータ算出部１４は、符号量制御部３６にて算出された基準画質制御パラメータＱ_refを用いて、第１の実施の形態と同様にして画質制御パラメータＱを決定する。平均ＱＰ検出部３２は、上述のように、量子化パラメータである基準画質制御パラメータＱ_refを用いて平均量子化パラメータを算出する。

上記のように、平均複雑度算出部３５にて複雑度周期の整数倍である共通周期１周期分における平均を算出する理由は以下のとおりである。図１１は、１ＧＯＰの画像複雑度の変動の例を示すグラフである。図１１の例では、１ＧＯＰを１秒として、１週間（７日）分の画像複雑度を記録したものである。時間帯によって被写体の動きの量が変動すると、図１１に示したように画像複雑度は変動し得る。

例えば、カメラ４００を店舗に設置して監視カメラとして用いるような場合には、昼間は来客が多く、被写体の動きが激しくなるので入力画像が複雑になり、深夜は来客が少なく、入力画像は静止画同様の単調な画像になるというように、入力画像の複雑度が変動する。このように、例えば昼と夜とでは入力画像の複雑度は大きく変動するが、この変動が周期的であれば、任意の１複雑度周期における総発生符号量はほぼ一定となり、即ち任意の１複雑度周期で平均をとった場合の平均ビットレートはほぼ一定となり、記録装置２００に何日分（何周期分）の映像が記録可能であるかを確定できる。

図１２は、図１１の画像複雑度に対してフーリエ変換を行なって得られる周波数スペクトルを示すグラフである。複雑度周期算出部３４は、画像複雑度に対してフーリエ変換を行なうことにより、図１２のような周波数スペクトルを求める。複雑度周期算出部３４は、この周波数スペクトルから、ピークの最も大きい周期を画像複雑度の複雑度周期とする。図１２の例では、２４時間に最も大きいピークが現れている。よって、図１１の画像複雑度の複雑度周期は、２４時間であると算出される。

上述のように、実際に基準画質制御パラメータＱ_refを決定するために用いられる周期は、複雑度周期の整数倍である共通周期である。上記の理由により、共通周期についても、その１周期で平均をとった場合の平均ビットレートはほぼ一定となる。また、共通周期内では、重要度周期に応じて画質制御パラメータＱは変化し、それによって発生符号量も変化することになるが、重要度周期で平均をとった場合の平均ビットレートはほぼ一定となり、そのような重要度周期の整数倍である共通周期で平均をとった場合の平均ビットレートはほぼ一定となる。よって、共通周期における平均ビットレートを用いることで、記録装置２００に所望の日数分（周期数分）の映像を記録するための基準画質制御パラメータＱ_refを求めることが可能である。

符号量制御部３６は、１ＧＯＰのビットレートが目標ビットレートとなるように基準画質制御パラメータＱ_refを求めるのではなく、共通周期算出部４０で算出された共通周期における平均ビットレートが目標ビットレートとなるように基準画質制御パラメータＱ_refを設定する。即ち、符号量制御部３６は、１共通周期内においては、入力画像が複雑である場合にはビットレートが高くなり、入力画像が単調である場合にはビットレートが低くなることを許容する一方で、１共通周期における総発生符号量ないしは１共通周期における平均ビットレートについては、それが目標とする値となるように基準画質制御パラメータＱ_refを設定する。このために、符号量制御部３６は、複雑度算出部３３で得られた１ＧＯＰごとの画像複雑度と目標ビットレートとの関係ではなく、共通周期算出部４０で得られた共通周期における平均の画像複雑度と目標ビットレートとの関係から基準画質制御パラメータＱ_refを決定する。

図１３は、本実施の形態の画像符号化装置１２０´の動作を示すフロー図である。図１３では、主に本実施の形態において第１の実施の形態の画像符号化装置１２０に対して付加された構成による動作を示している。第１の実施の形態において説明した各構成の動作は、この図１３のフローと並行して実行される。

画像符号化の処理が開始すると、まず、目標ビットレートＴｇｔＢｒが初期化され、ＴｇｔＢｒ＝ＴｇｔＢｒ₀とされる（ステップＳ５１）。また、基準画質制御パラメータＱ_refが初期化されて、Ｑ_ref＝Ｑ_ref0とされる（ステップＳ５２）。さらに、複雑度周期λも初期化されて、λ＝λ₀とされる（ステップＳ５３）。

次に、符号化が終了したか否かが判断され（ステップＳ５４）、終了していない場合、即ちまだフレーム画像が入力されている場合には（ステップＳ５４にてＮＯ）、画像符号化部１０は、１ＧＯＰの入力画像を符号化する（ステップＳ５５）。続いて、複雑度算出部３３は、ステップＳ５５における符号化の結果、即ちそのときの平均ＱＰ及びビットレートＢｒから、上記の式（１）によって画像複雑度Ｆｉｍを算出し（ステップＳ５６）、複雑度周期算出部３４及び平均複雑度算出部３５はこの画像複雑度Ｆｉｍを記録する（ステップＳ５７）。

複雑度周期算出部３４は、複雑度周期を更新するか否かを判断する（ステップＳ５８）。複雑度周期算出部３４は、上述のように、外部トリガがあるか又は複雑度周期を更新すべき時刻になった場合に、複雑度周期を更新すると判断する。複雑度周期算出部３４は、複雑度周期を算出すると判断した場合には（ステップＳ５８にてＹＥＳ）、画像複雑度Ｆｉｍ直近の過去１週間分の記録を周期解析して、複雑度周期λ_newを算出して、λ＝λ_newとして共通周期算出部４０に出力する（ステップＳ５９）。

共通周期算出部４０は、新たな複雑度周期λ_newが入力されると、それとそのときの重要度周期とを用いて、その最小公倍数である共通周期を算出し、平均複雑度算出部３５及び平均重要度算出部１３に出力する（ステップＳ６０）。なお、共通周期算出部４０は、重要度周期算出部１２から新たな重要度周期が入力された場合にも、共通周期を更新する。

複雑度周期を算出するための外部トリガがなく、複雑度周期を更新すべき時刻にもなっていない場合（ステップＳ５８にてＮＯ）、及びステップＳ６０にて共通周期を更新した後に、平均複雑度算出部３５は、共通周期における平均画像複雑度Ｆｉｍ_AVGを算出する（ステップＳ６１）。続いて、符号量制御部３６は、目標ビットレート（ＴｇｔＢｒ）と平均画像複雑度Ｆｉｍ_AVGとから、次のＧＯＰで用いる基準画質制御パラメータＱ_refnewを算出し、Ｑ_ref＝Ｑ_refnewとして基準画質制御パラメータＱ_refを更新する（ステップＳ６２）。そして、ステップＳ５４に戻って、符号化が終了したか、即ち、符号化すべき入力画像がまだあるか否かを判断する。符号化すべき入力画像がなくなり、符号化が終了した場合には（ステップＳ５４にてＮＯ）、処理を終了する。

以上のように、本実施の形態の画像符号化装置１２０´では、入力画像の複雑度の周期の整数倍である共通周期における平均のビットレートが目標ビットレートとなるように量子化パラメータが制御されるので、１共通周期内において被写体が変動しても、また、重要度に応じて画質が変動しても、１共通周期における発生符号量が所定の値に固定される。

なお、上記の第２の実施の形態では、共通周期算出部４０は、入力された複雑度周期と重要度周期の最小公倍数の周期を共通周期として算出し、これを平均複雑度算出部３５だけでなく平均重要度算出部１３にも設定し、平均重要度算出部１３ではこの共通周期を用いて平均重要度を算出したが、平均重要度算出部１３は、重要度周期算出部１２で算出された重要度周期をそのまま用いてもよい。即ち、平均複雑度算出部３５のみが複雑度周期と重要度周期の最小公倍数である共通周期を用いるようにしてもよい。

また、上記の第２の実施の形態では、制御部１２１が複雑度周期と重要度周期の最小公倍数の周期を共通周期として算出する共通周期算出部４０を備えていたが、制御部１２１はこの共通周期算出部４０を備えていなくてもよい。この場合には、複雑度算出部３３で算出する複雑度が重要度に応じた画質調整の影響を受けることになるが、複雑度周期算出部３４にて算出された複雑度周期における発生符号量は一定であるので、上記と同様の目的は達成できる。なお、この場合に、複雑度周期算出部３４にて周期解析をして一律に最大ピークの周期を複雑度周期として決定すると複雑度周期が極めて大きくなる場合には、所定の閾値以上のピークを持つ最小の周期を複雑度周期としてもよい。

また、上記では、第２の実施の形態として、画質制御パラメータが量子化パラメータである場合を説明したが、画質制御パラメータが撮像部１１１におけるフレームレート等の他のパラメータである場合にも、第２の実施の形態を適用可能である。即ち、実際の発生符号量とから画像の複雑度を算出して、複雑度周期を算出し、重要度周期と複雑度周期の最小公倍数を共通周期として、共通周期内での平均ビットレートが所望のビットレートとなるように基準画質制御パラメータを設定することで、所定の記憶容量を有する記録装置２００に所望の時間の映像データを記録することが可能となる。

なお、第１及び第２の実施の形態では、カメラ１１０が監視箇所に固定されて設置された監視カメラである場合を例に説明したが、本発明の撮影記録システムはこれに限らず、重要度が周期的に変化する画像を撮影する任意の場合に有効に適用される。

また、上記の第１及び第２の実施の形態では、制御部１２１が重要度周期における、現在時刻に対応する複数の過去の時刻の重要度に基づいて平均重要度を算出する平均重要度算出部１３を備え、画質制御パラメータ算出部１４は、この平均重要度に基づいて画質制御パラメータを算出したが、画像制御パラメータ算出部１４は、現在時刻の直前の重要度周期における、現在時刻に対応する時刻の重要度を、上記の実施の形態で説明した平均重要度の代わりに用いて、又は上記の実施の形態で説明した平均重要度とともに用いて、画質制御パラメータを算出してよい。画像制御パラメータ算出部１４が平均重要度の代わりに、現在時刻の直前の重要度周期における、現在時刻に対応する時刻の重要度を用いる場合には、平均重要度算出部１３を備えない構成としてもよい。

また、上記の第１及び第２の実施の形態では、画像符号化装置１２０が重要度周期算出部１２を備えていたが、画像符号化装置１２０が重要度周期算出部１２を備えていない構成であってもよい。この場合には、画像符号化装置１２０は、外部から重要度周期を指定されてよい。例えば、ユーザが重要度の周期を把握している場合には、そのようなユーザが画像符号化装置１２０に重要度周期を設定し、平均重要度算出部１３はその設定された重要度周期を用いて平均重要度を算出してよい。ユーザは、画像符号化装置１２０に対して、例えば、一日における画像符号化装置１２０の稼働時間を重要度周期として設定してよく、一週間における画像符号化装置１２０の稼働時間を重要度周期として設定してもよい。

さらに、上記の第１及び第２の実施の形態では、画像符号化装置１２０が重要度算出部１１を備えていたが、画像符号化装置１２０が重要度算出部１１を備えていない構成であってもよい。この場合には、画像符号化装置１２０は、連続的に入力される入力画像の各々について、それらの入力画像に基づいて外部で算出された重要度を取得してよい。また、重要度は必ずしも入力画像に基づいて算出されなくてもよい。例えば、店舗の入口に設置された人感センサ等のセンサの検出値に基づいて重要度が算出されてもよい。

また、上記の実施の形態では、画質制御パラメータとして、撮像部１１１で調整されるフレームレート、信号処理部１１２で調整される解像度を挙げたが、フレームレートや解像度は、画像符号化部１２２で調整されてもよい。

本発明は、実際の重要度の変化に応じたパラメータで入力画像を符号化して映像データを生成できるという効果を有し、連続的に入力される複数の入力画像を符号化して映像データを生成する画像符号化装置等として有用である。

１０００ 撮影記録システム
１００ 撮影システム
１１０ カメラ
１１１ 撮像部
１１２ 信号処理部
１２０ 画像符号化装置
１２１ 制御部
１２２ 画像符号化部
２００ 記録装置
１１ 重要度算出部
１２ 重要度周期算出部
１３ 平均重要度算出部
１４ 画質制御パラメータ算出部
２１ 減算器
２２ ＤＣＴ器
２３ 量子化器
２４ 逆量子化器
２５ 逆ＤＣＴ器
２６ 加算器
２７ フレームメモリ
２８ 動き補償予測器
２９ 可変長符号化器
３１ 発生符号量検出部
３２ 平均ＱＰ検出部
３３ 複雑度算出部
３４ 複雑度周期算出部
３５ 平均複雑度算出部
３６ 符号量制御部
３７ 目標ビットレート算出部
３８ 記録時間設定部
３９ 記憶容量設定部
４０ 共通周期算出部

Claims (24)

1. 連続的に入力される複数の入力画像の重要度の周期である重要度周期における、現在時刻に対応する過去の時刻の重要度に基づいて、画質制御パラメータを算出する画質制御パラメータ算出部と、
   前記画質制御パラメータを用いて前記入力画像を符号化して映像データを生成する画像符号化部と、
   を備えたことを特徴とする画像符号化装置。
2. 前記画質制御パラメータ算出部は、前記重要度周期における、現在時刻に対応する複数の過去の時刻の重要度の平均である平均重要度に基づいて画質制御パラメータを算出することを特徴とする請求項１に記載の画像符号化装置。
3. 前記重要度周期における、現在時刻に対応する複数の過去の時刻の重要度に基づいて前記平均重要度を算出する平均重要度算出部をさらに備えたことを特徴とする請求項２に記載の画像符号化装置。
4. 前記入力画像に基づいて前記重要度を算出する重要度算出部と、
   前記重要度に基づいて前記重要度周期を算出する重要度周期算出部と、
   をさらに備えたことを特徴とする請求項１ないし３のいずれかに記載の画像符号化装置。
5. 前記画質制御パラメータ算出部は、一日における前記画像符号化装置の稼働時間を前記重要度周期として、現在時刻に対応する過去の時刻の重要度に基づいて前記画質制御パラメータを算出することを特徴とする請求項１ないし３のいずれかに記載の画像符号化装置。
6. 前記画質制御パラメータ算出部は、一週間における前記画像符号化装置の稼働時間を前記重要度周期として、現在時刻に対応する過去の時刻の重要度に基づいて前記画質制御パラメータを算出することを特徴とする請求項１ないし３のいずれかに記載の画像符号化装置。
7. 前記画質制御パラメータ算出部は、さらに前記重要度算出部で算出された現在時刻の入力画像の重要度である現在重要度にも基づいて前記画質制御パラメータを算出することを特徴とする請求項４ないし６のいずれかに記載の画像符号化装置。
8. 前記画質制御パラメータ算出部は、前記現在重要度及び複数周期分の前記平均重要度の平均に比例するように前記画質制御パラメータを算出することを特徴とする請求項７に記載の画像符号化装置。
9. 前記画質制御パラメータ算出部は、前記現在重要度及び前記平均重要度のうちの大きい方に比例するように前記画質制御パラメータを算出することを特徴とする請求項７に記載の画像符号化装置。
10. 前記画質制御パラメータ算出部は、前記現在重要度と前記平均重要度との比較、及び前記現在重要度又は前記平均重要度と所定の閾値との比較に基づいて、前記画質制御パラメータを算出することを特徴とする請求項７に記載の画像符号化装置。
11. 前記画質制御パラメータ算出部は、前記平均重要度のみに基づいて、前記平均重要度に比例するように前記画質制御パラメータを算出することを特徴とする請求項２ないし６のいずれかに記載の画像符号化装置。
12. 前記画像符号化部にて生成された前記映像データの複雑度を算出する複雑度算出部と、
    前記複雑度の周期である複雑度周期を算出する複雑度周期算出部と、
    前記複雑度周期の整数倍の周期における平均画像複雑度を算出する平均画像複雑度算出部と、
    をさらに備え、
    前記画質制御パラメータ算出部は、前記平均画像複雑度にも基づいて前記画質制御パラメータを算出することを特徴とする請求項１ないし１１のいずれかに記載の画像符号化装置。
13. 前記複雑度周期の整数倍の周期は、前記重要度周期の整数倍でもある共通周期であることを特徴とする請求項１２に記載の画像符号化装置。
14. 前記重要度算出部は、前記入力画像に特定の被写体が含まれているか否かに基づいて、前記重要度を算出することを特徴とする請求項４に記載の画像符号化装置。
15. 前記重要度算出部は、前記特定の種類の被写体のモデルと前記入力画像との比較に基づいて、前記重要度を算出することを特徴とする請求項１４に記載の画像符号化装置。
16. 前記重要度算出部は、特定の画像と前記入力画像との比較に基づいて、前記重要度を算出することを特徴とする請求項１４に記載の画像符号化装置。
17. 前記重要度算出部は、前記入力画像の時間的変化の大きさ、及び／又は空間的変化の大きさに基づいて、前記重要度を算出することを特徴とする請求項４に記載の画像符号化装置。
18. 前記画質制御パラメータは、前記画像符号化部にて前記入力画像を符号化するか否かを指示するパラメータであることを特徴とする請求項１ないし１７のいずれかに記載の画像符号化装置。
19. 請求項１〜１８のいずれか一項に記載の画像符号化装置と、
    被写体を撮影して映像信号を生成する撮像部と、
    前記映像信号を処理して前記入力画像を生成する信号処理部と、
    を備えたことを特徴とする撮影システム。
20. 前記画質制御パラメータは、前記撮像部における撮影のフレームレートであることを特徴とする請求項１９に記載の撮影システム。
21. 前記画質制御パラメータは、前記信号処理部において前記入力画像を生成する際の解像度であることを特徴とする請求項１９に記載の撮影システム。
22. 請求項１９に記載の撮影システムと、
    前記撮影システムと通信可能に接続され、前記画像符号化装置で生成された映像データを記録する記録装置と、
    を備えたことを特徴とする撮影記録システム。
23. 連続的に入力される複数の入力画像の重要度の周期である重要度周期における、現在時刻に対応する過去の時刻の重要度に基づいて、画質制御パラメータを算出する画質制御パラメータ算出ステップと、
    前記画質制御パラメータを用いて前記入力画像を符号化して映像データを生成する画像符号化ステップと、
    含むことを特徴とする画像符号化方法。
24. コンピュータを、
    連続的に入力される複数の入力画像の重要度の周期である重要度周期における、現在時刻に対応する過去の時刻の重要度に基づいて、画質制御パラメータを算出する画質制御パラメータ算出部、及び
    前記画質制御パラメータを用いて前記入力画像を符号化して映像データを生成する画像符号化部、
    として機能させることを特徴とする画像符号化プログラム。

Images