JP2023063113A - 符号化装置及び方法、及び電子機器 - Google Patents

Abstract

【課題】 ネットワークで映像を通信する環境における低ビットレート時の画質を改善すること。【解決手段】 予測符号化により画像を符号化する符号化装置であって、符号化対象のフレーム画像に対してスケーリングリストを用いて量子化を行う量子化手段と、前記量子化手段により量子化された前記フレーム画像に対してスケーリングリストを用いて逆量子化を行う逆量子化手段と、前記量子化手段および前記逆量子化手段に、それぞれスケーリングリストを設定する設定手段と、を有し、前記設定手段は、前記逆量子化手段に、前記符号化装置により符号化された画像を復号する再生装置で用いる第１のスケーリングリストを設定し、前記量子化手段に、前記第１のスケーリングリストと異なる第２のスケーリングリストを設定する。【選択図】 図２

Description

本発明は符号化装置及び方法、及び電子機器に関し、特に予測符号化の技術に関する。

近年、カメラと再生端末をネットワークを介して通信可能に組み合わせた映像システムが、防犯や監視用途、テレビ会議システム、パーソナルコンピュータ（ＰＣ）やスマートフォンを利用したビデオチャット等で幅広く普及してきている。

これらの映像システムでは、ＨＤ解像度で３０ｆｐｓの映像を５１２ｋｂｐｓで伝送する等、大量の映像データを低いビットレートで伝送する必要が生じることがある。そのような場合、ネットワークで映像をやり取りする際には、映像データを圧縮してデータ量を大きく削減する必要があり、画質が大きく劣化する懸念がある。

一方、これらの映像システムでは、固定視点のカメラを用いることも多く、その場合、背景等の動きの無い箇所は、H.264規格で定義されたskipped macroblockを使用して符号データを大きく削減することができる（非特許文献１参照）。以下、skipped macroblockを使用して符号化するモードを「スキップモード」と呼ぶ。

図８は、従来の映像システムの一例として、監視カメラシステムの構成例を示したものであり、監視カメラ１０１、１０２、及び再生装置１１１、１１２がそれぞれネットワーク１００に接続されている。

監視カメラ１０１は、H.264規格のBaseline Profileに準拠し、監視カメラ１０２はH.264規格のMain Profileに準拠した符号化を行う。また、再生装置１１１、１１２は共に、H.264規格のBaseline Profile、及びMain Profileに準拠した符号化ストリームのデコードが可能となっている。

図８に示すようなカメラシステムでは、動きが無い箇所についてスキップモードによりデータを大きく削減することで、動きがある箇所に符号を多く配分することができるため、結果として画質改善が期待できる。

ITU-T Recommendation H.264 Advanced video coding

しかしながら、映像システムに使用するカメラに搭載される画像センサによっては、デバイス由来の電気ノイズが映像に重畳されてしまい、全く動きが無い背景でも符号化対象フレームと参照フレームとの間に数値的な差異が生じてしまうことがある。その場合、動きが無い箇所であってもエンコーダがスキップモードを選択せず、符号化データが発生してしまい、低いビットレートでの限られた符号量を消費してしまう。その結果、動きがある箇所に配分できる符号量がその分少なくなり、画質が劣化してしまう。

本発明は上記問題点を鑑みてなされたものであり、ネットワークで映像を通信する環境における低ビットレート時の画質の改善を目的とする。

上記目的を達成するために、予測符号化により画像を符号化する本発明の符号化装置は、符号化対象のフレーム画像に対してスケーリングリストを用いて量子化を行う量子化手段と、前記量子化手段により量子化された前記フレーム画像に対してスケーリングリストを用いて逆量子化を行う逆量子化手段と、前記量子化手段および前記逆量子化手段に、それぞれスケーリングリストを設定する設定手段と、を有し、前記設定手段は、前記逆量子化手段に、前記符号化装置により符号化された画像を復号する再生装置で用いる第１のスケーリングリストを設定し、前記量子化手段に、前記第１のスケーリングリストと異なる第２のスケーリングリストを設定する。

本発明によれば、ネットワークで映像を通信する環境における低ビットレート時の画質を改善することができる。

第１実施形態における映像システムの構成例を示す図。 第１実施形態における画像符号化装置の構成例を示すブロック図。 第１実施形態におけるスケーリングリストの違いによる符号化結果の一例を示した図。 第１実施形態における量子化と逆量子化の例を示した図。 第１実施形態における画像符号化装置の制御を示すフローチャート。 第２実施形態における画像符号化装置の制御を示すフローチャート。 第３実施形態における画像符号化装置の制御を示すフローチャート。 従来の映像システムの構成例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１実施形態＞
本発明の第１実施形態について説明する。
なお、以下に説明する実施形態においては、本発明に係る画像符号化装置を適用可能な電子機器として、監視カメラシステムに接続された監視カメラを例にとって説明する。

●システム構成
図１は、図８に示すネットワークを介して通信可能に接続された監視カメラシステムに、監視カメラ１０３と再生装置１１３を追加した監視カメラシステムである。監視カメラ１０３はH.264規格のHigh Profileに準拠しているとともに、再生装置１１３はH.264規格のHigh Profileでの再生が可能となっている。H.264規格のHigh Profile以上では、ユーザー定義のスケーリングリストが使用可能となる。

ユーザー定義のスケーリングリストは、離散コサイン変換（ＤＣＴ）等の直交変換後の変換係数の各々に対する量子化の精粗を、エンコーダハードウェアあるいは制御ソフトウェアの開発者が独自に設定することができる仕組みである。この仕組みを利用して高周波成分を粗く量子化することで、画像センサ由来のノイズを映像から削減することができ、動きが無い背景における符号化対象フレームと参照フレームの間の数値的な差異を無くすことができる。その結果、動きが無い箇所でエンコーダがスキップモードを選択できるようになり、動きが無い箇所ではデータ量を大きく削減し、動きがある箇所に符号量を多く配分することで、画質を改善することができる。

しかしながら、映像システムの構築コストによっては、図１に示すように、H.264規格のHigh Profileの再生が可能な再生装置１１３の他に、H.264規格のBaseline ProfileやMain Profileの復号までしか対応していない再生装置１１１、１１２が組み込まれていることがある。このような映像システムでは、監視カメラ１０３でH.264規格のHigh Profile準拠の予測符号化が可能である一方、再生装置１１１、１１２はH.264規格のHigh Profileに対応していないため、監視カメラ１０３からの映像を再生することができない。

特に、監視カメラシステムにおいては、システム上の再生装置すべてが、システムに接続された監視カメラすべてにアクセスできるようにする必要があるため、監視カメラ１０３でH.264規格のBaseline ProfileやMain Profileに準拠することが求められる場合がある。H.264規格のBaseline Profile及びMain Profileは、規格で標準定義された全周波数成分で同じ精粗具合で量子化を行うように定義されているスケーリングリストを用いるものと定められている。

このように、単純にH.264規格のHigh Profile準拠の予測符号化が可能な監視カメラ１０３を用いても、システムにH.264規格のHigh Profile以上に準拠していない機器が接続された場合、H.264規格のHigh Profileを使用することができない。その結果、動きが無い背景における符号化対象フレームと参照フレームの間の数値的な差異を無くすことができず、従来と同様に、動きが無い箇所でエンコーダがスキップモードを選択しづらくなってしまう。そのために、動きが無い箇所の発生データを削減できないことで、動きがある箇所に符号量を配分できずに画質が劣化してしまう、という従来と同様の課題が発生してしまう。

そこで、本実施形態では、システムにH.264規格のHigh Profile以上に準拠していない機器が接続された場合に、監視カメラ１０３でH.264規格のBaseline ProfileやMain Profile準拠の予測符号化を行いつつ、スキップモードが選択され易くするようにする。

●監視カメラ１０３の構成
図２は、本発明の第１実施形態に係る画像符号化装置を適用した監視カメラ１０３の機能構成例を示すブロック図である。なお、図２では、符号化に関する機能構成を重点的に示しているが、各種センサーや電源部等、一般的な監視カメラが備える構成に関しては、図示の有無にかかわらず本実施形態の監視カメラ１０３も備えている。また、監視カメラ１０３は、基本的に、図１に示す監視カメラシステムに接続された各機器に対応した、H.264規格のBaseline ProfileやMain Profileを用いて、符号化を行う。

レンズ２０１は、被写体の光学像を撮像部２０２の撮像面に形成する撮像光学系である。撮像部２０２は、撮像面に形成された光学像を、複数の画素を備える撮像素子によって光電変換し、画像を表す電気信号（画像信号）に変換する。また、撮像部２０２は画像信号をＡ／Ｄ変換し、画像データとして現像処理部２０３に供給する。

現像処理部２０３は、ノイズ除去、色補間（デモザイク）、欠陥画素補正、ホワイトバランス調整、手振れ補正や周辺光量補正、ガンマ補正、色調補正、拡大縮小、ＹＵＶ形式への色変換等、予め定められた画像処理を画像データに適用する。なお、現像処理部２０３は、被写体検出やレンズ２０１のオートフォーカス制御や、自動露出制御に用いる評価値の生成等、一般的なカメラにおいて撮像画像に対して実行する各種の処理を実行することができるが、詳細については省略する。そして、現像処理部２０３は、画像処理後にＹＵＶ形式に変換した画像データを画像符号化回路２０４に供給する。

画像符号化回路２０４は、ＹＵＶ形式の画像データを予め定められた方式で符号化し、データ量を削減した符号化データを生成する。画像符号化回路２０４は、例えばＡＳＩＣやＦＰＧＡ等のハードウェア回路である。画像符号化回路２０４は、符号化データをＩＰ伝送のためにパケット化し、ＩＰ送信部２０５を介してネットワーク経由でパケットを送信する。

ＩＰ送信部２０５は、画像符号化回路２０４から送られたパケットデータをネットワークに送信する。ＩＰ送信部２０５は、ＬＡＮケーブル等の有線方式でネットワークにアクセスしても良いし、またＷｉ－Ｆｉや５Ｇといった無線方式でネットワークにアクセスしても良い。あるいは、ＩＰ送信部２０５についてはＵＳＢケーブル等でＰＣやスマートフォンといった端末に接続するインターフェースとした上で、ネットワークアクセスについては端末側に任せても良い。

制御部２０６は、例えば１つ以上のＣＰＵとメモリとを有する。メモリのうち、不揮発性のものにはプログラム、各種の設定値、ＧＵＩデータ等が格納されている。ＣＰＵはプログラムをメモリのワークエリアに読み込んで実施し、各部の動作を制御することにより、カメラの各種機能を実現する。

また、制御部２０６は、画像符号化回路２０４の設定レジスタにアクセスし、動作パラメータの設定を行う。また、後述するように量子化部２１１で用いるユーザー定義のスケーリングリストについても制御部２０６による設定レジスタへのアクセスを介して行う。この際に、ユーザー定義のスケーリングリストの設定については、第１実施形態においては高周波成分を粗く量子化できるものを設定するが、その他の実施形態としてH.264規格で定義されたスケーリングリストを設定しても良い。

フレームバッファ２０７は、現像処理部２０３から送られてきたＹＵＶ形式の画像データを格納する。格納された画像データは、ブロック分割部２０８に送られる。また、フレームバッファ２０７は、デブロッキングフィルタ部２１８から送られるローカルデコード画像を格納する。格納されたローカルデコード画像は、予測部２０９及び補償部２１７に送られる。なお、フレームバッファ２０７は、ＤＲＡＭで構成されているものとする。

ブロック分割部２０８は、必要とするブロックサイズの画素データ（以下、「ブロック画素データ」と呼ぶ。）を、フレームバッファ２０７に格納された画像データから切り出して読み出し、内部の一時記録メモリに保存する。一時記録メモリ内に記録したブロック画素データは、予測部２０９に送られる。なお、一時記録メモリはＳＲＡＭで構成されているものとする。

予測部２０９は、ブロック分割部２０８から送られてきたブロック画素データに対して、予測に基づいて生成した予測画素データとの差分を取り、差分データを直交変換部２１０に送ると同時に、予測情報を補償部２１７に送る。予測については、一般的にブロック周辺の画素値に基づく画面内予測、あるいはカレントフレーム（符号化対象フレーム）とは異なる時刻のフレームに基づく画面間予測が用いられている。本件ではH.264規格で規定された映像システムで共通の予測方法を用いて画面内予測、及び画面間予測を行い、補償部２１７に送る予測情報は同じくH.264規格で規定された映像システムで共通の予測情報を用いる。

また、予測部２０９は、画面内予測を行う場合はブロック周辺の、画面間予測を行う場合はカレントフレームとは異なる時刻のフレームのローカルデコード画素を、フレームバッファ２０７から読み出す。
また、予測部２０９は、画面間予測において、カレントフレーム内のブロック画素データと、カレントフレームとは異なる時刻のフレームのローカルデコードのブロック画素データの間で差分が殆ど無い場合においては、スキップモードを用いるように構成される。ここでの差分評価の方法としては、ＳＡＴＤ等、直交変換後の係数値を評価できる手法を用いることが望ましいが、ＳＡＤ等を用いてもよい。

直交変換部２１０は、差分データに対して直交変換（例えば離散コサイン変換）を適用して変換係数を生成し、変換係数を量子化部２１１に出力する。
量子化部２１１は、量子化制御部２１２が出力するブロックごとの量子化パラメータ（量子化ステップサイズ）に対してスケーリングリストで変換係数ごとに重みづけした上で、変換係数を量子化する。

本実施形態において、量子化部２１１では、監視カメラ１０３がH.264規格のHigh Profileに準拠している特性を利用して、H.264規格のHigh Profile以上で設定可能なユーザーが定義したスケーリングリストを使用する。H.264規格で標準定義された全周波数成分で同一の重みとなるスケーリングリストに対し、高周波成分をより粗く量子化するようにユーザーが定義することができる。なお、量子化部２１１で用いるスケーリングリストの具体例に関しては、詳細に後述する。

量子化部２１１は、量子化した変換係数を、符号化データ作成のために可変長符号化部２１４に出力するとともに、ローカルデコード画像作成のために逆量子化部２１５にも出力する。

量子化制御部２１２は、可変長符号化部２１４から送られてくる直前に処理したブロックの発生符号量と、符号量制御部２１３によって設定された目標符号量とから、ブロックごとの量子化ステップサイズを決定し、量子化部２１１に出力する。また、符号量制御部２１３は、仮想バッファに基づいて目標符号量を算出し、量子化制御部２１２に設定する。さらに、符号量制御部２１３は、画像を符号化するごとに仮想バッファへの符号データの入出力をシミュレートしつつ符号量制御を行う。

可変長符号化部２１４は、量子化された変換係数に対してジグザグスキャン、オルタネートスキャン等を行い、変換係数を可変長符号化し、生成した符号化データをストリーム生成部２１９に送る。また可変長符号化部２１４は、ブロックごとの発生符号量を算出して、量子化制御部２１２及び符号量制御部２１３に出力する。

逆量子化部２１５は、量子化部２１１が出力する変換係数を逆量子化し、ローカルデコード用の変換係数を生成する。ここで、逆量子化部２１５は量子化部２１１とは異なるスケーリングリストを用いて量子化パラメタに重みづけした上で変換係数を逆量子化する。本実施形態において、逆量子化部２１５で用いられるスケーリングリストは、H.264規格で標準定義された全周波数成分で同一の重みとなるスケーリングリストである。逆量子化部２１５は、生成した変換係数を逆直交変換部２１６に出力する。

逆直交変換部２１６では、変換係数に直交変換部２１０が適用した直交変換の逆変換（逆離散コサイン変換）を適用して差分画像を生成し、生成した差分画像を補償部２１７に出力する。

補償部２１７は、フレームバッファ２０７に格納された復号済みのローカルデコード画像を読み出し、予測部２０９から送られた予測情報に従い予測画像を生成し、逆直交変換部２１６から送られた差分画像と加算し、補償済み画像を生成する。補償済み画像はデブロッキングフィルタ部２１８に送られる。

デブロッキングフィルタ部２１８は、対象ブロックの境界における不連続な歪みを平滑化するためのフィルタである。補償部２１７から送られた補償済み画像に対してデブロッキングフィルタを適用してローカルデコード画像を生成し、フレームバッファ２０７に送る。

ストリーム生成部２１９は、可変長符号化部２１４から送られた符号化データに、復号のために必要なパラメタを付加し、記録ストリームを生成する。また、ストリーム生成部２１９は、ＩＰ伝送のために記録ストリームをさらにパケット化し、ＩＰ送信部２０５を介してネットワーク経由でパケットを送信する。なお、パケット化については、ＭＰＥＧ２－ＴＳやＭＭＴ等の規格に準拠して行う。
●ユーザー定義のスケーリングリスト
続いて、第１実施形態の量子化部２１１で用いるユーザー定義のスケーリングリストについて説明する。

H.264規格のHigh Profile以上で使用可能なユーザー定義のスケーリングリストは、ＤＣＴ等の直交変換後の変換係数の各々に対する量子化の精粗をエンコーダハードウェアあるいは制御ソフトウェアの開発者が独自に設定することができる仕組みである。

一方、H.264規格のBaseline Profile及びMain Profileは、H.264規格で標準定義されたスケーリングリストを用いるものと定められている。H.264規格で標準定義されたスケーリングリストは、全周波数成分で同じ精粗具合で量子化を行うように定義されている。

量子化部２１１において、H.264規格で標準定義された全周波数成分で同一の重みとなるスケーリングリストを用いた場合と、高周波成分をより粗く量子化する重みを持ったユーザー定義のスケーリングリストを用いた場合の比較を、図３を用いて行う。

図３（ａ）は、参照フレーム画像３１０と符号化対象フレーム画像３２０との間の差分について説明する図である。枠３０１と枠３０２は、フレーム間差分を算出する領域を表し、３０３は差分箇所の一部を抜き出した４×４の直交変換済みの差分ブロックを表す。また、差分ブロック３０３は、左上の係数がＤＣ（直流成分）の大きさを表し、それ以外はＡＣ（交流成分）の大きさを表す。ＡＣについては、右や下の係数になるほど高い周波数を持った成分の大きさを表す。

参照フレーム画像３１０と符号化対象フレーム画像３２０は、同じ景色をキャプチャした画像であるが、センサーノイズが互いに異なっている。そのため、同一位置（参照フレーム画像３１０の枠３０１、及び符号化対象フレーム画像３２０の枠３０２で示した位置）で差分を取り、直交変換した場合に、差分ブロック３０３に示すように、高周波成分に０以外の数値が発生してしまう。本来、同じ画像であれば、差分ブロック３０３は０のみを係数として持つので、この場合、高周波成分に発生した数値はセンサーノイズに由来するものであると見做すことができる。

図３（ｂ）は、図３（ａ）の差分ブロック３０３に対して、量子化部２１１がH.264規格で標準定義された全周波数成分で同一の重みとなるスケーリングリストを用いて量子化した例を示す図である。ここで、実際に係数を量子化する際に用いられる量子化ステップ値は４とし、また四捨五入によって小数点以下が丸められるものとする。全周波数成分で同じ重みとなるため、量子化部２１１は量子化値３０４で示すように全係数に対して４で除算し、結果として量子化後の差分ブロック３０５は高周波成分に値が残るものとなる。この場合、エンコーダは差分が残っているものと判断し、実際には同じ景色をキャプチャしているのにも関わらず、符号化対象のブロックに対してはスキップモードを選択しない。

図３（ｃ）は、図３（ａ）の差分ブロック３０３に対して、量子化部２１１が高周波成分をより粗く量子化する重みを持ったスケーリングリストを用いて量子化した例を示す図である。ここでも、実際に係数を量子化する際に用いられる量子化ステップ値は４とし、また四捨五入によって小数点以下が丸められるものとする。図３（ｃ）においては、高周波成分を粗く量子化する重みを持ったスケーリングリストを用い、量子化部２１１は量子化値３０６で示すように、高周波成分に対して大きな量子化値を用いて量子化を実施する。結果として、量子化後の差分ブロック３０７は高周波成分に値が残らないものとなり、エンコーダは符号化対象のブロックに対してスキップモードを選択することができる。

図３（ｃ）のように、量子化部２１１がセンサーノイズ由来の高周波成分に対して粗く量子化して、動きが無い箇所に対する符号化対象フレームと参照フレームの間の数値的な差異を無くすことで、エンコーダがスキップモードを選択することが可能となる。

以上のように、本発明の第１実施形態において、ユーザー定義のスケーリングリストを利用して高周波成分を粗く量子化して、動きが無い箇所についてスキップモードを発生させ易くすることで、符号化データの発生を大きく削減することができる。これにより、動きがある箇所に符号量を多く配分することができるようになるため、低ビットレート時の画質を改善することが可能となる。

●量子化と逆量子化で異なるスケーリングリストを用いることについて
本実施形態の監視カメラは、映像システムの構成にH.264規格のMain Profile、あるいはBaseline Profileまでしか対応していない再生装置が含まれることを前提としている。そのため、画像符号化回路２０４がローカルデコード画像を用意する際には、逆量子化部２１５はH.264規格で標準定義された全周波数成分で同一の重みとなるスケーリングリストしか使用することができない。

一方で、本実施形態においては、監視カメラ１０３がH.264規格のHigh Profileに対応していることを利用して、前述の通り量子化部２１１は高周波成分を粗く量子化できるユーザー定義のスケーリングリストを使用する。そのため、量子化部２１１と逆量子化部２１５は互いに異なるスケーリングリストを用いることになるが、このことが画質に及ぼす影響は図４を用いて説明するように、軽微なものと考えられる。

図４（ａ）は、参照フレーム画像４１０と符号化対象フレーム画像４２０との間の差分を表している。枠４０１と枠４０２はフレーム間差分を算出する領域を表し、４０３は差分箇所の一部を抜き出した４×４の直交変換済みの差分ブロックを表す。また、差分ブロック４０３は、左上の係数がＤＣ（直流成分）の大きさを表し、それ以外はＡＣ（交流成分）の大きさを表す。ＡＣについては右や下の係数になるほど高い周波数を持った成分の大きさを表す。

枠４０１は背景の箇所を切り抜いたものである一方、枠４０２には移動中の自動車が含まれる。そのため、枠４０１と４０２で差分を取り、直交変換した差分ブロック４０３において、全ての周波数成分に値が生じる。

図４（ｂ）は、図４（ａ）の差分ブロック４０３に対して、H.264規格で標準定義された全周波数成分で同一の重みとなるスケーリングリストを用いて量子化、及び逆量子化した場合を示す図である。ここで、実際に係数を量子化する際に用いられる量子化ステップ値は４とし、また四捨五入によって小数点以下が丸められるものとする。全周波数成分で同じ重みとなるため、量子化値４０４で示すように量子化では全係数に対して４で除算し、逆量子化では全係数に対して４で乗算する。差分ブロック４０３に対して量子化値４０４で除算することで、量子化後の差分ブロック４０５が算出される。また、差分ブロック４０５に対して量子化値４０４で乗算することで、逆量子化後の差分ブロック４０６が算出される。

図４（ｃ）は、図４（ａ）の差分ブロック４０３に対して、高周波成分を粗く量子化できるユーザー定義のスケーリングリストを用いて量子化し、H.264規格で標準定義された全周波数成分で同一の重みとなるスケーリングリストを用いて逆量子化した場合を示す図である。ここでも、実際に係数を量子化する際に用いられる量子化ステップ値は４とし、また四捨五入によって小数点以下が丸められるものとする。図４（ｃ）は、高周波成分を粗く量子化する重みを持ったスケーリングリストを用いて量子化するため、量子化値４０７で示すように高周波成分に大きな量子化値を設定した上で全係数に対して除算する。一方で、逆量子化は規格準拠のスケーリングリストを用いるため、量子化値４０４で示すように逆量子化では全係数に対して４で乗算する。差分ブロック４０３に対して量子化値４０７で除算することで、量子化後の差分ブロック４０８が算出される。また、４０８に対して量子化値４０４で乗算することで、逆量子化後の差分ブロック４０９が算出される。

逆量子化後の差分ブロック４０６と差分ブロック４０９とを比較すると、ＤＣ側の２ｘ２の範囲の係数については同じ値となっている。一方で、その他の係数値については、差分ブロック４０９の係数は差分ブロック４０６の係数に対して減衰する方向で差異が生じている。

画像として特に影響が大きいのはＤＣ成分及びその付近の低周波成分であり、高周波成分については画像の細かな差分を表す傾向がある。そのことから、差分ブロック４０９に基づいて再構成されたデコード画像は、差分ブロック４０６に基づいて再構成されたデコード画像に対して、若干輪郭がボケたようなものになるが、復号エラーによって画像が破綻するわけではないため、画質への影響は軽微と見做すことができる。

以上のように、量子化部２１１と逆量子化部２１５は互いに異なるスケーリングリストを用いても、画質への影響は軽微なものである。すなわち、上述したようにしてユーザー定義のスケーリングリストを用いて量子化し、符号化された監視カメラ１０３からの映像を、再生装置１１１及び再生装置１１２において、H.264規格で標準定義されたスケーリングリストを用いて、十分な画質の映像として復号化することができる。

●処理の流れ
図５は本発明の第１実施形態に係る監視カメラ１０３における処理の流れを示すフローチャートである。

Ｓ５０１で、制御部２０６が量子化部２１１で使用するユーザー定義のスケーリングリストの情報を画像符号化回路２０４に設定する。ここで、制御部２０６は、H.264規格で標準定義されたスケーリングリストに対して、高周波成分を粗く量子化するユーザー定義のスケーリングリストを画像符号化回路２０４に設定する。

Ｓ５０２で、画像符号化回路２０４が、撮像部２０２によってキャプチャされ現像処理部２０３によって現像された符号化対象フレームを符号化すると共に、ネットワークへの転送のためのパケット化を行う。ここで、量子化部２１１が量子化処理を行う際は、制御部２０６によって設定されたユーザー定義のスケーリングリストを用いる。

Ｓ５０３で、画像符号化回路２０４はローカルデコードを行い、フレームバッファ２０７にローカルデコード画像を格納する。ここで、画像符号化回路２０４を構成する逆量子化部２１５が逆量子化処理を行う際は、H.264規格で標準定義されたスケーリングリストを用いる。

Ｓ５０４で、ＩＰ送信部２０５は画像符号化回路２０４でパケット化された符号化データをネットワークに送信する。

Ｓ５０５で、全フレームのネットワークへの送信が完了したかを判定し、完了していない場合はＳ５０２に戻り、完了した場合は監視カメラ１０３の撮影動作を終了する。

以上説明したように本実施形態によれば、映像システムの構成によってH.264規格のHigh Profile以上を使用できない場合であっても、スキップモードの発生頻度を増やすことができ、動きが無い箇所はデータを大きく削減することが可能となる。そして、動きが無い箇所でデータを削減できた分だけ、動きがある箇所に符号量を多く配分することができるため、結果として低ビットレート時の画質改善が可能となる。

なお、本実施形態では映像システムの一例として監視カメラを挙げたが、その他の形態を実現するためにも用いることができる。例えば、ＰＣにＵＳＢ接続するタイプのＷＥＢカメラや、ラップトップＰＣに搭載のカメラ、またテレビ会議用の機材に備え付けられたカメラ等に、本発明を適用しても良い。

＜第２実施形態＞
次に、本発明における第２実施形態について説明を行う。
第２実施形態においては、量子化で用いるスケーリングリストについて、逆量子化時と同じH.264規格で標準定義されたものを用いるか、あるいはユーザー定義のものを用いるか、を選択できるものとしている。

第１実施形態においては、常に量子化と逆量子化で異なるスケーリングリストを用いていた。これは低ビットレート時ではスキップモードを増やすことで動きがある箇所に符号量を多く配分することが重要であり、またスケーリングリストが異なることによる画質への影響が十分に小さいと見做せるためである。

一方で、高ビットレート時においては、スキップモードを増やさずとも十分な符号量を動きがある箇所に配分することができるため、スケーリングリストが異なることによる画質への影響は十分に小さくはあるが、極力そのデメリットを排除する。そのため、転送ビットレート応じて、量子化時のスケーリングリストを選択できるようにする。

本実施形態では、ネットワーク転送のためのビットレートが十分に高い場合は、逆量子化時と同じスケーリングリストを、逆にビットレートが低い場合は、逆量子化時とは異なるスケーリングリストを、制御部２０６が画像符号化回路２０４に設定する。例えば、夜間でネットワークトラフィックが混雑していない場合は、スキップモードを増やさずとも十分な画質を維持できるビットレートを確保できるため、逆量子化時と同じスケーリングリストを制御部２０６が画像符号化回路２０４に設定する。逆に、昼間等でネットワークトラフィックが混雑する場合は、低ビットレートとなってしまい、スキップモードを増やさないと十分な画質を維持できないため、逆量子化時と異なるスケーリングリストを制御部２０６が画像符号化回路２０４に設定する。

また、映像システムを構築する上で、イントラのネットワークを用いる等で予めビットレートが分かっていれば、ユーザー定義のスケーリングリストについてシステム稼働前にカメラに設定しておくこともできる。例えばネットワークをリッチにしてFHD30Pで１６Ｍｂｐｓといった高いビットレートが確保できる場合は、逆量子化と同じスケーリングリストを制御部２０６が画像符号化回路２０４に設定する。逆にネットワークにコストをかけることができず、ＨＤ３０Ｐで１Ｍｂｐｓといった低いビットレートになってしまう場合は、逆量子化と異なるスケーリングリストを制御部２０６が画像符号化回路２０４に設定する。

●処理の流れ
図６は、本発明の第２実施形態に係る画像符号化装置の処理の流れを示すフローチャートである。
なお、画像符号化装置の構成については、第１実施形態と同じであるため、ここでの説明は省略する。

まず、Ｓ６０１で、転送ビットレートが予め決められたビットレートよりも低いか否かを判定する。Ｓ６０１で、転送ビットレートが予め決められたビットレートよりも低いと判定されなかった場合、Ｓ６０２において、制御部２０６は逆量子化時と同じH.264規格で標準定義されたスケーリングリストを量子化部２１１に設定する。一方、Ｓ６０１で、転送ビットレートが低いと判定された場合、Ｓ６０３において、制御部２０６は逆量子化時と異なる高周波成分を粗く量子化するユーザー定義のスケーリングリストを量子化部２１１に設定する。

以降の処理は、図５で説明した処理と同様であるため、同じ参照番号を付して説明を省略する。

以上説明したように第２実施形態によれば、転送ビットレートに応じて、量子化で用いるスケーリングリストとして、逆量子化のものと同じH.264規格で標準定義されたものを用いるか、あるいはユーザー定義のものを用いるか、を選択することができる。これにより、低ビットレート時にはスキップモードを増やすことで画質劣化を抑制でき、また高ビットレート時には量子化と逆量子化でスケーリングリストが異なることによる画質への影響を排除することができる。

＜第３実施形態＞
次に、本発明の第３実施形態について説明する。
上述した第１及び第２実施形態では、映像ネットワークにH.264規格のHigh Profileの再生ができない再生装置１１１、１１２が組み込まれている場合について説明した。これに対し、第３実施形態では、映像ネットワークにH.264規格のHigh Profileの再生ができない再生装置が組み込まれているかどうかに応じて、量子化部２１１に設定するスケーリングリストを変更する。

●処理の流れ
図７は、本発明の第３実施形態に係る画像符号化装置の処理の流れを示すフローチャートである。
なお、画像符号化装置の構成については、第１実施形態と同じであるため、ここでの説明は省略する。

まず、Ｓ７０１において、監視カメラ１０３が接続された映像ネットワークに、H.264規格のHigh Profileの再生ができない再生装置が組み込まれているかどうかを判定する。ここでは、例えば、映像ネットワークの設計者が不図示の操作部を介してH.264規格のHigh Profileの再生ができない再生装置の有無を入力しても良いし、映像ネットワークに接続された再生装置と通信を行って、各再生装置が準拠している復号化方法を判定しても良い。

Ｓ７０１で、H.264規格のHigh Profileの再生ができない再生装置が組み込まれていると判定されると、Ｓ７０２に進んで、転送ビットレートが予め決められたビットレートよりも低いか否かを判定する。転送ビットレートが予め決められたビットレートよりも低いと判定された場合には、Ｓ７０３に進み、制御部２０６は、量子化部２１１に高周波成分を粗く量子化するユーザー定義のスケーリングリストを設定し、逆量子化部２１５に、H.264規格で標準定義されたスケーリングリストを設定する。一方、転送ビットレートが予め決められたビットレートよりも低いと判定されなかった場合には、Ｓ７０４に進み、制御部２０６は量子化部２１１及び逆量子化部２１５共に、H.264規格で標準定義されたスケーリングリストを設定する。

また、Ｓ７０１でH.264規格のHigh Profileの再生ができない再生装置が組み込まれていないと判定された場合、Ｓ７０５に進んで、転送ビットレートが予め決められたビットレートよりも低いか否かを判定する。転送ビットレートが予め決められたビットレートよりも低いと判定されなかった場合には、Ｓ７０４に進み、制御部２０６は量子化部２１１及び逆量子化部２１５共に、H.264規格で標準定義されたスケーリングリストを設定する。一方、転送ビットレートが予め決められたビットレートよりも低いと判定された場合には、Ｓ７０６に進み、量子化部２１１及び逆量子化部２１５共に、高周波成分を粗く量子化するユーザー定義のスケーリングリストを画像符号化回路２０４に設定する。これにより、H.264規格のHigh Profileを用いて符号化が行われることになる。

以降の処理は、図５で説明した処理と同様であるため、同じ参照番号を付して説明を省略する。

以上説明したように第３実施形態によれば、映像ネットワークに接続された機器及び転送ビットレートに応じて、量子化及び逆量子化で用いるスケーリングリストを選択することにより、より画質の劣化を抑制することが可能となる。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２０１：レンズ、２０２：撮像部、２０３：現像処理部、２０４：画像符号化回路、２０５：ＩＰ送信部、２０６：制御部、２０７：フレームバッファ、２０８：ブロック分割部、２０９：予測部、２１０：直交変換部、２１１：量子化部、２１２：量子化制御部、２１３：符号量制御部、２１４：可変長符号化部、２１５：逆量子化部、２１６：逆直交変換部、２１７：補償部、２１８：デブロッキングフィルタ部、２１９：ストリーム生成部

Claims (11)

1. 予測符号化により画像を符号化する符号化装置であって、
   符号化対象のフレーム画像に対してスケーリングリストを用いて量子化を行う量子化手段と、
   前記量子化手段により量子化された前記フレーム画像に対してスケーリングリストを用いて逆量子化を行う逆量子化手段と、
   前記量子化手段および前記逆量子化手段に、それぞれスケーリングリストを設定する設定手段と、を有し、
   前記設定手段は、前記逆量子化手段に、前記符号化装置により符号化された画像を復号する再生装置で用いる第１のスケーリングリストを設定し、前記量子化手段に、前記第１のスケーリングリストと異なる第２のスケーリングリストを設定することを特徴とする符号化装置。
2. 前記第１のスケーリングリストは、前記予測符号化の規格で予め定義されたスケーリングリストであって、前記第２のスケーリングリストは、任意に設定可能なスケーリングリストであることを特徴とする請求項１に記載の符号化装置。
3. 前記第１のスケーリングリストは、全周波数成分に同一の重みかけるスケーリングリストであって、前記第２のスケーリングリストは、高周波成分を粗く量子化するスケーリングリストであることを特徴とする請求項１または２に記載の符号化装置。
4. 前記符号化装置と前記再生装置は通信可能に接続され、接続した通信のビットレートが予め決められたビットレートよりも低い場合に、前記設定手段は、前記量子化手段に前記第２のスケーリングリストを設定し、前記逆量子化手段に前記第１のスケーリングリストを設定することを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
5. 前記接続した通信のビットレートが予め決められたビットレートよりも低くない場合、前記設定手段は、前記量子化手段および前記逆量子化手段に前記第１のスケーリングリストを設定することを特徴とする請求項４に記載の符号化装置。
6. 前記符号化装置は、H.264規格のHigh Profile以上に準拠し、前記再生装置は、H.264規格のHigh Profile以上に準拠していないことを特徴とする請求項１乃至５のいずれか１項に記載の符号化装置。
7. 前記符号化装置はH.264規格のHigh Profile以上に準拠し、
   前記再生装置がH.264規格のHigh Profile以上に準拠しているかどうかを判定する判定手段を更に有し、
   前記再生装置がH.264規格のHigh Profile以上に準拠してる場合であって、
   前記接続した通信のビットレートが予め決められたビットレートよりも低い場合に、前記設定手段は、前記量子化手段および前記逆量子化手段に前記第２のスケーリングリストを設定し、
   前記接続した通信のビットレートが予め決められたビットレートよりも低くない場合に、前記設定手段は、前記量子化手段および前記逆量子化手段に前記第１のスケーリングリストを設定する
   ことを特徴とする請求項４または５に記載の符号化装置。
8. 撮像手段と、
   請求項１乃至７のいずれか１項に記載の符号化装置と、
   前記符号化装置により符号化された画像を出力する出力手段と
   を有することを特徴とする電子機器。
9. 予測符号化により画像を符号化する符号化方法であって、
   量子化手段が、符号化対象のフレーム画像に対してスケーリングリストを用いて量子化を行う量子化工程と、
   逆量子化手段が、前記量子化工程で量子化された前記フレーム画像に対してスケーリングリストを用いて逆量子化を行う逆量子化工程と、
   設定手段が、前記逆量子化手段に、符号化された画像を復号する再生装置で用いる第１のスケーリングリストを設定し、前記量子化手段に、前記第１のスケーリングリストと異なる第２のスケーリングリストを設定する設定工程と
   を有することを特徴とする符号化方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images