JP2016058782A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 複数の画像を符号化する場合における処理量が増大することがあった。【解決手段】 画像処理装置の画像処理部１０２は、複数の入力画像に対する画像処理により複数の処理済画像を生成し、副符号化処理部１０３は、入力画像に対する画像処理により生成された処理済画像を符号化するための参照画像を、処理済画像に対応する入力画像とするか、他の処理済画像とするかを、画像処理に関するパラメータに応じて決定し、副符号化処理部１０３は、決定に応じた参照画像を参照して処理済画像を符号化する。【選択図】 図３

Description

本発明は画像の符号化に関する。

近年、ネットワークを介して画像を配信し監視目的に用いられるカメラが普及している。このようなカメラの中には目的に応じて様々な画像処理を元画像に施すものが存在する。例えば、カメラが撮像することによって入力される主画像に対して、監視対象物を見やすくするとか、認識処理を行いやすくする等の目的のために画像処理を施した副画像を生成する場合がある。

これらの主画像と副画像の両方をカメラから送出したり、蓄積したりする場合、動画像の圧縮が行われる。動画像の圧縮記録に用いられる符号化方式としては、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）が知られている。また、近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始されて、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。ＪＣＴ−ＶＣでは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式（以下、ＨＥＶＣ）の標準化がなされた。

そして、例えば、Ｈ．２６４を拡張したＭＶＣ（マルチビューコーディング）規格を用いて複数のストリーム画像を送付するという方法（特許文献１）が提案されている。特許文献１には、複数のビデオストリームのうち、特定のビデオストリームを基本ストリームとして符号化すると共に、別のビデオストリームを、当該基本ストリームを参照して符号化可能な符号化方式で符号化することが記載されている。特許文献１によれば、例えば、ネットワークカメラの撮像画像に対応するビデオストリームを基本ストリームとして符号化し、撮像画像に対してノイズ除去されたビデオストリームを、基本ストリームを参照して符号化可能な符号化方式で符号化できる。

副画像（基本ストリームを参照して符号化可能な符号化方式で符号化されるビデオストリーム）を生成するための画像処理としては、霧霞除去の技術（特許文献２）が知られている。

特開２０１１−２１６９６５号公報 米国特許８３４０４６１号明細書

しかしながら、複数の画像を符号化する場合における処理量が増大する恐れがあった。

特に、主画像（撮像画像）から副画像（ノイズ除去済画像）を生成し、それぞれをＭＶＣ規格を用いて符号化する場合に処理量が多くなる場合があった。すなわち、副画像の符号化のための参照画像を、主画像と、他の副画像を含む複数の画像を参照して、符号化効率の良いものを採用するようにすると、多くの画像を参照する必要が生じるため、処理量が多くなってしまう。

本発明は上記の問題点に鑑みてなされたものであり、その目的は、画像の符号化の際の処理量を低減することである。

上記課題を解決するため、本発明にかかる画像処理装置は、例えば以下の構成を有する。すなわち、複数の入力画像に対する画像処理により複数の処理済画像を生成する画像処理手段と、前記入力画像に対する前記画像処理により生成された前記処理済画像を符号化するための参照画像を、前記処理済画像に対応する前記入力画像とするか、他の処理済画像とするかを、前記画像処理に関するパラメータに応じて決定する決定手段と、前記決定手段による決定に応じた参照画像を参照して前記処理済画像を符号化する符号化手段とを有する。

本発明による構成によれば、画像の符号化の際の処理量を低減できる。

実施形態の画像処理装置のハード構成を説明するためのブロック図である。 実施形態の画像処理部１０２の構成を説明するための図である。 実施形態の副符号化処理部１０３の構成を説明するための図である。 実施形態における画像処理の内容を説明するための図である。 実施形態における画像処理の過程で得られる中間情報の一例を説明するための図である。 実施形態におけるベースビューと非ベースビューの符号化時における参照関係を説明するための図である。 実施形態における予測判定部３０２の動作を説明するためのフローチャートである。 実施形態の画像処理装置のハード構成を説明するためのブロック図である。 実施形態の画像処理部８０１の構成を説明するための図である。 実施形態の副符号化処理部８０２の構成を説明するための図である。

以下、図面を参照して、実施形態を詳細に説明する。

＜第１の実施形態＞
本発明の実施形態１では、主画像（撮像画像）に対して、ノイズの補正処理、特に霧・霞除去処理を画像処理として施し、主画像と霧・霞除去処理を施した処理済画像の双方を符号化する場合の例を示す。霧・霞除去は、撮像画像を解析することで各領域の霧・霞の濃さを判定し、どのように霧・霞によって光が散乱されているかを霧・霞の濃さに基づいて推定し、推定結果を用いて霧・霞の影響を取り除くことである。ただし、霧・霞除去の内容は、上記の内容に限らず、また、本実施形態で取り扱うノイズの補正処理は、霧・霞除去に限らない。

以下、図面を用いて本実施形態について詳細に説明する。

図１は本実施形態における画像処理装置のハード構成を示すブロック図である。図１に示すように、本実施形態の画像処理装置は、システムバス１００、画像入力部１０１、画像処理部１０２、副符号化処理部１０３、主符号化処理部１０４、フラッシュメモリ１０５を有する。さらに、本実施形態の画像処理装置は、ＣＰＵ１０６、ＲＡＭ１、ＲＡＭ２、ネットワークＩＦ部１０９、及び、外部メモリ１１０を有する。なお、本実施形態の画像処理装置は、デジタルカメラ、デジタルビデオカメラ、携帯電話、スマートフォン、タブッレット、パーソナルコンピュータ、ハードディスクレコーダ、その他各種家電製品によって実現することが可能である。

１００はシステムバスである。本画像処理装置の各機能ブロックは、このシステムバス１００を介して接続されている。１０１は画像入力部である。画像処理装置が撮像部を持つ場合は、カメラのレンズやセンサが画像入力部に対応する。また、画像入力部１０１が外部のデバイスからビデオ信号入力を受ける場合も考えられる。いずれにせよ、１０１の画像入力部から時間的に連続した画像が入力される。この入力画像を主画像と呼ぶ。主画像は、システムバス１００を経由して、ＲＡＭ１（１０７）に転送される。本実施形態では、主画像が、撮像により得られた動画像を構成する各画像である場合の例を中心に説明するが、この例に限らず、例えば、撮像により得られた撮像画像に対して、何かしらの加工がすでになされた画像を主画像として入力してもよい。

１０２は画像処理部である。画像処理部１０２は、ＲＡＭ１（１０７）から主画像を読み出し、所定の画像処理を主画像に対して施して処理済画像を生成する。生成された処理済画像はシステムバス１００を経由して１０７のＲＡＭ１に対して書き戻される。すなわち、画像処理部１０２は、複数の入力画像のそれぞれに対して画像処理を実行することで、複数の処理済画像を生成する。また、画像処理部１０２は、画像処理の途中において、中間情報を出力する機能をもつ。本実施形態においては、当該中間情報は、画像処理部１０２から直接、副符号化処理部１０３に受け渡される。画像処理部１０２の詳細については後述する。

１０３は副符号化処理部である。副符号化処理部１０３は、画像処理部１０２が生成した処理済画像をＲＡＭ１（１０７）から読み出し、所定の方式に従って符号化処理を行い、符号化データを生成する。符号化データはシステムバス１００を経由して１０７のＲＡＭ１に対して出力される。なお、副符号化処理部１０３は、処理済画像の符号化の際、画像処理部１０２から受け渡された中間情報を参照して、符号化に用いる参照画像を決定する。副画像処理部１０３の詳細については後述する。

１０４は主符号化処理部である。主符号化処理部１０４は、画像入力部１０１が取り込んだ主画像をＲＡＭ１（１０７）から読み出し、所定の方式に従って符号化処理を行う。符号化データはシステムバス１００を経由してＲＡＭ１（１０７）に対して出力される。

なお、本実施形態においては、動画像の符号化処理方式として、Ｈ．２６４を拡張したＭＶＣ（マルチビューコーディング）規格を用いる場合の例を中心に説明する。しかし符号化方式はＭＶＣ規格に限るものではなく、ＨＥＶＣやＳＶＣ（スケーラブルビデオコーディング）規格を用いることも可能である。

１０５はＦｌａｓｈＲＯＭである。ＦｌａｓｈＲＯＭ１０５は、本システム全体の制御を行うＣＰＵ１０６を起動するためのプログラムや、画像処理及び圧縮処理に必要なパラメータ情報などを記憶している。

１０６は画像処理装置の制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。ＣＰＵ１０６は、制御プログラムが置かれているＦｌａｓｈＲＯＭ１０５や、ＣＰＵ処理のワークエリアとしても使用されるＲＡＭ１（１０７）とシステムバス１００を介して接続されている。

１０７はＲＡＭ１である。ＲＡＭ１（１０７）は入力された主画像や、主画像を画像処理した生成された処理済画像を記憶するために用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。ＣＰＵのワークエリアとしても利用される。

１０８はＲＡＭ２である。ＲＡＭ２（１０８）は主符号化処理部１０４、及び副符号化処理部１０３の出力する参照画像を記憶するためのＲＡＭである。

本実施形態においては、ＲＡＭ１（１０７）とＲＡＭ２（１０８）は別個のＲＡＭとして記述しているが、同一のＲＡＭとすることも可能である。その構成は本実施形態によって制限を受けるものではない。

１０９はネットワークＩＦ部である。符号化された主画像及び符号化された処理済画像は、このネットワークＩＦ部１０９を介して外部のネットワーク上の機器に対して送出される場合がある。

１１０はハードディスク、メモリカードなどによって代表される外部メモリ機器である。符号化された主画像及び符号化された処理済画像は、この外部メモリ機器１１０上に記憶され、必要に応じてネットワークＩＦ部１０９を介して外部に読み出されるなどして利用されることもある。

図２は本実施形態における画像処理部１０２の構成の一例を示す図である。図２に示すように、画像処理部１０２は、画像入力ＤＭＡＣ１（２０１）、画像解析部２０２、中間情報バッファ２０３、画像加工部２０４、画像出力ＤＭＡＣ１（２０５）、及び、符号化部ＩＦ２０６を有している。なお、本実施形態においては、画像処理が霧・霞除去処理を例として説明する。霧・霞除去処理は、ノイズ除去のための画像処理の１つである。

図２において、元画像として、主画像（撮像画像）が画像入力ＤＭＡＣ１によってＲＡＭ１（１０７）からシステムバス１００を経由して取り込まれる。図２において、実線は主画像及びそれが加工されてできた処理済画像の流れを、点線は後述する中間情報である霧濃度マップ情報に関連するデータの流れを表している。

取り込まれた主画像の例を図４（ａ）に示す。撮像画像の画角全体が４０１で示されている。図４（ａ）において、実線で示されている人物Ａ、Ｂ（４０６）、Ｃ（４０７）及び樹木（４０２）は、はっきり画像上で見えているものとする。一方、点線で示されている人物Ｄ、Ｅ（４０５）及び樹木４０４、背景の山４０３は、霧の影響でぼんやりとしか見えていないものとする。

画像入力ＤＭＡＣ１（２０１）により入力された主画像は、まず画像解析部２０２に受け渡される。画像解析部２０２は取り込んだ主画像の各領域の霧の濃さを推定する。霧の濃さの推定方法には輝度の情報を用いる方法、霧の大気内の散乱モデルを利用する方法、霧の発生していない同時刻同画角の画像と比較する方法、画面内の色情報を用いる方法などがある。

例えば、輝度の情報を用いて霧の濃さを推定する場合、輝度が閾値よりも高い領域であって、所定面積よりも広い領域を霧が濃い領域として判定し、それ以外の領域を霧が薄い領域、または霧がない領域として判定することが可能である。輝度に関する閾値を複数設定すれば、霧の濃さのレベルをより細かく判定できる。また、主画像内の輝度の変化によって霧の濃さを判定することも可能である。また、輝度の情報に加えて、霧が発生していないときの同画角の画像や、色情報を用いることも可能である。

画像解析部２０２は、画像処理がノイズ補正処理であった場合、画像内のノイズの強度を判定する。本実施形態では、ノイズ補正処理の例として霧・霞除去処理を行う場合の例を挙げている。この場合、画像解析部２０２は霧の濃さを画像上の画素毎に推定（判定）したものを中間情報である霧・霞の濃度分布を示す画像（以下、霧濃度マップと呼ぶ）として出力し、中間情報バッファ２０３に格納する。ただし、霧の濃さ（ノイズの強度）を画素ごとに推定する代わりに、ブロックごとに推定することも可能であるし、その他の任意の領域ごとに推定することも可能である。すなわち、画像解析部２０２は、処理済画像に対応する主画像の領域ごとのノイズ強度を判定し、中間情報バッファ２０３に格納する。

霧濃度マップの例を図５（ａ）に示す。図５では画面を、縦線が濃い領域５０１、縦線が薄い領域５０２、縦線が無い領域５０３の３つの部分に分けて示している。ここで、縦線が濃い領域ほど霧が濃いと判定されているものとする。図５（ａ）の場合、領域５０１の霧濃度が最も濃く、領域５０３は霧の影響をほとんど受けていないものとする。なお、本実施形態では便宜的に霧の濃度を３段階に分けて表現しているが、より多くの段階で霧濃度が変化するような霧濃度マップを生成しても良い。

図５（ｂ）は、図４（ａ）における被写体を図５（ａ）の霧濃度マップ上に配置して、霧の濃度分布と主画像における被写体の見え方の関係を示したものである。図４（ａ）において、霧の影響でぼんやりとしか見えていない被写体は、図５（ａ）の領域５０２及び領域５０１に存在していることがわかる。

画像処理部１０２の画像加工部２０４は、中間情報バッファ２０３に格納された霧濃度マップを用いて霧除去処理を主画像に対して実施する。画像加工部２０４は、霧濃度マップの情報を参照することで主画像の領域ごとの霧の濃さを特定し、当該霧の濃さに応じた霧除去処理を行うことが可能である。より具体的には、画像加工部２０４は、主画像の各領域について、どのように霧によって光が散乱されているかを推定し、その影響を取り除く処理を行うことが可能である。すなわち、本実施形態の画像加工部２０４は、画像処理として、入力画像（主画像）の領域ごとのノイズ強度に応じたノイズ除去処理を実行する。

図４（ｂ）に処理済画像の例を示す。図４（ｂ）では、図４（ａ）において実線で示されていた人物Ａ、Ｂ（４０６）、Ｃ（４０７）及び樹木（４０２）に加え、人物Ｄ、Ｅ（４０５）及び樹木４０４が実線で表されている。すなわち、図４（ｂ）は、人物Ｄ、Ｅ（４０５）及び樹木４０４は霧の影響が軽減され、はっきり見えるようになったことを示している。また、図４（ｂ）の背景の山４０３を示す点線も、図４（ａ）における細かい点によるものから粗い線分による点線に代わっている。これは、霧の影響が軽減されたことにより、山４０３も図４（ａ）よりは詳細に見えるようにはなったが、実線で示されるほどはっきりと見えるまでは画像が改善されなかったことを示している。

このようにして画像加工部２０４によって生成された処理済画像は、画像出力ＤＭＡＣ１（２０５）によって、システムバス１００を介してＲＡＭ１（１０７）に出力され、記憶される。

一方、中間情報バッファ２０３に記憶された霧濃度マップは、符号化部ＩＦ２０６を介して副符号化処理部１０３へ送られる。副符号化処理部１０３における中間情報（画像処理に関するパラメータ）としての霧濃度マップのデータの用いられ方に関しては後述する。

次に、主符号化処理部１０４、及び副符号化処理部１０３の動作について説明する。本実施形態においては、動画像の符号化処理方式としては、Ｈ．２６４を拡張したＭＶＣ規格を用いるものとする。ここで、主符号化処理部１０４はベースビューを、副符号化処理部１０３は非ベースビューを符号化するものとする。

図６にベースビューと非ベースビューの符号化の際の参照関係を模式的に表す。Ｉフレーム、Ｐフレーム、Ｂフレームの３つの形式の画像を生成する場合を考える。主画像の１枚目であるＢａｓｅ１（６０１）は、Ｉフレームとして符号化される。この場合、参照画像は存在せず、入力された画像の情報のみを使って符号化される。次いで主画像の３枚目であるＢａｓｅ３（６０３）がＰフレームとして、Ｂａｓｅ１（６０１）を参照して符号化される。参照関係は図６中の矢印で示される。Ｂａｓｅ３（６０３）からＢａｓｅ１（６０１）へ向かっている矢印が、これらの２つの画像における参照関係を示している。更にベースビューの２枚目のＢａｓｅ２（６０２）は、Ｂフレームとして、Ｂａｓｅ１（６０１）とＢａｓｅ３（６０３）の双方を参照して符号化される。Ｂａｓｅ２（６０２）からＢａｓｅ１（６０１）への矢印とＢａｓｅ２（６０２）からＢａｓｅ３（６０３）への矢印がその参照関係を示している。ベースビューの４枚目のＢａｓｅ４（６０４）、５枚目のＢａｓｅ５（６０５）に関しても同様である。

一方、非ベースビューの符号化の際には、参照画像として、同時刻のベースビューを参照する場合と、前後の時間の非ベースビュー画像を参照する場合の２つの場合が存在する。図６中、例えば非ベースビューのＮＢ３（６０８）からＢａｓｅ３（６０３）に向かって伸びている点線の矢印が、同時刻におけるベースビューの参照を示している。一方、非ベースビューのＮＢ３（６０８）から非ベースビューのＮＢ１（６０６）に伸びている矢印は、非ベースビュー同士での参照関係を示している。他の矢印に関しても同様である。

本実施形態においては、非ベースビューにおける参照関係は、前述した中間情報（画像処理に関するパラメータ）としての霧濃度マップによって一意的に決められ、非ベースビューの符号化が行われる。その様子を以下図１、３、４、５、６及び７を参照しながら説明する。

ある時刻ｔにおいて、画像入力部１０１から入力された主画像を主画像Ｖｔと表すこととする。更に主画像Ｖｔに対して画像処理部１０２において画像処理を施して得られた処理済画像を処理済画像Ｖ’ｔと表すこととする。図４において、主画像Ｖｔは図４（ａ）に対応し、処理済画像Ｖ’ｔは図４（ｂ）に対応する。

図１において、主符号化処理部１０４はＲＡＭ１（１０７）に記憶されている主画像Ｖｔをシステムバス１００経由で受け取り、ベースビューとして符号化する。符号化された主画像はＲＡＭ１（１０７）に書き込まれる。また、主符号化処理部１０４は、ベースビューの符号化の際に利用する局所復号された画像をＲＡＭ２（１０８）に参照画像として保存し、必要に応じて読み出して利用する。

主画像Ｖｔのベースビューとしての符号化が終了すると、次いで処理済画像Ｖ’ｔの非ベースビューとしての符号化が実施される。

図３において、副符号化処理部１０３は、画像入力ＤＭＡＣ３（３０４）から符号化すべき処理済画像Ｖ’ｔのデータをＲＡＭ１（１０７）からシステムバス１００を経由して受け取る。更に、副符号化処理部１０３は、画像処理部１０２から画像処理部ＩＦ３０３経由で霧濃度マップ情報を受け取る。そして、副符号化処理部１０３は、これから符号化しようとしている領域を、同時刻のベースビューを参照して符号化すべきか、前後の非ベースビューを参照して符号化すべきかを予測判定部３０２を用いて判定する。図３において、点線は霧濃度マップ情報に関連するデータの流れを、一点鎖線は参照画像に関連するデータの流れを、実線は処理済画像Ｖ’ｔとその符号化済み画像の流れを表している。

図７は、副符号化処理部１０３の予測判定部３０２の動作を説明するためのフローチャートである。例えば、図７の処理は、ユーザ操作による符号化処理の開始と共に、開始される。なお、図７の処理の前、又は、図７の処理と並行して、以下の処理が画像処理装置のＣＰＵ１０６により実行される。すなわち、画像入力部１０１による画像（主画像）の入力、主画像の各領域の画像処理に関するパラメータの特定、特定されたパラメータに応じた画像処理による処理済画像の生成のそれぞれに対応する各ステップが、ＣＰＵ１０６により実行される。

また、本実施形態では、画像をＭＶＣ規格に沿って符号化する場合の例を中心に説明する。すなわち、本実施形態の画像処理装置は、入力画像を主画像として符号化し、処理済画像を副画像として符号化する。

予測判定部３０２は、これから符号化すべき処理済画像に対応する参照画像の候補が、ベースビューのみであるか否かを判定する（Ｓ７０１）。予測判定部３０２は、動画像の１フレーム目の処理済画像を符号化する場合は、参照画像の候補がベースビューのみであると判定する。ただし、１フレーム目の場合に限らず、例えば、ユーザからの特別な指示により、定期的にベースビューのＩフレームのみが参照画像となるように設定されても良い。参照画像の候補がベースビューのみであると判定した場合（Ｓ７０１でＹｅｓ）、Ｓ７０４に遷移し、参照画像として同時刻のベースビューを選択し、予測判定部３０２は参照画像入力ＤＭＡＣ２（３０１）に同時刻のベースビューのアドレス設定等の指示を出す。

この指示により、参照画像入力ＤＭＡＣ２（３０１）は、符号化対象である処理済画像の同時刻の主画像（ベースビュー画像）をＲＡＭ２から読み出して符号化部３０５に渡す。そして、符号化部３０５は、参照画像入力ＤＭＡＣ２（３０１）から渡されたベースビュー画像を参照して、符号化対象の処理済画像の符号化を実行する。すなわち、符号化部３０５は、予測判定部３０２により決定された画像（主画像または処理済画像）と、符号化対象である処理済画像との差分を算出し、差分データを符号化することで、符号化対象である処理済画像を符号化することが可能である。ただし、差分の算出結果によっては、フレーム内符号化される場合もありうる。

一方、Ｓ７０１において参照画像の候補がベースビューのみでないと判定された場合（Ｓ７０１でＮｏ）、Ｓ７０２に遷移する。Ｓ７０２では、予測判定部３０２は、符号化対象領域に対応する画像処理に関するパラメータ（ノイズ強度）を、画像処理部ＩＦ３０３を介して入手した中間情報から判定する。言い換えると、予測判定部３０２は、画像解析部２０２による画像解析で得られた画像処理に関するパラメータに基づいて、当該画像処理による補正の度合いを推測する。

予測判定部３０２が補正の度合いが小さいと推定した場合（Ｓ７０２でＹｅｓ）、Ｓ７０４に遷移し、参照画像として同時刻のベースビューを選択する。一方、予測判定部３０２が補正の度合いが大きいと推定した場合（Ｓ７０２でＮｏ）は、Ｓ７０３に遷移し、参照画像として時間的に前後の非ベースビューを選択する。

すなわち、本実施形態の予測判定部３０２は、入力画像（主画像）に対する画像処理により生成された処理済画像（非ベースビュー画像）を符号化するための参照画像を、画像処理に関するパラメータに基づいて決定する。より具体的には、画像処理に関するパラメータに基づいて、画像処理による補正の度合いが小さいと推定される場合は、当該処理済画像に対応する主画像が参照画像として決定される。一方、画像処理に関するパラメータに基づいて、画像処理による補正の度合いが大きいと推定される場合は、当該処理済画像に対して時間的に前後する他の非ベースビュー画像が参照画像として決定される。

ただし、補正の度合いを推定する方法に限らず、例えば、画像処理に関するパラメータ（ノイズ強度）が閾値以上であるか否かによって、参照画像が決定されるようにすることも可能である。この場合、予測判定部３０２は、符号化対象である処理済画像に対応する入力画像（主画像）の領域ごとのノイズ強度の情報を用いて、参照画像を決定する。より具体的には、予測判定部３０２は、ノイズ強度が閾値未満の領域については、符号化対象である処理済画像に対応する主画像を参照画像として用いた符号化を符号化部３０５に実行させる。一方、予測判定部３０２は、ノイズ強度が閾値より高い領域については、符号化対象である処理済画像に対して時間的に前後する他の処理済画像（非ベースビュー画像）を参照画像として用いた符号化を符号化部３０５に実行させる。なお本実施形態においては、画像処理は霧・霞除去処理であり、その中間情報（画像処理に関するパラメータ）は霧濃度マップである。

例えば、図５の領域５０３のように霧濃度が薄い領域に関しては、そもそも補正の必要がないため、霧・霞除去による補正の強度（度合い）は小さい。図４（ａ）（ｂ）において人物Ａ、Ｂ（４０６）、Ｃ（４０７）及び樹木（４０２）の見え方はほぼ同じである。このような領域では、ベースビューである主画像Ｖｔと非ベースビューである処理済画像Ｖ’ｔの差は非常に小さい。そのため、予測判定部３０２は、ベースビュー画像を参照画像として決定する。

一方、図５の５０１、５０２のように霧濃度が濃い領域に関しては、霧・霞除去による補正の効果が大きいため、補正により被写体の見え方が変化する。図４において人物Ｄ、Ｅ（４０５）、樹木（４０４）及び背景の山４０３の見え方は主画像（ａ）と処理済画像（ｂ）とで大きく異なっている。このような領域では、ベースビューである主画像Ｖｔと非ベースビューである処理済画像Ｖ’ｔの差が大きく、時間的に前後の非ベースビューＶ’ｔ−１、Ｖ’ｔ＋１との差の方が小さいことが予想される。そのため、予測判定部３０２は、符号化対象の処理済画像に対して時間的に前後する非ベースビュー（処理済画像）を参照画像として決定する。

本実施形態において、補正の強度（度合い）は霧の濃さによって特定することが可能である。例えば、前述の例のように図５（ａ）の領域５０２の霧濃度を閾値として設定したとする。その場合、予測判定部３０２は、霧が濃い領域５０１及び、領域５０２ついては、補正の強度が大きいと推定する（Ｓ７０２でＮｏ）ので、符号化対象である処理済画像に対して時間的に前後する非ベースビューを参照画像として決定する（Ｓ７０３）。一方、予測判定部３０２は、霧が薄い領域５０３に対応する領域については、補正の強度が小さいと推定し（Ｓ７０２でＹｅｓ）、参照画像としてベースビュー（同時刻の主画像）を決定する（Ｓ７０４）。

なお、符号化は一般的に１６×１６画素などのマクロブロック（分割領域）単位で行われる。本実施形態の予測判定部３０２は、参照画像の決定をマクロブロック単位で行う。霧の濃度は段階的に変化するため、予測判定部３０２は補正度合いの判定を、マクロブロック内（分割領域内）の各画素における霧濃度の平均値や中央値、最頻値などを用いて行う。ただし、この形態に限らず、参照画像の決定を画素単位で行うようにすることも可能であるし、マクロブロックよりも広い範囲ごとに行うようにしてもよい。

上記のような領域毎の参照画像の決定は、予測判定部３０２が参照画像入力ＤＭＡＣ２（３０１）に参照先に応じたアドレス設定等の指示を出すことによって実現される。参照用データはＲＡＭ２（１０８）からバスシステム１００を介して副符号化処理部１０３に入力される。画像入力ＤＭＡＣ３（３０４）から受け取った符号化対象である処理済画像Ｖ’ｔは前述のようにして決定・入力された参照画像を用いて符号化部３０５によって符号化される。符号化済みの処理済画像Ｖ’ｔの符号化データは、画像出力ＤＭＡＣ３（３０７）を介してＲＡＭ１（１０７）に記憶される。また、符号化部３０５は非ベースビューを局所復号した画像を参照画像出力ＤＭＡＣ２（３０６）からＲＡＭ２（１０８）に出力し、参照画像として記憶させる。

ここで、Ｓ７０４においてベースビューが参照画像として決定された場合について補足する。この場合、処理済画像Ｖ’ｔは主画像Ｖｔに対して画像処理された画像であり、両者には時間的な差がなく、画面内に動きの要素は存在しない。そのため、動きベクトルを０とすることができ、動き探索に必要な処理及びメモリ帯域を削減することが可能になる。

また、予測判定部３０２から符号化部３０５に点線の矢印３０８が延びているが、この矢印３０８は各符号化処理領域に関して参照画像がどのように選択されたかの情報を伝達するための信号線である。この参照画像の選択に関する情報を予め予測判定部３０２から符号化部３０５に伝えることにより、ベースビューが参照画像として決定された場合における符号化部３０５での処理を少なくすることが可能になり、消費電力削減が可能になる。すなわち、本実施形態の符号化部３０５は、符号化対象である処理済画像の参照画像として、当該処理済画像と同時刻の主画像（ベースビュー画像）が決定された場合、動き探索を行わず、動きベクトルの情報を０として符号化結果を出力する。

なお、本実施形態においては、主符号化処理部１０４と副符号化処理部１０３をそれぞれ別個の処理部として実装する例を示したが、同一の処理部を用いて、主符号化処理と副符号化処理を実施することも可能である。その場合、本実施形態における副符号化処理部１０３を符号化処理部として実装し、主符号化処理部１０４が実装されなくなる。そして、その符号化処理部を主符号化部１０４として用いる場合においては、予測判定部３０２が参照画像としてベースビューを指定し続けることによって、主画像の符号化が実現される。

また、本実施形態においては、主画像をベースビュー、処理済画像を非ベースビューとして符号化する例を示したが、処理済画像をベースビュー、主画像を非ベースビューとして符号化することも可能である。その場合、処理済画像を主符号化処理部１０４で、主画像を副符号化処理部１０３で符号化することによって実現される。

以上説明したように、本実施形態の画像処理装置は、入力画像（主画像）に対する画像処理によって生成された処理済画像を符号化する際に、当該画像処理に関するパラメータに基づいて、符号化のための参照画像を決定する。このようにすれば、処理済画像に対して時間的に前後する処理済画像と主画像の両方を読み出して符号化を行う場合よりも、処理量を低減できる。また、符号化に必要となるメモリ帯域も削減できる。また、処理量が低減される分、消費電力も低減できる。

＜第２の実施形態＞
本発明の第２の実施形態について、第１の実施形態との差異を中心に説明する。本実施形態では、主画像に対して、第１の画像処理として霧・霞除去処理を実行して処理済画像１を生成し、処理済画像１に対して第２の画像処理として階調補正処理を実行して処理済画像２を生成する。そして、主画像と処理済画像１および２を符号化する例を説明する。

以下、図面を用いて本実施形態について詳細に説明する。図８は本実施形態における画像処理装置のハード構成を示すブロック図である。第１の実施形態の図１と異なる点は、画像処理部、副符号化処理部がそれぞれ画像処理部８０１−１および２、副符号化処理部８０２−１および２の２つずつになった点である。また、図１では画像処理部と副符号化処理部との間に中間情報（画像処理に関するパラメータ）を直接受け渡すためのパスが設定されていたが、本実施形態ではそのような直接のパスは存在せず、中間情報はＲＡＭ１（１０７）経由で受け渡される。それ以外の構成要素は図１と同等である。

図９は本実施形態における画像処理部８０１の構成を示したものである。第１の実施形態の図２同様、実線は主画像及び主画像に対する画像処理により生成された処理済画像の流れを、点線は後述する中間情報である霧濃度マップ情報に関連するデータの流れを表している。第１の実施形態の図２と異なる点は、図２において存在した符号化部ＩＦ２０６がなくなり、中間情報も出力ＤＭＡＣ１（９０１）を介してＲＡＭ１（１０７）に転送され、ＲＡＭ１（１０７）上で副符号化処理部８０２と共有される点である。中間情報としてのデータの流れは前述のように図９中点線で示されている。

図１０は本実施形態における副符号化処理部８０２を示したものである。第１の実施形態の図３と異なる点は、図３において存在した画像処理部ＩＦ３０３がなくなり、中間情報は入力ＤＭＡＣ２（１００１）を介してＲＡＭ１（１０７）から取り込まれ、予測判定部１００２に送られることである。中間情報の流れは図１０中の点線で示されている。

本実施形態では、画像処理部１（８０１−１）において霧・霞除去処理が実行され、画像処理部２（８０１−２）において階調補正処理が実行されるものとする。また、霧・霞除去処理が実行された処理済画像１の符号化を副符号化処理部１（８０２−１）が行い、階調補正処理が実行された処理済画像２の符号化を副符号化処理部２（８０２−２）が行うものとする。これらの画像処理は主画像の１フレーム毎に、ほぼ同時並行的にシステム内が進められる。

既に霧・霞除去処理に対応した符号化処理に関しては実施形態１で説明しているので、本実施形態では階調補正処理に対応した符号化処理について説明する。

まず、画像処理の内容と、そこで使われる中間情報との関係について説明する。本実施形態において、階調補正処理に関する中間情報は、入力画像（主画像）の低周波成分の値である。

本実施形態の画像処理部２（８０１−２）は、注目画素の周囲の明るさに応じて画像を補正する。周囲の明るさについては、注目画素を中心とした画像の低周波成分を推定値として用いる。補正の処理は、以下の数式（１）に基づいて行うことが可能である。

数式（１）では、パラメータとしてγ_０とγ_１を用いている。数式（１）の演算子Ａｖｇは、複数の尺度で低周波成分を抽出して処理した結果を平均化する演算を指している。以下、数式（１）のＡｖｇ［］内に注目する。

Ａｖｇ［］内の式で分母にあるＦｎ（ｘ，ｙ）＊Ｙ（ｘ，ｙ）が、先に述べた注目画素を中心とした画像の低周波成分である。Ａｖｇ［］内の式では分子で注目画素の画素値にγ_０を乗じている。また、分母では低周波成分に対してγ_１を乗じている。この式を書き直すと、

となる。

の部分については、γ補正として広く知られている処理なので説明を省略する。ここで、γ_０に１．０を与えた場合、

となる。この時、

は注目画素Ｙ（ｘ，ｙ）に対するゲイン率と解釈することができる。

パラメータγ_１として、−１＜γ_１＜０の値を与えた場合、横軸を低周波成分値、縦軸をゲイン率とすると、上に凸なγ曲線が得られる。従って、低周波成分の値が小さいほどゲイン率は大きく、低周波成分の値が大きいほどゲイン率は小さくなることがわかる。

故に、主画像が大きく補正される（ゲイン率が大きい）かどうかは、この低周波成分の値と処理のパラメータを見ればわかるといえる。γ_１がそれ以外の値の場合には、それに応じて判定すればよい。

上述したような階調補正処理が、画像処理として画像処理部２（８０１−２）で実施される。画像処理部２の動作を図９を用いて説明する。図９の画像解析部２０２は、画像入力ＤＭＡＣ１（２０１）を介して入力した主画像の各画素に対応した低周波成分の大小を算出し、算出結果を低周波成分画像として中間情報バッファ２０３に書き込む。画像加工部２０４は中間情報バッファ２０３に記憶された中間情報としての低周波画像を参照して、画像入力ＤＭＡＣ１（２０１）から入力される主画像に対して、階調補正処理を実施する。

画像加工部２０４において階調補正処理された処理済画像２は、出力ＤＭＡＣ１（９０１）からＲＡＭ１（１０７）に対して出力される。また、一連の画像処理が終了すると、中間情報バッファ２０３に記憶されていた中間情報としての低周波画像も出力ＤＭＡＣ１（９０１）経由でＲＡＭ１（１０７）に対して出力される。

次いで、副符号化処理部８０２−２の動作を図１０を用いて説明する。第１の実施形態の図３と同様に、点線は霧濃度マップ情報に関連するデータの流れを、一点鎖線は参照画像に関連するデータの流れを、実線は処理済画像Ｖ’ｔとその符号化済み画像の流れを表している。

図１０において、副符号化処理部８０２−２は、まず、入力ＤＭＡＣ２（１００１）を介して、ＲＡＭ１（１０７）から中間情報としての低周波画像を取得し、予測判定部１００２へ入力する。次いで、画像入力ＤＭＡＣ３（３０４）は、符号化対象である処理済画像２のデータをＲＡＭ１（１０７）からシステムバス１００を経由して受け取る。更に、副符号化処理部８０２−２の予測判定部３０２は、先に入力された低周波画像の情報を用いて、符号化対象である領域を、同時刻のベースビュー画像を参照して符号化すべきか、前後の非ベースビューを参照すべきかを判定する。

第２の実施形態の予測判定部３０２の動作を、図７を用いて説明する。本実施形態では、実行される画像処理が階調補正であり、その補正の度合いは、前述のようにパラメータγ_１と低周波成分の値から推定できる。仮に、−１＜γ_１＜０の値を与えた場合、例えば、低周波成分として取りうる最大値の１／３を閾値として定めることが可能である。ただし、閾値は任意の値を設定することが可能である。

主画像の低周波成分の値が閾値より大きい場合、予測判定部１００２は、主画像に対応する処理済画像の補正量が小さいと推定し（Ｓ７０２でＹｅｓ）、同時刻のベースビューを参照画像として決定する（Ｓ７０４）。一方、主画像の低周波成分の値が閾値より小さい場合、予測判定部１００２は、主画像に対応する処理済画像の補正量が大きいと推定し（Ｓ７０２でＮｏ）、処理済画像に対して時間的に前後する非ベースビュー画像を参照画像として決定する（Ｓ７０３）。

すなわち、本実施形態の予測判定部１００２は、処理済画像の各領域を符号化するための参照画像を、当該処理済画像に対応する入力画像（処理済画像１）の領域ごとの低周波成分の値に応じて決定する。なお、本実施形態では、霧・霞除去の処理を行ってから、階調補正処理を行う例を中心に説明しているが、この例に限らず、例えば、霧・霞除去を行わず、階調補正処理のみを行うようにしてもよい。

なお、符号化は一般的に１６×１６画素などのマクロブロック単位で行われる。本実施形態の予測判定部１００２は、参照画像の決定をマクロブロック単位で行う。低周波成分は段階的に変化するため、予測判定部１００２は補正度合いの判定を、マクロブロック内の各画素における低周波成分の平均値や中央値、もしくは最頻値などを用いて行う。ただし、この形態に限らず、参照画像の決定を画素単位で行うようにすることも可能であるし、マクロブロックよりも広い範囲ごとに行うようにしてもよい。

上記のような領域毎の参照画像の決定は、予測判定部１００２が入力ＤＭＡＣ２（１００１）に参照先に応じたアドレス設定等の指示を出すことによって実現される。参照用データはＲＡＭ２（１０８）からバスシステム１００を介して副符号化処理部８０２入力される。画像入力ＤＭＡＣ３（３０４）から受け取った符号化対象である処理済画像２は前述のようにして決定・入力された参照画像を用いて符号化部３０５によって符号化される。符号化済みの処理済画像２の符号化データは、画像出力ＤＭＡＣ３（３０７）を介してＲＡＭ１（１０７）に転送される。また、符号化部３０５は非ベースビューを局所復号した画像を参照画像出力ＤＭＡＣ２（３０６）からＲＡＭ２（１０８）に出力し、参照画像として記憶させる。

このようにして、複数の処理済画像に対して、それぞれの処理に応じた中間情報（画像処理に関するパラメータ）を利用して参照画像を決定し、順次、画像の符号化を進めることが可能である。

なお、本実施形態においては、主符号化処理部と副符号化処理１、２をそれぞれ別個の処理部として実装する例を示したが、同一の処理部を用いて、主符号化処理と副符号化処理１、２を実施することも可能である。その場合、本実施形態における副符号化処理部１（８０２−１）を符号化処理部として実装し、主符号化処理部１０４及び副符号化処理部２（８０２−２）が実装されなくなる。そして、その符号化処理部を主符号化１０４として用いる場合においては、予測判定部３０２が参照画像としてベースビューを指定し続けることによって、主画像の符号化が実現される。

また、本実施形態においては、画像処理として２つの異なる画像処理を実行する場合の例を説明したが、同一タイプの画像処理を強度を変えて主画像に対して行い、複数の処理済画像を生成する場合もありうる。そのような場合には、例えば画像処理部８０１−１を同じ時刻の主画像に対して複数回連続で適用し、生成された複数の処理済画像と中間情報を副符号化処理部８０２−１および８０２−２に振り分けて符号化を実施することで、同様の効果を得ることが可能になる。

以上のようにして、副符号化部を用いて処理済画像を符号化する際に、参照すべき画像を予め決めることができるので、処理済画像の符号化のために必要となるメモリ帯域を削減することが可能になる。また、メモリ帯域が削減される分、消費電力も削減することが可能になる。

なお、上記の実施形態では、霧・霞除去がなされた画像を副画像とする場合の例を中心に説明したが、他の画像処理がなされた画像を副画像とすることも可能である。例えば、霧・霞除去とは別のノイズ除去処理や、画像の先鋭化処理がなされた画像を副画像とすることも可能である。また、複数の画像処理がなされた画像を副画像としてもよい。例えば、撮像画像に対して、ノイズ除去処理と、階調補正処理とがなされた画像を副画像とすることも可能である。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 画像入力部
１０２ 画像処理部
１０３ 副符号化処理部
１０４ 主符号化処理部
１０５ ＦｌａｓｈＲＯＭ
１０６ ＣＰＵ
１０７ ＲＡＭ１
１０８ ＲＡＭ２
１０９ ネットワークＩＦ
１１０ 外部メモリ

Claims (11)

1. 複数の入力画像に対する画像処理により複数の処理済画像を生成する画像処理手段と、
   前記入力画像に対する前記画像処理により生成された前記処理済画像を符号化するための参照画像を、前記処理済画像に対応する前記入力画像とするか、他の処理済画像とするかを、前記画像処理に関するパラメータに応じて決定する決定手段と、
   前記決定手段による決定に応じた参照画像を参照して前記処理済画像を符号化する符号化手段とを有することを特徴とする画像処理装置。
2. 前記画像処理手段は、前記画像処理として、前記入力画像の領域ごとのノイズ強度に応じたノイズ除去処理を実行し、
   前記決定手段は、前記画像処理に関するパラメータとして、前記処理済画像に対応する前記入力画像の領域ごとのノイズ強度の情報を用いて、前記参照画像を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記処理済画像の各領域のうち、対応する前記入力画像のノイズ強度が閾値以上の領域を符号化するための参照画像を、前記他の処理済画像に決定すると共に、
   前記処理済画像の各領域のうち、前記対応する前記入力画像のノイズ強度が閾値未満の領域を符号化するための参照画像を、前記入力画像に決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理手段は、前記画像処理として、前記入力画像の領域ごとの低周波成分の値に応じた階調補正処理を実行し、
   前記決定手段は、前記処理済画像の各領域を符号化するための参照画像を、当該処理済画像に対応する前記入力画像の領域ごとの低周波成分の値に応じて決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の画像処理装置。
5. 前記処理済画像を符号化するための参照画像を、前記他の処理済画像にすると前記決定手段が決定した場合、前記符号化手段は、前記符号化対象である前記処理済画像よりも時間的に前の処理済画像、及び、時間的に後の処理済画像のうち、少なくとも何れかを参照して前記符号化対象である前記処理済画像を符号化することを特徴とする請求項１乃至４のうち、何れか１項に記載の画像処理装置。
6. 前記決定手段は、前記処理済画像を構成する分割領域内の複数の画素のそれぞれの前記パラメータの平均値、中央値、及び、最頻値のうち少なくとも何れかに基づいて、当該分割領域の符号化のための参照画像を前記入力画像にするか前記処理済画像にするかを決定することを特徴とする請求項１乃至５のうち、何れか１項に記載の画像処理装置。
7. 前記符号化手段は、マルチビューコーディングにおける主画像として前記入力画像を符号化し、副画像として前記処理済画像を符号化することを特徴とする請求項１乃至６のうち、何れか１項に記載の画像処理装置。
8. 画像処理方法であって、
   複数の入力画像に対する画像処理により複数の処理済画像を生成する画像処理工程と、
   前記入力画像に対する前記画像処理により生成された前記処理済画像を符号化するための参照画像を、前記処理済画像に対応する前記入力画像とするか、他の処理済画像とするかを、前記画像処理に関するパラメータに応じて決定する決定工程と、
   前記決定手段による決定に応じた参照画像を参照して前記処理済画像を符号化する符号化工程とを有することを特徴とする画像処理方法。
9. 前記画像処理工程は、前記画像処理として、前記入力画像の領域ごとのノイズ強度に応じたノイズ除去処理を実行し、
   前記決定工程は、前記画像処理に関するパラメータとして、前記処理済画像に対応する前記入力画像の領域ごとのノイズ強度の情報を用いて、前記参照画像を決定することを特徴とする請求項８に記載の画像処理方法。
10. 前記決定工程は、前記処理済画像の各領域のうち、対応する前記入力画像のノイズ強度が閾値以上の領域を符号化するための参照画像を、前記他の処理済画像に決定すると共に、
    前記処理済画像の各領域のうち、前記対応する前記入力画像のノイズ強度が閾値未満の領域を符号化するための参照画像を、前記入力画像に決定することを特徴とする請求項９に記載の画像処理方法。
11. コンピュータを、請求項１乃至７のうち、何れか１項に記載の画像処理装置として動作させるためのプログラム。

Images