JP2005348439A - 画像処理装置 - Google Patents

Abstract

【課題】 画像の符号量を、既存のハードウェアに手を加えることなく、かつコンスタントに高い効率で低減することが難しかった。
【解決手段】 フレーム画像を入力するフレーム入力部４、フレーム画像から注目領域を検出する注目領域設定部６、注目領域とそれ以外の領域を分割する領域分割部８、注目領域１６を符号化する第一符号化器４０、注目領域１６をはずして空いた部分の画像を単純化する単純化処理部２６、一部が単純化された修正フレーム画像２８を符号化する第二符号化器４２を含む。第一符号化器４０及び第二符号化器４２では、符号化精度の異なる符号化を行う。注目領域の位置は位置情報２０として出力される。
【選択図】 図４

Description

この発明は、画像を領域に分けて行われる画像処理装置に関する。この発明は特に、画像の符号化、復号化に関連する画像処理装置に関する。

例えばテレビ電話における画像の伝送を考えたとき、ある程度の画質を維持しながらどこまで伝送データ量を抑制できるかが重要な設計ポイントになる。特許文献１では、平常時には特定領域のみを伝送し、フレーム画像全体に大きな変化が現れたときに限ってフレーム画像全体を伝送する装置が開示されている。テレビ電話の場合、特定領域は通常話者の顔に当たる領域であり、フレーム画像全体を一回送っておけば、以降、符号化装置は特定領域だけを伝送すればよい。復号化装置はフレーム画像全体を一回復号化して表示しておき、特定領域が送られてくれば、その画像を復号化して表示中のフレーム画像に合成する。このために、符号化装置は特定領域の位置情報も伝送する。一方、例えば話者が手を挙げた場合、特定領域のみ伝送では自然な画像が得られない。符号化装置ではそうした大きな変化を検出し、その場合に限り、フレーム画像全体を符号化して伝送する。
特開平８−３３６１３３号公報

この技術によれば伝送データ量を減らすことができる。しかし、一連の処理機能を実現するために専用のハードウエアを設計する必要がある。また、フレーム全体を送る場面ではデータの圧縮効果が望めない。

本発明はこうした点に鑑みてなされたものであり、その目的は、相当コンスタントに相当高いデータ圧縮率を実現する画像処理方法、装置、システムを提供することにある。本発明の別の目的は、すでに市販等されている種々の符号化、復号化装置のハードウエアを変更なしに用いることの可能な画像処理方法、装置、システムを提供することにある。

本発明に係るひとつの画像処理方法は、画像符号化の前処理方法と把握できる。この方法は、少なくともひとつの画像領域について符号化の処理内容を記述して第一の情報を生成し、少なくともひとつの画像領域についてその画像内位置を記述して第二の情報を生成し、少なくともひとつの画像領域について第一および第二の情報を関連づけて符号化処理に向けて出力する。

「符号化の処理内容」は、符号化手法自体が複数存在するときはそのうち実際に利用する符号化手法の表示であってもよい。同一の符号化手法の中でも、パラメータが異なる場合にはそのパラメータの表示であってもよい。本発明によれば、第一の情報により、画像領域ごとに符号化の処理内容を変えることができる。また、第二の情報により、フレーム画像のうちいずれの部分にどのような符号化処理を施すべきかが判明する。このため、後段の符号化処理の場面で、高い画質が得られる符号化処理（一般にはデータ圧縮効果の低い符号化）を例えばテレビ電話における話者の顔などの注目領域または重要領域に施し、それ以外の領域にデータ圧縮効果の高い別の符号化処理を施すことなどが可能になる。この発明によれば、符号化処理の前に第一および第二の情報が生成されるため、符号化処理を実行するハードウエア、つまり符号化器自体を変更する必要がない。

本発明の別の画像処理方法は、やはり画像符号化の前処理と把握できる。この方法はフレーム画像内に注目領域を定め、フレーム画像のうち注目領域に相当する画像部分に単純化処理を施して修正フレーム画像を生成し、注目領域の画像と修正フレーム画像を同一の符号化処理またはそれぞれ処理内容の異なる符号化処理に向けて出力する。

ここで「単純化処理」は、例えば前記画像部分を単一色で埋めたり、その画像領域の周辺色で埋めるなど、後にその画像領域に対して符号化処理を施したときにその符号量が減るような画像変換処理であってもよい。この発明によれば、例えば注目領域として話者の顔をとり、その注目領域については高い画質が得られる符号化処理を行う。一方、注目領域が取り除かれた後の部分を例えば単一色で埋めれば、修正フレーム画像に対して、仮に注目領域と同一の符号化処理を施したとしても、単一色の領域の符号量が減る。しかも本発明の場合、単純化処理で得られる修正フレーム画像に対しては注目領域とは異なる符号化処理、例えばデータ圧縮率の高い符号化処理を採用できるため、さらにデータ低減効果が大きくなる。この発明も、符号化処理の前に修正フレーム画像が生成されるため、符号化処理を実行するハードウエア、つまり符号化器自体を変更する必要がない。

本発明のさらに別の画像処理方法は、画像復号化とその後処理と把握でき、注目領域の画像とフレーム画像全体を別々に復号化し、注目領域がもとのフレーム画像において占めていた位置（以下「占有位置」という）に基づいて、復号化した注目領域を復号化したフレーム画像内に合成する。ここでいう「フレーム画像全体」は、もとのままのフレーム画像でもよいし、上述の修正フレーム画像のような一定の加工後のフレーム画像でもよい。

ここで「占有位置に基づいて」は、例えば「外部から与えられた占有位置に関する情報を利用して」、「固定的に決めておいた位置を占有位置とみなして」などと考えてもよい。この発明では、復号化するフレーム画像が前述の修正フレーム画像であってもよく、その場合「占有位置に基づいて」の解釈例として「復号化の結果、単純化処理が施された画像部分が判明すれば、その位置を占有位置とみなして」も可能である。この発明では、注目領域の画像の復号化とフレーム画像全体の復号化を別々に行うため、それぞれ既存の復号化器を変更なしに用いることができる。

一方、本発明に係るひとつの画像処理装置は、画像符号化の前処理装置と把握でき、フレーム画像を入力する手段と、入力されたフレーム画像において注目領域の位置を設定する手段と、位置が設定された注目領域をフレーム画像から分割する手段とを含み、フレーム画像全体と分割された注目領域の画像をそれぞれ異なる処理内容で符号化する符号化装置に向けて出力する。このため後段の符号化処理の場面で、高い画質が得られる符号化処理を注目領域に施し、それ以外の領域にデータ圧縮効果の高い別の符号化処理を施すなどが可能になる。この発明でも、符号化器自体を変更する必要はない。

本発明の別の画像処理装置は、画像符号化の前処理装置および画像符号化器の組合せと把握でき、フレーム画像を入力する手段と、入力されたフレーム画像において注目領域の位置を設定する手段と、位置が設定された注目領域をフレーム画像から分割する手段と、分割された注目領域の画像を符号化する手段と、フレーム画像全体を分割された注目領域の画像とは異なる処理内容で符号化する手段とを含む。この発明では、符号化する手段に既存の符号化器をそのまま利用でき、装置設計が容易になる。

本発明のさらに別の画像処理装置は、画像復号化器およびその後処理装置の組合せと把握でき、フレーム画像から分割された状態で符号化された注目領域の画像を復号化する手段と、フレーム画像全体を復号化する手段と、注目領域がもとのフレーム画像において占めていた位置、すなわち占有位置に基づき、復号化された注目領域の画像を復号化されたフレーム画像内に合成する手段とを含む。この発明では、注目領域用とフレーム画像全体用に例えば別々の既存の復号化器を採用することができる。そのため、既存のハードウエアがそのまま利用できる。

他方、本発明の画像処理システムは、符号化側と復号化側からなる。符号化側では、フレーム画像内の注目領域とフレーム画像全体を別々の処理内容で符号化する。復号化側では、符号化された注目領域と符号化されたフレーム画像全体を別々に復号化し、復号化後のフレーム画像内に復号化後の注目領域を合成する。

本発明によれば、相当コンスタントに相当高いデータ圧縮率を実現することが可能となる。

本発明の好適な実施の形態について適宜図面を参照しながら説明する。

（実施の形態１）
図１は、本発明に係る画像処理方法を用いた画像処理装置１００の構成図である。画像処理装置１００は、フレーム画像を符号化器へ渡す前処理を行う。この装置は、フレーム画像に含まれる画像領域について符号化の処理内容を記述することによって第一の情報である処理内容情報を生成し、その画像領域についてそのフレーム画像内における位置を記述して第二の情報である位置情報を生成する。しかる後、これら２つの情報を関連づけて出力する。

画像処理装置１００は、まずフレーム画像２を入力するフレーム入力部４をもつ。フレーム入力部４は、フレーム画像２を格納するフレームメモリ（図示せず）を内蔵している。フレーム入力部４から適当なタイミングで出力されたフレーム画像１２は、注目領域設定部６へ入力される。注目領域設定部６はフレーム画像内に注目領域を定める。例えばテレビ電話への応用を考えた場合、注目領域として話者の顔の領域や顔を含む矩形等任意形状の領域が考えられる。注目領域設定部６は例えば以下の方法で注目領域を設定する。

１．ユーザー入力ユーザーが注目領域として設定したい画像領域をマウスなどによって入力する。注目領域設定部６はユーザーによって入力された領域を注目領域とする。

２．自動検出既知の画像処理技術、例えばオプティカルフロー、色によるオブジェクトの認識などの方法により注目領域を自動検出する。

注目領域設定部６は、注目領域を設定した後、その領域のフレーム画像内位置を位置情報２０として装置外部へ出力する。位置情報２０は注目領域設定部６から出力されたフレーム画像１４とともに領域分割部８へも入力される。注目領域設定部６から出力されたフレーム画像１４は、この段階ではまだ最初に入力されたフレーム画像２と同一である。

領域分割部８は位置情報２０を参照し、フレーム画像１４から注目領域を分割する。領域分割部８は、分割した注目領域１６と、分割に影響されないもとのフレーム画像１８を別経路で処理情報付与部１０に与える。領域分割部８から出力されたフレーム画像１８は、この段階でも最初に入力されたフレーム画像２と同一である。

処理情報付与部１０は、入力された画像データに対し、その画像データを符号化する際の処理内容を付加して出力する。すなわち、注目領域１６についてはその領域を符号化するための処理内容を付与して符号化指示付注目領域２２を出力する。フレーム画像１８についても同様に、その画像を符号化する際の処理内容を付加して符号化指示付フレーム画像２４を出力する。符号化の処理内容として、複数の符号化手法のうちのひとつを指定してもよいし、符号化手法自体は変えずにその符号化パラメータを指示してもよい。フレーム画像１８全体の中で注目領域１６の画質を維持したければ、注目領域１６については画質が高くなるような符号化手法、例えば符号化精度が高まるようなパラメータの指定、またはデータ圧縮率がある程度低くなるようなパラメータの指定を行うことにより、符号化指示付注目領域２２を生成する。フレーム画像１８については逆に、注目領域１６に比べてある程度データ圧縮率が高まるような符号化手法を選択する。

処理情報付与部１０によって符号化器での符号化精度を変える場合、例えばＭＰＥＧならＤＣＴ係数の量子化パラメータや、画像の空間解像度を変えることにより、最終的な符号量を変えればよい。ＤＣＴ係数とは、画像の符号化を空間周波数成分に注目して行う際に一般に実施される直交変換の一種である離散コサイン変換の係数をいう。一方、空間解像度とは、縦横方向の画素数によって決まる解像度をいう。したがって注目領域１６については、相対的にＤＣＴ係数の量子化ステップを細かく（量子化パラメータを小さく）設定するか、空間解像度を高めに設定すればよい。

符号化指示付注目領域２２、符号化指示付フレーム画像２４、位置情報２０はともに図示しない符号化器へ与えられる。位置情報２０は符号化器で符号化ビットストリームの中に組み込まれる。ただし、位置情報２０は符号化処理自体には必要ではないため、これを図示しない復号化器に送ってもよい。

以上の構成による画像処理装置１００の動作を説明する。まず、フレーム画像２は画像処理装置１００のフレーム入力部４へ入力される。ここがバッファとしてタイミングの調整を図り、フレーム入力部４から出力されたフレーム画像１２が注目領域設定部６へ与えられる。注目領域設定部６では、例えばユーザーの指示に従い、注目領域を例えば矩形でフレーム画像内に設定する。それ以外の方法として、注目領域設定部６は人物の顔など重要な領域を自ら検出し、これを注目領域として設定してもよい。その場合でも、人物の顔を囲む矩形の領域を設定すれば、一般に後の処理の負担は軽くなる。注目領域が設定されれば位置情報２０が出力される。位置情報２０は例えば注目領域の矩形の右上及び左下の画像内座標でもよい。位置情報２０及び注目領域設定部６から出力されたフレーム画像１４は領域分割部８へ入力される。

領域分割部８は、注目領域設定部６から出力されたフレーム画像１４を入力し、これをフレーム画像１８として出力するとともに、位置情報２０を用いて注目領域の切り出しを行う。切り出された注目領域１６はフレーム画像１８とともに処理情報付与部１０へ出力される。

処理情報付与部１０は、注目領域１６に対して相対的に多くの符号量が割かれるように符号化指示付注目領域２２及び符号化指示付フレーム画像２４を出力する。図示しない符号化器は、符号化指示付注目領域２２及び符号化指示付フレーム画像２４をそれぞれの符号化の処理内容にしたがって符号化することができる。

以上が符号化までの流れである。こうして符号化器で符号化された画像データが復号化器へ投入されるとき、復号化器は位置情報２０を参照するため、注目領域及びフレーム画像全体を別々に符号化し、しかる後、復号化されたフレーム画像に復号化された注目領域を合成することができる。これで一連の符号化及び復号化処理が完結する。

以上、本実施形態によれば、実際の符号化処理の前段で処理が行われるため、符号化器自体のハードウェアを変更する必要がない。通常符号化器は、符号化精度を制御する符号化制御部を備えるため、符号化の処理内容についてはその符号化制御部へ渡すことができる。本実施形態によれば、注目領域以外の領域のデータ圧縮率を高く維持することができるため、比較的コンスタントに、比較的高いデータ圧縮効果を得ることができる。なお、本実施形態については以下のような変形技術も考えられる。

（１）本実施形態では、処理情報付与部１０においてフレーム画像１８全体についても符号化処理の内容を付加して出力した。しかしながら、フレーム画像１８についてはデフォルトで符号化処理の内容を定めておくことにより、フレーム画像１８が処理情報付与部１０を素通りするか、またはそこを介さないような構成を採用してもよい。

（２）同様に、注目領域１６の符号化処理の内容を定めておけば、（１）とは逆に注目領域１６が処理情報付与部１０を素通りするか、またはそこを介さないような構成を採用することができる。

（３）本実施形態では注目領域を設定することとした。しかし逆に非注目領域を設定することにより、以降の処理を反転することもできる。

（実施の形態２）
実施の形態１では、注目領域１６を分割した後、もとのフレーム画像１８をそのまま符号化器へ渡す構成とした。実施形態２では、フレーム画像１８のうち注目領域１６に相当する部分に単純化処理を施し、後段の符号化器において更に高いデータ圧縮率が達成できるための画像処理装置を説明する。したがってこの画像処理装置も、符号化のための前処理装置と把握することができる。

図２は本実施形態に係る画像処理装置１０２の構成図である。同図における新たな構成は、フレーム画像１８に対して単純化処理を施す単純化処理部２６である。単純化処理部２６は、フレーム画像１８のうち、すでに切り出された注目領域１６に相当する部分に対し、画像の単純化処理を施す。単純化を経たフレーム画像は修正フレーム画像２８として処理情報付与部１０に出力される。

図３は、本実施形態に係る領域分割部８及び単純化処理部２６の動作を説明する図である。同図のごとく、注目領域設定部６から出力されたフレーム画像１４から、領域分割部８において注目領域１６が切り出される。続いて単純化処理部２６により、領域分割部８から出力されたフレーム画像１８に単純化処理が施される。図３の場合、注目領域１６に相当する領域３０が単一色で塗られ（すなわち、領域３０に含まれる画素の画素値が所定の固定データに一括して置き換えられ）、修正フレーム画像２８が生成されている。この状態で、注目領域１６及び修正フレーム画像２８が処理情報付与部１０に与えられる。処理情報付与部１０は、これらふたつの画像に対して異なる符号化の処理内容を付加し、符号化指示付注目領域２２及び符号化指示付フレーム画像２４を出力する。

本実施形態によれば、実施形態１に比べ、更に高いデータ圧縮率を実現することができる。単純化処理によって単一色に置き換えられた領域３０がより少ない符号量で符号化できるためである。こうした単純化処理を行っても、復号化器はこれらふたつの画像を復号化した後、位置情報２０を用いて画像の合成ができるため、単純化処理が施された領域を最終的に覆い隠すことができる。

本実施形態では、単純化処理として単一色による置き換えを行ったが、最終的に符号量が減るような画像変換処理であれば、いかなる処理も採用可能である。例えば、切り出された注目領域１６と境界線上で同じ色になるような画像を領域３０にはめ込んでもよい。その場合、境界線前後で画素値の変化が少ないため、一般に符号量が減る。これ以外に、切り取られた領域３０の上下及び左右方向で色が滑らかに変化するようにグラデーション処理を行ってもよい。

（実施の形態３）
実施の形態１、２では画像符号化の前処理装置を説明した。本実施形態では、符号化器も含む画像処理装置を説明する。

図４は、本実施形態に係る画像処理装置１０４の構成図である。本実施形態における新たな構成は、注目領域１６を符号化する第一符号化器４０と、修正フレーム画像２８を符号化する第二符号化器４２と、これらふたつの符号化器の符号化精度を制御する符号化制御部４４である。これらの構成を新設したことに伴い、処理情報付与部１０は削除されている。その他の構成については、図２同等であり、同一の符号を与えて説明を省略する。

符号化制御部４４は、第一符号化器４０における符号化精度を相対的に高く、一方、第二符号化器４２による符号化精度を相対的に低く設定する。第一符号化器４０及び第二符号化器４２は、例えば既存の符号化器をそのまま採用することができる。その場合、それら符号化器には必要なフレームメモリ等が予め内蔵されており、必要なタイミング制御等が可能になる。

第一符号化器４０の出力４６は図示しない復号化器へ与えられる。同様に、第二符号化器４２の出力４８も復号化器へ与えられる。画像処理装置１０４によれば、実施形態２の画像処理装置１０２及び符号化器の組み合わせによる効果を得ることができる。

なお、本実施形態については単純化処理部２６は必須ではなく、これを外した場合、領域分割部８から出力されたフレーム画像１８をそのまま第二符号化器４２へ投入すればよい。

（実施の形態４）
実施の形態１〜３では、主に１枚のフレーム画像を符号化するための構成を説明した。本実施形態では、連続的に投入されるフレーム画像、すなわち動画像を符号化し、またはその前処理を行うための装置を説明する。

図５は、本実施形態に係る注目領域設定部５４及びその周辺の構成を示す図である。同図の構成は、図１、図２、図４のいずれの画像処理装置にも組み込むことができ、その際、新たに設けられる構成は注目領域保持部５０である。

注目領域保持部５０には、領域分割部８で分割された注目領域１６が入力されている。注目領域保持部５０は、入力された注目領域１６の画像５２を注目領域設定部５４へ適切なタイミングで出力する。注目領域設定部５４は、注目領域保持部５０から与えられた画像５２をモデルとして、フレーム入力部４から出力されたフレーム画像１２に対し、画像マッチング処理を行う。画像マッチングには既知のエリアマッチング、ブロックマッチング等の手法が用いられる。その結果、良好なマッチングを示した箇所が新たな注目領域として検出され、注目領域設定部５４で自動設定される。以下同様に、ひとつ前のフレーム画像に関する注目領域を用いて次のフレーム画像における注目領域の位置を検出することで、動画像に対して連続的に対応することができる。

本実施形態のように動画像を扱う場合、符号化精度を変える新たな方法として、フレーム間隔（フレームスキップ数）を変える方法がある。つまり、フレーム画像１８についてはある程度フレームを間引いて符号化することにより、全体の符号量を低減することができる。なお、本実施形態についても実施形態１〜３で述べた各種変形技術が可能である。

（実施の形態５）
実施の形態１〜４では符号化及びその前処理装置を中心に述べた。本実施形態では復号化及びその後処理装置について説明する。

図６は本実施形態に係る画像処理装置１０６の構成図である。この画像処理装置１０６は、例えば実施形態３の画像処理装置１０４によって符号化された画像データを復号化するものであり、図４と同一の信号には同一の符号を与えている。この画像処理装置１０６は、符号化された注目領域４６を入力し、これを復号化する第一復号化器５６と、符号化されたフレーム画像４８を入力し、これを復号化する第二復号化器５８と、第一復号化器５６で復号化された注目領域６０及び第二復号化器５８で復号化されたフレーム画像６２を合成する画像合成部６４を含む。画像合成部６４は、注目領域の位置を示す位置情報２０を参照する。

以上の構成による復号化の動作を説明する。第一復号化器５６は、符号化された注目領域４６を入力する。復号化された注目領域６０は画像合成部６４へ与えられる。同様に、第二復号化器５８で復号化されたフレーム画像６２も画像合成部６４へ与えられる。このとき注意すべきは、これらふたつの復号化器が、符号化精度という概念を持たないことである。すなわち符号化精度は符号化の際に問題となるだけであり、復号化は一定の規則で単純に行われる。したがって、図４における符号化制御部４４のような構成は本実施形態では不要である。一方、画像合成部６４は、復号化されたフレーム画像６２の適切な位置に復号化された注目領域６０をはめ込むことにより、もとの画像を再生する。このとき、はめ込みの位置として位置情報２０を用いる。はめ込みは、実際には画像の上書きであり、処理の付加は軽い。こうして合成された画像は最終画像６６として出力される。以降、この最終画像６６は、例えば表示装置に表示される。

以上、本実施形態によれば既存の復号化器をふたつ用いて第一復号化器５６及び第二復号化器５８とすることができる。復号化の後処理に相当する画像合成部６４は、例えばソフトウェアを中心に構成することができる。したがって本実施形態によれば、例えば実施形態３の画像処理装置１０４とあわせて使うことにより、比較的にコンスタントに、比較的高いデータ圧縮率を実現することができる。

なお本実施形態では、位置情報２０を用いて画像を合成することとした。しかしながら、画像合成部６４は他の方法を用いて画像を合成することも可能である。例えば、符号化に実施形態３の画像処理装置１０４を用いたとき、復号化されたフレーム画像６２は図３に示す修正フレーム画像２８に対応して単一色の領域３０を持つ。そのため、画像合成部６４はそのような単一色の領域３０を探索することにより、この領域に復号化された注目領域６０の画像をはめ込むことができる。それ以外の方法として、画像合成部６４は、復号化された注目領域６０をフレーム画像内の固定位置に合成してもよい。例えばテレビ電話で人物を写すような場合、その人物の顔の位置が大きく変わることはあまりない。そうした経験則に基づき、復号化されたフレーム画像６２の中央付近に復号化された注目領域６０を合成してもよい。この方法の場合、画像合成部６４は位置情報２０を参照する必要がなく、この信号を削除することもできる。なお、固定位置への合成によってずれが生じた場合、図３の単一色の領域３０が画面に見える場合が考えられる。そうした事態に配慮し、単一色の領域３０が現れた場合にはその周辺の画素によってその領域を埋めるなどの処理を施すこともできる。

更に本実施形態によれば、符号化側と復号化側からなる画像処理システムを実現することができる。例えば、図４に示す画像処理装置１０４を符号化側、図６に示す画像処理装置１０６を復号化側に配置すればシステムができる。それ以外に符号化側は、まず図１の画像処理装置１００または図２の画像処理装置１０２を前処理装置として配置し、その後段に符号化器をおくことで実現する。その場合も復号化側は例えば図６の画像処理装置１０６で構成することができる。図６の画像処理装置１０６は、必ずしもふたつの復号化器を持つ必要はなく、単一の復号化器で処理することもできる。その場合、復号化器の出力部にフレームメモリなどのバッファをおき、復号化された注目領域６０及び復号化されたフレーム画像６２をいったん格納する構成とする。画像合成部６４はそのバッファからふたつの画像を取り出し、画像を合成する。

以上、種々の実施形態を説明した。これらの実施形態では、フレーム画像全体と注目領域の画像がいつも一対で送受信される点に特徴がある。

（実験の結果）
本発明の有用性をテストするために、図４の画像処理装置１０４及び図６の画像処理装置１０６を組み合わせた画像処理システムについてテストを行った。図４の画像処理装置１０４において、第一符号化器４０及び第二符号化器４２として、Ｈ．２６３エンコーダを用いた。またフレーム画像として、ＭＰＥＧ４テスト画像「ｆｏｒｅｍａｎ」（ＣＩＦ ３５２×２８８、１００フレーム分）を利用した。注目領域として、顔の部分をＱＣＩＦサイズ（１７６×１４４）の矩形で切り出した。注目領域については、ＤＣＴ係数の量子化パラメータＱＰ＝２で符号化した。フレーム画像から注目領域を取り除いた部分は灰色の単一色で埋め、修正フレーム画像を作成した。修正フレーム画像はＱＰ＝１０で符号化した。なお、ＱＰは小さな値ほど符号化精度が高い。

実験の結果、フレーム画像全体を均一にＱＰ＝２で符号化した場合に比べ、注目領域の画質を落とすことなく、平均で３０パーセントの符号量を削減することができた。

実施の形態１に係る画像処理装置の構成図である。 実施の形態２に係る画像処理装置の構成図である。 実施の形態２において、修正フレーム画像を生成する様子を示す図である。 実施の形態３に係る画像処理装置の構成図である。 実施の形態４における注目領域設定部及びその周辺の構成図である。 実施の形態５に係る画像処理装置の構成図である。

符号の説明

２ フレーム画像
４ フレーム入力部
６，５４ 注目領域設定部
８ 領域分割部
１０ 処理情報付与部
１２ フレーム入力部から出力されたフレーム画像
１４ 注目領域設定部から出力されたフレーム画像
１６ 領域分割部から出力された注目領域
１８ 領域分割部から出力されたフレーム画像
２０ 位置情報
２２ 符号化指示付注目領域
２４ 符号化指示付フレーム画像
２６ 単純化処理部
２８ 修正フレーム画像
３０ 領域
４０ 第一符号化器
４２ 第二符号化器
４４ 符号化制御部
４６ 符号化された注目領域
４８ 符号化されたフレーム画像
５０ 注目領域保持部
５２ 注目領域１６の画像
５６ 第一復号化器
５８ 第二復号化器
６０ 復号化された注目領域
６２ 復号化されたフレーム画像
６４ 画像合成部
６６ 最終画像
１００，１０２，１０４，１０６ 画像処理装置

Claims (1)

1. フレーム画像を入力する手段と、 入力されたフレーム画像において注目領域の位置を設定する手段と、
   位置の設定された注目領域をフレーム画像から分割する手段と、
   を含み、フレーム画像全体と分割された注目領域の画像をそれぞれ異なる処理
   内容で符号化する符号化装置に向けて出力することを特徴とする画像処理装置。
   

Images