JP2004247988A - 画像処理装置およびプログラム - Google Patents
画像処理装置およびプログラム Download PDFInfo
- Publication number
- JP2004247988A JP2004247988A JP2003036092A JP2003036092A JP2004247988A JP 2004247988 A JP2004247988 A JP 2004247988A JP 2003036092 A JP2003036092 A JP 2003036092A JP 2003036092 A JP2003036092 A JP 2003036092A JP 2004247988 A JP2004247988 A JP 2004247988A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- correction
- decoded
- corrected
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】圧縮動画像データに対して画質補正を行って処理済み圧縮動画像データを得る処理を効率良く行うと共に、処理済み圧縮動画像データを表示する際の明るさの増減を防ぐ。
【解決手段】動画処理部７０は動画像Ｇをイントラフレームとインターフレームとに分離し、イントラフレームのみに対してデコード、画質補正、エンコードを行って得た補正済みイントラフレームＭ０２とインターフレームとを合成して補正済み動画像Ｇ’を得る。動画処理部７０の補正部７６は、各デコードイントラフレームＭ０に対して、そのデコードイントラフレームＭ０自身のデータから算出した補正パラメータｆと、該補正パラメータｆが対応するデコードイントラフレームの前後１つずつのデコードイントラフレームの補正パラメータとの平均を取って得た平均値を該デコードイントラフレームの補正パラメータとする。
【選択図】 図２
【解決手段】動画処理部７０は動画像Ｇをイントラフレームとインターフレームとに分離し、イントラフレームのみに対してデコード、画質補正、エンコードを行って得た補正済みイントラフレームＭ０２とインターフレームとを合成して補正済み動画像Ｇ’を得る。動画処理部７０の補正部７６は、各デコードイントラフレームＭ０に対して、そのデコードイントラフレームＭ０自身のデータから算出した補正パラメータｆと、該補正パラメータｆが対応するデコードイントラフレームの前後１つずつのデコードイントラフレームの補正パラメータとの平均を取って得た平均値を該デコードイントラフレームの補正パラメータとする。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、具体的には圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置およびそのためのプログラムに関するものである。
【０００２】
【従来の技術】
動画像を美しく表示するために、撮影して得た動画像に対して階調補正などの画質補正を行うことが行われている。特許文献１には、ＮＴＳＣなどのビデオ映像信号をＡ／Ｄ変換して動画像データを得、動画像データの輝度ヒストグラムを算出してそれをもとに階調補正用のルックアップテーブルを作成し、このルックアップテーブルを用いて階調補正を行う方法が提案されている。
【０００３】
また、近年、デジタルカメラや、カメラ付き携帯電話機の普及に伴って、動画像はＮＴＳＣなどのビデオ映像信号だけではなく、ＭＰＥＧなどの圧縮技術によりデジタル圧縮されたデータとして取り扱われることが多くなってきている。静止画を撮像するときと異なって、動画像を撮影する際にはフラッシュの使用が困難であるため、これらの撮像装置により取得した動画像は暗くなる傾向がある。このようなデジタル圧縮された画像データから構成される動画像を美しく表示するためには、ＮＴＳＣなどのアナログ信号の場合と同じように、階調補正などの画質補正処理を施すことが必要である。
【０００４】
なお、これらの動画像データは、圧縮された状態で記録媒体に記録されたり、送信されたりしているので、動画像データを表示する装置は、動画像データを表示する際に、そのデータが圧縮されていることを前提として表示処理を行う必要がある。すなわち、このような背景において、圧縮された動画像データに対して画質補正処理を施して得た処理済み画像データも、上述のような表示装置に対応するため、圧縮動画像データである必要がある。
【０００５】
しかし、ＭＰＥＧなどの圧縮技術でデジタル圧縮された動画像データ（以下圧縮動画像データという）に対して階調補正などの画質補正処理を施して処理済みの圧縮動画像データを得るためには、まず、圧縮動画像データをデコードし、デコードしたデータに対して画質補正処理を施し、補正されたデータをエンコードして目的の処理済み動画像データを得る手順を踏む必要がある。動画像データのデコードおよびエンコードは、演算量が多いため、処理時間がかかるという問題がある。この問題は、特に通信分野において顕著である。
【０００６】
通信の１例とする移動通信の分野において、携帯電話などの携帯端末の普及および携帯端末の機能の充実に伴って、携帯端末を対象とする画像サービスが盛んに行われている。例えば、携帯端末同士間の電子メールを中継する際に、送信側の携帯端末から送信された電子メールに添付された画像データに対して、階調補正や、ホワイトバランス補正、濃度補正、シャープネス処理などの画質補正処理を行ってから受信側の携帯端末に送信するまたは一旦保持してダウンロードさせるような、画質補正機能を有する通信中継サーバ装置がある。これらのサーバ装置において、迅速に画質補正処理を行うことができないと、ユーザにストレスを感じさせてしまうので、サービス向上を図るどころか、却ってサービスの低下を招く結果となる。また、画質補正処理に費やす時間が長くかかると、サーバ装置側に処理待ちの画像データを記憶する記憶装置は莫大な容量を必要とするなど、サーバ装置のコストがかかるという問題もある
また、テレビ電話などの分野においても同様である。画質向上のための補正処理を迅速に行うことができないと、ユーザは相手の画像をリアルタイムに見ることができず、テレビ電話の意味がなくなり、コミュニケーションに支障を来たしてしまうという問題がある。
【０００７】
また、通信以外の分野においても同様である。例えば、ＣＤ−ＲＯＭなどの記録媒体に記録された動画像データをコンピュータのモニタに表示させる場合、コンピュータ側において、動画像を美しく表示させるために画質補正処理を行うのはよいが、画質補正処理の時間が長いと、通信の場合と同様に、ユーザにストレスを感じさせてしまう。
【０００８】
片方、圧縮動画像データは通常複数のフレームとからなり、これらのフレームは、概して、他のフレームに依存せず、独立したデータにより形成されたフレームと、他のフレームに依存し、他のフレームのデータとの差分により形成されたフレームとの２種類に分けることができる。前者の方がイントラフレームと呼ばれ、後者の方がインターフレームと呼ばれている。また、他のフレームのデータに依存する点において同じでも、インターフレームは、他のフレームに依存する形式が異なる場合がある。例えば、ＭＰＥＧの圧縮動画像データのフレームは、Ｉフレーム、Ｐフレーム、Ｂフレームの３種類があり、Ｉフレームはイントラフレームであり、Ｐフレーム、Ｂフレームはインターフレームであるが、Ｐフレームは、自身より前のフレームのデータにしか依存しないことに対して、Ｂフレームは、自身の前と後のフレーム両方に依存する。
【０００９】
このように、圧縮動画像データは、他のフレームに依存しないフレームと、他のフレームに依存するフレームとからなり、この特性を利用して、圧縮動画像データに対して階調補正などの画質補正処理を施す際に、圧縮動画像データを、例えば、他のフレームに依存しないフレームと、他のフレームに依存フレームとに分離し、他のフレームに依存しないフレームのみに対してデコード、画質補正処理、エンコードをして補正済みのフレームを得、これらの補正済みのフレームと、他のフレームに依存するフレームと合成することによって処理済み圧縮動画像データを得るようにすれば、圧縮動画像データの一部分のみに対してデコード、画質補正処理、エンコードを行うことになるので、処理時間の短縮を図ることができる。また、他のフレームに依存するフレームに対して直接的に画質補正処理を施していないが、他のフレームに依存するフレームは、他のフレームに依存しないフレームのデータとの差分により形成されるので、他のフレームに依存するフレームを補正すれば、これらのフレームに依存するフレームに対しても画質補正処理を施したこととなる。
【００１０】
また、表示された動画像の画質をより向上させるため、圧縮動画像データを他のフレームに依存しないフレーム、他のフレームに依存する程度が低いフレーム（例えば前述したＰフレーム）と、他のフレームに依存する程度が高いフレーム（例えばＰフレームに対応して、Ｂフレーム）とに分離し、他のフレームに依存しないフレームおよび他のフレームに依存する程度が低いフレームのみに対してデコード、画質補正処理、エンコードをして補正済みのフレームを得、これらの補正済みのフレームと、他のフレームに依存する程度が高いフレームと合成することによって処理済み圧縮動画像データを得るようにしてもよい。
【００１１】
【特許文献１】
特許第３０８７４０９号公報
【００１２】
【発明が解決しようとする課題】
しかし、複数のフレームからなる圧縮動画像データに対して画質補正処理を行う際に、特許文献１記載の方法を適用し、補正する対象のフレーム（例えば前述したイントラフレーム）自身のデータを用いて該フレームを補正するための補正パラメータを求めるようにすると、フレームの画像内容の変化によって補正パラメータが著しく変化する場合があり、このような場合、補正する対象のフレーム自身のデータから求められた補正パラメータを用いて該フレームに対して補正を行って得た処理済み圧縮動画像データを表示する際に、画像の明るさの増減、すなわち画像のちらつきが激しくなり、鑑賞するユーザに不快感を与えてしまうという問題がある。
【００１３】
本発明は、上記事情に鑑みてなされたものであり、圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る際に、処理時間の短縮を図ると共に、補正による画像の明るさの増減を軽減することができる画像処理装置およびそのためのプログラムを提供することを目的とするものである。
【００１４】
【課題を解決するための手段】
本発明の第１の画像処理装置は、複数のフレームからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、補正対象フレームと非補正対象フレームとに分離する分離手段と、
該分離手段により得られた前記補正対象フレームをデコードしてデコードフレームを得るデコード手段と、
該デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正手段と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード手段と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備え、
前記補正手段が、各前記デコードフレームの夫々のデータを用いて対応するデコードフレームの補正パラメータを算出する補正パラメータ算出手段と、
該パラメータ算出手段により算出された各々の前記補正パラメータを、該補正パラメータの対応するデコードフレームの前および／または後のデコードフレームの補正パラメータを用いて調整してデコードフレーム毎の調整済みパラメータを得るパラメータ調整手段と、
該調整済みパラメータを用いて、対応するデコードフレームに対して前記画質補正処理を実行する補正実行手段とを備えてなるものであることを特徴とするものである。
【００１５】
ここで、圧縮動画像データの「補正対象フレーム」とは、それを補正することによって、動画像データの全体の画質に影響を与えるフレームを意味する。
【００１６】
また、圧縮動画像データの「非補正対象フレーム」とは、それを補正することによって、動画像データの全体の画質に影響を与えない、または「補正対象フレーム」を補正することほど影響を与えないフレームを意味する。言い換えれば、これらのフレームに対して画質補正処理を施さなくても、動画像データの全体の画質に影響をそれほど与えず、画質補正処理を施さなくてもよいフレームである。
【００１７】
圧縮動画像データの「補正対象フレーム」と「非補正対象フレーム」との区別の仕方は、圧縮動画像データの圧縮方式に依存する。動画像データは通常複数のフレームから構成され、それに対して行う圧縮方式としては、例えば、動画像業界の基準となりつつあるＭＰＥＧや、テレビ電話などで用いられるＩＴＵ−Ｔ Ｈ．２６１およびＩＴＵ−Ｔ Ｈ．２６３や、携帯電話の動画像圧縮規格として採用されているＮａｎｃｙなどの圧縮方式によって圧縮された動画像データは、他のフレームのデータに依存しないデータにより形成されるイントラフレームと、他のフレームのデータに対する差分により形成されたインターフレームとから構成される。このような場合、イントラフレームに対して画質補正処理を行えば、イントラフレームに依存したデータにより形成されたインターフレームも補正されたことになる。すなわち、この場合、画質補正処理を行う際に必要なデコード処理は、イントラフレームに対してのみ行えばよく、イントラフレームは「補正対象フレーム」となり、インターフレームは「非補正対象フレーム」となる。
【００１８】
また、圧縮方式によって、インターフレームは、他のフレームのデータに対する差分により形成され、他のフレームに依存する点においては同様であるが、依存する仕方が異なる場合がある。例えば、Ｉフレーム、Ｐフレーム、Ｂフレームから構成される圧縮動画像データの場合、Ｉフレームは他のフレームに依存しないフレームであり、Ｐフレーム、Ｂフレームは他のフレームに対する差分により形成され、他のフレームに依存するインターフレームではあるが、Ｐフレームは自身より前のフレームにしか依存せず、Ｂフレームは自身の前のフレームにも、後のフレームにも依存する。すなわち、Ｂフレームに比べ、Ｐフレームは他のフレームに対する依存性が低く、Ｐフレームに対しても画質補正処理を行うことによって、より画質の改善を図ることができる。この場合、Ｉフレームのみを「補正対象フレーム」とし、Ｐフレーム、Ｂフレームを「非補正対象フレーム」としてもよいが、ＩフレームとＰフレームを「補正対象フレーム」とし、Ｂフレームを「非補正対象フレーム」とすることが好ましい。
【００１９】
本発明の第１の画像処理装置の補正手段は、デコード手段により前記補正対象フレームをデコードして得たデコードフレームに対して画質補正処理を施す際に、まず、まず、パラメータ算出手段によりそのデコードフレーム自身のデータから該デコードフレームの補正パラメータを算出し、算出された補正パラメータに対して、補正手段のパラメータ調整手段は、該補正パラメータが対応するデコードフレームの前および／または後のデコードフレームの補正パラメータを用いて調整する。補正手段の補正実行手段は、パラメータ調整手段により得られた調整済みのパラメータを用いて該当するデコードフレームに対する画質補正処理を実行する。
【００２０】
ここで、パラメータ調整手段は、例えば、１つのデコードフレームの補正パラメータと、該デコードフレームの前および／または後の１つ以上のデコードフレームの補正パラメータとの平均を取って得た平均値を該デコードフレームの調整済みパラメータとするようにして各デコードフレームの補正パラメータを調整するものとすることができる。
【００２１】
本発明の第２の画像処理装置は、イントラフレームおよびインターフレームとからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、イントラフレーム、補正対象インターフレームと非補正対象インターフレームとに分離する分離手段と、
該分離手段により得られた前記イントラフレームおよび前記補正対象インターフレームをデコードしてデコードイントラフレームまたはデコード補正対象インターフレームであるデコードフレームを得るデコード手段と、
前記デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正手段と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード手段と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備え、
前記補正手段が、各前記デコードイントラフレームに対して前記画質補正処理を行うための補正パラメータを算出して前記画質補正処理を施すと共に、前記デコード補正対象インターフレームに対して、該デコード補正対象インターフレームの前の、最も近い前記デコードイントラフレームの補正パラメータを用いて前記画質補正処理を行うものであることを特徴とするものである。
【００２２】
ここで、「非補正対象インターフレーム」は、他のフレームに依存し、画質補正処理を行うことによって、動画像全体の画質に殆ど影響を与えないフレームを意味し、「補正対象インターフレーム」とは、他のフレームに依存するものの、非補正対象インターフレームに比べ、画質補正を行うことによって、動画像全体の画質に影響を与えるフレームを意味する。具体的には、例えば、前述したように、ＭＰＥＧなどの圧縮方式で圧縮を行って得た圧縮動画像データは、イントラフレームとインターフレームから構成され、インターフレームは、他のフレームに依存する程度が低いフレーム（例えば前述したＰフレーム）と他のフレームに依存する程度が高いフレーム（Ｐフレームに対応して、Ｂフレーム）との２種類に分けられることができる。このような場合、Ｉフレームはイントラフレームとなるが、Ｐフレームは「補正対象フレーム」、Ｂフレームは「非補正対象フレーム」とすることができる。
【００２３】
すなわち、本発明の第２の画像処理装置は、イントラフレームと補正対象インターフレームとに対してデコード、画質補正、エンコードを行って補正済みフレームを得、該補正済みフレームと非補正対象インターフレームと合成することによって処理済み圧縮動画像データを得るものであり、デコードされたイントラフレームとデコードされた補正対象インターフレームに対して画質補正処理を施す補正手段は、デコードイントラフレームにのみに対して補正パラメータを算出して画質補正処理を行う一方、デコード補正対象インターフレームに対しては、補正パラメータを新たに求めることをせず、該デコード補正対象フレームの前の、最も近いデコードイントラフレームの補正パラメータを用いて画質補正処理を行う。
【００２４】
また、イントラフレームおよびインターフレームとからなる圧縮動画像データには、先頭フレームのみが他のフレームに依存しないフレーム、すなわちイントラフレームとなる圧縮方式で圧縮されて得たものがある。このような圧縮動画像データの場合、先頭フレームのみがイントラフレームとなり、全ての補正対象インターフレームに対して、「最も近いデコードイントラフレーム」は先頭フレームをデコードして得たデコード先頭フレームとなる。すなわち、この場合、補正手段は、デコード先頭フレームに対して画質補正処理の補正パラメータを算出して前記画質補正処理を施す一方、全ての補正対象インターフレームに対しては、デコード先頭フレームの補正パラメータを用いて画質処理を行う。
【００２５】
なお、この場合においての「先頭フレーム」は、圧縮動画像データの構造上の先頭に位置するフレームのことを意味し、必ずしも時系列的に先頭となるフレームに限らない。
【００２６】
本発明の第１のプログラムは、複数のフレームからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、補正対象フレームと非補正対象フレームとに分離する分離処理と、
該補正対象フレームをデコードしてデコードフレームを得るデコード処理と、
該デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正処理と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード処理と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなり、
前記補正処理が、各前記デコードフレームの夫々のデータを用いて対応するデコードフレームの補正パラメータを算出する補正パラメータ算出処理と、
各々の前記補正パラメータを、該補正パラメータの対応するデコードフレームの前および／または後のデコードフレームの補正パラメータを用いて調整するデコードフレーム毎の調整済みパラメータを得るパラメータ調整処理と、
前記調整済みパラメータを用いて、対応するデコードフレームに対して前記画質補正処理を実行する補正実行処理とからなることを特徴とするものである。
【００２７】
本発明の第２のプログラムは、イントラフレームおよびインターフレームとからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、イントラフレーム、補正対象インターフレームと非補正対象インターフレームとに分離する分離処理と、
該分離処理により得られた前記イントラフレームおよび前記補正対象インターフレームをデコードしてデコードイントラフレームまたはデコード補正対象インターフレームであるデコードフレームを得るデコード処理と、
前記デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正処理と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード処理と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなり、
前記補正処理が、各前記デコードイントラフレームに対して前記画質補正処理を行うための補正パラメータを算出して前記画質補正処理を施すと共に、前記デコード補正対象インターフレームに対して、該デコード補正対象インターフレームの前の、最も近い前記デコードイントラフレームの補正パラメータを用いて前記画質補正処理を行うことを特徴とするものである。
【００２８】
【発明の効果】
本発明の第１の画像処理装置によれば、圧縮動画像データを補正対象フレームと非補正対象フレームとに分離し、補正対象フレームに対してのみデコード、画質補正、エンコードを行って補正済みフレームを得、該補正済みフレームと非補正対象フレームとを合成することによって処理補正済み圧縮動画像データ’を得る際に、各補正対象フレームをデコードして得たデコードフレームに対して、そのデコードフレーム自身のデータから求められた補正パラメータを、該デコードフレームの前および／または後のデコードフレームのデータから求められた補正パラメータを用いて調整して得た調整済みパラメータを用いて画質補正を行うようにすることによって、デコード、エンコードするデータ量を減少することによって処理時間の短縮を図ると共に、補正のパラメータを調整することによって補正済み動画像を表示時の画像の明るさの増減を防ぐことができる。
【００２９】
本発明の第２の画像処理装置は、圧縮動画像データをイントラフレーム、補正対象インターフレームと、非補正対象インターフレームとに分離し、イントラフレームおよび補正対象インターフレームに対してのみデコード、画質補正、エンコード処理を行って補正済みフレームを得、該補正済みフレームと、非補正対象インターフレームとを合成することによって処理済み圧縮動画像データを得る際に、各イントラフレームに対して、そのデコードイントラフレームから補正パラメータを求めて画質補正処理を行うようにする一方、各補正対象インターフレームに対しては補正パラメータを求めることをせず、その補正対象インターフレームより前に位置する最も近いイントラフレームの補正パラメータを用いて画質補正処理を行うようにすることによって、デコード、エンコードするデータ量を減少することによって処理時間の短縮を図ると共に、補正パラメータの激しい変化を防ぎ、ひいては補正済み動画像を表示時の画像の明るさの増減を防ぐことができる。
【００３０】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００３１】
図１は、本発明の画像処理装置およびプログラムの第１の実施形態となる携帯電話システムＡの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＡは、複数の携帯電話機１０と、これらの複数の携帯電話機１０間の通信の中継を行う中継サーバ１００とからなり、携帯電話機１０と中継サーバ１００とは、携帯電話通信網２０を介して接続される。中継サーバ１００は、携帯電話機１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。以下、本発明の主旨が分かりやすいように、携帯電話機１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ１００の動作に重点をおいて説明を行う。また、以下の説明において、「画像」は、「画像データ」により表されるものとして、「画像」と「画像データ」とを同じ意味のものとする。
【００３２】
図２は、図１に示す携帯電話システムＡにおける中継サーバ１００の構成を示すブロック図である。図２（ａ）に示すように、携帯電話システムＡの中継サーバ１００は、各携帯電話機１０との送受信を行うための通信部３０と、通信部３０を含むサーバ１００の全体の動作を制御する制御部４０と、制御部４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部７０とを備えたものである。
【００３３】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、他のフレームに依存しないイントラフレームおよび他のフレームとの差分により形成され、他のフレームに依存するインターフレームから構成されるものである。
【００３４】
制御部４０は、通信部３０を介して送信側の携帯電話機１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部６０に出力し、静止画処理部６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部７０に出力し、動画処理部７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部４０は、静止画処理部６０または動画処理部７０により処理済みの画像と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する。
【００３５】
図２（ｂ）は、図２（ａ）に示す中継サーバ１００における動画処理部７０の構成を示すブロック図である。図示のように、図示のように、動画処理部７０は、圧縮動画像データである添付画像Ｇを、イントラフレームとインターフレームとに分離するフレーム分離部７２と、フレーム分離部７２により得られたイントラフレームをデコードしてデコードイントラフレームＭ０を得るデコード部７４と、デコードイントラフレームＭ０に対して画質補正処理を行って補正済みデコードイントラフレームＭ０１を得る補正部７６と、補正済みデコードイントラフレームＭ０１をエンコードして補正済みイントラフレームＭ０２を得るエンコード部８４と、補正済みイントラフレームＭ０２とフレーム分離部７２により得られたインターフレームとを合成して補正済み動画像Ｇ’を得る合成部８６とを備えてなるものである。
【００３６】
動画処理部７０の補正部７６は、各デコードイントラフレームに対して画質補正処理を施すものであり、処理対象のデコードイントラフレームＭ０のデータを用いて該デコードイントラフレームＭ０の補正パラメータｆを算出するパラメータ算出部７８と、この補正パラメータｆと該デコードイントラフレームの前後１つずつのデコードイントラフレームＭ０の補正パラメータとの平均を取って該デコードイントラフレームＭ０の補正パラメータ（調整済みパラメータｆ’）とするパラメータ調整部８０と、パラメータ調整部８０により得られた調整済みパラメータｆ’を用いて該当するデコードイントラフレームＭ０に対する画質補正処理を実行して補正済みデコードイントラフレームＭ０１を得る補正実行部８４とを備えてなるものである。
【００３７】
図３は、図２に示す中継サーバ１００の動作を示すフローチャートである。図示のように、図１に示す携帯電話システムＡにおける中継サーバ１００において、通信部３０を介して送信側の携帯電話機１０から画像が添付されたメールを受信する（Ｓ１０）と、制御部４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ２０）。添付画像が静止画像Ｓであれば（Ｓ２０：Ｎｏ）、制御部４０は、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部６０に出力する（Ｓ２５）。静止画処理部６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ３０）。制御部４０は、静止画処理部６０により得られた補正済み静止画像Ｓ’と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する（Ｓ９０）。
【００３８】
一方、ステップＳ２０において、添付画像が動画像Ｇであれば（Ｓ２０：Ｙｅｓ）、制御部４０は、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、動画像Ｇである添付画像を動画処理部７０に出力する（Ｓ３５）。動画処理部７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ１を行って、補正済み動画像Ｇ’を得る（Ｓ４０）。制御部４０は、動画処理部７０により得られた補正済み動画像Ｇ’と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する（Ｓ９０）。
【００３９】
図４は、図２に示す中継サーバ１００における動画処理部７０の動作を示すフローチャートである。図示のように、動画処理部７０は、動画像Ｇに対して補正処理Ｐ３を施すのにあたって、まず、フレーム分離部７２により、圧縮動画像データである画像Ｇを、イントラフレームとインターフレームとに分離する（Ｓ４２）。デコード部７６は、イントラフレームをデコードしてデコードイントラフレームＭ０を得る（Ｓ４４）、補正部７６のパラメータ算出部７８は、デコードイントラフレームＭ０自身のデータから、該デコードイントラフレームＭ０の補正パラメータｆを算出してパラメータ調整部８０に出力する（Ｓ４６）。パラメータ調整部８０は、１つのデコードイントラフレームＭ０の補正パラメータと、該デコードイントラフレームの前後１つずつのデコードイントラフレームの補正パラメータとの平均を取って得た平均値を該デコードイントラフレームＭ０の調整済みパラメータｆ’として補正実行部８２に出力する（Ｓ４８）。補正部７６の補正実行部８２は、調整済みパラメータｆ’を用いて該当するイントラフレームＭ０に対して画質補正処理を実行して補正済みデコードイントラフレームＭ０１を得る（Ｓ５０）。エンコード部８４は、補正部７６により得られた各補正済みデコードイントラフレームＭ０１をエンコードして補正済みイントラフレームＭ０２を得て合成部８６に出力する（Ｓ５２）。合成部８６は、各々の補正済みイントラフレームＭ０２と、ステップＳ４２において、フレーム分離部７２により動画像Ｇを分離して得たインターフレームとを合成して補正済み動画像Ｇ’を得て、制御部４０に供する（Ｓ５４）。
【００４０】
このように、本発明の第１の実施形態の携帯電話システムＡによれば、中継サーバ１００の動画処理部７０は、圧縮動画像データである添付画像Ｇに対して画質補正処理を施す際に、動画像Ｇをイントラフレームとインターフレームとに分離し、イントラフレームに対してのみデコード、画質補正、エンコード処理を行って補正済みイントラフレームＭ０２を得、該補正済みイントラフレームとインターフレームとを合成することによって補正済み動画像Ｇ’を得る際に、各イントラフレームに対して、そのイントラフレーム自身のデータから求められた補正パラメータと、該イントラフレームの前後１つずつのイントラフレームのデータから求められた補正パラメータとの平均を取って得た平均値を用いて該イントラフレームの画質補正を行うようにすることによって、デコード、エンコードするデータ量を減少することによって処理時間の短縮を図ると共に、補正のパラメータを調整することによって補正済み動画像を表示時の画像の明るさの増減を防ぐことができる。
【００４１】
図５は、本発明の第２の実施形態となる携帯電話システムＢの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＢは、複数の携帯電話機１１０と、これらの複数の携帯電話機１１０間の通信の中継を行う中継サーバ２００とからなり、携帯電話機１１０と中継サーバ２００とは、携帯電話通信網１２０を介して接続される。中継サーバ２００は、携帯電話機１１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。ここでも、本発明の主旨が分かりやすいように、携帯電話機１１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ２００の動作に重点をおいて説明を行う。
【００４２】
図６は、図５に示す携帯電話システムＢにおける中継サーバ２００の構成を示すブロック図である。図６（ａ）に示すように、携帯電話システムＢの中継サーバ２００は、各携帯電話機１１０との送受信を行うための通信部１３０と、通信部１３０を含むサーバ１００の全体の動作を制御する制御部１４０と、制御部１４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部１５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部１６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部１７０とを備えたものである。
【００４３】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、他のフレームに依存しないＩフレーム、自身より前のフレームにのみ依存するＰフレームおよび、自身の前と後のフレームに共に依存するＢフレームから構成されるもの、例えばＭＰＥＧ圧縮されたものである。
【００４４】
制御部１４０は、通信部１３０を介して送信側の携帯電話機１１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部１６０に出力し、静止画処理部１６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部１７０に出力し、動画処理部１７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部１４０は、静止画処理部１６０または動画処理部１７０により処理済みの画像と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する。
【００４５】
図６（ｂ）は、図６（ａ）に示す中継サーバ２００における動画処理部１７０の構成を示すブロック図である。図示のように、動画処理部１７０は、圧縮動画像データである添付画像Ｇを、Ｉフレーム、ＰフレームとＢフレームとに分離するフレーム分離部１７２と、Ｉフレーム、ＰフレームをデコードしてデコードＩフレームＩ０とデコードＰフレームＰ０を得るデコード部１７４と、デコードＩフレームＩ０とデコードＰフレームＰ０に対して画質補正処理を行って補正済みデコードＩフレームＩ０１と補正済みデコードＰフレームＰ０１を得る補正部１７６と、補正済みデコードＩフレームＰ０１と補正済みデコードＰフレームＰ０１をエンコードして補正済みＩフレームＩ０２と補正済みＰフレームＰ０２を得るエンコード部１８２と、補正済みＩフレームＩ０２、補正済みＰフレームＰ０２およびフレーム分離部１７２により動画像Ｇを分離して得たＢフレームを合成して補正済み動画像Ｇ’を得る合成部１８４とを備えてなるものであり、補正部１７６は、各デコードＩフレームＩ０のデータから、夫々のデコードＩフレームＩ０の補正パラメータｆを算出するパラメータ算出部１７８と、これらのパラメータｆを用いて夫々該当するデコードＩフレームＩ０に対して画質補正処理を施して補正済みデコードＩフレームＩ０１を得ると共に、１つのデコードＩフレームから、該デコードＩフレームの次のデコードＩフレームとの間のＰフレームに対して、該デコードＩフレームの補正パラメータを用いて画質補正処理を行って補正済みＰフレームＰ０１を得る補正実行部１８０とからなるものである。
【００４６】
図７は、図６に示す中継サーバ２００の動作を示すフローチャートである。図示のように、図５に示す携帯電話システムＢにおける中継サーバ２００において、通信部１３０を介して送信側の携帯電話機１１０から画像が添付されたメールを受信する（Ｓ１１０）と、制御部１４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ１２０）。添付画像が静止画像Ｓであれば（Ｓ１２０：Ｎｏ）、制御部１４０は、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部１６０に出力する（Ｓ１２５）。静止画処理部１６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ１３０）。制御部１４０は、静止画処理部１６０により得られた補正済み静止画像Ｓ’と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する（Ｓ１９０）。
【００４７】
一方、ステップＳ１２０において、添付画像が動画像Ｇであれば（Ｓ１２０：Ｙｅｓ）、制御部１４０は、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、動画像Ｇである添付画像を動画処理部１７０に出力する（Ｓ１３５）。動画処理部１７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ２を行って、補正済み動画像Ｇ’を得る（Ｓ１４０）。制御部１４０は、動画処理部１７０により得られた補正済み動画像Ｇ’と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する（Ｓ１９０）。
【００４８】
図８は、図６に示す中継サーバ２００における動画処理部１７０の動作を示すフローチャートである。図示のように、動画処理部１７０は、動画像Ｇに対して動画像補正処理Ｐ２を施すのにあたって、まず、フレーム分離部１７２により、圧縮動画像データである画像Ｇを、Ｉフレーム、ＰフレームとＢフレームとに分離する（Ｓ１４２）。デコード部１７４は、Ｉフレーム、ＰフレームをデコードしてデコードＩフレームＩ０とデコードＰフレームＰ０を得る（Ｓ１４４）。補正部１７６のパラメータ算出部１７８は、１つ目のデコードＩフレームＩ０のデータから該デコードＩフレームＩ０の補正パラメータｆを算出し（Ｓ１４６、Ｓ１４８）、補正実行部１８０は、この補正パラメータｆを用いて、１つ目のデコードＩフレームＩ０および、１つ目のデコードフレームＩ０と２つ目のデコードＩフレームＩ０との間に位置するデコードＰフレームＰ０に対して画質補正処理を実行する（Ｓ１５０）。補正部１７６は、ステップＳ１４８からステップＳ１５０までの処理、すなわち、パラメータ算出部１７８によりｉ個目のデコードＩフレームＩ０から該フレームの補正パラメータｆの算出処理と、この補正パラメータｆを用いて、ｉ個目のデコードＩフレームＩ０および、ｉ個目のデコードＩフレームＩ０と（ｉ＋１）個目のデコードＩフレームＩ０との間に位置するデコードＰフレームＰ０に対する画質補正の実行処理とを、全てのデコードフレーム（デコードＩフレームＩ０およびデコードＰフレームＰ０）に対して行い、補正済みデコードＩフレームＩ０１および補正済みＰフレームＰ０１を得る（Ｓ１４８、Ｓ１５０、Ｓ１５２：Ｎｏ、Ｓ１５４）。エンコード部１８２は、補正済みデコードＩフレームＩ０１および補正済みＰフレームＰ０１をエンコードして補正済みＩフレームＩ０２と補正済みＰフレームＰ０２を得（Ｓ１５６）、合成部１８４は、補正済みＩフレームＩ０２と、補正済みＰフレームＰ０２と、フレーム分離部１７２により動画像Ｇを分離することによって得られたＢフレームとを合成して補正済み動画像Ｇ’を得て、制御部１４０に供する（Ｓ１６０）。
【００４９】
このように、本発明の第２の実施形態の携帯電話システムＢによれば、中継サーバ２００の動画処理部１７０は、圧縮動画像データである添付画像Ｇに対して画質補正処理を施す際に、動画像ＧをＩフレーム、ＰフレームとＢフレームとに分離し、ＩフレームとＰフレームに対してのみデコード、画質補正、エンコード処理を行って補正済みＩフレームＩ０２と補正済みＰフレームＰ０２を得、該補正済みＩフレームＩ０２と、補正済みＰフレームＰ０２と、Ｂフレームとを合成することによって補正済み動画像Ｇ’を得る際に、各Ｉフレームに対して、そのデコードＩフレームＩ０から補正パラメータｆを求めて画質補正処理を行うようにする一方、各ＰフレームのデコードＰフレームＰ０に対しては補正パラメータを求めることをせず、自身より前に位置する最も近いデコードＩフレームＩ０の補正パラメータｆを用いて画質補正処理を行うようにすることによって、デコード、エンコードするデータ量を減少することによって処理時間の短縮を図ると共に、補正パラメータの激しい変化を防ぎ、ひいては補正済み動画像を表示時の画像の明るさの増減を防ぐことができる。
【００５０】
以上、本発明の画像処理装置およびプログラムの望ましい実施形態について説明したが、これらは、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、種々の変更、増減を加えることができる。
【００５１】
例えば、図１に示す実施形態の携帯電話システムＡの中継サーバ１００における動画処理部７０は、パラメータ調整部８０により補正パラメータｆの調整を行う際に、１つのデコードイントラフレームのデータから求められた補正パラメータと、該デコードイントラフレームの前後１つずつのデコードイントラフレームの補正パラメータとの平均を取って得た平均値を用いて該デコードイントラフレームの画質補正を行うことによって、本発明の目的、すなわち、処理済み圧縮動画像データを表示する際の明るさの増減を防ぐことを実現しているが、動画像を撮影する際に、撮影場所が屋内から屋外に変わるなどの場合に応じて、動画像は複数のシーンから構成される場合がある。シーンが変わる直前と変わった直後のフレームに対して同じように前後のフレームの補正パラメータの平均を取って画質補正処理を行うと、シーンの変わり目が不鮮明になる虞がある。このようなシーンの変化がある動画像に対して、シーン検出技術を利用してシーン間の境目となるフレーム（境界フレームという）を検出し、同じシーンに属するフレーム、すなわち、最も近い２つの境界フレームの間に位置するフレーム間で補正パラメータの平均を取るなどの調整を行うようにすることによって、処理済み圧縮動画像データを表示する際の明るさの増減を防ぐと共に、シーンの変化も鮮明に表示できるようにしてもよい。
【００５２】
また、上述した第１と第２の実施形態とも、本発明の画像処理装置およびプログラムを携帯電話システムに適用したものであるが、本発明の画像処理装置およびプログラムは、携帯電話システムに限られるものではなく、テレビ電話や、動画像の表示装置など、圧縮動画像データに対して画質補正を行って、処理済み圧縮動画像データを得ることが必要な如何なるシステムまたは装置に適用してもよい。
【図面の簡単な説明】
【図１】本発明の画像処理装置およびプログラムの第１の実施形態となる携帯電話システムＡの構成を示すブロック図
【図２】図１に示す携帯電話システムＡにおける中継サーバ１００の構成を示すブロック図
【図３】図２に示す中継サーバ１００の動作を示すブローチャート
【図４】図２に示す中継サーバ１００の動画処理部７０の動作を示すブローチャート
【図５】本発明の画像処理装置およびプログラムの第２の実施形態となる携帯電話システムＢの構成を示すブロック図
【図６】図５に示す携帯電話システムＢにおける中継サーバ２００の構成を示すブロック図
【図７】図６に示す中継サーバ２００の動作を示すフローチャート
【図８】図６に示す中継サーバ２００の動画処理部１７０の動作を示すフローチャート
【符号の説明】
１０，１１０ 携帯電話機
２０，１２０ 携帯通信網
３０，１３０ 通信部
４０，１４０ 制御部
５０，１５０ 記憶部
６０，１６０ 静止画処理部
７０，１７０ 動画処理部
７２，１７２ フレーム分離部
７４，１７４ デコード部
７６，１７６ 補正部
７８，１７８ パラメータ算出部
８０ パラメータ調整部
８２，１８０ 補正実行部
８４，１８２ エンコード部
８６，１８４ 合成部
１００，２００ 中継サーバ
Ｇ 圧縮動画像データ
Ｇ’ 補正済み圧縮動画像データ
Ｓ 圧縮静止画像データ
Ｓ’ 補正済み圧縮静止画像データ
Ｔ 電子メールの添付画像を除いたデータ
【発明の属する技術分野】
本発明は、画像処理装置、具体的には圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置およびそのためのプログラムに関するものである。
【０００２】
【従来の技術】
動画像を美しく表示するために、撮影して得た動画像に対して階調補正などの画質補正を行うことが行われている。特許文献１には、ＮＴＳＣなどのビデオ映像信号をＡ／Ｄ変換して動画像データを得、動画像データの輝度ヒストグラムを算出してそれをもとに階調補正用のルックアップテーブルを作成し、このルックアップテーブルを用いて階調補正を行う方法が提案されている。
【０００３】
また、近年、デジタルカメラや、カメラ付き携帯電話機の普及に伴って、動画像はＮＴＳＣなどのビデオ映像信号だけではなく、ＭＰＥＧなどの圧縮技術によりデジタル圧縮されたデータとして取り扱われることが多くなってきている。静止画を撮像するときと異なって、動画像を撮影する際にはフラッシュの使用が困難であるため、これらの撮像装置により取得した動画像は暗くなる傾向がある。このようなデジタル圧縮された画像データから構成される動画像を美しく表示するためには、ＮＴＳＣなどのアナログ信号の場合と同じように、階調補正などの画質補正処理を施すことが必要である。
【０００４】
なお、これらの動画像データは、圧縮された状態で記録媒体に記録されたり、送信されたりしているので、動画像データを表示する装置は、動画像データを表示する際に、そのデータが圧縮されていることを前提として表示処理を行う必要がある。すなわち、このような背景において、圧縮された動画像データに対して画質補正処理を施して得た処理済み画像データも、上述のような表示装置に対応するため、圧縮動画像データである必要がある。
【０００５】
しかし、ＭＰＥＧなどの圧縮技術でデジタル圧縮された動画像データ（以下圧縮動画像データという）に対して階調補正などの画質補正処理を施して処理済みの圧縮動画像データを得るためには、まず、圧縮動画像データをデコードし、デコードしたデータに対して画質補正処理を施し、補正されたデータをエンコードして目的の処理済み動画像データを得る手順を踏む必要がある。動画像データのデコードおよびエンコードは、演算量が多いため、処理時間がかかるという問題がある。この問題は、特に通信分野において顕著である。
【０００６】
通信の１例とする移動通信の分野において、携帯電話などの携帯端末の普及および携帯端末の機能の充実に伴って、携帯端末を対象とする画像サービスが盛んに行われている。例えば、携帯端末同士間の電子メールを中継する際に、送信側の携帯端末から送信された電子メールに添付された画像データに対して、階調補正や、ホワイトバランス補正、濃度補正、シャープネス処理などの画質補正処理を行ってから受信側の携帯端末に送信するまたは一旦保持してダウンロードさせるような、画質補正機能を有する通信中継サーバ装置がある。これらのサーバ装置において、迅速に画質補正処理を行うことができないと、ユーザにストレスを感じさせてしまうので、サービス向上を図るどころか、却ってサービスの低下を招く結果となる。また、画質補正処理に費やす時間が長くかかると、サーバ装置側に処理待ちの画像データを記憶する記憶装置は莫大な容量を必要とするなど、サーバ装置のコストがかかるという問題もある
また、テレビ電話などの分野においても同様である。画質向上のための補正処理を迅速に行うことができないと、ユーザは相手の画像をリアルタイムに見ることができず、テレビ電話の意味がなくなり、コミュニケーションに支障を来たしてしまうという問題がある。
【０００７】
また、通信以外の分野においても同様である。例えば、ＣＤ−ＲＯＭなどの記録媒体に記録された動画像データをコンピュータのモニタに表示させる場合、コンピュータ側において、動画像を美しく表示させるために画質補正処理を行うのはよいが、画質補正処理の時間が長いと、通信の場合と同様に、ユーザにストレスを感じさせてしまう。
【０００８】
片方、圧縮動画像データは通常複数のフレームとからなり、これらのフレームは、概して、他のフレームに依存せず、独立したデータにより形成されたフレームと、他のフレームに依存し、他のフレームのデータとの差分により形成されたフレームとの２種類に分けることができる。前者の方がイントラフレームと呼ばれ、後者の方がインターフレームと呼ばれている。また、他のフレームのデータに依存する点において同じでも、インターフレームは、他のフレームに依存する形式が異なる場合がある。例えば、ＭＰＥＧの圧縮動画像データのフレームは、Ｉフレーム、Ｐフレーム、Ｂフレームの３種類があり、Ｉフレームはイントラフレームであり、Ｐフレーム、Ｂフレームはインターフレームであるが、Ｐフレームは、自身より前のフレームのデータにしか依存しないことに対して、Ｂフレームは、自身の前と後のフレーム両方に依存する。
【０００９】
このように、圧縮動画像データは、他のフレームに依存しないフレームと、他のフレームに依存するフレームとからなり、この特性を利用して、圧縮動画像データに対して階調補正などの画質補正処理を施す際に、圧縮動画像データを、例えば、他のフレームに依存しないフレームと、他のフレームに依存フレームとに分離し、他のフレームに依存しないフレームのみに対してデコード、画質補正処理、エンコードをして補正済みのフレームを得、これらの補正済みのフレームと、他のフレームに依存するフレームと合成することによって処理済み圧縮動画像データを得るようにすれば、圧縮動画像データの一部分のみに対してデコード、画質補正処理、エンコードを行うことになるので、処理時間の短縮を図ることができる。また、他のフレームに依存するフレームに対して直接的に画質補正処理を施していないが、他のフレームに依存するフレームは、他のフレームに依存しないフレームのデータとの差分により形成されるので、他のフレームに依存するフレームを補正すれば、これらのフレームに依存するフレームに対しても画質補正処理を施したこととなる。
【００１０】
また、表示された動画像の画質をより向上させるため、圧縮動画像データを他のフレームに依存しないフレーム、他のフレームに依存する程度が低いフレーム（例えば前述したＰフレーム）と、他のフレームに依存する程度が高いフレーム（例えばＰフレームに対応して、Ｂフレーム）とに分離し、他のフレームに依存しないフレームおよび他のフレームに依存する程度が低いフレームのみに対してデコード、画質補正処理、エンコードをして補正済みのフレームを得、これらの補正済みのフレームと、他のフレームに依存する程度が高いフレームと合成することによって処理済み圧縮動画像データを得るようにしてもよい。
【００１１】
【特許文献１】
特許第３０８７４０９号公報
【００１２】
【発明が解決しようとする課題】
しかし、複数のフレームからなる圧縮動画像データに対して画質補正処理を行う際に、特許文献１記載の方法を適用し、補正する対象のフレーム（例えば前述したイントラフレーム）自身のデータを用いて該フレームを補正するための補正パラメータを求めるようにすると、フレームの画像内容の変化によって補正パラメータが著しく変化する場合があり、このような場合、補正する対象のフレーム自身のデータから求められた補正パラメータを用いて該フレームに対して補正を行って得た処理済み圧縮動画像データを表示する際に、画像の明るさの増減、すなわち画像のちらつきが激しくなり、鑑賞するユーザに不快感を与えてしまうという問題がある。
【００１３】
本発明は、上記事情に鑑みてなされたものであり、圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る際に、処理時間の短縮を図ると共に、補正による画像の明るさの増減を軽減することができる画像処理装置およびそのためのプログラムを提供することを目的とするものである。
【００１４】
【課題を解決するための手段】
本発明の第１の画像処理装置は、複数のフレームからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、補正対象フレームと非補正対象フレームとに分離する分離手段と、
該分離手段により得られた前記補正対象フレームをデコードしてデコードフレームを得るデコード手段と、
該デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正手段と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード手段と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備え、
前記補正手段が、各前記デコードフレームの夫々のデータを用いて対応するデコードフレームの補正パラメータを算出する補正パラメータ算出手段と、
該パラメータ算出手段により算出された各々の前記補正パラメータを、該補正パラメータの対応するデコードフレームの前および／または後のデコードフレームの補正パラメータを用いて調整してデコードフレーム毎の調整済みパラメータを得るパラメータ調整手段と、
該調整済みパラメータを用いて、対応するデコードフレームに対して前記画質補正処理を実行する補正実行手段とを備えてなるものであることを特徴とするものである。
【００１５】
ここで、圧縮動画像データの「補正対象フレーム」とは、それを補正することによって、動画像データの全体の画質に影響を与えるフレームを意味する。
【００１６】
また、圧縮動画像データの「非補正対象フレーム」とは、それを補正することによって、動画像データの全体の画質に影響を与えない、または「補正対象フレーム」を補正することほど影響を与えないフレームを意味する。言い換えれば、これらのフレームに対して画質補正処理を施さなくても、動画像データの全体の画質に影響をそれほど与えず、画質補正処理を施さなくてもよいフレームである。
【００１７】
圧縮動画像データの「補正対象フレーム」と「非補正対象フレーム」との区別の仕方は、圧縮動画像データの圧縮方式に依存する。動画像データは通常複数のフレームから構成され、それに対して行う圧縮方式としては、例えば、動画像業界の基準となりつつあるＭＰＥＧや、テレビ電話などで用いられるＩＴＵ−Ｔ Ｈ．２６１およびＩＴＵ−Ｔ Ｈ．２６３や、携帯電話の動画像圧縮規格として採用されているＮａｎｃｙなどの圧縮方式によって圧縮された動画像データは、他のフレームのデータに依存しないデータにより形成されるイントラフレームと、他のフレームのデータに対する差分により形成されたインターフレームとから構成される。このような場合、イントラフレームに対して画質補正処理を行えば、イントラフレームに依存したデータにより形成されたインターフレームも補正されたことになる。すなわち、この場合、画質補正処理を行う際に必要なデコード処理は、イントラフレームに対してのみ行えばよく、イントラフレームは「補正対象フレーム」となり、インターフレームは「非補正対象フレーム」となる。
【００１８】
また、圧縮方式によって、インターフレームは、他のフレームのデータに対する差分により形成され、他のフレームに依存する点においては同様であるが、依存する仕方が異なる場合がある。例えば、Ｉフレーム、Ｐフレーム、Ｂフレームから構成される圧縮動画像データの場合、Ｉフレームは他のフレームに依存しないフレームであり、Ｐフレーム、Ｂフレームは他のフレームに対する差分により形成され、他のフレームに依存するインターフレームではあるが、Ｐフレームは自身より前のフレームにしか依存せず、Ｂフレームは自身の前のフレームにも、後のフレームにも依存する。すなわち、Ｂフレームに比べ、Ｐフレームは他のフレームに対する依存性が低く、Ｐフレームに対しても画質補正処理を行うことによって、より画質の改善を図ることができる。この場合、Ｉフレームのみを「補正対象フレーム」とし、Ｐフレーム、Ｂフレームを「非補正対象フレーム」としてもよいが、ＩフレームとＰフレームを「補正対象フレーム」とし、Ｂフレームを「非補正対象フレーム」とすることが好ましい。
【００１９】
本発明の第１の画像処理装置の補正手段は、デコード手段により前記補正対象フレームをデコードして得たデコードフレームに対して画質補正処理を施す際に、まず、まず、パラメータ算出手段によりそのデコードフレーム自身のデータから該デコードフレームの補正パラメータを算出し、算出された補正パラメータに対して、補正手段のパラメータ調整手段は、該補正パラメータが対応するデコードフレームの前および／または後のデコードフレームの補正パラメータを用いて調整する。補正手段の補正実行手段は、パラメータ調整手段により得られた調整済みのパラメータを用いて該当するデコードフレームに対する画質補正処理を実行する。
【００２０】
ここで、パラメータ調整手段は、例えば、１つのデコードフレームの補正パラメータと、該デコードフレームの前および／または後の１つ以上のデコードフレームの補正パラメータとの平均を取って得た平均値を該デコードフレームの調整済みパラメータとするようにして各デコードフレームの補正パラメータを調整するものとすることができる。
【００２１】
本発明の第２の画像処理装置は、イントラフレームおよびインターフレームとからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、イントラフレーム、補正対象インターフレームと非補正対象インターフレームとに分離する分離手段と、
該分離手段により得られた前記イントラフレームおよび前記補正対象インターフレームをデコードしてデコードイントラフレームまたはデコード補正対象インターフレームであるデコードフレームを得るデコード手段と、
前記デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正手段と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード手段と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備え、
前記補正手段が、各前記デコードイントラフレームに対して前記画質補正処理を行うための補正パラメータを算出して前記画質補正処理を施すと共に、前記デコード補正対象インターフレームに対して、該デコード補正対象インターフレームの前の、最も近い前記デコードイントラフレームの補正パラメータを用いて前記画質補正処理を行うものであることを特徴とするものである。
【００２２】
ここで、「非補正対象インターフレーム」は、他のフレームに依存し、画質補正処理を行うことによって、動画像全体の画質に殆ど影響を与えないフレームを意味し、「補正対象インターフレーム」とは、他のフレームに依存するものの、非補正対象インターフレームに比べ、画質補正を行うことによって、動画像全体の画質に影響を与えるフレームを意味する。具体的には、例えば、前述したように、ＭＰＥＧなどの圧縮方式で圧縮を行って得た圧縮動画像データは、イントラフレームとインターフレームから構成され、インターフレームは、他のフレームに依存する程度が低いフレーム（例えば前述したＰフレーム）と他のフレームに依存する程度が高いフレーム（Ｐフレームに対応して、Ｂフレーム）との２種類に分けられることができる。このような場合、Ｉフレームはイントラフレームとなるが、Ｐフレームは「補正対象フレーム」、Ｂフレームは「非補正対象フレーム」とすることができる。
【００２３】
すなわち、本発明の第２の画像処理装置は、イントラフレームと補正対象インターフレームとに対してデコード、画質補正、エンコードを行って補正済みフレームを得、該補正済みフレームと非補正対象インターフレームと合成することによって処理済み圧縮動画像データを得るものであり、デコードされたイントラフレームとデコードされた補正対象インターフレームに対して画質補正処理を施す補正手段は、デコードイントラフレームにのみに対して補正パラメータを算出して画質補正処理を行う一方、デコード補正対象インターフレームに対しては、補正パラメータを新たに求めることをせず、該デコード補正対象フレームの前の、最も近いデコードイントラフレームの補正パラメータを用いて画質補正処理を行う。
【００２４】
また、イントラフレームおよびインターフレームとからなる圧縮動画像データには、先頭フレームのみが他のフレームに依存しないフレーム、すなわちイントラフレームとなる圧縮方式で圧縮されて得たものがある。このような圧縮動画像データの場合、先頭フレームのみがイントラフレームとなり、全ての補正対象インターフレームに対して、「最も近いデコードイントラフレーム」は先頭フレームをデコードして得たデコード先頭フレームとなる。すなわち、この場合、補正手段は、デコード先頭フレームに対して画質補正処理の補正パラメータを算出して前記画質補正処理を施す一方、全ての補正対象インターフレームに対しては、デコード先頭フレームの補正パラメータを用いて画質処理を行う。
【００２５】
なお、この場合においての「先頭フレーム」は、圧縮動画像データの構造上の先頭に位置するフレームのことを意味し、必ずしも時系列的に先頭となるフレームに限らない。
【００２６】
本発明の第１のプログラムは、複数のフレームからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、補正対象フレームと非補正対象フレームとに分離する分離処理と、
該補正対象フレームをデコードしてデコードフレームを得るデコード処理と、
該デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正処理と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード処理と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなり、
前記補正処理が、各前記デコードフレームの夫々のデータを用いて対応するデコードフレームの補正パラメータを算出する補正パラメータ算出処理と、
各々の前記補正パラメータを、該補正パラメータの対応するデコードフレームの前および／または後のデコードフレームの補正パラメータを用いて調整するデコードフレーム毎の調整済みパラメータを得るパラメータ調整処理と、
前記調整済みパラメータを用いて、対応するデコードフレームに対して前記画質補正処理を実行する補正実行処理とからなることを特徴とするものである。
【００２７】
本発明の第２のプログラムは、イントラフレームおよびインターフレームとからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、イントラフレーム、補正対象インターフレームと非補正対象インターフレームとに分離する分離処理と、
該分離処理により得られた前記イントラフレームおよび前記補正対象インターフレームをデコードしてデコードイントラフレームまたはデコード補正対象インターフレームであるデコードフレームを得るデコード処理と、
前記デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正処理と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード処理と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなり、
前記補正処理が、各前記デコードイントラフレームに対して前記画質補正処理を行うための補正パラメータを算出して前記画質補正処理を施すと共に、前記デコード補正対象インターフレームに対して、該デコード補正対象インターフレームの前の、最も近い前記デコードイントラフレームの補正パラメータを用いて前記画質補正処理を行うことを特徴とするものである。
【００２８】
【発明の効果】
本発明の第１の画像処理装置によれば、圧縮動画像データを補正対象フレームと非補正対象フレームとに分離し、補正対象フレームに対してのみデコード、画質補正、エンコードを行って補正済みフレームを得、該補正済みフレームと非補正対象フレームとを合成することによって処理補正済み圧縮動画像データ’を得る際に、各補正対象フレームをデコードして得たデコードフレームに対して、そのデコードフレーム自身のデータから求められた補正パラメータを、該デコードフレームの前および／または後のデコードフレームのデータから求められた補正パラメータを用いて調整して得た調整済みパラメータを用いて画質補正を行うようにすることによって、デコード、エンコードするデータ量を減少することによって処理時間の短縮を図ると共に、補正のパラメータを調整することによって補正済み動画像を表示時の画像の明るさの増減を防ぐことができる。
【００２９】
本発明の第２の画像処理装置は、圧縮動画像データをイントラフレーム、補正対象インターフレームと、非補正対象インターフレームとに分離し、イントラフレームおよび補正対象インターフレームに対してのみデコード、画質補正、エンコード処理を行って補正済みフレームを得、該補正済みフレームと、非補正対象インターフレームとを合成することによって処理済み圧縮動画像データを得る際に、各イントラフレームに対して、そのデコードイントラフレームから補正パラメータを求めて画質補正処理を行うようにする一方、各補正対象インターフレームに対しては補正パラメータを求めることをせず、その補正対象インターフレームより前に位置する最も近いイントラフレームの補正パラメータを用いて画質補正処理を行うようにすることによって、デコード、エンコードするデータ量を減少することによって処理時間の短縮を図ると共に、補正パラメータの激しい変化を防ぎ、ひいては補正済み動画像を表示時の画像の明るさの増減を防ぐことができる。
【００３０】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００３１】
図１は、本発明の画像処理装置およびプログラムの第１の実施形態となる携帯電話システムＡの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＡは、複数の携帯電話機１０と、これらの複数の携帯電話機１０間の通信の中継を行う中継サーバ１００とからなり、携帯電話機１０と中継サーバ１００とは、携帯電話通信網２０を介して接続される。中継サーバ１００は、携帯電話機１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。以下、本発明の主旨が分かりやすいように、携帯電話機１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ１００の動作に重点をおいて説明を行う。また、以下の説明において、「画像」は、「画像データ」により表されるものとして、「画像」と「画像データ」とを同じ意味のものとする。
【００３２】
図２は、図１に示す携帯電話システムＡにおける中継サーバ１００の構成を示すブロック図である。図２（ａ）に示すように、携帯電話システムＡの中継サーバ１００は、各携帯電話機１０との送受信を行うための通信部３０と、通信部３０を含むサーバ１００の全体の動作を制御する制御部４０と、制御部４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部７０とを備えたものである。
【００３３】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、他のフレームに依存しないイントラフレームおよび他のフレームとの差分により形成され、他のフレームに依存するインターフレームから構成されるものである。
【００３４】
制御部４０は、通信部３０を介して送信側の携帯電話機１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部６０に出力し、静止画処理部６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部７０に出力し、動画処理部７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部４０は、静止画処理部６０または動画処理部７０により処理済みの画像と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する。
【００３５】
図２（ｂ）は、図２（ａ）に示す中継サーバ１００における動画処理部７０の構成を示すブロック図である。図示のように、図示のように、動画処理部７０は、圧縮動画像データである添付画像Ｇを、イントラフレームとインターフレームとに分離するフレーム分離部７２と、フレーム分離部７２により得られたイントラフレームをデコードしてデコードイントラフレームＭ０を得るデコード部７４と、デコードイントラフレームＭ０に対して画質補正処理を行って補正済みデコードイントラフレームＭ０１を得る補正部７６と、補正済みデコードイントラフレームＭ０１をエンコードして補正済みイントラフレームＭ０２を得るエンコード部８４と、補正済みイントラフレームＭ０２とフレーム分離部７２により得られたインターフレームとを合成して補正済み動画像Ｇ’を得る合成部８６とを備えてなるものである。
【００３６】
動画処理部７０の補正部７６は、各デコードイントラフレームに対して画質補正処理を施すものであり、処理対象のデコードイントラフレームＭ０のデータを用いて該デコードイントラフレームＭ０の補正パラメータｆを算出するパラメータ算出部７８と、この補正パラメータｆと該デコードイントラフレームの前後１つずつのデコードイントラフレームＭ０の補正パラメータとの平均を取って該デコードイントラフレームＭ０の補正パラメータ（調整済みパラメータｆ’）とするパラメータ調整部８０と、パラメータ調整部８０により得られた調整済みパラメータｆ’を用いて該当するデコードイントラフレームＭ０に対する画質補正処理を実行して補正済みデコードイントラフレームＭ０１を得る補正実行部８４とを備えてなるものである。
【００３７】
図３は、図２に示す中継サーバ１００の動作を示すフローチャートである。図示のように、図１に示す携帯電話システムＡにおける中継サーバ１００において、通信部３０を介して送信側の携帯電話機１０から画像が添付されたメールを受信する（Ｓ１０）と、制御部４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ２０）。添付画像が静止画像Ｓであれば（Ｓ２０：Ｎｏ）、制御部４０は、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部６０に出力する（Ｓ２５）。静止画処理部６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ３０）。制御部４０は、静止画処理部６０により得られた補正済み静止画像Ｓ’と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する（Ｓ９０）。
【００３８】
一方、ステップＳ２０において、添付画像が動画像Ｇであれば（Ｓ２０：Ｙｅｓ）、制御部４０は、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、動画像Ｇである添付画像を動画処理部７０に出力する（Ｓ３５）。動画処理部７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ１を行って、補正済み動画像Ｇ’を得る（Ｓ４０）。制御部４０は、動画処理部７０により得られた補正済み動画像Ｇ’と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する（Ｓ９０）。
【００３９】
図４は、図２に示す中継サーバ１００における動画処理部７０の動作を示すフローチャートである。図示のように、動画処理部７０は、動画像Ｇに対して補正処理Ｐ３を施すのにあたって、まず、フレーム分離部７２により、圧縮動画像データである画像Ｇを、イントラフレームとインターフレームとに分離する（Ｓ４２）。デコード部７６は、イントラフレームをデコードしてデコードイントラフレームＭ０を得る（Ｓ４４）、補正部７６のパラメータ算出部７８は、デコードイントラフレームＭ０自身のデータから、該デコードイントラフレームＭ０の補正パラメータｆを算出してパラメータ調整部８０に出力する（Ｓ４６）。パラメータ調整部８０は、１つのデコードイントラフレームＭ０の補正パラメータと、該デコードイントラフレームの前後１つずつのデコードイントラフレームの補正パラメータとの平均を取って得た平均値を該デコードイントラフレームＭ０の調整済みパラメータｆ’として補正実行部８２に出力する（Ｓ４８）。補正部７６の補正実行部８２は、調整済みパラメータｆ’を用いて該当するイントラフレームＭ０に対して画質補正処理を実行して補正済みデコードイントラフレームＭ０１を得る（Ｓ５０）。エンコード部８４は、補正部７６により得られた各補正済みデコードイントラフレームＭ０１をエンコードして補正済みイントラフレームＭ０２を得て合成部８６に出力する（Ｓ５２）。合成部８６は、各々の補正済みイントラフレームＭ０２と、ステップＳ４２において、フレーム分離部７２により動画像Ｇを分離して得たインターフレームとを合成して補正済み動画像Ｇ’を得て、制御部４０に供する（Ｓ５４）。
【００４０】
このように、本発明の第１の実施形態の携帯電話システムＡによれば、中継サーバ１００の動画処理部７０は、圧縮動画像データである添付画像Ｇに対して画質補正処理を施す際に、動画像Ｇをイントラフレームとインターフレームとに分離し、イントラフレームに対してのみデコード、画質補正、エンコード処理を行って補正済みイントラフレームＭ０２を得、該補正済みイントラフレームとインターフレームとを合成することによって補正済み動画像Ｇ’を得る際に、各イントラフレームに対して、そのイントラフレーム自身のデータから求められた補正パラメータと、該イントラフレームの前後１つずつのイントラフレームのデータから求められた補正パラメータとの平均を取って得た平均値を用いて該イントラフレームの画質補正を行うようにすることによって、デコード、エンコードするデータ量を減少することによって処理時間の短縮を図ると共に、補正のパラメータを調整することによって補正済み動画像を表示時の画像の明るさの増減を防ぐことができる。
【００４１】
図５は、本発明の第２の実施形態となる携帯電話システムＢの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＢは、複数の携帯電話機１１０と、これらの複数の携帯電話機１１０間の通信の中継を行う中継サーバ２００とからなり、携帯電話機１１０と中継サーバ２００とは、携帯電話通信網１２０を介して接続される。中継サーバ２００は、携帯電話機１１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。ここでも、本発明の主旨が分かりやすいように、携帯電話機１１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ２００の動作に重点をおいて説明を行う。
【００４２】
図６は、図５に示す携帯電話システムＢにおける中継サーバ２００の構成を示すブロック図である。図６（ａ）に示すように、携帯電話システムＢの中継サーバ２００は、各携帯電話機１１０との送受信を行うための通信部１３０と、通信部１３０を含むサーバ１００の全体の動作を制御する制御部１４０と、制御部１４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部１５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部１６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部１７０とを備えたものである。
【００４３】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、他のフレームに依存しないＩフレーム、自身より前のフレームにのみ依存するＰフレームおよび、自身の前と後のフレームに共に依存するＢフレームから構成されるもの、例えばＭＰＥＧ圧縮されたものである。
【００４４】
制御部１４０は、通信部１３０を介して送信側の携帯電話機１１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部１６０に出力し、静止画処理部１６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部１７０に出力し、動画処理部１７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部１４０は、静止画処理部１６０または動画処理部１７０により処理済みの画像と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する。
【００４５】
図６（ｂ）は、図６（ａ）に示す中継サーバ２００における動画処理部１７０の構成を示すブロック図である。図示のように、動画処理部１７０は、圧縮動画像データである添付画像Ｇを、Ｉフレーム、ＰフレームとＢフレームとに分離するフレーム分離部１７２と、Ｉフレーム、ＰフレームをデコードしてデコードＩフレームＩ０とデコードＰフレームＰ０を得るデコード部１７４と、デコードＩフレームＩ０とデコードＰフレームＰ０に対して画質補正処理を行って補正済みデコードＩフレームＩ０１と補正済みデコードＰフレームＰ０１を得る補正部１７６と、補正済みデコードＩフレームＰ０１と補正済みデコードＰフレームＰ０１をエンコードして補正済みＩフレームＩ０２と補正済みＰフレームＰ０２を得るエンコード部１８２と、補正済みＩフレームＩ０２、補正済みＰフレームＰ０２およびフレーム分離部１７２により動画像Ｇを分離して得たＢフレームを合成して補正済み動画像Ｇ’を得る合成部１８４とを備えてなるものであり、補正部１７６は、各デコードＩフレームＩ０のデータから、夫々のデコードＩフレームＩ０の補正パラメータｆを算出するパラメータ算出部１７８と、これらのパラメータｆを用いて夫々該当するデコードＩフレームＩ０に対して画質補正処理を施して補正済みデコードＩフレームＩ０１を得ると共に、１つのデコードＩフレームから、該デコードＩフレームの次のデコードＩフレームとの間のＰフレームに対して、該デコードＩフレームの補正パラメータを用いて画質補正処理を行って補正済みＰフレームＰ０１を得る補正実行部１８０とからなるものである。
【００４６】
図７は、図６に示す中継サーバ２００の動作を示すフローチャートである。図示のように、図５に示す携帯電話システムＢにおける中継サーバ２００において、通信部１３０を介して送信側の携帯電話機１１０から画像が添付されたメールを受信する（Ｓ１１０）と、制御部１４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ１２０）。添付画像が静止画像Ｓであれば（Ｓ１２０：Ｎｏ）、制御部１４０は、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部１６０に出力する（Ｓ１２５）。静止画処理部１６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ１３０）。制御部１４０は、静止画処理部１６０により得られた補正済み静止画像Ｓ’と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する（Ｓ１９０）。
【００４７】
一方、ステップＳ１２０において、添付画像が動画像Ｇであれば（Ｓ１２０：Ｙｅｓ）、制御部１４０は、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、動画像Ｇである添付画像を動画処理部１７０に出力する（Ｓ１３５）。動画処理部１７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ２を行って、補正済み動画像Ｇ’を得る（Ｓ１４０）。制御部１４０は、動画処理部１７０により得られた補正済み動画像Ｇ’と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する（Ｓ１９０）。
【００４８】
図８は、図６に示す中継サーバ２００における動画処理部１７０の動作を示すフローチャートである。図示のように、動画処理部１７０は、動画像Ｇに対して動画像補正処理Ｐ２を施すのにあたって、まず、フレーム分離部１７２により、圧縮動画像データである画像Ｇを、Ｉフレーム、ＰフレームとＢフレームとに分離する（Ｓ１４２）。デコード部１７４は、Ｉフレーム、ＰフレームをデコードしてデコードＩフレームＩ０とデコードＰフレームＰ０を得る（Ｓ１４４）。補正部１７６のパラメータ算出部１７８は、１つ目のデコードＩフレームＩ０のデータから該デコードＩフレームＩ０の補正パラメータｆを算出し（Ｓ１４６、Ｓ１４８）、補正実行部１８０は、この補正パラメータｆを用いて、１つ目のデコードＩフレームＩ０および、１つ目のデコードフレームＩ０と２つ目のデコードＩフレームＩ０との間に位置するデコードＰフレームＰ０に対して画質補正処理を実行する（Ｓ１５０）。補正部１７６は、ステップＳ１４８からステップＳ１５０までの処理、すなわち、パラメータ算出部１７８によりｉ個目のデコードＩフレームＩ０から該フレームの補正パラメータｆの算出処理と、この補正パラメータｆを用いて、ｉ個目のデコードＩフレームＩ０および、ｉ個目のデコードＩフレームＩ０と（ｉ＋１）個目のデコードＩフレームＩ０との間に位置するデコードＰフレームＰ０に対する画質補正の実行処理とを、全てのデコードフレーム（デコードＩフレームＩ０およびデコードＰフレームＰ０）に対して行い、補正済みデコードＩフレームＩ０１および補正済みＰフレームＰ０１を得る（Ｓ１４８、Ｓ１５０、Ｓ１５２：Ｎｏ、Ｓ１５４）。エンコード部１８２は、補正済みデコードＩフレームＩ０１および補正済みＰフレームＰ０１をエンコードして補正済みＩフレームＩ０２と補正済みＰフレームＰ０２を得（Ｓ１５６）、合成部１８４は、補正済みＩフレームＩ０２と、補正済みＰフレームＰ０２と、フレーム分離部１７２により動画像Ｇを分離することによって得られたＢフレームとを合成して補正済み動画像Ｇ’を得て、制御部１４０に供する（Ｓ１６０）。
【００４９】
このように、本発明の第２の実施形態の携帯電話システムＢによれば、中継サーバ２００の動画処理部１７０は、圧縮動画像データである添付画像Ｇに対して画質補正処理を施す際に、動画像ＧをＩフレーム、ＰフレームとＢフレームとに分離し、ＩフレームとＰフレームに対してのみデコード、画質補正、エンコード処理を行って補正済みＩフレームＩ０２と補正済みＰフレームＰ０２を得、該補正済みＩフレームＩ０２と、補正済みＰフレームＰ０２と、Ｂフレームとを合成することによって補正済み動画像Ｇ’を得る際に、各Ｉフレームに対して、そのデコードＩフレームＩ０から補正パラメータｆを求めて画質補正処理を行うようにする一方、各ＰフレームのデコードＰフレームＰ０に対しては補正パラメータを求めることをせず、自身より前に位置する最も近いデコードＩフレームＩ０の補正パラメータｆを用いて画質補正処理を行うようにすることによって、デコード、エンコードするデータ量を減少することによって処理時間の短縮を図ると共に、補正パラメータの激しい変化を防ぎ、ひいては補正済み動画像を表示時の画像の明るさの増減を防ぐことができる。
【００５０】
以上、本発明の画像処理装置およびプログラムの望ましい実施形態について説明したが、これらは、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、種々の変更、増減を加えることができる。
【００５１】
例えば、図１に示す実施形態の携帯電話システムＡの中継サーバ１００における動画処理部７０は、パラメータ調整部８０により補正パラメータｆの調整を行う際に、１つのデコードイントラフレームのデータから求められた補正パラメータと、該デコードイントラフレームの前後１つずつのデコードイントラフレームの補正パラメータとの平均を取って得た平均値を用いて該デコードイントラフレームの画質補正を行うことによって、本発明の目的、すなわち、処理済み圧縮動画像データを表示する際の明るさの増減を防ぐことを実現しているが、動画像を撮影する際に、撮影場所が屋内から屋外に変わるなどの場合に応じて、動画像は複数のシーンから構成される場合がある。シーンが変わる直前と変わった直後のフレームに対して同じように前後のフレームの補正パラメータの平均を取って画質補正処理を行うと、シーンの変わり目が不鮮明になる虞がある。このようなシーンの変化がある動画像に対して、シーン検出技術を利用してシーン間の境目となるフレーム（境界フレームという）を検出し、同じシーンに属するフレーム、すなわち、最も近い２つの境界フレームの間に位置するフレーム間で補正パラメータの平均を取るなどの調整を行うようにすることによって、処理済み圧縮動画像データを表示する際の明るさの増減を防ぐと共に、シーンの変化も鮮明に表示できるようにしてもよい。
【００５２】
また、上述した第１と第２の実施形態とも、本発明の画像処理装置およびプログラムを携帯電話システムに適用したものであるが、本発明の画像処理装置およびプログラムは、携帯電話システムに限られるものではなく、テレビ電話や、動画像の表示装置など、圧縮動画像データに対して画質補正を行って、処理済み圧縮動画像データを得ることが必要な如何なるシステムまたは装置に適用してもよい。
【図面の簡単な説明】
【図１】本発明の画像処理装置およびプログラムの第１の実施形態となる携帯電話システムＡの構成を示すブロック図
【図２】図１に示す携帯電話システムＡにおける中継サーバ１００の構成を示すブロック図
【図３】図２に示す中継サーバ１００の動作を示すブローチャート
【図４】図２に示す中継サーバ１００の動画処理部７０の動作を示すブローチャート
【図５】本発明の画像処理装置およびプログラムの第２の実施形態となる携帯電話システムＢの構成を示すブロック図
【図６】図５に示す携帯電話システムＢにおける中継サーバ２００の構成を示すブロック図
【図７】図６に示す中継サーバ２００の動作を示すフローチャート
【図８】図６に示す中継サーバ２００の動画処理部１７０の動作を示すフローチャート
【符号の説明】
１０，１１０ 携帯電話機
２０，１２０ 携帯通信網
３０，１３０ 通信部
４０，１４０ 制御部
５０，１５０ 記憶部
６０，１６０ 静止画処理部
７０，１７０ 動画処理部
７２，１７２ フレーム分離部
７４，１７４ デコード部
７６，１７６ 補正部
７８，１７８ パラメータ算出部
８０ パラメータ調整部
８２，１８０ 補正実行部
８４，１８２ エンコード部
８６，１８４ 合成部
１００，２００ 中継サーバ
Ｇ 圧縮動画像データ
Ｇ’ 補正済み圧縮動画像データ
Ｓ 圧縮静止画像データ
Ｓ’ 補正済み圧縮静止画像データ
Ｔ 電子メールの添付画像を除いたデータ
Claims (5)
- 複数のフレームからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、補正対象フレームと非補正対象フレームとに分離する分離手段と、
該分離手段により得られた前記補正対象フレームをデコードしてデコードフレームを得るデコード手段と、
該デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正手段と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード手段と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備え、
前記補正手段が、各前記デコードフレームの夫々のデータを用いて対応するデコードフレームの補正パラメータを算出する補正パラメータ算出手段と、
該パラメータ算出手段により算出された各々の前記補正パラメータを、該補正パラメータの対応するデコードフレームの前および／または後のデコードフレームの補正パラメータを用いて調整してデコードフレーム毎の調整済みパラメータを得るパラメータ調整手段と、
該調整済みパラメータを用いて、対応するデコードフレームに対して前記画質補正処理を実行する補正実行手段とを備えてなるものであることを特徴とする画像処理装置。 - 前記パラメータ調整手段が、前記デコードフレームの補正パラメータと、該デコードフレームの前および／または後の１つ以上のデコードフレームの補正パラメータとの平均を前記調整済みパラメータとするものであることを特徴とする請求項１記載の画像処理装置。
- イントラフレームおよびインターフレームとからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、イントラフレーム、補正対象インターフレームと非補正対象インターフレームとに分離する分離手段と、
該分離手段により得られた前記イントラフレームおよび前記補正対象インターフレームをデコードしてデコードイントラフレームまたはデコード補正対象インターフレームであるデコードフレームを得るデコード手段と、
前記デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正手段と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード手段と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備え、
前記補正手段が、各前記デコードイントラフレームに対して前記画質補正処理を行うための補正パラメータを算出して前記画質補正処理を施すと共に、前記デコード補正対象インターフレームに対して、該デコード補正対象インターフレームの前の、最も近い前記デコードイントラフレームの補正パラメータを用いて前記画質補正処理を行うものであることを特徴とする画像処理装置。 - 複数のフレームからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、補正対象フレームと非補正対象フレームとに分離する分離処理と、
該補正対象フレームをデコードしてデコードフレームを得るデコード処理と、
該デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正処理と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード処理と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなり、
前記補正処理が、各前記デコードフレームの夫々のデータを用いて対応するデコードフレームの補正パラメータを算出する補正パラメータ算出処理と、
各々の前記補正パラメータを、該補正パラメータの対応するデコードフレームの前および／または後のデコードフレームの補正パラメータを用いて調整するデコードフレーム毎の調整済みパラメータを得るパラメータ調整処理と、
前記調整済みパラメータを用いて、対応するデコードフレームに対して前記画質補正処理を実行する補正実行処理とからなることを特徴とするプログラム。 - イントラフレームおよびインターフレームとからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、イントラフレーム、補正対象インターフレームと非補正対象インターフレームとに分離する分離処理と、
該分離処理により得られた前記イントラフレームおよび前記補正対象インターフレームをデコードしてデコードイントラフレームまたはデコード補正対象インターフレームであるデコードフレームを得るデコード処理と、
前記デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正処理と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード処理と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなり、
前記補正処理が、各前記デコードイントラフレームに対して前記画質補正処理を行うための補正パラメータを算出して前記画質補正処理を施すと共に、前記デコード補正対象インターフレームに対して、該デコード補正対象インターフレームの前の、最も近い前記デコードイントラフレームの補正パラメータを用いて前記画質補正処理を行うことを特徴とするプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003036092A JP4219704B2 (ja) | 2003-02-14 | 2003-02-14 | 画像処理装置およびプログラム |
| US10/774,590 US7657111B2 (en) | 2003-02-14 | 2004-02-10 | Apparatus and program for image processing for obtaining processed compressed moving image data |
| CNA2004100330811A CN1525738A (zh) | 2003-02-14 | 2004-02-14 | 图像处理装置和程序 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003036092A JP4219704B2 (ja) | 2003-02-14 | 2003-02-14 | 画像処理装置およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004247988A true JP2004247988A (ja) | 2004-09-02 |
| JP4219704B2 JP4219704B2 (ja) | 2009-02-04 |
Family
ID=33021289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003036092A Expired - Fee Related JP4219704B2 (ja) | 2003-02-14 | 2003-02-14 | 画像処理装置およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4219704B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008118607A (ja) * | 2006-10-11 | 2008-05-22 | Victor Co Of Japan Ltd | ネットワークデコーダ装置 |
-
2003
- 2003-02-14 JP JP2003036092A patent/JP4219704B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008118607A (ja) * | 2006-10-11 | 2008-05-22 | Victor Co Of Japan Ltd | ネットワークデコーダ装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4219704B2 (ja) | 2009-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8368814B2 (en) | Visual processing device, display device, and integrated circuit for adjusting the contrast of an image | |
| JP3280211B2 (ja) | ビデオエンコーダ制御システム | |
| US11024017B2 (en) | Tone mapping adaptation for saturation control | |
| US20080317377A1 (en) | Image coding apparatus and image coding method | |
| CN105960658B (zh) | 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质 | |
| US9241095B2 (en) | Method and system for adaptive temporal interpolation filtering for motion compensation | |
| US7657111B2 (en) | Apparatus and program for image processing for obtaining processed compressed moving image data | |
| JPH04219089A (ja) | 画像符号化装置 | |
| US11039133B2 (en) | Image processing apparatus and image processing method for inhibiting application of an offset to pixels of an image | |
| KR100327368B1 (ko) | 영상 부호화 및 복호화 방법 | |
| JP2007028598A (ja) | 圧縮符号化装置及び圧縮符号化方法 | |
| JP4219704B2 (ja) | 画像処理装置およびプログラム | |
| JP4247666B2 (ja) | 画像処理方法及び画像処理システム | |
| KR20060021665A (ko) | 이동단말기에서의 화면 선명도 조절 장치 및 방법 | |
| JP4175954B2 (ja) | 画像表示装置及び画像表示方法 | |
| KR20120006675A (ko) | 화상회의 장치 및 화상회의 영상을 디스플레이하는 방법 | |
| JP2008300953A (ja) | 画像処理装置およびそれを搭載した撮像装置 | |
| KR100493702B1 (ko) | 화상통신 시스템 및 그 운용방법 | |
| JP4173747B2 (ja) | 画像処理装置およびプログラム | |
| JP2001320707A (ja) | 画像伝送システム | |
| US8854256B2 (en) | Image capture apparatus and method of controlling the same | |
| JP2021117981A (ja) | 画像処理装置、画像処理方法、映像送受信システム、およびプログラム | |
| JP2008072747A (ja) | 画像処理装置およびプログラム | |
| JP5415050B2 (ja) | 動画像再生装置 | |
| JP2000197044A (ja) | 画像処理装置及びその方法、コンピュ―タ可読メモリ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050209 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081014 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081112 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131121 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |