JP4173747B2

JP4173747B2 - Image processing apparatus and program

Info

Publication number: JP4173747B2
Application number: JP2003036091A
Authority: JP
Inventors: 俊一郎野中
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2008-10-29
Anticipated expiration: 2023-02-14
Also published as: JP2004247987A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、具体的には圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置およびそのためのプログラムに関するものである。
【０００２】
【従来の技術】
動画像を美しく表示するために、撮影して得た動画像に対して階調補正などの画質補正を行うことが行われている。特許文献１には、ＮＴＳＣなどのビデオ映像信号をＡ／Ｄ変換して動画像データを得、動画像データの輝度ヒストグラムを算出してそれをもとに階調補正用のルックアップテーブルを作成し、このルックアップテーブルを用いて階調補正を行う方法が提案されている。
【０００３】
また、近年、デジタルカメラや、カメラ付き携帯電話機の普及に伴って、動画像はＮＴＳＣなどのビデオ映像信号だけではなく、ＭＰＥＧなどの圧縮技術によりデジタル圧縮されたデータとして取り扱われることが多くなってきている。静止画を撮像するときと異なって、動画像を撮影する際にはフラッシュの使用が困難であるため、これらの撮像装置により取得した動画像は暗くなる傾向がある。このようなデジタル圧縮された画像データから構成される動画像を美しく表示するためには、ＮＴＳＣなどのアナログ信号の場合と同じように、階調補正などの画質補正処理を施すことが必要である。
【０００４】
なお、これらの動画像データは、圧縮された状態で記録媒体に記録されたり、送信されたりしているので、動画像データを表示する装置は、動画像データを表示する際に、そのデータが圧縮されていることを前提として表示処理を行う必要がある。すなわち、このような背景において、圧縮された動画像データに対して画質補正処理を施して得た処理済み画像データも、上述のような表示装置に対応するため、圧縮動画像データである必要がある。
【０００５】
【特許文献１】
特許第３０８７４０９号公報
【０００６】
【発明が解決しようとする課題】
しかし、ＭＰＥＧなどの圧縮技術でデジタル圧縮された動画像データ（以下圧縮動画像データという）に対して階調補正などの画質補正処理を施して処理済みの圧縮動画像データを得るためには、まず、圧縮動画像データをデコードし、デコードしたデータに対して画質補正処理を施し、補正されたデータをエンコードして目的の処理済み動画像データを得る手順を踏む必要がある。動画像データのデコードおよびエンコードは、演算量が多いため、処理時間がかかるという問題がある。この問題は、特に通信分野において顕著である。
【０００７】
通信の１例とする移動通信の分野において、携帯電話などの携帯端末の普及および携帯端末の機能の充実に伴って、携帯端末を対象とする画像サービスが盛んに行われている。例えば、携帯端末同士間の電子メールを中継する際に、送信側の携帯端末から送信された電子メールに添付された画像データに対して、階調補正や、ホワイトバランス補正、濃度補正、シャープネス処理などの画質補正処理を行ってから受信側の携帯端末に送信するまたは一旦保持してダウンロードさせるような、画質補正機能を有する通信中継サーバ装置がある。これらのサーバ装置において、迅速に画質補正処理を行うことができないと、ユーザにストレスを感じさせてしまうので、サービス向上を図るどころか、却ってサービスの低下を招く結果となる。また、画質補正処理に費やす時間が長くかかると、サーバ装置側に処理待ちの画像データを記憶する記憶装置は莫大な容量を必要とするなど、サーバ装置のコストがかかるという問題もある。
【０００８】
また、テレビ電話などの分野においても同様である。画質向上のための補正処理を迅速に行うことができないと、ユーザは相手の画像をリアルタイムに見ることができず、テレビ電話の意味がなくなり、コミュニケーションに支障を来たしてしまうという問題がある。
【０００９】
また、通信以外の分野においても同様である。例えば、ＣＤ−ＲＯＭなどの記録媒体に記録された動画像データをコンピュータのモニタに表示させる場合、コンピュータ側において、動画像を美しく表示させるために画質補正処理を行うのはよいが、画質補正処理の時間が長いと、通信の場合と同様に、ユーザにストレスを感じさせてしまう。
【００１０】
本発明は、上記事情に鑑みなされたものであり、圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得ることを効率良く行うことができる画像処理装置およびそのためのプログラムを提供することを目的とするものである。
【００１１】
【課題を解決するための手段】
本発明の第１の画像処理装置は、圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、補正する部分と補正しない部分とに分離する分離手段と、
該補正する部分をデコードしてデコードデータを得るデコード手段と、
該デコードデータに対して画質補正処理を行って補正済デコードデータを得る補正手段と、
該補正済みデコードデータをエンコードするエンコード手段と、
該エンコード手段によりエンコードされた部分と前記補正しない部分とを合成して前記処理済み圧縮動画像データを得る合成手段とを備えたことを特徴とするものである。
【００１２】
ここで、圧縮動画像データの「補正する部分」とは、それを補正することによって、動画像データの全体の画質に影響を与える部分を意味する。
【００１３】
また、圧縮動画像データの「補正しない部分」とは、それを補正することによって、動画像データの全体の画質に影響を与えない、または「補正する部分」を補正することほど影響を与えない部分を意味する。言い換えれば、この部分は画質補正処理を施さなくても、動画像データの全体の画質に影響をそれほど与えず、画質補正処理を施さなくてもよい部分である。
【００１４】
圧縮動画像データの「補正する部分」と「補正しない部分」との区別の仕方は、圧縮動画像データの圧縮方式に依存する。動画像データは通常複数のフレームから構成され、それに対して行う圧縮方式の１例としては、例えば、先頭フレームのみを独立させて基準フレームにし、先頭フレームのデータに対する差分によって他のフレームを表す圧縮方式がある。この場合、先頭フレームのみが他のフレームに依存しないデータを有し、他のフレームはこの先頭フレームに対する差分で表されるので、先頭フレームに対して画質補正処理を施せば、他のフレームも補正されたことになる。すなわち、この場合、画質補正処理を施す際に必要なデコード処理は先頭フレームに対してのみ行えばよく、先頭フレームは「補正する部分」となり、先頭フレーム以外の他のフレームは「補正しない部分」となる。
【００１５】
なお、この場合においての「先頭フレーム」は、圧縮動画像データの構造上の先頭に位置するフレームのことを意味し、必ずしも時系列的に先頭となるフレームに限らない。
【００１６】
また、動画像業界の基準となりつつあるＭＰＥＧや、テレビ電話などで用いられるＩＴＵ−ＴＨ．２６１およびＩＴＵ−ＴＨ．２６３や、携帯電話の動画像圧縮規格として採用されているＮａｎｃｙなどの圧縮方式によって圧縮された動画像データは、他のフレームのデータに依存しないデータにより形成されるイントラフレームと、他のフレームのデータに対する差分により形成されたインターフレームとから構成される。このような場合、イントラフレームに対して画質補正処理を行えば、イントラフレームに依存したデータにより形成されたインターフレームも補正されたことになる。すなわち、この場合、画質補正処理を行う際に必要なデコード処理は、イントラフレームに対してのみ行えばよく、イントラフレームは「補正する部分」となり、インターフレームは「補正しない部分」となる。
【００１７】
また、圧縮方式によって、インターフレームは、他のフレームのデータに対する差分により形成され、他のフレームに依存する点においては同様であるが、依存する仕方が異なる場合がある。例えば、Ｉフレーム、Ｐフレーム、Ｂフレームから構成される圧縮動画像データの場合、Ｉフレームは他のフレームに依存しないフレームであり、Ｐフレーム、Ｂフレームは他のフレームに対する差分により形成され、他のフレームに依存するインターフレームではあるが、Ｐフレームは自身より前のフレームにしか依存せず、Ｂフレームは自身の前のフレームにも、後のフレームにも依存する。すなわち、Ｂフレームに比べ、Ｐフレームは他のフレームに対する依存性が低く、Ｐフレームに対しても画質補正処理を行うことによって、より画質の改善を図ることができる。この場合、Ｉフレーム、Ｐフレームは「補正する部分」とすることができ、Ｂフレームは「補正しない部分」とすることができる。
【００１８】
また、補正手段により補正する部分に対して画質補正処理を施すために、まず、デコード手段により補正する部分をデコードする必要があり、本発明の第１の画像処理装置のデコード手段は、補正する部分に補正手段により画質補正処理を行うことができる程度のデコード処理のみを施すものであることが好ましい。動画像データの圧縮は、段階的に行われることが通常であり、デコードする場合は、圧縮する際の手順と逆の手順で各段階の逆演算をすることによって段階的にデコードする。例えば、ＭＰＥＧにより圧縮された圧縮動画像データをデコードする際、圧縮動画像データを可変長復号化し、可変長復号化されたデータを動きベクトル、ＤＣＴ係数などに分けた後に、動き補償予測、ＤＣＴ変換の逆となるＩＤＣＴ変換などの手順を必要とする。一方、画質補正処理が、ＤＣＴ係数に対して行うことができるので、デコード処理をＩＤＣＴ変換まで行う必要がなく、デコード手段は、ＩＤＣＴ変換を行わず、ＤＣＴ係数を補正手段に供し、補正手段によりＤＣＴ係数に対して画質補正処理を施すようにすればよい。また、後にエンコードするとき、補正されたＤＣＴ係数を用い、新たにＤＣＴ係数を求める必要がないので、エンコードする時間の短縮も図ることができる。
【００１９】
本発明の第２の画像処理装置は、先頭フレームを基準フレームとする圧縮方式で圧縮して得た圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データから前記先頭フレームと他のフレームとを分離する分離手段と、
該先頭フレームをデコードしてデコード先頭フレームを得るデコード手段と、
該デコード先頭フレームに対して画質補正処理を行って補正済みデコード先頭フレームを得る補正手段と、
該補正済みデコード先頭フレームをエンコードして補正済み先頭フレームを得るエンコード手段と、
該補正済み先頭フレームと前記他のフレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備えたものであることを特徴とするものである。
【００２０】
本発明の第３の画像処理装置は、イントラフレームおよびインターフレームから構成される圧縮動画像データに対して画質補正処理を施して補正済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、前記イントラフレームと前記インターフレームとに分離する分離手段と、
前記イントラフレームをデコードしてデコードイントラフレームを得るデコード手段と、
前記デコードイントラフレームに対して画質補正処理を行って補正済みデコードイントラフレームを得る補正手段と、
該補正済みデコードイントラフレームをエンコードして補正済みイントラフレームを得るエンコード手段と、
該補正済みイントラフレームと前記インターフレームとを合成して前記補正済み圧縮動画像データを得る合成手段とを備えたことを特徴とするものである。
【００２１】
前述したように、ＭＰＥＧなどの圧縮方式で圧縮を行って得た圧縮動画像データは、イントラフレームとインターフレームから構成される。インターフレームは、全体的に他のフレームに依存するが、インターフレームの中で、他のフレームに依存せず、独立的なデータを有する部分（イントラブロック）が存在する場合がある。このような場合に対応して、本発明の第３の画像処理装置は、インターフレームを、イントラブロックとインターブロックとに分離するブロック分離手段をさらに備え、
前記デコード手段が、該イントラブロックをもデコードしてデコードイントラブロックを得るものであり、
前記補正手段が、前記デコードイントラブロックに対しても画質補正処理を行って補正済みデコードイントラブロックを得るものであり、
前記エンコード手段が、前記補正済みデコードイントラブロックをもエンコードして補正済みイントラブロックを得るものであり、
前記合成手段が、前記補正済みイントラフレーム、前記補正済みイントラブロックおよび前記インターブロックを合成して前記処理済み圧縮動画像データを得るものであることが好ましい。
【００２２】
本発明の第４の画像処理装置は、Ｉフレーム、ＰフレームおよびＢフレームから構成される圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記Ｂフレームと、前記Ｉフレームおよび前記Ｐフレームとを分離する分離手段と、
前記Ｉフレームおよび前記ＰフレームをデコードしてデコードＩフレームおよびデコードＰフレームを得るデコード手段と、
前記デコードＩフレームおよび前記デコードＰフレームに対して画質補正処理を行って補正済みデコードＩフレームおよび補正済みデコードＰフレームを得る補正手段と、
前記補正済みＩデコードフレームおよび前記補正済みデコードＰフレームをエンコードして補正済みＩフレームおよび補正済みＰフレームを得るエンコード手段と、
前記補正済みＩフレーム、前記補正済みＰフレームおよび前記Ｂフレームを合成して前記処理済み圧縮動画像データを得る合成部とを備えたことを特徴とするものである。
【００２３】
本発明の第４の画像処理装置は、前記Ｂフレームを、イントラブロックとインターブロックとに分離するブロック分離手段をさらに備え、
前記デコード手段が、該イントラブロックをもデコードしてデコードイントラブロックを得るものであり、
前記補正手段が、前記デコードイントラブロックに対しても画質補正処理を行って補正済みデコードイントラブロックを得るものであり、
前記エンコード手段が、前記補正済みデコードイントラブロックをもエンコードして補正済みイントラブロックを得るものであり、
前記合成手段が、前記補正済みＩフレーム、前記補正済みＰフレーム、前記補正済みイントラブロックおよび前記インターブロックを合成して前記処理済み圧縮動画像データを得るものであることが好ましい。
【００２４】
本発明の第５の画像処理装置は、主としてフレーム毎のＤＣＴ係数データおよび動きベクトルデータから構成される圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データから、前記ＤＣＴ係数データと前記動きベクトルデータとを抽出する抽出手段と、
該ＤＣＴ係数データおよび該動きベクトルデータを用いて前記圧縮動画像データをデコードしてデコードデータを得るデコード手段と、
該デコードデータに対して画質補正処理を行って補正済みデコードデータを得る補正手段と、
前記補正済みデコードデータをエンコードして前記処理済み圧縮動画像データを得るエンコード手段とを備え、
前記エンコード手段が、前記抽出手段により得られた前記動きベクトルデータを用いてエンコードを行うものであることを特徴とするものである。
【００２５】
ＭＰＥＧにより圧縮された画像データは、イントラフレームかインターフレームかなどを示すヘッダ情報以外に、主としてフレーム毎のＤＣＴ係数および動きベクトルから構成される。このような圧縮動画像データをデコードする際に、デコードして、画質補正をした後にエンコードする際にも、動きベクトルが必要である。本発明の第５の画像処理装置は、動きベクトルは、階調などの画質に影響をそれほど与えないものであるにもかかわらず、エンコードする際に動きベクトルを求める演算量が莫大であることに着目し、エンコードする際に新たに動きベクトルを求めず、デコードする際に得られた動きベクトルをエンコードに用いて処理時間の短縮を図るものである。
【００２６】
本発明の第１のプログラムは、圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、補正する部分と補正しない部分とに分離する分離処理と、
該補正する部分をデコードしてデコードデータを得るデコード処理と、
該デコードデータに対して画質補正処理を行って補正済デコードデータを得る補正処理と、
該補正する部分をデコードしてデコードデータを得るデコード処理と、
該デコードデータに対して画質補正処理を行って補正済デコードデータを得る補正処理と、
該補正済みデコードデータをエンコードするエンコード処理と、
該エンコード処理によりエンコードされた部分と前記補正しない部分とを合成して前記処理済み圧縮動画像データを得る合成処理とからなることを特徴とするものである。
【００２７】
本発明の第２のプログラムは、先頭フレームを基準フレームとする圧縮方式で圧縮して得た圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって前記画像処理が、前記圧縮動画像データから前記先頭フレームと他のフレームとを分離する分離処理と、
該先頭フレームをデコードしてデコード先頭フレームを得るデコード処理と、
該デコード先頭フレームに対して画質補正処理を行って補正済みデコード先頭フレームを得る補正処理と、
該補正済みデコード先頭フレームをエンコードして補正済み先頭フレームを得るエンコード処理と、
該補正済み先頭フレームと前記他のフレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなることを特徴とするものである。
【００２８】
本発明の第３のプログラムは、イントラフレームおよびインターフレームから構成される圧縮動画像データに対して画質補正処理を施して補正済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、前記イントラフレームと前記インターフレームとに分離する分離処理と、
前記イントラフレームをデコードしてデコードイントラフレームを得るデコード処理と、
前記デコードイントラフレームに対して画質補正処理を行って補正済みデコードイントラフレームを得る補正処理と、
該補正済みデコードイントラフレームをエンコードして補正済みイントラフレームを得るエンコード処理と、
該補正済みイントラフレームと前記インターフレームとを合成して前記補正済み圧縮動画像データを得る合成処理とからなることを特徴とするものである。
【００２９】
また、前記分離処理が、前記インターフレームをさらにイントラブロックとインターブロックとに分離するブロック分離処理をも行うものであり、
前記デコード処理が、該イントラブロックをもデコードしてデコードイントラブロックを得るものであり、
前記補正処理が、前記デコードイントラブロックに対しても画質補正処理を行って補正済みデコードイントラブロックを得るものであり、
前記エンコード処理が、前記補正済みデコードイントラブロックをもエンコードして補正済みイントラブロックを得るものであり、
前記合成処理が、前記補正済みイントラフレーム、前記補正済みイントラブロックおよび前記インターブロックを合成して前記処理済み圧縮動画像データを得るものであることが好ましい。
【００３０】
本発明の第４のプログラムは、Ｉフレーム、ＰフレームおよびＢフレームから構成される圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記Ｂフレームと、前記Ｉフレームおよび前記Ｐフレームとを分離する分離処理と、
前記Ｉフレームおよび前記ＰフレームをデコードしてデコードＩフレームおよびデコードＰフレームを得るデコード処理と、
前記デコードＩフレームおよび前記デコードＰフレームに対して画質補正処理を行って補正済みデコードＩフレームおよび補正済みデコードＰフレームを得る補正処理と、
前記補正済みＩデコードフレームおよび前記補正済みデコードＰフレームをエンコードして補正済みＩフレームおよび補正済みＰフレームを得るエンコード処理と、
前記補正済みＩフレーム、前記補正済みＰフレームおよび前記Ｂフレームを合成して前記処理済み圧縮動画像データを得る合成処理とからなることを特徴とするものである。
【００３１】
前記分離処理が、前記Ｂフレームをさらにイントラブロックとインターブロックとに分離するブロック分離処理をも行うものであり、
前記デコード処理が、該イントラブロックをもデコードしてデコードイントラブロックを得るものであり、
前記補正処理が、前記デコードイントラブロックに対しても画質補正処理を行って補正済みデコードイントラブロックを得るものであり、
前記エンコード処理が、前記補正済みデコードイントラブロックをもエンコードして補正済みイントラブロックを得るものであり、
前記合成処理が、前記補正済みＩフレーム、前記補正済みＰフレーム、前記補正済みイントラブロックおよび前記インターブロックを合成して前記処理済み圧縮動画像データを得るものであることが好ましい。
【００３２】
本発明の第５のプログラムは、主としてフレーム毎のＤＣＴ係数データおよび動きベクトルデータから構成される圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データから、前記ＤＣＴ係数データと前記動きベクトルデータとを抽出する抽出処理と、
該ＤＣＴ係数データおよび該動きベクトルデータを用いて前記圧縮動画像データをデコードしてデコードデータを得るデコード処理と、
該デコードデータに対して画質補正処理を行って補正済みデコードデータを得る補正処理と、
前記補正済みデコードデータをエンコードして前記処理済み圧縮動画像データを得るエンコード処理とからなり、
前記エンコード処理が、前記抽出処理により得られた前記動きベクトルデータを用いてエンコードを行うものであることが好ましい。
【００３３】
【発明の効果】
本発明の第１の画像処理装置によれば、圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る際に、圧縮動画像データを補正する部分と補正しない部分とに分け、補正により画質に影響を与える「補正する部分」のみに対してデコード処理、画質補正処理を施して、「補正しない部分」と合わせてエンコードするようにすることによって、「補正しない部分」に対するデコード処理、画質補正処理を行う手間を省き、圧縮動画像データを美しく表示することができる処理済み圧縮動画像データに補正することができると共に、処理時間の短縮を図ることができる。
【００３４】
本発明の第１の画像処理装置において、デコード手段により「補正する部分」に対してデコードする際に、該「補正する部分」に補正手段により画質補正処理を行うことができる程度のデコード処理のみを施すようにすれば、よりデコードする時間の短縮を図ることができる。
【００３５】
本発明の第２の画像処理装置によれば、先頭フレームを基準フレームとする圧縮方式で圧縮して得た圧縮動画像データから先頭フレームを分離し、先頭フレームのみに対してデコード処理、画質補正処理、エンコード処理を施して、他のフレームと合成して処理済み圧縮動画像データを得るようにすることによって、先頭フレームのデータとの差分により現される他のフレームに対するデコード処理、画質補正処理を行う手間を省き、このような圧縮動画像データを美しく表示することができる処理済み圧縮動画像データに補正することができると共に、処理時間の短縮を図ることができる。
【００３６】
本発明の第３の画像処理装置によれば、イントラフレームおよびインターフレームから構成される圧縮動画像データを、イントラフレームとインターフレームとに分離し、イントラフレームにのみに対してデコード処理、画質補正処理、エンコード処理を施して、インターフレームと合成して処理済み圧縮動画像データを得るようにすることによって、他のフレームのデータとの差分により現されるインターフレームに対するデコード処理、画質補正処理、エンコード処理を行う手間を省き、このような圧縮動画像データを美しく表示することができる処理済み圧縮動画像データに補正することができると共に、処理時間の短縮ができる。
【００３７】
本発明の第３の画像処理装置において、インターフレームをインターブロックとイントラブロックとに分離するブロック分離手段をさらに備え、イントラブロックに対しても画質補正処理（および画質補正処理を行うためのデコード処理、エンコード処理）を行うようにすれば、より画質の向上を図ることができる。
【００３８】
本発明の第４の画像処理装置によれば、Ｉフレーム、Ｐフレーム、Ｂフレームから構成される圧縮動画像データを、Ｂフレームと、ＩフレームおよびＰフレームとに分離し、ＩフレームとＰフレームのみに対してデコード処理、画質補正処理、エンコード処理を施して、Ｂフレームと合成して処理済み圧縮動画像データを得るようにすることによって、自身の前後の他のフレームのデータとの差分により現されるインターフレームに対するデコード処理、画質補正処理、エンコード処理を行う手間を省き、このような圧縮動画像データを美しく表示することができる処理済み圧縮動画像データに補正することができると共に、処理時間を短縮することができる。
【００３９】
本発明の第４の画像処理装置において、Ｂフレームをインターブロックとイントラブロックとに分離するブロック分離手段をさらに備え、イントラブロックに対しても画質補正処理（および画質補正処理を行うためのデコード処理、エンコード処理）を行うようにすれば、より画質の向上を図ることができる。
【００４０】
本発明の第５の画像処理装置は、主としてフレーム毎のＤＣＴ係数データおよび動きベクトルデータから構成される圧縮動画像データに対して、ＤＣＴ係数データおよび動きベクトルデータを抽出してデコード処理および画質補正処理を施し、補正されたデータに対してエンコードする際に、新たに動きベクトルデータを求めず、抽出された元の動きベクトルデータを用いてエンコードすることによって、動画像の画質を美しく補正することができると共に、エンコードする際に動きベクトルを求める莫大な量の演算を避けることができ、効率が良い。
【００４１】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００４２】
図１は、本発明の画像処理装置およびプログラムの第１の実施形態となる携帯電話システムＡの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＡは、複数の携帯電話機１０と、これらの複数の携帯電話機１０間の通信の中継を行う中継サーバ１００とからなり、携帯電話機１０と中継サーバ１００とは、携帯電話通信網２０を介して接続される。中継サーバ１００は、携帯電話機１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。以下、本発明の主旨が分かりやすいように、携帯電話機１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ１００の動作に重点をおいて説明を行う。また、以下の説明において、「画像」は、「画像データ」により表されるものとして、「画像」と「画像データ」とを同じ意味のものとする。
【００４３】
図２は、図１に示す携帯電話システムＡにおける中継サーバ１００の構成を示すブロック図である。図２（ａ）に示すように、携帯電話システムＡの中継サーバ１００は、各携帯電話機１０との送受信を行うための通信部３０と、通信部３０を含むサーバ１００の全体の動作を制御する制御部４０と、制御部４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部７０とを備えたものである。
【００４４】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものである。
【００４５】
制御部４０は、通信部３０を介して送信側の携帯電話機１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部６０に出力し、静止画処理部６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部７０に出力し、動画処理部７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部４０は、静止画処理部６０または動画処理部７０により処理済みの画像と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する。
【００４６】
図２（ｂ）は、図２（ａ）に示す中継サーバ１００における動画処理部７０の構成を示すブロック図である。図示のように、動画処理部７０は、圧縮動画像データである添付画像Ｇを、補正する部分のデータＧ０と補正しない部分のデータＧ１とに分離する分離部７２と、データＧ０をデコードしてデコードデータＧ０１を得るデコード部７４と、デコードデータＧ０１に対して画質補正処理を行って補正済みデコードデータＧ０２を得る補正部７６と、補正済みデコードデータＧ０２をエンコードして補正済みエンコードデータＧ０３を得るエンコード部８０と、補正済みエンコードデータＧ０３と補正しない部分のデータＧ１とを合成して補正済み動画像Ｇ’を得る合成部８２とを備えてなるものである。
【００４７】
なお、デコード部７４は、補正部７６により、補正する部分のデータＧ０に対して画質補正処理を行うことができる程度のデコード処理のみを施すものである。
【００４８】
図３は、図２に示す中継サーバ１００の動作を示すフローチャートである。図示のように、図１に示す携帯電話システムＡにおける中継サーバ１００において、通信部３０を介して送信側の携帯電話機１０から画像が添付されたメールを受信する（Ｓ１０）と、制御部４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ２０）。添付画像が静止画像Ｓであれば（Ｓ２０：Ｎｏ）、制御部４０は、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部６０に出力する（Ｓ２５）。静止画処理部６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ３０）。制御部４０は、静止画処理部６０により得られた補正済み静止画像Ｓ’と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する（Ｓ９０）。
【００４９】
一方、ステップＳ２０において、添付画像が動画像Ｇであれば（Ｓ２０：Ｙｅｓ）、制御部４０は、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、動画像Ｇである添付画像を動画処理部７０に出力する（Ｓ３５）。動画処理部７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ１を行って、補正済み動画像Ｇ’を得る（Ｓ４０）。制御部４０は、動画処理部７０により得られた補正済み動画像Ｇ’と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する（Ｓ９０）。
【００５０】
図４は、図２に示す中継サーバ１００における動画処理部７０の動作を示すフローチャートである。図示のように、動画処理部７０は、動画像Ｇに対して画質補正処理となる動画像補正処理Ｐ１を施すのにあたって、まず、分離部７２により、圧縮動画像データである画像Ｇを、補正する部分のデータＧ０と補正しない部分のデータＧ１とに分離する（Ｓ４２）。デコード部７４は、補正する部分のデータＧ０をデコードしてデコードデータＧ０１を得（Ｓ４６）、補正部７６は、デコードデータＧ０１に対して画質補正処理を行って補正済みデコードデータＧ０２を得る（Ｓ４６）。エンコード部８０は、補正済みデコードデータＧ０２をエンコードして補正済みエンコードデータＧ０３を得（Ｓ４８）、合成部８２は、エンコード部８０により取得した補正済みエンコードデータＧ０３と、分離部７２により分離した補正しない部分のデータＧ１とを合成して補正済み動画像Ｇ’を得て、制御部４０に供する（Ｓ５０）。
【００５１】
図５は、本発明の画像処理装置およびプログラムの第２の実施形態となる携帯電話システムＢの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＢは、複数の携帯電話機１１０と、これらの複数の携帯電話機１１０間の通信の中継を行う中継サーバ２００とからなり、携帯電話機１１０と中継サーバ２００とは、携帯電話通信網１２０を介して接続される。中継サーバ２００は、携帯電話機１１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。ここでも、本発明の主旨が分かりやすいように、携帯電話機１１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ２００の動作に重点をおいて説明を行う。
【００５２】
図６は、図５に示す携帯電話システムＢにおける中継サーバ２００の構成を示すブロック図である。図６（ａ）に示すように、携帯電話システムＢの中継サーバ２００は、各携帯電話機１１０との送受信を行うための通信部１３０と、通信部１３０を含むサーバ１００の全体の動作を制御する制御部１４０と、制御部１４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部１５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部１６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部１７０とを備えたものである。
【００５３】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、複数のフレームから構成され、先頭フレームを基準フレームとする圧縮方式で圧縮されたものである。
【００５４】
制御部１４０は、通信部１３０を介して送信側の携帯電話機１１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部１６０に出力し、静止画処理部１６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部１７０に出力し、動画処理部１７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部１４０は、静止画処理部１６０または動画処理部１７０により処理済みの画像と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する。
【００５５】
図６（ｂ）は、図６（ａ）に示す中継サーバ２００における動画処理部１７０の構成を示すブロック図である。図示のように、動画処理部１７０は、圧縮動画像データである添付画像Ｇを、先頭フレームＦ０と先頭フレーム以外の他のフレームＦ１とに分離するフレーム分離部１７２と、先頭フレームＦ０をデコードしてデコード先頭フレームＦ０１を得るデコード部１７４と、デコード先頭フレームＦ０１に対して画質補正処理を行って補正済みデコード先頭フレームＦ０２を得る補正部１７６と、補正済みデコード先頭フレームＦ０２をエンコードして補正済み先頭フレームＦ０３を得るエンコード部１７８と、補正済み先頭フレームＦ０３と他のフレームＦ１とを合成して補正済み動画像Ｇ’を得る符号合成部１８０とを備えてなるものである。
【００５６】
図７は、図６に示す中継サーバ２００の動作を示すフローチャートである。図示のように、図５に示す携帯電話システムＢにおける中継サーバ２００において、通信部１３０を介して送信側の携帯電話機１１０から画像が添付されたメールを受信する（Ｓ１１０）と、制御部１４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ１２０）。添付画像が静止画像Ｓであれば（Ｓ１２０：Ｎｏ）、制御部１４０は、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部１６０に出力する（Ｓ１２５）。静止画処理部１６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ１３０）。制御部１４０は、静止画処理部１６０により得られた補正済み静止画像Ｓ’と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する（Ｓ１９０）。
【００５７】
一方、ステップＳ１２０において、添付画像が動画像Ｇであれば（Ｓ１２０：Ｙｅｓ）、制御部１４０は、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、動画像Ｇである添付画像を動画処理部１７０に出力する（Ｓ１３５）。動画処理部１７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ２を行って、補正済み動画像Ｇ’を得る（Ｓ１４０）。制御部１４０は、動画処理部１７０により得られた補正済み動画像Ｇ’と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する（Ｓ１９０）。
【００５８】
図８は、図６に示す中継サーバ２００における動画処理部１７０の動作を示すフローチャートである。図示のように、動画処理部１７０は、動画像Ｇに対して画質補正処理となる動画像補正処理Ｐ２を施すのにあたって、まず、フレーム分離部１７２により、圧縮動画像データである画像Ｇを、先頭フレームＦ０と他のフレームＦ１とに分離する（Ｓ１４２）。デコード部１７４は、先頭フレームＦ０をデコードしてデコード先頭フレームＦ０１を得（Ｓ１４４）、補正部１７６は、デコード先頭フレームＦ０１に対して画質補正処理を行って補正済みデコード先頭フレームＦ０２を得る（Ｓ１４６）。エンコード部１７８は、補正済みデコード先頭フレームＦ０２をエンコードして補正済み先頭フレームＦ０３を得（Ｓ１４８）、符号合成部１８０は、エンコード部１７８により取得した補正済み先頭フレームＦ０３と、フレーム分離部１７２により分離した他のフレームＦ１とを合成して補正済み動画像Ｇ’を得て、制御部１４０に供する（Ｓ１５０）。
【００５９】
図９は、本発明の画像処理装置およびプログラムの第３の実施形態となる携帯電話システムＣの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＣは、複数の携帯電話機２１０と、これらの複数の携帯電話機２１０間の通信の中継を行う中継サーバ３００とからなり、携帯電話機２１０と中継サーバ３００とは、携帯電話通信網２２０を介して接続される。中継サーバ３００は、携帯電話機２１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。ここでも、本発明の主旨が分かりやすいように、携帯電話機２１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ３００の動作に重点をおいて説明を行う。
【００６０】
図１０は、図９に示す携帯電話システムＣにおける中継サーバ３００の構成を示すブロック図である。図１０（ａ）に示すように、携帯電話システムＣの中継サーバ３００は、各携帯電話機２１０との送受信を行うための通信部２３０と、通信部２３０を含むサーバ１００の全体の動作を制御する制御部２４０と、制御部２４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部２５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部２６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部２７０とを備えたものである。
【００６１】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、他のフレームに依存しないイントラフレームおよび他のフレームとの差分により形成され、他のフレームに依存するインターフレームから構成されるものである。
【００６２】
制御部２４０は、通信部２３０を介して送信側の携帯電話機２１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部２５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部２６０に出力し、静止画処理部２６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部２７０に出力し、動画処理部２７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部２４０は、静止画処理部２６０または動画処理部２７０により処理済みの画像と、記憶部２５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部２３０を介して受信側の携帯電話機２１０に送信する。
【００６３】
図１０（ｂ）は、図１０（ａ）に示す中継サーバ３００における動画処理部２７０の構成を示すブロック図である。図示のように、動画処理部２７０は、圧縮動画像データである添付画像Ｇを、イントラフレームとインターフレームとに分離するフレーム分離部２７２と、フレーム分離部２７２により得られた各インターフレームをさらにイントラブロックとインターブロックとに分離するブロック分離部２７４と、イントラフレームおよびイントラブロックをデコードしてデコードイントラフレームおよびデコードイントラブロック（以下合わせてデコードデータＭ０という）を得るデコード部２７６と、デコードデータＭ０に対して画質補正処理を行って補正済みデコードイントラフレームおよび補正済みデコードイントラブロック（以下合わせて補正済みデコードデータＭ０１という）を得る補正部２７８と、補正済みデコードデータＭ０１をエンコードして補正済みイントラフレームおよび補正済みイントラブロック（以下合わせて補正済みデータＭ０２という）を得るエンコード部２８０と、補正済みデータＭ０２とインターブロックとを合成して補正済み動画像Ｇ’を得る符号合成部２８２とを備えてなるものである。
【００６４】
図１１は、図１０に示す中継サーバ３００の動作を示すフローチャートである。図示のように、図９に示す携帯電話システムＣにおける中継サーバ３００において、通信部２３０を介して送信側の携帯電話機２１０から画像が添付されたメールを受信する（Ｓ２１０）と、制御部２４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ２２０）。添付画像が静止画像Ｓであれば（Ｓ２２０：Ｎｏ）、制御部２４０は、添付画像を除いた他の部分のデータＴを記憶部２５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部２６０に出力する（Ｓ２２５）。静止画処理部２６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ２３０）。制御部２４０は、静止画処理部２６０により得られた補正済み静止画像Ｓ’と、記憶部２５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部２３０を介して受信側の携帯電話機２１０に送信する（Ｓ２９０）。
【００６５】
一方、ステップＳ２２０において、添付画像が動画像Ｇであれば（Ｓ２２０：Ｙｅｓ）、制御部２４０は、添付画像を除いた他の部分のデータＴを記憶部２５０に記憶させると共に、動画像Ｇである添付画像を動画処理部２７０に出力する（Ｓ２３５）。動画処理部２７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ３を行って、補正済み動画像Ｇ’を得る（Ｓ２４０）。制御部２４０は、動画処理部２７０により得られた補正済み動画像Ｇ’と、記憶部２５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部２３０を介して受信側の携帯電話機２１０に送信する（Ｓ２９０）。
【００６６】
図１２は、図１０に示す中継サーバ３００における動画処理部２７０の動作を示すフローチャートである。図示のように、動画処理部２７０は、動画像Ｇに対して画質補正処理となる動画像補正処理Ｐ３を施すのにあたって、まず、フレーム分離部２７２により、圧縮動画像データである画像Ｇを、イントラフレームとインターフレームとに分離する（Ｓ２４２）。ブロック分離部２７４は、フレーム分離部２７２により得られたインターフレームをさらにイントラブロックとインターブロックとに分離する（Ｓ２４４）。デコード部２７６は、イントラフレームおよびイントラブロックをデコードしてデコードデータＭ０を得（Ｓ２４６）、補正部２７６は、デコードデータＭ０に対して画質補正処理を行って補正済みデコードデコードデータＭ０１を得る（Ｓ２４８）。エンコード部２８０は、補正済みデコードデータＭ０１をエンコードして補正済みデータＭ０２を得（Ｓ２５０）、符号合成部２８２は、エンコード部２８０により取得した補正済みデータＭ０２と、インターブロックとを合成して補正済み動画像Ｇ’を得て、制御部２４０に供する（Ｓ２５２）。
【００６７】
図１３は、本発明の画像処理装置およびプログラムの第４の実施形態となる携帯電話システムＤの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＤは、複数の携帯電話機３１０と、これらの複数の携帯電話機３１０間の通信の中継を行う中継サーバ４００とからなり、携帯電話機３１０と中継サーバ４００とは、携帯電話通信網３２０を介して接続される。中継サーバ４００は、携帯電話機３１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。ここでも、本発明の主旨が分かりやすいように、携帯電話機３１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ４００の動作に重点をおいて説明を行う。
【００６８】
図１４は、図１３に示す携帯電話システムＤにおける中継サーバ４００の構成を示すブロック図である。図１４（ａ）に示すように、携帯電話システムＤの中継サーバ４００は、各携帯電話機３１０との送受信を行うための通信部３３０と、通信部３３０を含むサーバ１００の全体の動作を制御する制御部３４０と、制御部３４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部３５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部３６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部３７０とを備えたものである。
【００６９】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、他のフレームに依存しないＩフレーム、自身より前のフレームにのみ依存するＰフレームおよび、自身の前と後のフレームに共に依存するＢフレームから構成されるもの、例えばＭＰＥＧ圧縮されたものである。
【００７０】
制御部３４０は、通信部３３０を介して送信側の携帯電話機３１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部３５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部３６０に出力し、静止画処理部３６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部３７０に出力し、動画処理部３７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部３４０は、静止画処理部３６０または動画処理部３７０により処理済みの画像と、記憶部３５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３３０を介して受信側の携帯電話機３１０に送信する。
【００７１】
図１４（ｂ）は、図１４（ａ）に示す中継サーバ４００における動画処理部３７０の構成を示すブロック図である。図示のように、動画処理部３７０は、圧縮動画像データである添付画像Ｇを、Ｉフレーム、ＰフレームとＢフレームとに分離するフレーム分離部３７２と、フレーム分離部３７２により得られた各Ｂフレームをさらにイントラブロックとインターブロックとに分離するブロック分離部３７４と、Ｉフレーム、Ｐフレームおよびブロック分離部３７４により得られたイントラブロックをデコードしてデコードＩフレーム、デコードＰフレームおよびデコードイントラブロック（以下合わせてデコードデータＮ０という）を得るデコード部３７６と、デコードデータＮ０に対して画質補正処理を行って補正済みデコードＩフレーム、補正済みデコードＰフレームおよび補正済みイントラブロック（以下合わせて補正済みデコードデータＮ０１という）を得る補正部３７８と、補正済みデコードデータＮ０１をエンコードして補正済みＩフレーム、補正済みＰフレーム、および補正済みイントラブロック（以下合わせて補正済みデータＮ０２という）を得るエンコード部３８０と、補正済みデータＮ０２とインターブロックとを合成して補正済み動画像Ｇ’を得る符号合成部３８２とを備えてなるものである。なお、図示していないが、エンコード部３８０は、基準フレームメモリを有するものであり、この基準フレームメモリは、補正部３７８により得られた、次にエンコードするＰフレームの全ての基準フレーム（すなわち、該Ｐフレームが依存するフレーム）の補正済みデコードフレーム（補正済みデコードＩフレームおよび／または補正済みデコードＰフレーム）を記憶し、該当するＰフレームをエンコードすることに供する。
【００７２】
図１５は、図１４に示す中継サーバ４００の動作を示すフローチャートである。図示のように、図１３に示す携帯電話システムＤにおける中継サーバ４００において、通信部３３０を介して送信側の携帯電話機３１０から画像が添付されたメールを受信する（Ｓ３１０）と、制御部３４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ３２０）。添付画像が静止画像Ｓであれば（Ｓ３２０：Ｎｏ）、制御部３４０は、添付画像を除いた他の部分のデータＴを記憶部３５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部３６０に出力する（Ｓ３２５）。静止画処理部３６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ３３０）。制御部３４０は、静止画処理部３６０により得られた補正済み静止画像Ｓ’と、記憶部３５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３３０を介して受信側の携帯電話機３１０に送信する（Ｓ３９０）。
【００７３】
一方、ステップＳ３２０において、添付画像が動画像Ｇであれば（Ｓ３２０：Ｙｅｓ）、制御部３４０は、添付画像を除いた他の部分のデータＴを記憶部３５０に記憶させると共に、動画像Ｇである添付画像を動画処理部３７０に出力する（Ｓ３３５）。動画処理部３７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ４を行って、補正済み動画像Ｇ’を得る（Ｓ３４０）。制御部３４０は、動画処理部３７０により得られた補正済み動画像Ｇ’と、記憶部３５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３３０を介して受信側の携帯電話機３１０に送信する（Ｓ３９０）。
【００７４】
図１６は、図１４に示す中継サーバ４００における動画処理部３７０の動作を示すフローチャートである。図示のように、動画処理部３７０は、動画像Ｇに対して画質補正処理となる動画像補正処理Ｐ４を施すのにあたって、まず、フレーム分離部３７２により、圧縮動画像データである画像Ｇを、Ｉフレーム、ＰフレームとＢフレームとに分離する（Ｓ３４２）。ブロック分離部３７４は、フレーム分離部３７２により得られたＢフレームをさらにイントラブロックとインターブロックとに分離する（Ｓ３４４）。デコード部３７６は、Ｉフレーム、ＰフレームおよびイントラブロックをデコードしてデコードデータＮ０を得（Ｓ３４６）、補正部３７６は、デコードデータＮ０に対して画質補正処理を行って補正済みデコードデコードデータＮ０１を得る（Ｓ３４８）。エンコード部３８０は、補正済みデコードデータＮ０１をエンコードして補正済みデータＮ０２を得（Ｓ３５０）、符号合成部３８２は、エンコード部３８０により取得した補正済みデータＮ０２と、インターブロックとを合成して補正済み動画像Ｇ’を得て、制御部３４０に供する（Ｓ３５２）。
【００７５】
図１７は、本発明の画像処理装置およびプログラムの第５の実施形態となる携帯電話システムＥの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＥは、複数の携帯電話機４１０と、これらの複数の携帯電話機４１０間の通信の中継を行う中継サーバ５００とからなり、携帯電話機４１０と中継サーバ５００とは、携帯電話通信網４２０を介して接続される。中継サーバ５００は、携帯電話機４１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。ここでも、本発明の主旨が分かりやすいように、携帯電話機４１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ５００の動作に重点をおいて説明を行う。
【００７６】
図１８は、図１７に示す携帯電話システムＥにおける中継サーバ５００の構成を示すブロック図である。図１８（ａ）に示すように、携帯電話システムＥの中継サーバ５００は、各携帯電話機４１０との送受信を行うための通信部４３０と、通信部４３０を含むサーバ１００の全体の動作を制御する制御部４４０と、制御部４４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部４５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部４６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部４７０とを備えたものである。
【００７７】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、ヘッダ情報以外に、各フレームが主としてＤＣＴ係数データと動きベクトルデータとから構成されるものであり、例えばＭＰＥＧ圧縮されたものである。
【００７８】
制御部４４０は、通信部４３０を介して送信側の携帯電話機４１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部４５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部４６０に出力し、静止画処理部４６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部４７０に出力し、動画処理部４７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部４４０は、静止画処理部４６０または動画処理部４７０により処理済みの画像と、記憶部４５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部４３０を介して受信側の携帯電話機４１０に送信する。
【００７９】
図１８（ｂ）は、図１８（ａ）に示す中継サーバ５００における動画処理部４７０の構成を示すブロック図である。図示のように、動画処理部４７０は、圧縮動画像データである添付画像Ｇから、ＤＣＴ係数データと動きベクトルデータとを抽出する抽出部４７２と、抽出部４７２により得られたＤＣＴ係数データと動きベクトルデータとを用いて動画像Ｇをデコードして各フレームのデコードデータＲ０を得るデコード部４７４と、デコードデータＲ０に対して画質補正処理を行って補正済みデコードデータＲ’０を得る補正部４７６と、抽出部４７２により得られた動きベクトルデータを用いて、補正済みデコードデータＲ’０をエンコードして補正済み動画像Ｇ’を得るエンコード部４７８とを備えてなるものである。なお、図示していないが、エンコード部４７８は、基準フレームメモリを有するものであり、この基準フレームメモリは、補正部４７６により得られた、次にエンコードするフレームの全ての基準フレーム（すなわち、該フレームが依存するフレーム）の補正済みデコードデータＲ’０を記憶し、該当するフレームをエンコードすることに供する。
【００８０】
図１９は、図１８に示す中継サーバ５００の動作を示すフローチャートである。図示のように、図１７に示す携帯電話システムＥにおける中継サーバ５００において、通信部４３０を介して送信側の携帯電話機４１０から画像が添付されたメールを受信する（Ｓ４１０）と、制御部４４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ４２０）。添付画像が静止画像Ｓであれば（Ｓ４２０：Ｎｏ）、制御部４４０は、添付画像を除いた他の部分のデータＴを記憶部４５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部４６０に出力する（Ｓ４２５）。静止画処理部４６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ４３０）。制御部４４０は、静止画処理部４６０により得られた補正済み静止画像Ｓ’と、記憶部４５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部４３０を介して受信側の携帯電話機４１０に送信する（Ｓ４９０）。
【００８１】
一方、ステップＳ４２０において、添付画像が動画像Ｇであれば（Ｓ４２０：Ｙｅｓ）、制御部４４０は、添付画像を除いた他の部分のデータＴを記憶部４５０に記憶させると共に、動画像Ｇである添付画像を動画処理部４７０に出力する（Ｓ４３５）。動画処理部４７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ５を行って、補正済み動画像Ｇ’を得る（Ｓ４４０）。制御部４４０は、動画処理部４７０により得られた補正済み動画像Ｇ’と、記憶部４５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部４３０を介して受信側の携帯電話機４１０に送信する（Ｓ４９０）。
【００８２】
図２０は、図１８に示す中継サーバ５００における動画処理部４７０の動作を示すフローチャートである。図示のように、動画処理部４７０は、動画像Ｇに対して画質補正処理となる動画像補正処理Ｐ５を施すのにあたって、まず、抽出部４７２により、圧縮動画像データである画像Ｇから、ＤＣＴ係数データと動きベクトルデータを抽出する（Ｓ４４２）。デコード部４７４は、抽出部４７２により得られたＤＣＴ係数データおよび動きベクトルデータを用いて動画像Ｇの各フレームをデコードしてデコードデータＲ０を得（Ｓ４４４）、補正部４７６は、デコードデータＲ０に対して画質補正処理を行って補正済みデコードデコードデータＲ’０を得る（Ｓ４４６）。エンコード部４７８は、抽出部４７２により得られた動画像Ｇの各フレームの動きベクトルデータを用いて、補正済みデコードデータＲ’０をエンコードして補正済み動画像Ｇ’を得て、制御部４４０に供する（Ｓ４４８）。
【００８３】
上述した携帯電話システムＡから携帯電話システムＤまでの４つの本発明の実施形態において、圧縮動画像データに対して階調補正などの画質補正処理を施す際に、圧縮動画像データを補正する部分と補正しない部分とに分離し、補正する部分に対してのみデコード、画質補正、エンコードを行ってから補正しない部分と合成して処理済み圧縮動画像データを得るようにしているので、動画像を美しく表示するための画質補正処理ができると共に、デコード、エンコードを行うデータ量を減らすことによって処理時間を短縮することができ、効率が良い。
【００８４】
また、第５の実施形態となる携帯電話システムＥは、主としてＤＣＴ係数データと動きベクトルデータにより各フレームが構成されるＭＰＥＧなどの圧縮動画像データに対して画質補正処理を施す際に、動きベクトルが階調などの画質に殆ど影響を与えないことを利用し、圧縮動画像データに対してデコード、画質補正を行った後にエンコードする際に、デコードする際に元の圧縮動画像データから抽出された動きベクトルデータを用いてエンコードを行うようにすることによって、補正後のデータをエンコードするために動きベクトルを求めるための演算を省くことができ、処理時間の短縮を図り、効率良く圧縮動画像データの画質補正を行って、処理済み圧縮動画像データを得ることができる。
【００８５】
以上、本発明の画像処理装置およびプログラムの望ましい実施形態について説明したが、これらは、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、種々の変更、増減を加えることができる。
【００８６】
例えば、図９に示す携帯電話システムＣの中継サーバ３００における動画処理部２７０は、圧縮動画像データをイントラフレームとインターフレームとに分離した上に、インターフレームをさらにイントラブロックとインターブロックとに分離し、イントラフレームとイントラブロックとの両方に対してデコード、画質補正を行うようにして、より画質の改善を図るようにしているが、圧縮動画像データをイントラフレームとインターフレームとに分離し、イントラフレームのみをデコードおよび画質補正を行うようにしてもよい。
【００８７】
この点については、図１３に示す携帯電話システムＤの中継サーバ４００における動画処理部３７０においても同様である。すなわち、動画処理部３７０は、Ｂフレームをイントラブロックとインターブロックとに分離することをせず、Ｉフレーム、Ｐフレームのみをデコードおよび画質補正を行うようにしてもよい。
【００８８】
また、上述した第１から第５までの５つの実施形態とも、本発明の画像処理装置およびプログラムを携帯電話システムに適用したものであるが、本発明の画像処理装置およびプログラムは、携帯電話システムに限られるものではなく、テレビ電話や、動画像の表示装置など、圧縮動画像データに対して画質補正を行って、処理済み圧縮動画像データを得ることが必要な如何なるシステムまたは装置に適用してもよい。
【図面の簡単な説明】
【図１】本発明の画像処理装置およびプログラムの第１の実施形態となる携帯電話システムＡの構成を示すブロック図
【図２】図１に示す携帯電話システムＡにおける中継サーバ１００の構成を示すブロック図
【図３】図２に示す中継サーバ１００の動作を示すブローチャート
【図４】図２に示す中継サーバ１００の動画処理部７０の動作を示すブローチャート
【図５】本発明の画像処理装置およびプログラムの第２の実施形態となる携帯電話システムＢの構成を示すブロック図
【図６】図５に示す携帯電話システムＢにおける中継サーバ２００の構成を示すブロック図
【図７】図６に示す中継サーバ２００の動作を示すフローチャート
【図８】図６に示す中継サーバ２００の動画処理部１７０の動作を示すフローチャート
【図９】本発明の画像処理装置およびプログラムの第３の実施形態となる携帯電話システムＣの構成を示すブロック図
【図１０】図９に示す携帯電話システムＣにおける中継サーバ３００の構成を示すブロック図
【図１１】図１０に示す中継サーバ３００の動作を示すフローチャート
【図１２】図１０に示す中継サーバ３００の動画処理部２７０の動作を示すフローチャート
【図１３】本発明の画像処理装置およびプログラムの第４の実施形態となる携帯電話システムＤの構成を示すブロック図
【図１４】図１３に示す携帯電話システムＤにおける中継サーバ４００の構成を示すブロック図
【図１５】図１４に示す中継サーバ４００の動作を示すフローチャート
【図１６】図１４に示す中継サーバ４００の動画処理部３７０の動作を示すフローチャート
【図１７】本発明の画像処理装置およびプログラムの第５の実施形態の携帯電話システムＥの構成を示すブロック図
【図１８】図１７に示す携帯電話システムＥにおける中継サーバ５００の構成を示すブロック図
【図１９】図１８に示す中継サーバ５００の動作を示すブロック図
【図２０】図１８に示す中継サーバ５００の動画処理部４７０の動作を示すフローチャート
【符号の説明】
１０，１１０，２１０，３１０，４１０携帯電話機
２０，１２０，２２０，３２０，４２０携帯通信網
３０，１３０，２３０，３３０，４３０通信部
４０，１４０，２４０，３４０，４４０制御部
５０，１５０，２５０，３５０，４５０記憶部
６０，１６０，２６０，３６０，４６０静止画処理部
７０，１７０，２７０，３７０，４７０動画処理部
７２分離部
７４デコード部
７６補正部
８０エンコード部
８２合成部
１７２フレーム分離部
１７４デコード部
１７６補正部
１７８エンコード部
１８０符号合成部
２７２フレーム分離部
２７４ブロック分離部
２７６デコード部
２７８補正部
２８０エンコード部
２８２符号合成部
３７２フレーム分離部
３７４ブロック分離部
３７６デコード部
３７８補正部
３８０エンコード部
３８２符号合成部
４７２抽出部
４７４デコード部
４７６補正部
４７８エンコード部
１００，２００，３００，４００，５００中継サーバ
Ｇ圧縮動画像データ
Ｇ’ 補正済み圧縮動画像データ
Ｓ圧縮静止画像データ
Ｓ’ 補正済み圧縮静止画像データ
Ｔ電子メールの添付画像を除いたデータ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, specifically, an image processing apparatus that obtains processed compressed moving image data by performing image quality correction processing on compressed moving image data, and a program therefor.
[0002]
[Prior art]
In order to display a moving image beautifully, image quality correction such as gradation correction is performed on the moving image obtained by photographing. In Patent Document 1, moving image data is obtained by A / D converting a video image signal such as NTSC, a luminance histogram of moving image data is calculated, and a lookup table for gradation correction is created based on the calculated luminance histogram. However, a method of performing gradation correction using this lookup table has been proposed.
[0003]
In recent years, with the spread of digital cameras and camera-equipped mobile phones, moving images are often handled not only as video image signals such as NTSC but also as data digitally compressed by a compression technique such as MPEG. ing. Unlike capturing a still image, since it is difficult to use a flash when capturing a moving image, the moving image acquired by these imaging devices tends to be dark. In order to display a moving image composed of such digitally compressed image data beautifully, it is necessary to perform image quality correction processing such as gradation correction as in the case of analog signals such as NTSC. .
[0004]
Since these moving image data are recorded on a recording medium or transmitted in a compressed state, an apparatus for displaying moving image data has the data stored when displaying moving image data. It is necessary to perform display processing on the assumption that the images are compressed. That is, in such a background, processed image data obtained by performing image quality correction processing on compressed moving image data also needs to be compressed moving image data in order to correspond to the display device as described above. is there.
[0005]
[Patent Document 1]
Japanese Patent No. 3087409
[0006]
[Problems to be solved by the invention]
However, in order to obtain processed compressed moving image data by performing image quality correction processing such as gradation correction on moving image data (hereinafter referred to as compressed moving image data) digitally compressed by a compression technique such as MPEG, First, it is necessary to follow a procedure of decoding compressed moving image data, performing image quality correction processing on the decoded data, and encoding the corrected data to obtain target processed moving image data. The decoding and encoding of moving image data has a problem that it takes a long processing time due to a large amount of calculation. This problem is particularly noticeable in the communication field.
[0007]
In the field of mobile communication, which is an example of communication, image services targeting mobile terminals are actively performed with the spread of mobile terminals such as mobile phones and enhancement of functions of mobile terminals. For example, when relaying an e-mail between mobile terminals, tone correction, white balance correction, density correction, and sharpness processing are performed on image data attached to an e-mail transmitted from the transmitting mobile terminal. There is a communication relay server device having an image quality correction function that performs image quality correction processing such as the above and then transmits it to a receiving mobile terminal or temporarily holds and downloads it. In these server apparatuses, if image quality correction processing cannot be performed quickly, the user feels stressed, so that rather than improving the service, the service is deteriorated. Further, if it takes a long time to perform image quality correction processing, there is a problem that the cost of the server device is high, for example, a storage device that stores image data waiting for processing on the server device side requires an enormous capacity.
[0008]
The same applies to fields such as videophones. If the correction process for improving the image quality cannot be performed quickly, the user cannot see the other party's image in real time, meaning that there is no meaning of the videophone, which causes a problem in communication.
[0009]
The same applies to fields other than communication. For example, when moving image data recorded on a recording medium such as a CD-ROM is displayed on a computer monitor, it is preferable to perform image quality correction processing on the computer side in order to display the moving image beautifully. If this time is long, the user will feel stress as in the case of communication.
[0010]
The present invention has been made in view of the above circumstances, and an image processing apparatus and a program therefor that can efficiently perform image quality correction processing on compressed moving image data to obtain processed compressed moving image data Is intended to provide.
[0011]
[Means for Solving the Problems]
A first image processing apparatus of the present invention is an image processing apparatus that obtains processed compressed moving image data by performing image quality correction processing on compressed moving image data,
Separating means for separating the compressed moving image data into a portion to be corrected and a portion not to be corrected;
Decoding means for obtaining decoded data by decoding the portion to be corrected;
Correction means for performing image quality correction processing on the decoded data to obtain corrected decoded data;
Encoding means for encoding the corrected decoded data;
And a synthesizing unit for synthesizing the portion encoded by the encoding unit and the uncorrected portion to obtain the processed compressed moving image data.
[0012]
Here, the “correction portion” of the compressed moving image data means a portion that affects the overall image quality of the moving image data by correcting it.
[0013]
In addition, the “uncorrected portion” of the compressed moving image data does not affect the overall image quality of the moving image data by correcting it, or does not affect as much as correcting the “corrected portion”. Means part. In other words, this part is a part that does not affect the overall image quality of the moving image data and does not need to be subjected to the image quality correction process even if the image quality correction process is not performed.
[0014]
The method of distinguishing between the “corrected portion” and the “uncorrected portion” of the compressed moving image data depends on the compression method of the compressed moving image data. Moving image data is usually composed of a plurality of frames. As an example of a compression method performed on the moving image data, for example, only the top frame is made independent as a reference frame, and compression representing other frames by differences with respect to the data of the top frame is performed. There is a method. In this case, only the first frame has data that does not depend on the other frames, and the other frames are represented by differences from the first frame. Therefore, if image quality correction processing is performed on the first frame, the other frames are also corrected. It will be done. In other words, in this case, the decoding process necessary for performing the image quality correction process only needs to be performed on the top frame, the top frame is a “corrected portion”, and other frames other than the top frame are “uncorrected portions”. It becomes.
[0015]
In this case, the “first frame” means a frame located at the head of the structure of the compressed moving image data, and is not necessarily limited to the frame that is headed in time series.
[0016]
In addition, MPEG, which is becoming a standard in the moving picture industry, and ITU-T H.264 used in videophones and the like. 261 and ITU-T H.264. 263 and moving image data compressed by a compression method such as Nancy adopted as a moving image compression standard for mobile phones are an intra frame formed by data independent of the data of other frames, And an interframe formed by a difference with respect to data. In such a case, if image quality correction processing is performed on an intra frame, the inter frame formed by data depending on the intra frame is also corrected. That is, in this case, the decoding process necessary for performing the image quality correction process may be performed only on the intra frame, and the intra frame becomes a “corrected portion” and the inter frame becomes a “non-corrected portion”.
[0017]
Further, depending on the compression method, an inter frame is formed by a difference with respect to data of another frame, and is the same in that it depends on another frame, but there are cases where the method of dependence depends on the difference. For example, in the case of compressed moving image data composed of an I frame, a P frame, and a B frame, the I frame is a frame that does not depend on other frames, and the P frame and the B frame are formed by differences from the other frames. Although the P frame depends only on the frame before itself, the B frame depends on both the previous frame and the subsequent frame. That is, the P frame is less dependent on the other frames than the B frame, and the image quality can be further improved by performing the image quality correction process on the P frame. In this case, the I and P frames can be “corrected portions”, and the B frame can be “uncorrected portions”.
[0018]
In addition, in order to perform image quality correction processing on a portion to be corrected by the correcting unit, it is necessary to first decode the portion to be corrected by the decoding unit, and the decoding unit of the first image processing apparatus of the present invention performs correction. It is preferable that only the decoding process is performed to such a degree that the image quality correction process can be performed by the correction unit. The compression of moving image data is usually performed in stages. When decoding, moving picture data is decoded in stages by performing reverse operations at each stage in the reverse order of the procedure for compression. For example, when decoding compressed moving image data compressed by MPEG, the compressed moving image data is subjected to variable length decoding, the variable length decoded data is divided into motion vectors, DCT coefficients, etc., and then motion compensated prediction, DCT A procedure such as IDCT conversion that is the reverse of the conversion is required. On the other hand, since the image quality correction process can be performed on the DCT coefficient, it is not necessary to perform the decoding process until the IDCT conversion, and the decoding unit does not perform the IDCT conversion and supplies the DCT coefficient to the correction unit. The image quality correction process may be performed on the DCT coefficient. Further, when encoding later, the corrected DCT coefficient is used and there is no need to newly obtain a DCT coefficient, so that the encoding time can be shortened.
[0019]
The second image processing apparatus of the present invention performs image quality correction processing on compressed moving image data obtained by compression with a compression method using the first frame as a reference frame, and obtains processed compressed moving image data. Because
Separating means for separating the first frame and other frames from the compressed moving image data;
Decoding means for decoding the first frame to obtain a decoded first frame;
Correction means for performing an image quality correction process on the decoded first frame to obtain a corrected decoded first frame;
Encoding means for encoding the corrected decoded first frame to obtain a corrected first frame;
The image processing apparatus is characterized in that it comprises synthesis means for synthesizing the corrected leading frame and the other frame to obtain the processed compressed moving image data.
[0020]
A third image processing apparatus of the present invention is an image processing apparatus that obtains corrected compressed moving image data by performing image quality correction processing on compressed moving image data composed of an intra frame and an inter frame.
Separating means for separating the compressed video data into the intra frame and the inter frame;
Decoding means for decoding the intra frame to obtain a decoded intra frame;
Correction means for performing image quality correction processing on the decoded intra frame to obtain a corrected decoded intra frame;
Encoding means for encoding the corrected decoded intra frame to obtain a corrected intra frame;
The image processing apparatus includes a combining unit that combines the corrected intra frame and the inter frame to obtain the corrected compressed moving image data.
[0021]
As described above, compressed moving image data obtained by compression using a compression method such as MPEG is composed of an intra frame and an inter frame. Although an inter frame depends on other frames as a whole, there may be a part (intra block) having independent data in an inter frame without depending on other frames. Corresponding to such a case, the third image processing apparatus of the present invention further includes block separation means for separating the inter frame into an intra block and an inter block,
The decoding means decodes the intra block to obtain a decoded intra block;
The correction means performs image quality correction processing on the decoded intra block to obtain a corrected decoded intra block;
The encoding means encodes the corrected decoded intra block to obtain a corrected intra block;
It is preferable that the synthesizing unit synthesizes the corrected intra frame, the corrected intra block, and the inter block to obtain the processed compressed moving image data.
[0022]
A fourth image processing apparatus according to the present invention is an image processing apparatus that obtains processed compressed moving image data by performing image quality correction processing on compressed moving image data including I frames, P frames, and B frames. ,
Separating means for separating the B frame from the I frame and the P frame;
Decoding means for decoding the I frame and the P frame to obtain a decoded I frame and a decoded P frame;
Correction means for performing an image quality correction process on the decoded I frame and the decoded P frame to obtain a corrected decoded I frame and a corrected decoded P frame;
Encoding means for encoding the corrected I decoded frame and the corrected decoded P frame to obtain a corrected I frame and a corrected P frame;
And a combining unit that combines the corrected I frame, the corrected P frame, and the B frame to obtain the processed compressed moving image data.
[0023]
The fourth image processing apparatus of the present invention further comprises block separation means for separating the B frame into intra blocks and inter blocks,
The decoding means decodes the intra block to obtain a decoded intra block;
The correction means performs image quality correction processing on the decoded intra block to obtain a corrected decoded intra block;
The encoding means encodes the corrected decoded intra block to obtain a corrected intra block;
Preferably, the synthesizing unit synthesizes the corrected I frame, the corrected P frame, the corrected intra block, and the inter block to obtain the processed compressed moving image data.
[0024]
The fifth image processing apparatus of the present invention is an image processing apparatus which obtains processed compressed moving image data by performing image quality correction processing on compressed moving image data mainly composed of DCT coefficient data and motion vector data for each frame. Because
Extraction means for extracting the DCT coefficient data and the motion vector data from the compressed video data;
Decoding means for obtaining decoded data by decoding the compressed moving image data using the DCT coefficient data and the motion vector data;
Correction means for performing image quality correction processing on the decoded data to obtain corrected decoded data;
Encoding means for encoding the corrected decoded data to obtain the processed compressed moving image data,
The encoding means performs encoding using the motion vector data obtained by the extraction means.
[0025]
Image data compressed by MPEG is mainly composed of a DCT coefficient and a motion vector for each frame in addition to header information indicating whether it is an intra frame or an inter frame. When decoding such compressed moving image data, a motion vector is also required when decoding and encoding after image quality correction. In the fifth image processing apparatus of the present invention, although the motion vector does not significantly affect the image quality such as gradation, the amount of calculation for obtaining the motion vector during encoding is enormous. Attention is paid to avoiding a new motion vector when encoding, and to use the motion vector obtained when decoding for encoding to shorten the processing time.
[0026]
A first program of the present invention is a program for causing a computer to execute image processing for obtaining compressed compressed moving image data by performing image quality correction processing on the compressed moving image data.
A separation process in which the image processing separates the compressed moving image data into a portion to be corrected and a portion not to be corrected;
A decoding process for decoding the portion to be corrected to obtain decoded data;
Correction processing for obtaining corrected decoded data by performing image quality correction processing on the decoded data;
A decoding process for decoding the portion to be corrected to obtain decoded data;
Correction processing for obtaining corrected decoded data by performing image quality correction processing on the decoded data;
An encoding process for encoding the corrected decoded data;
It is characterized by comprising a synthesis process for synthesizing the part encoded by the encoding process and the uncorrected part to obtain the processed compressed moving image data.
[0027]
A second program according to the present invention performs image processing on a computer to obtain processed compressed moving image data by performing image quality correction processing on compressed moving image data obtained by compressing with a compression method using the first frame as a reference frame. A program for causing the image processing to separate the first frame and other frames from the compressed moving image data;
A decoding process for decoding the first frame to obtain a decoded first frame;
Correction processing for obtaining a corrected decoded first frame by performing image quality correction processing on the decoded first frame;
An encoding process for obtaining the corrected first frame by encoding the corrected decoded first frame;
The corrected head frame and the other frame are combined to obtain the processed compressed moving image data.
[0028]
A third program of the present invention is a program for causing a computer to execute image processing for obtaining corrected compressed moving image data by performing image quality correction processing on compressed moving image data composed of intra frames and inter frames. There,
A separation process for separating the compressed moving image data into the intra frame and the inter frame;
A decoding process for decoding the intra frame to obtain a decoded intra frame;
Correction processing for obtaining a corrected decoded intra frame by performing image quality correction processing on the decoded intra frame;
An encoding process for encoding the corrected decoded intra frame to obtain a corrected intra frame;
The corrected intra frame and the inter frame are combined to obtain the corrected compressed moving image data.
[0029]
In addition, the separation processing is to perform block separation processing for further separating the interframe into intra blocks and inter blocks,
The decoding process also decodes the intra block to obtain a decoded intra block,
The correction processing performs image quality correction processing on the decoded intra block to obtain a corrected decoded intra block,
The encoding process encodes the corrected decoded intra block to obtain a corrected intra block;
It is preferable that the combining process is to combine the corrected intra frame, the corrected intra block, and the inter block to obtain the processed compressed moving image data.
[0030]
A fourth program of the present invention causes a computer to execute image processing for obtaining processed compressed moving image data by performing image quality correction processing on compressed moving image data composed of I frames, P frames, and B frames. The program of
The image processing separates the B frame from the I frame and the P frame;
A decoding process for decoding the I frame and the P frame to obtain a decoded I frame and a decoded P frame;
A correction process for performing an image quality correction process on the decoded I frame and the decoded P frame to obtain a corrected decoded I frame and a corrected decoded P frame;
An encoding process for encoding the corrected I decoded frame and the corrected decoded P frame to obtain a corrected I frame and a corrected P frame;
The corrected I frame, the corrected P frame, and the B frame are combined to obtain the processed compressed moving image data.
[0031]
The separation processing also performs block separation processing for further separating the B frame into intra blocks and inter blocks,
The decoding process also decodes the intra block to obtain a decoded intra block,
The correction processing performs image quality correction processing on the decoded intra block to obtain a corrected decoded intra block,
The encoding process encodes the corrected decoded intra block to obtain a corrected intra block;
It is preferable that the combining process is to combine the corrected I frame, the corrected P frame, the corrected intra block, and the inter block to obtain the processed compressed moving image data.
[0032]
According to a fifth program of the present invention, image processing for obtaining processed compressed moving image data by performing image quality correction processing on compressed moving image data mainly composed of DCT coefficient data and motion vector data for each frame is performed on a computer. A program for executing the program,
An extraction process in which the image processing extracts the DCT coefficient data and the motion vector data from the compressed moving image data;
A decoding process for decoding the compressed moving image data using the DCT coefficient data and the motion vector data to obtain decoded data;
Correction processing for obtaining corrected decoded data by performing image quality correction processing on the decoded data;
An encoding process that encodes the corrected decoded data to obtain the processed compressed moving image data,
It is preferable that the encoding process is an encoding process using the motion vector data obtained by the extraction process.
[0033]
【The invention's effect】
According to the first image processing apparatus of the present invention, when the compressed moving image data is subjected to the image quality correction process to obtain the processed compressed moving image data, the compressed moving image data is corrected and the uncorrected portion. By dividing only the “corrected part” that affects the image quality by correction, and performing the decoding process and the image quality correcting process, and encoding it together with the “uncorrected part”, the “uncorrected part” Therefore, it is possible to correct the compressed moving image data so that the compressed moving image data can be displayed beautifully, and to shorten the processing time.
[0034]
In the first image processing apparatus of the present invention, when decoding the “correction portion” by the decoding means, only the decoding processing to such an extent that the image correction processing can be performed on the “correction portion” by the correction means. If this is applied, the decoding time can be further shortened.
[0035]
According to the second image processing apparatus of the present invention, the head frame is separated from the compressed moving image data obtained by compression using the compression method using the head frame as a reference frame, and only the head frame is subjected to decoding processing and image quality correction. By performing processing and encoding processing and synthesizing with other frames to obtain processed compressed video data, decoding processing and image quality correction processing for other frames expressed by the difference from the data of the first frame The compressed moving image data can be corrected to the processed compressed moving image data that can be displayed beautifully, and the processing time can be shortened.
[0036]
According to the third image processing apparatus of the present invention, compressed moving image data composed of intra frames and inter frames is separated into intra frames and inter frames, and decoding processing and image quality correction are performed only on the intra frames. By performing processing, encoding processing, and synthesizing with inter frames to obtain processed compressed moving image data, decoding processing, image quality correction processing for inter frames represented by differences from other frame data, It is possible to save the trouble of performing the encoding process, correct the compressed moving image data to the processed compressed moving image data that can be displayed beautifully, and shorten the processing time.
[0037]
The third image processing apparatus of the present invention further includes block separation means for separating the inter frame into inter blocks and intra blocks, and also performs image quality correction processing (and decoding processing for performing image quality correction processing) on the intra blocks. If the encoding process is performed, the image quality can be further improved.
[0038]
According to the fourth image processing apparatus of the present invention, the compressed moving image data composed of the I frame, the P frame, and the B frame is separated into the B frame, the I frame, and the P frame, and the I frame and the P frame are separated. Only by performing decoding processing, image quality correction processing, and encoding processing on the image, and combining with the B frame to obtain processed compressed moving image data. This eliminates the need to perform decoding, image quality correction, and encoding processing on the displayed interframe, and can correct such compressed moving image data to processed compressed moving image data that can be displayed beautifully. Time can be shortened.
[0039]
The fourth image processing apparatus of the present invention further includes block separation means for separating the B frame into inter blocks and intra blocks, and also performs image quality correction processing (and decoding processing for performing image quality correction processing) on the intra blocks. If the encoding process is performed, the image quality can be further improved.
[0040]
The fifth image processing apparatus of the present invention extracts DCT coefficient data and motion vector data from compressed moving image data mainly composed of DCT coefficient data and motion vector data for each frame, and performs decoding processing and image quality correction. When processing and encoding the corrected data, the image quality of the moving image is beautifully corrected by encoding using the extracted original motion vector data without obtaining new motion vector data. In addition, it is possible to avoid an enormous amount of calculation for obtaining a motion vector during encoding, which is efficient.
[0041]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0042]
FIG. 1 is a block diagram showing a configuration of a cellular phone system A which is a first embodiment of the image processing apparatus and program of the present invention. As shown in the figure, the mobile phone system A of the present embodiment includes a plurality of mobile phones 10 and a relay server 100 that relays communication between the plurality of mobile phones 10, and the mobile phone 10 and the relay server 100. Are connected via the mobile phone communication network 20. The relay server 100 relays calls between the mobile phones 10 and also relays e-mails and the like. Hereinafter, for easy understanding of the gist of the present invention, when relaying an electronic mail transmitted / received between the mobile phones 10, an explanation will be given with an emphasis on the operation of the relay server 100 when image data is attached to the electronic mail. I do. In the following description, “image” is represented by “image data”, and “image” and “image data” have the same meaning.
[0043]
FIG. 2 is a block diagram showing a configuration of relay server 100 in mobile phone system A shown in FIG. As illustrated in FIG. 2A, the relay server 100 of the mobile phone system A controls the overall operation of the server 100 including the communication unit 30 for performing transmission / reception with each mobile phone 10 and the communication unit 30. Under the control of the control unit 40, the control unit 40, the storage unit 50 for storing data T other than the attached image of the e-mail, and the still image S corrected by performing image quality correction processing on the still image S attached to the e-mail The image processing apparatus includes a still image processing unit 60 that obtains an image S ′ and a moving image processing unit that obtains a corrected moving image G ′ by performing image quality correction processing on the moving image G attached to the e-mail.
[0044]
The still image S, the corrected still image S ′ and the moving image G, and the corrected moving image G are “compressed”.
[0045]
The control unit 40 causes the storage unit 50 to store the data T of the other part of the e-mail transmitted from the transmission-side mobile phone 10 via the communication unit 30 except for the attached image, and the attached image is stationary. In the case of the image S, the attached image is output to the still image processing unit 60 and the still image processing unit 60 performs image quality correction processing to obtain a corrected still image S ′, while the attached image is the moving image G. In this case, the attached image is output to the moving image processing unit 70, and the corrected moving image G ′ is obtained by causing the moving image processing unit 70 to perform image quality correction processing. The control unit 40 processes the image that has been processed by the still image processing unit 60 or the moving image processing unit 70 and the data T stored in the storage unit 50 into the form of a mail with an image attached thereto, and the communication unit 30. To the mobile phone 10 on the receiving side.
[0046]
FIG. 2B is a block diagram illustrating a configuration of the moving image processing unit 70 in the relay server 100 illustrated in FIG. As shown in the drawing, the moving image processing unit 70 decodes the attached image G, which is compressed moving image data, into the data G0 of the corrected portion and the data G1 of the uncorrected portion, and the data G0. A decoding unit 74 that obtains decoded data G01, a correction unit 76 that performs image quality correction processing on the decoded data G01 to obtain corrected decoded data G02, and encodes the corrected decoded data G02 to obtain corrected encoded data G03. The encoding unit 80 includes a combined unit 82 that combines the corrected encoded data G03 and the uncorrected portion of the data G1 to obtain a corrected moving image G ′.
[0047]
Note that the decoding unit 74 performs only decoding processing to the extent that the correction unit 76 can perform image quality correction processing on the data G0 to be corrected.
[0048]
FIG. 3 is a flowchart showing the operation of the relay server 100 shown in FIG. As shown in the figure, when the relay server 100 in the mobile phone system A shown in FIG. 1 receives a mail attached with an image from the mobile phone 10 on the transmission side via the communication unit 30 (S10), the control unit 40 Then, it is confirmed whether the attached image is a still image or a moving image (S20). If the attached image is a still image S (S20: No), the control unit 40 stores the data T of the other part excluding the attached image in the storage unit 50, and the attached image as the still image S is a still image. The data is output to the processing unit 60 (S25). The still image processing unit 60 performs image quality correction processing such as gradation correction on the still image S to obtain a corrected still image S ′ (S30). The control unit 40 processes the corrected still image S ′ obtained by the still image processing unit 60 and the data T stored in the storage unit 50 into a mail format with an image attached thereto, and then performs the communication unit 30. Then, the data is transmitted to the mobile phone 10 on the receiving side (S90).
[0049]
On the other hand, if the attached image is the moving image G in step S20 (S20: Yes), the control unit 40 stores the data T of the other part excluding the attached image in the storage unit 50, and the moving image G A certain attached image is output to the moving image processing unit 70 (S35). The moving image processing unit 70 performs a moving image correction process P1 that is an image quality correction process such as gradation correction on the moving image G to obtain a corrected moving image G ′ (S40). The control unit 40 processes the corrected moving image G ′ obtained by the moving image processing unit 70 and the data T stored in the storage unit 50 into a mail format with an image attached thereto, and causes the communication unit 30 to operate. To the mobile phone 10 on the receiving side (S90).
[0050]
FIG. 4 is a flowchart showing the operation of the moving image processing unit 70 in the relay server 100 shown in FIG. As shown in the figure, the moving image processing unit 70 first corrects the image G, which is compressed moving image data, by the separation unit 72 when performing the moving image correction processing P1 which is the image quality correction processing on the moving image G. The data G0 for the portion to be corrected and the data G1 for the portion not to be corrected are separated (S42). The decoding unit 74 decodes the data G0 to be corrected to obtain decoded data G01 (S46), and the correcting unit 76 performs image quality correction processing on the decoded data G01 to obtain corrected decoded data G02 (S46). ). The encoding unit 80 encodes the corrected decoded data G02 to obtain corrected encoded data G03 (S48), and the combining unit 82 corrects the corrected encoded data G03 acquired by the encoding unit 80 and the correction separated by the separating unit 72. The corrected moving image G ′ is obtained by synthesizing with the data G1 of the portion not to be used, and provided to the control unit 40 (S50).
[0051]
FIG. 5 is a block diagram showing a configuration of a mobile phone system B which is the second embodiment of the image processing apparatus and program of the present invention. As shown in the figure, the mobile phone system B of this embodiment includes a plurality of mobile phones 110 and a relay server 200 that relays communication between the plurality of mobile phones 110. The mobile phone 110 and the relay server 200 are shown in FIG. Are connected via the mobile phone communication network 120. The relay server 200 relays calls between the mobile phones 110 and also relays e-mails and the like. Also here, in order to make the gist of the present invention easy to understand, when relaying an electronic mail transmitted / received between the mobile phones 110, the operation of the relay server 200 when image data is attached to the electronic mail is emphasized. Give an explanation.
[0052]
FIG. 6 is a block diagram showing a configuration of relay server 200 in mobile phone system B shown in FIG. As shown in FIG. 6A, the relay server 200 of the mobile phone system B controls the overall operation of the server 100 including the communication unit 130 for performing transmission / reception with each mobile phone 110 and the communication unit 130. Under the control of the control unit 140, the control unit 140, the storage unit 150 that stores data T other than the attached image of the email, and the still image S that has been corrected by performing image quality correction processing on the still image S attached to the email A still image processing unit 160 that obtains an image S ′ and a moving image processing unit 170 that obtains a corrected moving image G ′ by performing image quality correction processing on the moving image G attached to the e-mail are provided.
[0053]
The still image S, the corrected still image S ′ and the moving image G, and the corrected moving image G are “compressed”, and the moving image G is composed of a plurality of frames, and the first frame is set as a reference frame. Compressed by the compression method.
[0054]
The control unit 140 causes the storage unit 150 to store the data T of the other part of the e-mail transmitted from the transmission-side mobile phone 110 via the communication unit 130, excluding the attached image, and the attached image is stationary. In the case of the image S, the attached image is output to the still image processing unit 160 and the still image processing unit 160 performs image quality correction processing to obtain a corrected still image S ′, while the attached image is the moving image G. In this case, the attached image is output to the moving image processing unit 170, and the moving image processing unit 170 performs image quality correction processing to obtain a corrected moving image G ′. The control unit 140 processes the image processed by the still image processing unit 160 or the moving image processing unit 170 and the data T stored in the storage unit 150 into a mail format with an image attached thereto, and performs the communication unit 130. To the mobile phone 110 on the receiving side.
[0055]
FIG. 6B is a block diagram illustrating a configuration of the moving image processing unit 170 in the relay server 200 illustrated in FIG. As illustrated, the moving image processing unit 170 decodes the first frame F0 and the frame separation unit 172 that separates the attached image G, which is compressed moving image data, into a first frame F0 and a frame F1 other than the first frame. The decoding unit 174 that obtains the decoded first frame F01, the correction unit 176 that performs the image quality correction process on the decoded first frame F01 to obtain the corrected decoded first frame F02, and the corrected decoded first frame F02 are encoded and corrected The encoding unit 178 that obtains the first frame F03 and the code synthesis unit 180 that obtains the corrected moving image G ′ by synthesizing the corrected first frame F03 and another frame F1 are provided.
[0056]
FIG. 7 is a flowchart showing the operation of the relay server 200 shown in FIG. As shown in the figure, when the relay server 200 in the mobile phone system B shown in FIG. 5 receives a mail with an image attached from the mobile phone 110 on the transmission side via the communication unit 130 (S110), the control unit 140 Then, it is confirmed whether the attached image is a still image or a moving image (S120). If the attached image is a still image S (S120: No), the control unit 140 stores the data T of the other part excluding the attached image in the storage unit 150, and also converts the attached image as the still image S to the still image. The data is output to the processing unit 160 (S125). The still image processing unit 160 performs image quality correction processing such as gradation correction on the still image S to obtain a corrected still image S ′ (S130). The control unit 140 processes the corrected still image S ′ obtained by the still image processing unit 160 and the data T stored in the storage unit 150 into a mail format with an image attached thereto, and then performs the communication unit 130. Then, the data is transmitted to the mobile phone 110 on the receiving side (S190).
[0057]
On the other hand, if the attached image is the moving image G in step S120 (S120: Yes), the control unit 140 stores the data T of the other part excluding the attached image in the storage unit 150, and the moving image G A certain attached image is output to the moving image processing unit 170 (S135). The moving image processing unit 170 performs a moving image correction process P2 that is an image quality correction process such as gradation correction on the moving image G to obtain a corrected moving image G ′ (S140). The control unit 140 processes the corrected moving image G ′ obtained by the moving image processing unit 170 and the data T stored in the storage unit 150 into a mail format with an image attached thereto, and causes the communication unit 130 to operate. Via the mobile phone 110 on the receiving side (S190).
[0058]
FIG. 8 is a flowchart showing the operation of the moving image processing unit 170 in the relay server 200 shown in FIG. As shown in the figure, when the moving image processing unit 170 performs the moving image correction processing P2 that is the image quality correction processing on the moving image G, first, the frame separation unit 172 converts the image G that is the compressed moving image data into The first frame F0 and the other frame F1 are separated (S142). The decoding unit 174 decodes the first frame F0 to obtain the decoded first frame F01 (S144), and the correction unit 176 performs image quality correction processing on the decoded first frame F01 to obtain a corrected decoded first frame F02 (S146). ). The encoding unit 178 encodes the corrected decoded first frame F02 to obtain a corrected first frame F03 (S148), and the code synthesis unit 180 uses the corrected first frame F03 acquired by the encoding unit 178 and the frame separation unit 172. The other separated frame F1 is combined to obtain a corrected moving image G ′, which is provided to the control unit 140 (S150).
[0059]
FIG. 9 is a block diagram showing a configuration of a mobile phone system C as a third embodiment of the image processing apparatus and program of the present invention. As shown in the figure, the mobile phone system C of this embodiment includes a plurality of mobile phones 210 and a relay server 300 that relays communication between the plurality of mobile phones 210. The mobile phone 210 and the relay server 300 are shown in FIG. Are connected via the mobile phone communication network 220. The relay server 300 relays calls between the mobile phones 210 and relays e-mails and the like. Also here, in order to make the gist of the present invention easy to understand, when relaying an electronic mail transmitted / received between the mobile phones 210, the operation of the relay server 300 when image data is attached to the electronic mail is emphasized. Give an explanation.
[0060]
FIG. 10 is a block diagram showing a configuration of relay server 300 in mobile phone system C shown in FIG. As shown in FIG. 10A, the relay server 300 of the mobile phone system C controls the overall operation of the server 100 including the communication unit 230 for performing transmission / reception with each mobile phone 210 and the communication unit 230. Under the control of the control unit 240, the control unit 240, the storage unit 250 that stores data T other than the attached image of the e-mail, and the still image S that has been corrected by performing image quality correction processing on the still image S attached to the e-mail A still image processing unit 260 that obtains an image S ′ and a moving image processing unit 270 that obtains a corrected moving image G ′ by performing image quality correction processing on the moving image G attached to the e-mail are provided.
[0061]
The still image S, the corrected still image S ′ and the moving image G, and the corrected moving image G are “compressed”, and the moving image G includes an intra frame and other frames that do not depend on other frames. Are formed from interframes that depend on other frames.
[0062]
The control unit 240 causes the storage unit 250 to store the data T of the other part of the e-mail transmitted from the transmission-side mobile phone 210 via the communication unit 230 except the attached image, and the attached image is stationary. In the case of the image S, the attached image is output to the still image processing unit 260, and the still image processing unit 260 performs image quality correction processing to obtain a corrected still image S ′, while the attached image is the moving image G. In this case, the attached image is output to the moving image processing unit 270, and the moving image processing unit 270 performs image quality correction processing to obtain a corrected moving image G ′. The control unit 240 processes the image that has been processed by the still image processing unit 260 or the moving image processing unit 270 and the data T stored in the storage unit 250 into the form of a mail with an image attached thereto, and the communication unit 230. To the mobile phone 210 on the receiving side.
[0063]
FIG. 10B is a block diagram illustrating a configuration of the moving image processing unit 270 in the relay server 300 illustrated in FIG. As illustrated, the moving image processing unit 270 further includes a frame separation unit 272 that separates the attached image G, which is compressed moving image data, into an intra frame and an inter frame, and each inter frame obtained by the frame separation unit 272. A block separation unit 274 that separates an intra block and an inter block; a decoding unit 276 that decodes an intra frame and an intra block to obtain a decoded intra frame and a decoded intra block (hereinafter collectively referred to as decoded data M0); and a decoded data M0 A correction unit 278 that performs an image quality correction process to obtain a corrected decoded intra frame and a corrected decoded intra block (hereinafter collectively referred to as corrected decoded data M01), and encodes the corrected decoded data M01. Encoding unit 280 that obtains a corrected intra frame and a corrected intra block (hereinafter collectively referred to as corrected data M02), and a code that combines corrected data M02 and the inter block to obtain corrected moving image G ′ And a combining unit 282.
[0064]
FIG. 11 is a flowchart showing the operation of the relay server 300 shown in FIG. As shown in the figure, when the relay server 300 in the mobile phone system C shown in FIG. 9 receives a mail attached with an image from the mobile phone 210 on the transmission side via the communication unit 230 (S210), the control unit 240 Then, it is confirmed whether the attached image is a still image or a moving image (S220). If the attached image is a still image S (S220: No), the control unit 240 stores the data T of the other part excluding the attached image in the storage unit 250, and the attached image that is the still image S is a still image. The data is output to the processing unit 260 (S225). The still image processing unit 260 performs image quality correction processing such as gradation correction on the still image S to obtain a corrected still image S ′ (S230). The control unit 240 processes the corrected still image S ′ obtained by the still image processing unit 260 and the data T stored in the storage unit 250 into a mail format with an image attached thereto, and the communication unit 230. Is transmitted to the mobile phone 210 on the receiving side via S (S290).
[0065]
On the other hand, if the attached image is the moving image G in step S220 (S220: Yes), the control unit 240 stores the data T of the other part excluding the attached image in the storage unit 250 and the moving image G A certain attached image is output to the moving image processing unit 270 (S235). The moving image processing unit 270 performs a moving image correction process P3, which is an image quality correction process such as gradation correction, on the moving image G to obtain a corrected moving image G ′ (S240). The control unit 240 processes the corrected moving image G ′ obtained by the moving image processing unit 270 and the data T stored in the storage unit 250 into a mail format with an image attached thereto, and causes the communication unit 230 to operate. To the mobile phone 210 on the receiving side (S290).
[0066]
FIG. 12 is a flowchart showing the operation of the moving image processing unit 270 in the relay server 300 shown in FIG. As shown in the figure, when the moving image processing unit 270 performs a moving image correction process P3 that is an image quality correction process on the moving image G, first, the frame separating unit 272 converts the image G that is the compressed moving image data, The intra frame and the inter frame are separated (S242). The block separation unit 274 further separates the inter frame obtained by the frame separation unit 272 into an intra block and an inter block (S244). The decoding unit 276 decodes the intra frame and the intra block to obtain decoded data M0 (S246), and the correction unit 276 performs image quality correction processing on the decoded data M0 to obtain corrected decoded decoded data M01 (S248). ). The encoding unit 280 encodes the corrected decoded data M01 to obtain corrected data M02 (S250), and the code synthesis unit 282 synthesizes the corrected data M02 acquired by the encoding unit 280 and the inter block and corrects it. The obtained moving image G ′ is obtained and provided to the control unit 240 (S252).
[0067]
FIG. 13 is a block diagram showing a configuration of a mobile phone system D which is the fourth embodiment of the image processing apparatus and program of the present invention. As shown in the figure, the mobile phone system D of this embodiment includes a plurality of mobile phones 310 and a relay server 400 that relays communication between the plurality of mobile phones 310. Are connected via a mobile phone communication network 320. The relay server 400 relays calls between the mobile phones 310 and also relays e-mails and the like. Also here, in order to make the gist of the present invention easy to understand, when relaying an electronic mail transmitted / received between the mobile phones 310, the operation of the relay server 400 when image data is attached to the electronic mail is emphasized. Give an explanation.
[0068]
FIG. 14 is a block diagram showing a configuration of relay server 400 in mobile phone system D shown in FIG. As shown in FIG. 14A, the relay server 400 of the mobile phone system D controls the communication unit 330 for performing transmission / reception with each mobile phone 310 and the overall operation of the server 100 including the communication unit 330. Under the control of the control unit 340, the control unit 340, the storage unit 350 that stores data T other than the attached image of the e-mail, and the still image S that has been corrected by performing image quality correction processing on the still image S attached to the e-mail A still image processing unit 360 that obtains an image S ′ and a moving image processing unit 370 that performs an image quality correction process on the moving image G attached to the e-mail to obtain a corrected moving image G ′ are provided.
[0069]
Note that the still image S, the corrected still image S ′ and the moving image G, and the corrected moving image G are “compressed”, and the moving image G is an I frame that does not depend on other frames, and is prior to itself. It is composed of a P frame that depends only on the frame and a B frame that depends on both the previous and subsequent frames, for example, MPEG compressed.
[0070]
The control unit 340 stores, in the storage unit 350, the data T of the other part of the e-mail transmitted from the transmission-side mobile phone 310 via the communication unit 330, excluding the attached image, and the attached image is stationary. In the case of the image S, the attached image is output to the still image processing unit 360 and the still image processing unit 360 performs image quality correction processing to obtain a corrected still image S ′, while the attached image is the moving image G. In this case, the attached image is output to the moving image processing unit 370, and the moving image processing unit 370 performs image quality correction processing to obtain a corrected moving image G ′. The control unit 340 processes the image processed by the still image processing unit 360 or the moving image processing unit 370 and the data T stored in the storage unit 350 into a mail format with an image attached thereto, and performs a communication unit 330. To the mobile phone 310 on the receiving side.
[0071]
FIG. 14B is a block diagram illustrating a configuration of the moving image processing unit 370 in the relay server 400 illustrated in FIG. As illustrated, the moving image processing unit 370 separates the attached image G, which is compressed moving image data, into an I frame, a P frame, and a B frame, and each B obtained by the frame separation unit 372. A block separation unit 374 that further separates the frame into an intra block and an inter block; and an intra block obtained by the I frame, the P frame, and the block separation unit 374, and a decoded I frame, a decoded P frame, and a decoded intra block ( A decoding unit 376 that obtains the decoded data N0) and an image quality correction process performed on the decoded data N0 to obtain a corrected decoded I frame, a corrected decoded P frame, and a corrected intra block (hereinafter also corrected decoded). Data N01 ), An encoding unit 380 that encodes the corrected decoded data N01 to obtain a corrected I frame, a corrected P frame, and a corrected intra block (hereinafter referred to as corrected data N02); A code synthesizing unit 382 for synthesizing the completed data N02 and the inter block to obtain a corrected moving image G ′. Although not shown, the encoding unit 380 has a reference frame memory, and this reference frame memory is obtained by the correction unit 378 and all the reference frames (that is, P frames to be encoded next) (that is, the reference frame memory). The corrected decoded frame (corrected decoded I frame and / or corrected decoded P frame) of the frame on which the P frame depends is stored and used for encoding the corresponding P frame.
[0072]
FIG. 15 is a flowchart showing the operation of the relay server 400 shown in FIG. As shown in the figure, when the relay server 400 in the mobile phone system D shown in FIG. 13 receives a mail with an image attached from the mobile phone 310 on the transmission side via the communication unit 330 (S310), the control unit 340 Then, it is confirmed whether the attached image is a still image or a moving image (S320). If the attached image is a still image S (S320: No), the control unit 340 stores the data T of the other part excluding the attached image in the storage unit 350 and the attached image that is the still image S as a still image. The data is output to the processing unit 360 (S325). The still image processing unit 360 performs image quality correction processing such as gradation correction on the still image S to obtain a corrected still image S ′ (S330). The control unit 340 processes the corrected still image S ′ obtained by the still image processing unit 360 and the data T stored in the storage unit 350 into a mail format with an image attached thereto, and then performs a communication unit 330. Is transmitted to the mobile phone 310 on the receiving side via S (S390).
[0073]
On the other hand, if the attached image is the moving image G in step S320 (S320: Yes), the control unit 340 stores the data T of the other part excluding the attached image in the storage unit 350, and the moving image G A certain attached image is output to the moving image processing unit 370 (S335). The moving image processing unit 370 performs a moving image correction process P4, which is an image quality correction process such as gradation correction, on the moving image G to obtain a corrected moving image G ′ (S340). The control unit 340 processes the corrected moving image G ′ obtained by the moving image processing unit 370 and the data T stored in the storage unit 350 into a mail format with an image attached thereto, and causes the communication unit 330 to operate. To the mobile phone 310 on the receiving side (S390).
[0074]
FIG. 16 is a flowchart showing the operation of the moving image processing unit 370 in the relay server 400 shown in FIG. As shown in the figure, when the moving image processing unit 370 performs a moving image correction process P4 that is an image quality correction process on the moving image G, first, the frame separating unit 372 converts the image G that is the compressed moving image data into The frame is separated into an I frame, a P frame, and a B frame (S342). The block separation unit 374 further separates the B frame obtained by the frame separation unit 372 into an intra block and an inter block (S344). The decoding unit 376 decodes the I frame, the P frame, and the intra block to obtain decoded data N0 (S346), and the correction unit 376 performs image quality correction processing on the decoded data N0 to obtain corrected decoded decoded data N01. Obtain (S348). The encoding unit 380 encodes the corrected decoded data N01 to obtain corrected data N02 (S350), and the code synthesis unit 382 synthesizes the corrected data N02 acquired by the encoding unit 380 and the inter block and corrects it. The obtained moving image G ′ is obtained and provided to the control unit 340 (S352).
[0075]
FIG. 17 is a block diagram showing a configuration of a mobile phone system E which is the fifth embodiment of the image processing apparatus and program of the present invention. As shown in the figure, the mobile phone system E of this embodiment includes a plurality of mobile phones 410 and a relay server 500 that relays communication between the plurality of mobile phones 410. Are connected via the mobile phone communication network 420. The relay server 500 relays calls between the mobile phones 410 and relays e-mails and the like. Also here, in order to make the gist of the present invention easier to understand, when relaying an electronic mail transmitted / received between the mobile phones 410, the operation of the relay server 500 when image data is attached to the electronic mail is emphasized. Give an explanation.
[0076]
FIG. 18 is a block diagram showing a configuration of relay server 500 in mobile phone system E shown in FIG. As shown in FIG. 18A, the relay server 500 of the mobile phone system E controls the overall operation of the server 100 including the communication unit 430 for performing transmission / reception with each mobile phone 410 and the communication unit 430. Under the control of the control unit 440, the control unit 440, the storage unit 450 that stores data T other than the attached image of the e-mail, and the still image S that has been corrected by performing image quality correction processing on the still image S attached to the e-mail A still image processing unit 460 that obtains an image S ′ and a moving image processing unit 470 that obtains a corrected moving image G ′ by performing image quality correction processing on the moving image G attached to the e-mail are provided.
[0077]
The still image S, the corrected still image S ′ and the moving image G, and the corrected moving image G are “compressed”, and the moving image G includes mainly DCT coefficient data in addition to the header information. It consists of motion vector data and is, for example, MPEG-compressed.
[0078]
The control unit 440 causes the storage unit 450 to store the data T of the other part of the e-mail transmitted from the transmitting-side mobile phone 410 via the communication unit 430 except the attached image, and the attached image is stationary. In the case of the image S, the attached image is output to the still image processing unit 460, and the still image processing unit 460 performs image quality correction processing to obtain the corrected still image S ′, while the attached image is the moving image G. In this case, the attached image is output to the moving image processing unit 470, and the moving image processing unit 470 performs image quality correction processing to obtain a corrected moving image G ′. The control unit 440 processes the image processed by the still image processing unit 460 or the moving image processing unit 470 and the data T stored in the storage unit 450 into a mail format with an image attached thereto, and performs a communication unit 430. To the mobile phone 410 on the receiving side.
[0079]
FIG. 18B is a block diagram illustrating a configuration of the moving image processing unit 470 in the relay server 500 illustrated in FIG. As illustrated, the moving image processing unit 470 includes an extraction unit 472 that extracts DCT coefficient data and motion vector data from an attached image G that is compressed moving image data, and the DCT coefficient data and motion obtained by the extraction unit 472. A decoding unit 474 that decodes the moving image G using vector data to obtain decoded data R0 of each frame, and a correction unit 476 that performs image quality correction processing on the decoded data R0 to obtain corrected decoded data R′0. And an encoding unit 478 that encodes the corrected decoded data R′0 using the motion vector data obtained by the extracting unit 472 to obtain a corrected moving image G ′. Although not shown, the encoding unit 478 has a reference frame memory, and this reference frame memory is obtained by the correction unit 476 and all the reference frames (ie, the reference frame) to be encoded next. The corrected decoded data R′0 of the frame on which the frame depends is stored and used for encoding the corresponding frame.
[0080]
FIG. 19 is a flowchart showing the operation of the relay server 500 shown in FIG. As shown in the figure, when the relay server 500 in the mobile phone system E shown in FIG. 17 receives a mail with an image attached from the mobile phone 410 on the transmission side via the communication unit 430 (S410), the control unit 440 Then, it is confirmed whether the attached image is a still image or a moving image (S420). If the attached image is a still image S (S420: No), the control unit 440 stores the data T of the other part excluding the attached image in the storage unit 450 and also converts the attached image that is the still image S to the still image. The data is output to the processing unit 460 (S425). The still image processing unit 460 performs image quality correction processing such as gradation correction on the still image S to obtain a corrected still image S ′ (S430). The control unit 440 processes the corrected still image S ′ obtained by the still image processing unit 460 and the data T stored in the storage unit 450 into a mail format with an image attached thereto, and performs a communication unit 430. Then, the data is transmitted to the mobile phone 410 on the receiving side (S490).
[0081]
On the other hand, in step S420, if the attached image is the moving image G (S420: Yes), the control unit 440 stores the data T of the other part excluding the attached image in the storage unit 450 and the moving image G A certain attached image is output to the moving image processing unit 470 (S435). The moving image processing unit 470 performs a moving image correction process P5 that is an image quality correction process such as gradation correction on the moving image G to obtain a corrected moving image G ′ (S440). The control unit 440 processes the corrected moving image G ′ obtained by the moving image processing unit 470 and the data T stored in the storage unit 450 into a mail format with an image attached thereto, and causes the communication unit 430 to operate. To the mobile phone 410 on the receiving side (S490).
[0082]
FIG. 20 is a flowchart showing the operation of the moving image processing unit 470 in the relay server 500 shown in FIG. As shown in the figure, when the moving image processing unit 470 performs the moving image correction process P5 that is the image quality correction process on the moving image G, first, the extracting unit 472 uses the compressed moving image data from the image G to DCT. Coefficient data and motion vector data are extracted (S442). The decoding unit 474 decodes each frame of the moving image G using the DCT coefficient data and motion vector data obtained by the extraction unit 472 to obtain decoded data R0 (S444), and the correction unit 476 converts the decoded data R0 into the decoded data R0. On the other hand, image quality correction processing is performed to obtain corrected decoded decoded data R′0 (S446). The encoding unit 478 encodes the corrected decoded data R′0 using the motion vector data of each frame of the moving image G obtained by the extracting unit 472 to obtain the corrected moving image G ′, and the control unit 440 (S448).
[0083]
In the above-described four embodiments of the present invention from the cellular phone system A to the cellular phone system D, a portion for correcting the compressed moving image data when image quality correction processing such as gradation correction is performed on the compressed moving image data And the portion to be corrected is decoded, and only the portion to be corrected is decoded, corrected for image quality, encoded and then combined with the portion not to be corrected to obtain processed compressed moving image data. Image quality correction processing for beautiful display can be performed, and the processing time can be shortened by reducing the amount of data to be decoded and encoded, which is efficient.
[0084]
In addition, the mobile phone system E according to the fifth embodiment performs motion vector correction when image quality correction processing is performed on compressed moving image data such as MPEG in which each frame is mainly composed of DCT coefficient data and motion vector data. Is extracted from the original compressed moving image data at the time of decoding when decoding the compressed moving image data and encoding after performing the image quality correction. By using the motion vector data encoded, it is possible to omit the calculation for obtaining the motion vector in order to encode the corrected data, shorten the processing time, and efficiently compress the moving image. The processed compressed moving image data can be obtained by correcting the image quality of the data.
[0085]
The preferred embodiments of the image processing apparatus and the program of the present invention have been described above. However, these are not limited to the above-described embodiments, and various changes and increases / decreases can be added unless the gist of the present invention is changed. Can do.
[0086]
For example, the moving image processing unit 270 in the relay server 300 of the mobile phone system C shown in FIG. 9 separates the compressed moving image data into intra frames and inter frames, and further separates the inter frames into intra blocks and inter blocks. However, decoding and image quality correction are performed on both intra frames and intra blocks to improve the image quality, but the compressed video data is separated into intra frames and inter frames. Only intra frames may be decoded and image quality corrected.
[0087]
The same applies to the moving image processing unit 370 in the relay server 400 of the mobile phone system D shown in FIG. That is, the moving image processing unit 370 may decode only the I frame and the P frame and perform image quality correction without separating the B frame into the intra block and the inter block.
[0088]
Further, in all of the first to fifth embodiments described above, the image processing apparatus and program of the present invention are applied to a mobile phone system. However, the image processing apparatus and program of the present invention are applied to a mobile phone system. The present invention is not limited to this, and is applicable to any system or apparatus that needs to perform image quality correction on compressed moving image data to obtain processed compressed moving image data, such as a videophone or a moving image display device. May be.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a mobile phone system A which is a first embodiment of an image processing apparatus and a program according to the present invention.
2 is a block diagram showing a configuration of a relay server 100 in the mobile phone system A shown in FIG.
3 is a flowchart showing the operation of the relay server 100 shown in FIG.
4 is a flowchart showing the operation of the moving image processing unit 70 of the relay server 100 shown in FIG.
FIG. 5 is a block diagram showing a configuration of a mobile phone system B as a second embodiment of the image processing apparatus and program of the present invention.
6 is a block diagram showing a configuration of a relay server 200 in the mobile phone system B shown in FIG.
7 is a flowchart showing the operation of the relay server 200 shown in FIG.
8 is a flowchart showing the operation of the moving image processing unit 170 of the relay server 200 shown in FIG.
FIG. 9 is a block diagram showing the configuration of a mobile phone system C as a third embodiment of the image processing apparatus and program of the present invention.
10 is a block diagram showing a configuration of a relay server 300 in the mobile phone system C shown in FIG.
11 is a flowchart showing the operation of the relay server 300 shown in FIG.
12 is a flowchart showing the operation of the moving image processing unit 270 of the relay server 300 shown in FIG.
FIG. 13 is a block diagram showing the configuration of a mobile phone system D as a fourth embodiment of the image processing apparatus and program of the present invention.
14 is a block diagram showing a configuration of a relay server 400 in the mobile phone system D shown in FIG.
15 is a flowchart showing the operation of the relay server 400 shown in FIG.
FIG. 16 is a flowchart showing the operation of the moving image processing unit 370 of the relay server 400 shown in FIG.
FIG. 17 is a block diagram showing the configuration of a cellular phone system E according to a fifth embodiment of the image processing apparatus and program of the present invention;
18 is a block diagram showing a configuration of a relay server 500 in the mobile phone system E shown in FIG.
FIG. 19 is a block diagram showing the operation of the relay server 500 shown in FIG.
FIG. 20 is a flowchart showing the operation of the moving image processing unit 470 of the relay server 500 shown in FIG.
[Explanation of symbols]
10, 110, 210, 310, 410 mobile phone
20, 120, 220, 320, 420 mobile communication network
30, 130, 230, 330, 430 Communication unit
40, 140, 240, 340, 440 control unit
50, 150, 250, 350, 450 storage unit
60, 160, 260, 360, 460 Still image processing unit
70, 170, 270, 370, 470 Movie processing unit
72 Separation part
74 Decoding part
76 Correction part
80 Encoding part
82 Synthesizer
172 Frame separator
174 Decoding part
176 Correction unit
178 Encoding section
180 Code synthesizer
272 Frame separator
274 Block separation unit
276 decoding unit
278 Correction unit
280 Encoding part
282 Code synthesis unit
372 Frame separator
374 Block separation unit
376 Decoding part
378 Correction unit
380 Encoding section
382 code synthesis unit
472 Extractor
474 decoding unit
476 Correction unit
478 Encoding part
100, 200, 300, 400, 500 Relay server
G Compressed video data
G 'corrected compressed video data
S Compressed still image data
S 'corrected compressed still image data
T Data excluding attached images of e-mail

Claims

An image processing apparatus that obtains processed compressed moving image data by performing image quality correction processing on compressed moving image data composed of an I frame, a P frame, and a B frame,
Separating means for separating the B frame from the I frame and the P frame;
Decoding means for decoding the I frame and the P frame to obtain a decoded I frame and a decoded P frame;
Correction means for performing an image quality correction process on the decoded I frame and the decoded P frame to obtain a corrected decoded I frame and a corrected decoded P frame;
Encoding means for encoding the corrected I decoded frame and the corrected decoded P frame to obtain a corrected I frame and a corrected P frame;
An image processing apparatus comprising: a combining unit that combines the corrected I frame, the corrected P frame, and the B frame to obtain the processed compressed moving image data.

Block separation means for separating the B frame into an intra block and an inter block;
The decoding means decodes the intra block to obtain a decoded intra block;
The correction means performs image quality correction processing on the decoded intra block to obtain a corrected decoded intra block;
The encoding means encodes the corrected decoded intra block to obtain a corrected intra block;
The combining means, the corrected I-frame, according to claim 1, wherein the corrected P-frame, the composite to the corrected intra blocks and the inter blocks are those obtaining the processed compressed moving image data The image processing apparatus described.

A program for causing a computer to execute image processing for obtaining compressed compressed moving image data by performing image quality correction processing on compressed moving image data composed of I frames, P frames, and B frames
The image processing separates the B frame from the I frame and the P frame;
A decoding process for decoding the I frame and the P frame to obtain a decoded I frame and a decoded P frame;
A correction process for performing an image quality correction process on the decoded I frame and the decoded P frame to obtain a corrected decoded I frame and a corrected decoded P frame;
An encoding process for encoding the corrected I decoded frame and the corrected decoded P frame to obtain a corrected I frame and a corrected P frame;
A program comprising: combining the corrected I frame, the corrected P frame, and the B frame to obtain the processed compressed moving image data.

The separation processing also performs block separation processing for further separating the B frame into intra blocks and inter blocks,
The decoding process also decodes the intra block to obtain a decoded intra block,
The correction processing performs image quality correction processing on the decoded intra block to obtain a corrected decoded intra block,
The encoding process encodes the corrected decoded intra block to obtain a corrected intra block;
The synthetic process, the corrected I-frame, the corrected P-frame, the corrected claim 3, wherein the intra block and synthesized and the inter-block is intended to obtain the processed compressed moving image data The listed program.