JP4219704B2 - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP4219704B2 JP4219704B2 JP2003036092A JP2003036092A JP4219704B2 JP 4219704 B2 JP4219704 B2 JP 4219704B2 JP 2003036092 A JP2003036092 A JP 2003036092A JP 2003036092 A JP2003036092 A JP 2003036092A JP 4219704 B2 JP4219704 B2 JP 4219704B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- correction
- decoded
- moving image
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、具体的には圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置およびそのためのプログラムに関するものである。
【０００２】
【従来の技術】
動画像を美しく表示するために、撮影して得た動画像に対して階調補正などの画質補正を行うことが行われている。特許文献１には、ＮＴＳＣなどのビデオ映像信号をＡ／Ｄ変換して動画像データを得、動画像データの輝度ヒストグラムを算出してそれをもとに階調補正用のルックアップテーブルを作成し、このルックアップテーブルを用いて階調補正を行う方法が提案されている。
【０００３】
また、近年、デジタルカメラや、カメラ付き携帯電話機の普及に伴って、動画像はＮＴＳＣなどのビデオ映像信号だけではなく、ＭＰＥＧなどの圧縮技術によりデジタル圧縮されたデータとして取り扱われることが多くなってきている。静止画を撮像するときと異なって、動画像を撮影する際にはフラッシュの使用が困難であるため、これらの撮像装置により取得した動画像は暗くなる傾向がある。このようなデジタル圧縮された画像データから構成される動画像を美しく表示するためには、ＮＴＳＣなどのアナログ信号の場合と同じように、階調補正などの画質補正処理を施すことが必要である。
【０００４】
なお、これらの動画像データは、圧縮された状態で記録媒体に記録されたり、送信されたりしているので、動画像データを表示する装置は、動画像データを表示する際に、そのデータが圧縮されていることを前提として表示処理を行う必要がある。すなわち、このような背景において、圧縮された動画像データに対して画質補正処理を施して得た処理済み画像データも、上述のような表示装置に対応するため、圧縮動画像データである必要がある。
【０００５】
しかし、ＭＰＥＧなどの圧縮技術でデジタル圧縮された動画像データ（以下圧縮動画像データという）に対して階調補正などの画質補正処理を施して処理済みの圧縮動画像データを得るためには、まず、圧縮動画像データをデコードし、デコードしたデータに対して画質補正処理を施し、補正されたデータをエンコードして目的の処理済み動画像データを得る手順を踏む必要がある。動画像データのデコードおよびエンコードは、演算量が多いため、処理時間がかかるという問題がある。この問題は、特に通信分野において顕著である。
【０００６】
通信の１例とする移動通信の分野において、携帯電話などの携帯端末の普及および携帯端末の機能の充実に伴って、携帯端末を対象とする画像サービスが盛んに行われている。例えば、携帯端末同士間の電子メールを中継する際に、送信側の携帯端末から送信された電子メールに添付された画像データに対して、階調補正や、ホワイトバランス補正、濃度補正、シャープネス処理などの画質補正処理を行ってから受信側の携帯端末に送信するまたは一旦保持してダウンロードさせるような、画質補正機能を有する通信中継サーバ装置がある。これらのサーバ装置において、迅速に画質補正処理を行うことができないと、ユーザにストレスを感じさせてしまうので、サービス向上を図るどころか、却ってサービスの低下を招く結果となる。また、画質補正処理に費やす時間が長くかかると、サーバ装置側に処理待ちの画像データを記憶する記憶装置は莫大な容量を必要とするなど、サーバ装置のコストがかかるという問題もある
また、テレビ電話などの分野においても同様である。画質向上のための補正処理を迅速に行うことができないと、ユーザは相手の画像をリアルタイムに見ることができず、テレビ電話の意味がなくなり、コミュニケーションに支障を来たしてしまうという問題がある。
【０００７】
また、通信以外の分野においても同様である。例えば、ＣＤ−ＲＯＭなどの記録媒体に記録された動画像データをコンピュータのモニタに表示させる場合、コンピュータ側において、動画像を美しく表示させるために画質補正処理を行うのはよいが、画質補正処理の時間が長いと、通信の場合と同様に、ユーザにストレスを感じさせてしまう。
【０００８】
片方、圧縮動画像データは通常複数のフレームとからなり、これらのフレームは、概して、他のフレームに依存せず、独立したデータにより形成されたフレームと、他のフレームに依存し、他のフレームのデータとの差分により形成されたフレームとの２種類に分けることができる。前者の方がイントラフレームと呼ばれ、後者の方がインターフレームと呼ばれている。また、他のフレームのデータに依存する点において同じでも、インターフレームは、他のフレームに依存する形式が異なる場合がある。例えば、ＭＰＥＧの圧縮動画像データのフレームは、Ｉフレーム、Ｐフレーム、Ｂフレームの３種類があり、Ｉフレームはイントラフレームであり、Ｐフレーム、Ｂフレームはインターフレームであるが、Ｐフレームは、自身より前のフレームのデータにしか依存しないことに対して、Ｂフレームは、自身の前と後のフレーム両方に依存する。
【０００９】
このように、圧縮動画像データは、他のフレームに依存しないフレームと、他のフレームに依存するフレームとからなり、この特性を利用して、圧縮動画像データに対して階調補正などの画質補正処理を施す際に、圧縮動画像データを、例えば、他のフレームに依存しないフレームと、他のフレームに依存フレームとに分離し、他のフレームに依存しないフレームのみに対してデコード、画質補正処理、エンコードをして補正済みのフレームを得、これらの補正済みのフレームと、他のフレームに依存するフレームと合成することによって処理済み圧縮動画像データを得るようにすれば、圧縮動画像データの一部分のみに対してデコード、画質補正処理、エンコードを行うことになるので、処理時間の短縮を図ることができる。また、他のフレームに依存するフレームに対して直接的に画質補正処理を施していないが、他のフレームに依存するフレームは、他のフレームに依存しないフレームのデータとの差分により形成されるので、他のフレームに依存するフレームを補正すれば、これらのフレームに依存するフレームに対しても画質補正処理を施したこととなる。
【００１０】
また、表示された動画像の画質をより向上させるため、圧縮動画像データを他のフレームに依存しないフレーム、他のフレームに依存する程度が低いフレーム（例えば前述したＰフレーム）と、他のフレームに依存する程度が高いフレーム（例えばＰフレームに対応して、Ｂフレーム）とに分離し、他のフレームに依存しないフレームおよび他のフレームに依存する程度が低いフレームのみに対してデコード、画質補正処理、エンコードをして補正済みのフレームを得、これらの補正済みのフレームと、他のフレームに依存する程度が高いフレームと合成することによって処理済み圧縮動画像データを得るようにしてもよい。
【００１１】
【特許文献１】
特許第３０８７４０９号公報
【００１２】
【発明が解決しようとする課題】
しかし、複数のフレームからなる圧縮動画像データに対して画質補正処理を行う際に、特許文献１記載の方法を適用し、補正する対象のフレーム（例えば前述したイントラフレーム）自身のデータを用いて該フレームを補正するための補正パラメータを求めるようにすると、フレームの画像内容の変化によって補正パラメータが著しく変化する場合があり、このような場合、補正する対象のフレーム自身のデータから求められた補正パラメータを用いて該フレームに対して補正を行って得た処理済み圧縮動画像データを表示する際に、画像の明るさの増減、すなわち画像のちらつきが激しくなり、鑑賞するユーザに不快感を与えてしまうという問題がある。
【００１３】
本発明は、上記事情に鑑みてなされたものであり、圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る際に、処理時間の短縮を図ると共に、補正による画像の明るさの増減を軽減することができる画像処理装置およびそのためのプログラムを提供することを目的とするものである。
【００１４】
【課題を解決するための手段】
本発明の第１の画像処理装置は、複数のフレームからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、補正対象フレームと非補正対象フレームとに分離する分離手段と、
該分離手段により得られた前記補正対象フレームをデコードしてデコードフレームを得るデコード手段と、
該デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正手段と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード手段と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備え、
前記補正手段が、各前記デコードフレームの夫々のデータを用いて対応するデコードフレームの補正パラメータを算出する補正パラメータ算出手段と、
該パラメータ算出手段により算出された各々の前記補正パラメータを、該補正パラメータの対応するデコードフレームの前および／または後のデコードフレームの補正パラメータを用いて調整してデコードフレーム毎の調整済みパラメータを得るパラメータ調整手段と、
該調整済みパラメータを用いて、対応するデコードフレームに対して前記画質補正処理を実行する補正実行手段とを備えてなるものであることを特徴とするものである。
【００１５】
ここで、圧縮動画像データの「補正対象フレーム」とは、それを補正することによって、動画像データの全体の画質に影響を与えるフレームを意味する。
【００１６】
また、圧縮動画像データの「非補正対象フレーム」とは、それを補正することによって、動画像データの全体の画質に影響を与えない、または「補正対象フレーム」を補正することほど影響を与えないフレームを意味する。言い換えれば、これらのフレームに対して画質補正処理を施さなくても、動画像データの全体の画質に影響をそれほど与えず、画質補正処理を施さなくてもよいフレームである。
【００１７】
圧縮動画像データの「補正対象フレーム」と「非補正対象フレーム」との区別の仕方は、圧縮動画像データの圧縮方式に依存する。動画像データは通常複数のフレームから構成され、それに対して行う圧縮方式としては、例えば、動画像業界の基準となりつつあるＭＰＥＧや、テレビ電話などで用いられるＩＴＵ−Ｔ Ｈ．２６１およびＩＴＵ−Ｔ Ｈ．２６３や、携帯電話の動画像圧縮規格として採用されているＮａｎｃｙなどの圧縮方式によって圧縮された動画像データは、他のフレームのデータに依存しないデータにより形成されるイントラフレームと、他のフレームのデータに対する差分により形成されたインターフレームとから構成される。このような場合、イントラフレームに対して画質補正処理を行えば、イントラフレームに依存したデータにより形成されたインターフレームも補正されたことになる。すなわち、この場合、画質補正処理を行う際に必要なデコード処理は、イントラフレームに対してのみ行えばよく、イントラフレームは「補正対象フレーム」となり、インターフレームは「非補正対象フレーム」となる。
【００１８】
また、圧縮方式によって、インターフレームは、他のフレームのデータに対する差分により形成され、他のフレームに依存する点においては同様であるが、依存する仕方が異なる場合がある。例えば、Ｉフレーム、Ｐフレーム、Ｂフレームから構成される圧縮動画像データの場合、Ｉフレームは他のフレームに依存しないフレームであり、Ｐフレーム、Ｂフレームは他のフレームに対する差分により形成され、他のフレームに依存するインターフレームではあるが、Ｐフレームは自身より前のフレームにしか依存せず、Ｂフレームは自身の前のフレームにも、後のフレームにも依存する。すなわち、Ｂフレームに比べ、Ｐフレームは他のフレームに対する依存性が低く、Ｐフレームに対しても画質補正処理を行うことによって、より画質の改善を図ることができる。この場合、Ｉフレームのみを「補正対象フレーム」とし、Ｐフレーム、Ｂフレームを「非補正対象フレーム」としてもよいが、ＩフレームとＰフレームを「補正対象フレーム」とし、Ｂフレームを「非補正対象フレーム」とすることが好ましい。
【００１９】
本発明の第１の画像処理装置の補正手段は、デコード手段により前記補正対象フレームをデコードして得たデコードフレームに対して画質補正処理を施す際に、まず、まず、パラメータ算出手段によりそのデコードフレーム自身のデータから該デコードフレームの補正パラメータを算出し、算出された補正パラメータに対して、補正手段のパラメータ調整手段は、該補正パラメータが対応するデコードフレームの前および／または後のデコードフレームの補正パラメータを用いて調整する。補正手段の補正実行手段は、パラメータ調整手段により得られた調整済みのパラメータを用いて該当するデコードフレームに対する画質補正処理を実行する。
【００２０】
ここで、パラメータ調整手段は、例えば、１つのデコードフレームの補正パラメータと、該デコードフレームの前および／または後の１つ以上のデコードフレームの補正パラメータとの平均を取って得た平均値を該デコードフレームの調整済みパラメータとするようにして各デコードフレームの補正パラメータを調整するものとすることができる。
【００２１】
本発明の第２の画像処理装置は、イントラフレームおよびインターフレームとからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、イントラフレーム、補正対象インターフレームと非補正対象インターフレームとに分離する分離手段と、
該分離手段により得られた前記イントラフレームおよび前記補正対象インターフレームをデコードしてデコードイントラフレームまたはデコード補正対象インターフレームであるデコードフレームを得るデコード手段と、
前記デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正手段と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード手段と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備え、
前記補正手段が、各前記デコードイントラフレームに対して前記画質補正処理を行うための補正パラメータを算出して前記画質補正処理を施すと共に、前記デコード補正対象インターフレームに対して、該デコード補正対象インターフレームの前の、最も近い前記デコードイントラフレームの補正パラメータを用いて前記画質補正処理を行うものであることを特徴とするものである。
【００２２】
ここで、「非補正対象インターフレーム」は、他のフレームに依存し、画質補正処理を行うことによって、動画像全体の画質に殆ど影響を与えないフレームを意味し、「補正対象インターフレーム」とは、他のフレームに依存するものの、非補正対象インターフレームに比べ、画質補正を行うことによって、動画像全体の画質に影響を与えるフレームを意味する。具体的には、例えば、前述したように、ＭＰＥＧなどの圧縮方式で圧縮を行って得た圧縮動画像データは、イントラフレームとインターフレームから構成され、インターフレームは、他のフレームに依存する程度が低いフレーム（例えば前述したＰフレーム）と他のフレームに依存する程度が高いフレーム（Ｐフレームに対応して、Ｂフレーム）との２種類に分けられることができる。このような場合、Ｉフレームはイントラフレームとなるが、Ｐフレームは「補正対象フレーム」、Ｂフレームは「非補正対象フレーム」とすることができる。
【００２３】
すなわち、本発明の第２の画像処理装置は、イントラフレームと補正対象インターフレームとに対してデコード、画質補正、エンコードを行って補正済みフレームを得、該補正済みフレームと非補正対象インターフレームと合成することによって処理済み圧縮動画像データを得るものであり、デコードされたイントラフレームとデコードされた補正対象インターフレームに対して画質補正処理を施す補正手段は、デコードイントラフレームにのみに対して補正パラメータを算出して画質補正処理を行う一方、デコード補正対象インターフレームに対しては、補正パラメータを新たに求めることをせず、該デコード補正対象フレームの前の、最も近いデコードイントラフレームの補正パラメータを用いて画質補正処理を行う。
【００２４】
また、イントラフレームおよびインターフレームとからなる圧縮動画像データには、先頭フレームのみが他のフレームに依存しないフレーム、すなわちイントラフレームとなる圧縮方式で圧縮されて得たものがある。このような圧縮動画像データの場合、先頭フレームのみがイントラフレームとなり、全ての補正対象インターフレームに対して、「最も近いデコードイントラフレーム」は先頭フレームをデコードして得たデコード先頭フレームとなる。すなわち、この場合、補正手段は、デコード先頭フレームに対して画質補正処理の補正パラメータを算出して前記画質補正処理を施す一方、全ての補正対象インターフレームに対しては、デコード先頭フレームの補正パラメータを用いて画質処理を行う。
【００２５】
なお、この場合においての「先頭フレーム」は、圧縮動画像データの構造上の先頭に位置するフレームのことを意味し、必ずしも時系列的に先頭となるフレームに限らない。
【００２６】
本発明の第１のプログラムは、複数のフレームからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、補正対象フレームと非補正対象フレームとに分離する分離処理と、
該補正対象フレームをデコードしてデコードフレームを得るデコード処理と、該デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正処理と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード処理と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなり、
前記補正処理が、各前記デコードフレームの夫々のデータを用いて対応するデコードフレームの補正パラメータを算出する補正パラメータ算出処理と、
各々の前記補正パラメータを、該補正パラメータの対応するデコードフレームの前および／または後のデコードフレームの補正パラメータを用いて調整するデコードフレーム毎の調整済みパラメータを得るパラメータ調整処理と、
前記調整済みパラメータを用いて、対応するデコードフレームに対して前記画質補正処理を実行する補正実行処理とからなることを特徴とするものである。
【００２７】
本発明の第２のプログラムは、イントラフレームおよびインターフレームとからなる圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、イントラフレーム、補正対象インターフレームと非補正対象インターフレームとに分離する分離処理と、
該分離処理により得られた前記イントラフレームおよび前記補正対象インターフレームをデコードしてデコードイントラフレームまたはデコード補正対象インターフレームであるデコードフレームを得るデコード処理と、
前記デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正処理と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード処理と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなり、
前記補正処理が、各前記デコードイントラフレームに対して前記画質補正処理を行うための補正パラメータを算出して前記画質補正処理を施すと共に、前記デコード補正対象インターフレームに対して、該デコード補正対象インターフレームの前の、最も近い前記デコードイントラフレームの補正パラメータを用いて前記画質補正処理を行うことを特徴とするものである。
【００２８】
【発明の効果】
本発明の第１の画像処理装置によれば、圧縮動画像データを補正対象フレームと非補正対象フレームとに分離し、補正対象フレームに対してのみデコード、画質補正、エンコードを行って補正済みフレームを得、該補正済みフレームと非補正対象フレームとを合成することによって処理補正済み圧縮動画像データ’を得る際に、各補正対象フレームをデコードして得たデコードフレームに対して、そのデコードフレーム自身のデータから求められた補正パラメータを、該デコードフレームの前および／または後のデコードフレームのデータから求められた補正パラメータを用いて調整して得た調整済みパラメータを用いて画質補正を行うようにすることによって、デコード、エンコードするデータ量を減少することによって処理時間の短縮を図ると共に、補正のパラメータを調整することによって補正済み動画像を表示時の画像の明るさの増減を防ぐことができる。
【００２９】
本発明の第２の画像処理装置は、圧縮動画像データをイントラフレーム、補正対象インターフレームと、非補正対象インターフレームとに分離し、イントラフレームおよび補正対象インターフレームに対してのみデコード、画質補正、エンコード処理を行って補正済みフレームを得、該補正済みフレームと、非補正対象インターフレームとを合成することによって処理済み圧縮動画像データを得る際に、各イントラフレームに対して、そのデコードイントラフレームから補正パラメータを求めて画質補正処理を行うようにする一方、各補正対象インターフレームに対しては補正パラメータを求めることをせず、その補正対象インターフレームより前に位置する最も近いイントラフレームの補正パラメータを用いて画質補正処理を行うようにすることによって、デコード、エンコードするデータ量を減少することによって処理時間の短縮を図ると共に、補正パラメータの激しい変化を防ぎ、ひいては補正済み動画像を表示時の画像の明るさの増減を防ぐことができる。
【００３０】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００３１】
図１は、本発明の画像処理装置およびプログラムの第１の実施形態となる携帯電話システムＡの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＡは、複数の携帯電話機１０と、これらの複数の携帯電話機１０間の通信の中継を行う中継サーバ１００とからなり、携帯電話機１０と中継サーバ１００とは、携帯電話通信網２０を介して接続される。中継サーバ１００は、携帯電話機１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。以下、本発明の主旨が分かりやすいように、携帯電話機１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ１００の動作に重点をおいて説明を行う。また、以下の説明において、「画像」は、「画像データ」により表されるものとして、「画像」と「画像データ」とを同じ意味のものとする。
【００３２】
図２は、図１に示す携帯電話システムＡにおける中継サーバ１００の構成を示すブロック図である。図２（ａ）に示すように、携帯電話システムＡの中継サーバ１００は、各携帯電話機１０との送受信を行うための通信部３０と、通信部３０を含むサーバ１００の全体の動作を制御する制御部４０と、制御部４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部７０とを備えたものである。
【００３３】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、他のフレームに依存しないイントラフレームおよび他のフレームとの差分により形成され、他のフレームに依存するインターフレームから構成されるものである。
【００３４】
制御部４０は、通信部３０を介して送信側の携帯電話機１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部６０に出力し、静止画処理部６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部７０に出力し、動画処理部７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部４０は、静止画処理部６０または動画処理部７０により処理済みの画像と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する。
【００３５】
図２（ｂ）は、図２（ａ）に示す中継サーバ１００における動画処理部７０の構成を示すブロック図である。図示のように、図示のように、動画処理部７０は、圧縮動画像データである添付画像Ｇを、イントラフレームとインターフレームとに分離するフレーム分離部７２と、フレーム分離部７２により得られたイントラフレームをデコードしてデコードイントラフレームＭ０を得るデコード部７４と、デコードイントラフレームＭ０に対して画質補正処理を行って補正済みデコードイントラフレームＭ０１を得る補正部７６と、補正済みデコードイントラフレームＭ０１をエンコードして補正済みイントラフレームＭ０２を得るエンコード部８４と、補正済みイントラフレームＭ０２とフレーム分離部７２により得られたインターフレームとを合成して補正済み動画像Ｇ’を得る合成部８６とを備えてなるものである。
【００３６】
動画処理部７０の補正部７６は、各デコードイントラフレームに対して画質補正処理を施すものであり、処理対象のデコードイントラフレームＭ０のデータを用いて該デコードイントラフレームＭ０の補正パラメータｆを算出するパラメータ算出部７８と、この補正パラメータｆと該デコードイントラフレームの前後１つずつのデコードイントラフレームＭ０の補正パラメータとの平均を取って該デコードイントラフレームＭ０の補正パラメータ（調整済みパラメータｆ’）とするパラメータ調整部８０と、パラメータ調整部８０により得られた調整済みパラメータｆ’を用いて該当するデコードイントラフレームＭ０に対する画質補正処理を実行して補正済みデコードイントラフレームＭ０１を得る補正実行部８４とを備えてなるものである。
【００３７】
図３は、図２に示す中継サーバ１００の動作を示すフローチャートである。図示のように、図１に示す携帯電話システムＡにおける中継サーバ１００において、通信部３０を介して送信側の携帯電話機１０から画像が添付されたメールを受信する（Ｓ１０）と、制御部４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ２０）。添付画像が静止画像Ｓであれば（Ｓ２０：Ｎｏ）、制御部４０は、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部６０に出力する（Ｓ２５）。静止画処理部６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ３０）。制御部４０は、静止画処理部６０により得られた補正済み静止画像Ｓ’と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する（Ｓ９０）。
【００３８】
一方、ステップＳ２０において、添付画像が動画像Ｇであれば（Ｓ２０：Ｙｅｓ）、制御部４０は、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、動画像Ｇである添付画像を動画処理部７０に出力する（Ｓ３５）。動画処理部７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ１を行って、補正済み動画像Ｇ’を得る（Ｓ４０）。制御部４０は、動画処理部７０により得られた補正済み動画像Ｇ’と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する（Ｓ９０）。
【００３９】
図４は、図２に示す中継サーバ１００における動画処理部７０の動作を示すフローチャートである。図示のように、動画処理部７０は、動画像Ｇに対して補正処理Ｐ３を施すのにあたって、まず、フレーム分離部７２により、圧縮動画像データである画像Ｇを、イントラフレームとインターフレームとに分離する（Ｓ４２）。デコード部７６は、イントラフレームをデコードしてデコードイントラフレームＭ０を得る（Ｓ４４）、補正部７６のパラメータ算出部７８は、デコードイントラフレームＭ０自身のデータから、該デコードイントラフレームＭ０の補正パラメータｆを算出してパラメータ調整部８０に出力する（Ｓ４６）。パラメータ調整部８０は、１つのデコードイントラフレームＭ０の補正パラメータと、該デコードイントラフレームの前後１つずつのデコードイントラフレームの補正パラメータとの平均を取って得た平均値を該デコードイントラフレームＭ０の調整済みパラメータｆ’として補正実行部８２に出力する（Ｓ４８）。補正部７６の補正実行部８２は、調整済みパラメータｆ’を用いて該当するイントラフレームＭ０に対して画質補正処理を実行して補正済みデコードイントラフレームＭ０１を得る（Ｓ５０）。エンコード部８４は、補正部７６により得られた各補正済みデコードイントラフレームＭ０１をエンコードして補正済みイントラフレームＭ０２を得て合成部８６に出力する（Ｓ５２）。合成部８６は、各々の補正済みイントラフレームＭ０２と、ステップＳ４２において、フレーム分離部７２により動画像Ｇを分離して得たインターフレームとを合成して補正済み動画像Ｇ’を得て、制御部４０に供する（Ｓ５４）。
【００４０】
このように、本発明の第１の実施形態の携帯電話システムＡによれば、中継サーバ１００の動画処理部７０は、圧縮動画像データである添付画像Ｇに対して画質補正処理を施す際に、動画像Ｇをイントラフレームとインターフレームとに分離し、イントラフレームに対してのみデコード、画質補正、エンコード処理を行って補正済みイントラフレームＭ０２を得、該補正済みイントラフレームとインターフレームとを合成することによって補正済み動画像Ｇ’を得る際に、各イントラフレームに対して、そのイントラフレーム自身のデータから求められた補正パラメータと、該イントラフレームの前後１つずつのイントラフレームのデータから求められた補正パラメータとの平均を取って得た平均値を用いて該イントラフレームの画質補正を行うようにすることによって、デコード、エンコードするデータ量を減少することによって処理時間の短縮を図ると共に、補正のパラメータを調整することによって補正済み動画像を表示時の画像の明るさの増減を防ぐことができる。
【００４１】
図５は、本発明の第２の実施形態となる携帯電話システムＢの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＢは、複数の携帯電話機１１０と、これらの複数の携帯電話機１１０間の通信の中継を行う中継サーバ２００とからなり、携帯電話機１１０と中継サーバ２００とは、携帯電話通信網１２０を介して接続される。中継サーバ２００は、携帯電話機１１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。ここでも、本発明の主旨が分かりやすいように、携帯電話機１１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ２００の動作に重点をおいて説明を行う。
【００４２】
図６は、図５に示す携帯電話システムＢにおける中継サーバ２００の構成を示すブロック図である。図６（ａ）に示すように、携帯電話システムＢの中継サーバ２００は、各携帯電話機１１０との送受信を行うための通信部１３０と、通信部１３０を含むサーバ１００の全体の動作を制御する制御部１４０と、制御部１４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部１５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部１６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部１７０とを備えたものである。
【００４３】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、他のフレームに依存しないＩフレーム、自身より前のフレームにのみ依存するＰフレームおよび、自身の前と後のフレームに共に依存するＢフレームから構成されるもの、例えばＭＰＥＧ圧縮されたものである。
【００４４】
制御部１４０は、通信部１３０を介して送信側の携帯電話機１１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部１６０に出力し、静止画処理部１６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部１７０に出力し、動画処理部１７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部１４０は、静止画処理部１６０または動画処理部１７０により処理済みの画像と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する。
【００４５】
図６（ｂ）は、図６（ａ）に示す中継サーバ２００における動画処理部１７０の構成を示すブロック図である。図示のように、動画処理部１７０は、圧縮動画像データである添付画像Ｇを、Ｉフレーム、ＰフレームとＢフレームとに分離するフレーム分離部１７２と、Ｉフレーム、ＰフレームをデコードしてデコードＩフレームＩ０とデコードＰフレームＰ０を得るデコード部１７４と、デコードＩフレームＩ０とデコードＰフレームＰ０に対して画質補正処理を行って補正済みデコードＩフレームＩ０１と補正済みデコードＰフレームＰ０１を得る補正部１７６と、補正済みデコードＩフレームＰ０１と補正済みデコードＰフレームＰ０１をエンコードして補正済みＩフレームＩ０２と補正済みＰフレームＰ０２を得るエンコード部１８２と、補正済みＩフレームＩ０２、補正済みＰフレームＰ０２およびフレーム分離部１７２により動画像Ｇを分離して得たＢフレームを合成して補正済み動画像Ｇ’を得る合成部１８４とを備えてなるものであり、補正部１７６は、各デコードＩフレームＩ０のデータから、夫々のデコードＩフレームＩ０の補正パラメータｆを算出するパラメータ算出部１７８と、これらのパラメータｆを用いて夫々該当するデコードＩフレームＩ０に対して画質補正処理を施して補正済みデコードＩフレームＩ０１を得ると共に、１つのデコードＩフレームから、該デコードＩフレームの次のデコードＩフレームとの間のＰフレームに対して、該デコードＩフレームの補正パラメータを用いて画質補正処理を行って補正済みＰフレームＰ０１を得る補正実行部１８０とからなるものである。
【００４６】
図７は、図６に示す中継サーバ２００の動作を示すフローチャートである。図示のように、図５に示す携帯電話システムＢにおける中継サーバ２００において、通信部１３０を介して送信側の携帯電話機１１０から画像が添付されたメールを受信する（Ｓ１１０）と、制御部１４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ１２０）。添付画像が静止画像Ｓであれば（Ｓ１２０：Ｎｏ）、制御部１４０は、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部１６０に出力する（Ｓ１２５）。静止画処理部１６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ１３０）。制御部１４０は、静止画処理部１６０により得られた補正済み静止画像Ｓ’と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する（Ｓ１９０）。
【００４７】
一方、ステップＳ１２０において、添付画像が動画像Ｇであれば（Ｓ１２０：Ｙｅｓ）、制御部１４０は、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、動画像Ｇである添付画像を動画処理部１７０に出力する（Ｓ１３５）。動画処理部１７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ２を行って、補正済み動画像Ｇ’を得る（Ｓ１４０）。制御部１４０は、動画処理部１７０により得られた補正済み動画像Ｇ’と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する（Ｓ１９０）。
【００４８】
図８は、図６に示す中継サーバ２００における動画処理部１７０の動作を示すフローチャートである。図示のように、動画処理部１７０は、動画像Ｇに対して動画像補正処理Ｐ２を施すのにあたって、まず、フレーム分離部１７２により、圧縮動画像データである画像Ｇを、Ｉフレーム、ＰフレームとＢフレームとに分離する（Ｓ１４２）。デコード部１７４は、Ｉフレーム、ＰフレームをデコードしてデコードＩフレームＩ０とデコードＰフレームＰ０を得る（Ｓ１４４）。補正部１７６のパラメータ算出部１７８は、１つ目のデコードＩフレームＩ０のデータから該デコードＩフレームＩ０の補正パラメータｆを算出し（Ｓ１４６、Ｓ１４８）、補正実行部１８０は、この補正パラメータｆを用いて、１つ目のデコードＩフレームＩ０および、１つ目のデコードフレームＩ０と２つ目のデコードＩフレームＩ０との間に位置するデコードＰフレームＰ０に対して画質補正処理を実行する（Ｓ１５０）。補正部１７６は、ステップＳ１４８からステップＳ１５０までの処理、すなわち、パラメータ算出部１７８によりｉ個目のデコードＩフレームＩ０から該フレームの補正パラメータｆの算出処理と、この補正パラメータｆを用いて、ｉ個目のデコードＩフレームＩ０および、ｉ個目のデコードＩフレームＩ０と（ｉ＋１）個目のデコードＩフレームＩ０との間に位置するデコードＰフレームＰ０に対する画質補正の実行処理とを、全てのデコードフレーム（デコードＩフレームＩ０およびデコードＰフレームＰ０）に対して行い、補正済みデコードＩフレームＩ０１および補正済みＰフレームＰ０１を得る（Ｓ１４８、Ｓ１５０、Ｓ１５２：Ｎｏ、Ｓ１５４）。エンコード部１８２は、補正済みデコードＩフレームＩ０１および補正済みＰフレームＰ０１をエンコードして補正済みＩフレームＩ０２と補正済みＰフレームＰ０２を得（Ｓ１５６）、合成部１８４は、補正済みＩフレームＩ０２と、補正済みＰフレームＰ０２と、フレーム分離部１７２により動画像Ｇを分離することによって得られたＢフレームとを合成して補正済み動画像Ｇ’を得て、制御部１４０に供する（Ｓ１６０）。
【００４９】
このように、本発明の第２の実施形態の携帯電話システムＢによれば、中継サーバ２００の動画処理部１７０は、圧縮動画像データである添付画像Ｇに対して画質補正処理を施す際に、動画像ＧをＩフレーム、ＰフレームとＢフレームとに分離し、ＩフレームとＰフレームに対してのみデコード、画質補正、エンコード処理を行って補正済みＩフレームＩ０２と補正済みＰフレームＰ０２を得、該補正済みＩフレームＩ０２と、補正済みＰフレームＰ０２と、Ｂフレームとを合成することによって補正済み動画像Ｇ’を得る際に、各Ｉフレームに対して、そのデコードＩフレームＩ０から補正パラメータｆを求めて画質補正処理を行うようにする一方、各ＰフレームのデコードＰフレームＰ０に対しては補正パラメータを求めることをせず、自身より前に位置する最も近いデコードＩフレームＩ０の補正パラメータｆを用いて画質補正処理を行うようにすることによって、デコード、エンコードするデータ量を減少することによって処理時間の短縮を図ると共に、補正パラメータの激しい変化を防ぎ、ひいては補正済み動画像を表示時の画像の明るさの増減を防ぐことができる。
【００５０】
以上、本発明の画像処理装置およびプログラムの望ましい実施形態について説明したが、これらは、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、種々の変更、増減を加えることができる。
【００５１】
例えば、図１に示す実施形態の携帯電話システムＡの中継サーバ１００における動画処理部７０は、パラメータ調整部８０により補正パラメータｆの調整を行う際に、１つのデコードイントラフレームのデータから求められた補正パラメータと、該デコードイントラフレームの前後１つずつのデコードイントラフレームの補正パラメータとの平均を取って得た平均値を用いて該デコードイントラフレームの画質補正を行うことによって、本発明の目的、すなわち、処理済み圧縮動画像データを表示する際の明るさの増減を防ぐことを実現しているが、動画像を撮影する際に、撮影場所が屋内から屋外に変わるなどの場合に応じて、動画像は複数のシーンから構成される場合がある。シーンが変わる直前と変わった直後のフレームに対して同じように前後のフレームの補正パラメータの平均を取って画質補正処理を行うと、シーンの変わり目が不鮮明になる虞がある。このようなシーンの変化がある動画像に対して、シーン検出技術を利用してシーン間の境目となるフレーム（境界フレームという）を検出し、同じシーンに属するフレーム、すなわち、最も近い２つの境界フレームの間に位置するフレーム間で補正パラメータの平均を取るなどの調整を行うようにすることによって、処理済み圧縮動画像データを表示する際の明るさの増減を防ぐと共に、シーンの変化も鮮明に表示できるようにしてもよい。
【００５２】
また、上述した第１と第２の実施形態とも、本発明の画像処理装置およびプログラムを携帯電話システムに適用したものであるが、本発明の画像処理装置およびプログラムは、携帯電話システムに限られるものではなく、テレビ電話や、動画像の表示装置など、圧縮動画像データに対して画質補正を行って、処理済み圧縮動画像データを得ることが必要な如何なるシステムまたは装置に適用してもよい。
【図面の簡単な説明】
【図１】本発明の画像処理装置およびプログラムの第１の実施形態となる携帯電話システムＡの構成を示すブロック図
【図２】図１に示す携帯電話システムＡにおける中継サーバ１００の構成を示すブロック図
【図３】図２に示す中継サーバ１００の動作を示すブローチャート
【図４】図２に示す中継サーバ１００の動画処理部７０の動作を示すブローチャート
【図５】本発明の画像処理装置およびプログラムの第２の実施形態となる携帯電話システムＢの構成を示すブロック図
【図６】図５に示す携帯電話システムＢにおける中継サーバ２００の構成を示すブロック図
【図７】図６に示す中継サーバ２００の動作を示すフローチャート
【図８】図６に示す中継サーバ２００の動画処理部１７０の動作を示すフローチャート
【符号の説明】
１０，１１０ 携帯電話機
２０，１２０ 携帯通信網
３０，１３０ 通信部
４０，１４０ 制御部
５０，１５０ 記憶部
６０，１６０ 静止画処理部
７０，１７０ 動画処理部
７２，１７２ フレーム分離部
７４，１７４ デコード部
７６，１７６ 補正部
７８，１７８ パラメータ算出部
８０ パラメータ調整部
８２，１８０ 補正実行部
８４，１８２ エンコード部
８６，１８４ 合成部
１００，２００ 中継サーバ
Ｇ 圧縮動画像データ
Ｇ’ 補正済み圧縮動画像データ
Ｓ 圧縮静止画像データ
Ｓ’ 補正済み圧縮静止画像データ
Ｔ 電子メールの添付画像を除いたデータ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, specifically, an image processing apparatus that obtains processed compressed moving image data by performing image quality correction processing on compressed moving image data, and a program therefor.
[0002]
[Prior art]
In order to display a moving image beautifully, image quality correction such as gradation correction is performed on the moving image obtained by photographing. In
[0003]
In recent years, with the spread of digital cameras and camera-equipped mobile phones, moving images are often handled not only as video image signals such as NTSC but also as data digitally compressed by a compression technique such as MPEG. ing. Unlike capturing a still image, since it is difficult to use a flash when capturing a moving image, the moving image acquired by these imaging devices tends to be dark. In order to display a moving image composed of such digitally compressed image data beautifully, it is necessary to perform image quality correction processing such as gradation correction as in the case of analog signals such as NTSC. .
[0004]
Since these moving image data are recorded on a recording medium or transmitted in a compressed state, an apparatus for displaying moving image data has the data stored when displaying moving image data. It is necessary to perform display processing on the assumption that the images are compressed. That is, in such a background, processed image data obtained by performing image quality correction processing on compressed moving image data also needs to be compressed moving image data in order to correspond to the display device as described above. is there.
[0005]
However, in order to obtain processed compressed moving image data by performing image quality correction processing such as gradation correction on moving image data (hereinafter referred to as compressed moving image data) digitally compressed by a compression technique such as MPEG, First, it is necessary to follow a procedure of decoding compressed moving image data, performing image quality correction processing on the decoded data, and encoding the corrected data to obtain target processed moving image data. The decoding and encoding of moving image data has a problem that it takes a long processing time due to a large amount of calculation. This problem is particularly noticeable in the communication field.
[0006]
In the field of mobile communication, which is an example of communication, image services targeting mobile terminals are actively performed with the spread of mobile terminals such as mobile phones and enhancement of functions of mobile terminals. For example, when relaying an e-mail between mobile terminals, tone correction, white balance correction, density correction, and sharpness processing are performed on image data attached to an e-mail transmitted from the transmitting mobile terminal. There is a communication relay server device having an image quality correction function that performs image quality correction processing such as the above and then transmits it to a receiving mobile terminal or temporarily holds and downloads it. In these server apparatuses, if image quality correction processing cannot be performed quickly, the user feels stressed, so that rather than improving the service, the service is deteriorated. In addition, if it takes a long time to perform image quality correction processing, there is a problem that the storage device that stores image data waiting for processing on the server device side requires a huge capacity, and the server device is expensive.
The same applies to fields such as videophones. If the correction process for improving the image quality cannot be performed quickly, the user cannot see the other party's image in real time, meaning that there is no meaning of the videophone, which causes a problem in communication.
[0007]
The same applies to fields other than communication. For example, when moving image data recorded on a recording medium such as a CD-ROM is displayed on a computer monitor, it is preferable to perform image quality correction processing on the computer side in order to display the moving image beautifully. If this time is long, the user will feel stress as in the case of communication.
[0008]
On the other hand, compressed moving image data usually consists of a plurality of frames, and these frames generally do not depend on other frames, and are formed by independent data, and depend on other frames. It can be divided into two types, that is, a frame formed by a difference from the data. The former is called an intra frame, and the latter is called an inter frame. In addition, even if the points depend on the data of other frames, the interframes may have different formats depending on the other frames. For example, there are three types of frames of MPEG compressed moving image data: I frame, P frame, and B frame, I frame is an intra frame, P frame and B frame are inter frames, but P frame is In contrast to being dependent only on the data of the previous frame, the B frame depends on both the previous and subsequent frames.
[0009]
As described above, the compressed moving image data is composed of a frame that does not depend on other frames and a frame that depends on other frames. Using this characteristic, image quality such as gradation correction can be applied to the compressed moving image data. When performing correction processing, for example, the compressed moving image data is separated into frames that do not depend on other frames and frames that do not depend on other frames, and only frames that do not depend on other frames are decoded and image quality correction is performed. If compressed frames are obtained by processing and encoding to obtain corrected frames and combining these corrected frames with frames that depend on other frames, Since decoding, image quality correction processing, and encoding are performed for only a part of the image, the processing time can be shortened. In addition, image quality correction processing is not performed directly on frames that depend on other frames, but frames that depend on other frames are formed by differences from data of frames that do not depend on other frames. If frames that depend on other frames are corrected, the image quality correction processing is also applied to the frames that depend on these frames.
[0010]
In order to further improve the image quality of the displayed moving image, the compressed moving image data does not depend on other frames, the frame that does not depend on other frames (for example, the P frame described above), and other frames. It is separated into frames that are highly dependent on (for example, B frames corresponding to P frames), and only frames that do not depend on other frames and frames that do not depend on other frames are decoded and image quality corrected. Processing and encoding may be performed to obtain corrected frames, and the corrected compressed moving image data may be obtained by combining these corrected frames with frames that are highly dependent on other frames.
[0011]
[Patent Document 1]
Japanese Patent No. 3087409
[0012]
[Problems to be solved by the invention]
However, when image quality correction processing is performed on compressed moving image data composed of a plurality of frames, the method described in
[0013]
The present invention has been made in view of the above circumstances, and when processing compressed image data by performing image quality correction processing to obtain processed compressed image data, the processing time is shortened, and the image by correction is corrected. An object of the present invention is to provide an image processing apparatus and a program therefor that can reduce the increase or decrease in brightness of the image.
[0014]
[Means for Solving the Problems]
A first image processing apparatus of the present invention is an image processing apparatus that obtains processed compressed moving image data by performing image quality correction processing on compressed moving image data including a plurality of frames.
Separating means for separating the compressed moving image data into a correction target frame and a non-correction target frame;
Decoding means for decoding the correction target frame obtained by the separating means to obtain a decoded frame;
Correction means for performing an image quality correction process on the decoded frame to obtain a corrected decoded frame;
Encoding means for encoding the corrected decoded frame to obtain a corrected frame;
A combining unit that combines the corrected frame and the non-correction target frame to obtain the processed compressed moving image data;
A correction parameter calculating means for calculating a correction parameter of a corresponding decoded frame using the respective data of each of the decoded frames;
Each of the correction parameters calculated by the parameter calculation means is adjusted using the correction parameters of the decoded frame before and / or after the corresponding decoded frame of the correction parameter to obtain an adjusted parameter for each decoded frame. Parameter adjustment means;
The image processing apparatus is characterized by comprising correction execution means for executing the image quality correction processing on the corresponding decoded frame using the adjusted parameter.
[0015]
Here, the “correction target frame” of the compressed moving image data means a frame that affects the overall image quality of the moving image data by correcting it.
[0016]
In addition, the “non-correction target frame” of the compressed moving image data does not affect the overall image quality of the moving image data by correcting it, or the correction of the “correction target frame” has an effect. Means no frame. In other words, even if the image quality correction process is not performed on these frames, the frame does not significantly affect the overall image quality of the moving image data, and the image quality correction process may not be performed.
[0017]
The method of distinguishing between the “correction target frame” and the “non-correction target frame” of the compressed moving image data depends on the compression method of the compressed moving image data. The moving image data is usually composed of a plurality of frames, and compression methods performed on the frames are, for example, MPEG, which is becoming a standard in the moving image industry, and ITU-T H.264 used in videophones. 261 and ITU-T H.264. 263 and moving image data compressed by a compression method such as Nancy adopted as a moving image compression standard for mobile phones are an intra frame formed by data independent of the data of other frames, And an interframe formed by a difference with respect to data. In such a case, if image quality correction processing is performed on an intra frame, the inter frame formed by data depending on the intra frame is also corrected. That is, in this case, the decoding process necessary for performing the image quality correction process may be performed only on the intra frame, the intra frame becomes the “correction target frame”, and the inter frame becomes the “non-correction target frame”.
[0018]
Further, depending on the compression method, an inter frame is formed by a difference with respect to data of another frame, and is the same in that it depends on another frame, but there are cases where the method of dependence depends on the difference. For example, in the case of compressed moving image data composed of an I frame, a P frame, and a B frame, the I frame is a frame that does not depend on other frames, and the P frame and the B frame are formed by differences from the other frames. Although the P frame depends only on the frame before itself, the B frame depends on both the previous frame and the subsequent frame. That is, the P frame is less dependent on the other frames than the B frame, and the image quality can be further improved by performing the image quality correction process on the P frame. In this case, only the I frame may be set as the “correction target frame”, and the P frame and the B frame may be set as the “non-correction target frame”. However, the I frame and the P frame are set as the “correction target frame”, and the B frame is set as the “non-correction target frame”. The “target frame” is preferable.
[0019]
The correction means of the first image processing apparatus of the present invention, when performing the image quality correction process on the decoded frame obtained by decoding the correction target frame by the decoding means, first, the decoding is performed by the parameter calculation means. The correction parameter of the decoded frame is calculated from the data of the frame itself, and the parameter adjustment unit of the correction unit is configured to calculate the correction parameter of the decoded frame before and / or after the decoded frame corresponding to the correction parameter. Adjust using correction parameters. The correction execution unit of the correction unit executes the image quality correction process for the corresponding decoded frame using the adjusted parameter obtained by the parameter adjustment unit.
[0020]
Here, the parameter adjusting means, for example, obtains an average value obtained by averaging the correction parameters of one decoded frame and the correction parameters of one or more decoded frames before and / or after the decoded frame. The correction parameter of each decode frame can be adjusted so as to be the adjusted parameter of the decode frame.
[0021]
A second image processing apparatus of the present invention is an image processing apparatus that obtains processed compressed moving image data by performing image quality correction processing on compressed moving image data composed of an intra frame and an inter frame.
Separating means for separating the compressed video data into an intra frame, a correction target inter-frame and a non-correction target inter-frame;
Decoding means for decoding the intra frame and the correction target inter frame obtained by the separation means to obtain a decoded intra frame or a decode correction target inter frame;
Correction means for performing an image quality correction process on the decoded frame to obtain a corrected decoded frame;
Encoding means for encoding the corrected decoded frame to obtain a corrected frame;
A combining unit that combines the corrected frame and the non-correction target frame to obtain the processed compressed moving image data;
The correction means calculates a correction parameter for performing the image quality correction processing on each decoded intra frame, performs the image quality correction processing, and applies the decoding correction target inter-frame to the decoding correction target inter-frame. The image quality correction processing is performed using the correction parameter of the nearest decoded intra frame before the frame.
[0022]
Here, the “non-correction target interframe” refers to a frame that depends on other frames and has little influence on the image quality of the entire moving image by performing image quality correction processing. Means a frame that affects the image quality of the entire moving image by performing image quality correction as compared to the non-correction target interframe, although it depends on other frames. Specifically, for example, as described above, compressed moving image data obtained by compression using a compression method such as MPEG is composed of an intra frame and an inter frame, and the inter frame depends on other frames. Can be divided into two types: a frame having a low level (for example, the P frame described above) and a frame having a high degree of dependence on other frames (a B frame corresponding to the P frame). In such a case, the I frame is an intra frame, but the P frame can be a “correction target frame” and the B frame can be a “non-correction target frame”.
[0023]
That is, the second image processing apparatus according to the present invention performs decoding, image quality correction, and encoding on the intra frame and the correction target inter frame to obtain a corrected frame, and the corrected frame and the non-correction target inter frame Compensation means that obtains processed compressed moving image data by combining and performs image quality correction processing on the decoded intra frame and the decoded inter frame to be corrected. While calculating the parameters and performing the image quality correction process, for the decoding correction target interframe, the correction parameter of the nearest decoding intraframe before the decoding correction target frame is not obtained without newly calculating the correction parameter. Is used to perform image quality correction processing.
[0024]
Further, some compressed moving image data including an intra frame and an inter frame is obtained by compressing only the top frame by a compression method that is a frame that does not depend on other frames, that is, an intra frame. In the case of such compressed moving image data, only the first frame is an intra frame, and the “closest decoded intra frame” is a decoded first frame obtained by decoding the first frame with respect to all correction target inter frames. That is, in this case, the correction unit calculates the correction parameter of the image quality correction process for the decoding start frame and performs the image quality correction process, while for all the correction target interframes, the correction parameter of the decoding start frame. Is used to perform image quality processing.
[0025]
In this case, the “first frame” means a frame located at the head of the structure of the compressed moving image data, and is not necessarily limited to the frame that is headed in time series.
[0026]
A first program of the present invention is a program for causing a computer to execute image processing for obtaining compressed compressed moving image data by performing image quality correction processing on compressed moving image data composed of a plurality of frames.
A separation process for separating the compressed moving image data into a correction target frame and a non-correction target frame;
A decoding process for decoding the correction target frame to obtain a decoded frame; a correction process for performing an image quality correction process on the decoded frame to obtain a corrected decoded frame;
An encoding process for encoding the corrected decoded frame to obtain a corrected frame;
Combining the corrected frame and the non-correction target frame to obtain the processed compressed moving image data,
A correction parameter calculation process in which the correction process calculates a correction parameter of a corresponding decode frame using respective data of each of the decode frames;
A parameter adjustment process for obtaining an adjusted parameter for each decoded frame that adjusts each of the correction parameters using a correction parameter of a decoded frame before and / or after a corresponding decoded frame of the correction parameter;
And a correction execution process for executing the image quality correction process on the corresponding decoded frame using the adjusted parameter.
[0027]
A second program of the present invention is a program for causing a computer to execute image processing for obtaining compressed compressed moving image data by performing image quality correction processing on compressed moving image data including an intra frame and an inter frame. And
The image processing separates the compressed moving image data into an intra frame, a correction target inter frame, and a non-correction target inter frame;
A decoding process for decoding the intra frame and the correction target inter frame obtained by the separation process to obtain a decoded frame that is a decoded intra frame or a decoding correction target inter frame;
Correction processing for obtaining a corrected decoded frame by performing image quality correction processing on the decoded frame;
An encoding process for encoding the corrected decoded frame to obtain a corrected frame;
Combining the corrected frame and the non-correction target frame to obtain the processed compressed moving image data,
The correction processing calculates a correction parameter for performing the image quality correction processing for each decoded intra frame, performs the image quality correction processing, and applies the decoding correction target inter-frame to the decoding correction target inter-frame. The image quality correction processing is performed using the correction parameter of the nearest decoded intra frame before the frame.
[0028]
【The invention's effect】
According to the first image processing apparatus of the present invention, the compressed moving image data is separated into the correction target frame and the non-correction target frame, and the corrected frame is subjected to decoding, image quality correction, and encoding only on the correction target frame. And obtaining the processing-corrected compressed moving image data ′ by synthesizing the corrected frame and the non-correction target frame, the decoded frame obtained by decoding each correction target frame Image quality correction is performed using the adjusted parameters obtained by adjusting the correction parameters obtained from the own data using the correction parameters obtained from the data of the decoded frame before and / or after the decoded frame. By reducing the amount of data to be decoded and encoded, the processing time can be shortened. In addition, by adjusting the correction parameters, it is possible to prevent the brightness of the image from increasing or decreasing when the corrected moving image is displayed.
[0029]
The second image processing apparatus of the present invention separates the compressed moving image data into an intra frame, a correction target inter frame, and a non-correction target inter frame, and decodes and corrects image quality only for the intra frame and the correction target inter frame. When the encoded compressed video data is obtained by synthesizing the corrected frame and the non-correction target interframe by performing the encoding process, the decoded intraframe is obtained for each intraframe. While obtaining the correction parameter from the frame and performing the image quality correction process, the correction parameter is not obtained for each correction target interframe, and the nearest intraframe located before the correction target interframe is determined. Perform image quality correction using correction parameters. As a result, the processing time can be shortened by reducing the amount of data to be decoded and encoded, and drastic changes in the correction parameters can be prevented, and consequently the brightness of the image when displaying the corrected moving image can be prevented. .
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0031]
FIG. 1 is a block diagram showing a configuration of a cellular phone system A which is a first embodiment of the image processing apparatus and program of the present invention. As shown in the figure, the mobile phone system A of the present embodiment includes a plurality of
[0032]
FIG. 2 is a block diagram showing a configuration of
[0033]
The still image S, the corrected still image S ′ and the moving image G, and the corrected moving image G are “compressed”, and the moving image G includes an intra frame and other frames that do not depend on other frames. Are formed from interframes that depend on other frames.
[0034]
The
[0035]
FIG. 2B is a block diagram illustrating a configuration of the moving
[0036]
The
[0037]
FIG. 3 is a flowchart showing the operation of the
[0038]
On the other hand, if the attached image is the moving image G in step S20 (S20: Yes), the
[0039]
FIG. 4 is a flowchart showing the operation of the moving
[0040]
As described above, according to the mobile phone system A of the first embodiment of the present invention, the moving
[0041]
FIG. 5 is a block diagram showing a configuration of a mobile phone system B according to the second embodiment of the present invention. As shown in the figure, the mobile phone system B of this embodiment includes a plurality of
[0042]
FIG. 6 is a block diagram showing a configuration of
[0043]
Note that the still image S, the corrected still image S ′ and the moving image G, and the corrected moving image G are “compressed”, and the moving image G is an I frame that does not depend on other frames, and is prior to itself. It is composed of a P frame that depends only on the frame and a B frame that depends on both the previous and subsequent frames, for example, MPEG compressed.
[0044]
The
[0045]
FIG. 6B is a block diagram illustrating a configuration of the moving
[0046]
FIG. 7 is a flowchart showing the operation of the
[0047]
On the other hand, if the attached image is the moving image G in step S120 (S120: Yes), the
[0048]
FIG. 8 is a flowchart showing the operation of the moving
[0049]
As described above, according to the mobile phone system B of the second embodiment of the present invention, the moving
[0050]
The preferred embodiments of the image processing apparatus and the program of the present invention have been described above. However, these are not limited to the above-described embodiments, and various changes and increases / decreases can be added unless the gist of the present invention is changed. Can do.
[0051]
For example, the moving
[0052]
In both the first and second embodiments described above, the image processing apparatus and program of the present invention are applied to a mobile phone system. However, the image processing apparatus and program of the present invention are limited to the mobile phone system. However, the present invention may be applied to any system or apparatus that needs to perform image quality correction on compressed moving image data to obtain processed compressed moving image data, such as a videophone or a moving image display device. .
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a mobile phone system A which is a first embodiment of an image processing apparatus and program according to the present invention
2 is a block diagram showing a configuration of a
3 is a flowchart showing the operation of the
4 is a flowchart showing the operation of the moving
FIG. 5 is a block diagram showing a configuration of a mobile phone system B as a second embodiment of the image processing apparatus and program of the present invention.
6 is a block diagram showing a configuration of a
7 is a flowchart showing the operation of the
8 is a flowchart showing the operation of the moving
[Explanation of symbols]
10,110 mobile phone
20,120 mobile communication network
30,130 communication unit
40,140 control unit
50,150 storage unit
60,160 Still image processing unit
70,170 Movie processing part
72,172 Frame separator
74,174 Decoding unit
76,176 Correction unit
78,178 Parameter calculation unit
80 Parameter adjustment section
82,180 Correction execution unit
84,182 Encoding part
86,184 synthesis unit
100,200 relay server
G Compressed video data
G 'corrected compressed video data
S Compressed still image data
S 'corrected compressed still image data
T Data excluding attached images of e-mail
Claims (5)
前記圧縮動画像データを、補正することにより動画像データの全体の画質に影響を与える補正対象フレームと補正することにより動画像データの全体の画質に影響を与えない非補正対象フレームとに分離する分離手段と、
該分離手段により得られた前記補正対象フレームをデコードしてデコードフレームを得るデコード手段と、
該デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正手段と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード手段と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備え、
前記補正手段が、各前記デコードフレームの夫々のデータを用いて対応するデコードフレームの補正パラメータを算出する補正パラメータ算出手段と、
該パラメータ算出手段により算出された各々の前記補正パラメータを、該補正パラメータの対応するデコードフレームの前および後のデコードフレームの補正パラメータを用いて、前記デコードフレームの補正パラメータと、前記デコードフレームの前および後の１つ以上のデコードフレームの補正パラメータとの平均からデコードフレーム毎の調整済みパラメータを得るパラメータ調整手段と、
該調整済みパラメータを用いて、対応するデコードフレームに対して前記画質補正処理を実行する補正実行手段とを備えてなるものであることを特徴とする画像処理装置。An image processing apparatus that obtains processed compressed moving image data by performing image quality correction processing on compressed moving image data composed of a plurality of frames,
Said compressed moving image data, it is separated into a non-correction target frame that does not affect the overall quality of the moving image data by correcting the correction target frame that affect the overall quality of the moving image data by correcting Separating means;
Decoding means for decoding the correction target frame obtained by the separating means to obtain a decoded frame;
Correction means for performing an image quality correction process on the decoded frame to obtain a corrected decoded frame;
Encoding means for encoding the corrected decoded frame to obtain a corrected frame;
A combining unit that combines the corrected frame and the non-correction target frame to obtain the processed compressed moving image data;
A correction parameter calculating means for calculating a correction parameter of a corresponding decoded frame using the respective data of each of the decoded frames;
Each of the correction parameters calculated by the parameter calculation means is calculated using the correction parameters of the decoding frame before and after the decoding frame corresponding to the correction parameter. And a parameter adjusting means for obtaining an adjusted parameter for each decoded frame from an average of correction parameters of one or more subsequent decoded frames;
An image processing apparatus comprising: a correction execution unit that executes the image quality correction process on a corresponding decoded frame using the adjusted parameter.
前記圧縮動画像データを、イントラフレーム、補正対象インターフレームと非補正対象インターフレームとに分離する分離手段と、
該分離手段により得られた前記イントラフレームおよび前記補正対象インターフレームをデコードしてデコードイントラフレームまたはデコード補正対象インターフレームであるデコードフレームを得るデコード手段と、
前記デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正手段と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード手段と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備え、
前記補正手段が、各前記デコードイントラフレームに対して前記画質補正処理を行うための補正パラメータを算出して前記画質補正処理を施すと共に、前記デコード補正対象インターフレームに対して、該デコード補正対象インターフレームの前の、最も近い前記デコードイントラフレームの補正パラメータを用いて前記画質補正処理を行うものであることを特徴とする画像処理装置。An image processing apparatus that obtains processed compressed moving image data by performing image quality correction processing on compressed moving image data including an intra frame and an inter frame,
Separating means for separating the compressed video data into an intra frame, a correction target inter-frame and a non-correction target inter-frame;
Decoding means for decoding the intra frame and the correction target inter frame obtained by the separation means to obtain a decoded intra frame or a decode correction target inter frame;
Correction means for performing an image quality correction process on the decoded frame to obtain a corrected decoded frame;
Encoding means for encoding the corrected decoded frame to obtain a corrected frame;
A combining unit that combines the corrected frame and the non-correction target frame to obtain the processed compressed moving image data;
The correction means calculates a correction parameter for performing the image quality correction processing on each decoded intra frame, performs the image quality correction processing, and applies the decoding correction target inter-frame to the decoding correction target inter-frame. An image processing apparatus for performing the image quality correction processing using a correction parameter of the nearest decoded intra frame before a frame.
前記画像処理が、前記圧縮動画像データを、補正することにより動画像データの全体の画質に影響を与える補正対象フレームと補正することにより動画像データの全体の画質に影響を与えない非補正対象フレームとに分離する分離処理と、
該補正対象フレームをデコードしてデコードフレームを得るデコード処理と、
該デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正処理と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード処理と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなり、
前記補正処理が、各前記デコードフレームの夫々のデータを用いて対応するデコードフレームの補正パラメータを算出する補正パラメータ算出処理と、
各々の前記補正パラメータを、該補正パラメータの対応するデコードフレームの前および後のデコードフレームの補正パラメータを用いて、前記デコードフレームの補正パラメータと、前記デコードフレームの前および後の１つ以上のデコードフレームの補正パラメータとの平均からデコードフレーム毎の調整済みパラメータを得るパラメータ調整処理と、
前記調整済みパラメータを用いて、対応するデコードフレームに対して前記画質補正処理を実行する補正実行処理とからなることを特徴とするプログラム。A program for causing a computer to execute image processing to obtain compressed compressed moving image data by performing image quality correction processing on compressed moving image data including a plurality of frames,
Non-correction target in which the image processing does not affect the overall image quality of the moving image data by correcting the compressed moving image data with the correction target frame that affects the entire image quality of the moving image data by correcting Separation processing to separate into frames,
A decoding process for decoding the correction target frame to obtain a decoded frame;
Correction processing for obtaining a corrected decoded frame by performing image quality correction processing on the decoded frame;
An encoding process for encoding the corrected decoded frame to obtain a corrected frame;
Combining the corrected frame and the non-correction target frame to obtain the processed compressed moving image data,
A correction parameter calculation process in which the correction process calculates a correction parameter of a corresponding decode frame using respective data of each of the decode frames;
Using each correction parameter as a correction parameter of the decoding frame before and after the corresponding decoding frame of the correction parameter, the correction parameter of the decoding frame and one or more decodings before and after the decoding frame Parameter adjustment processing for obtaining an adjusted parameter for each decoded frame from the average of the correction parameters of the frame,
A program comprising: a correction execution process for executing the image quality correction process on a corresponding decoded frame using the adjusted parameter.
前記画像処理が、前記圧縮動画像データを、イントラフレーム、補正対象インターフレームと非補正対象インターフレームとに分離する分離処理と、
該分離処理により得られた前記イントラフレームおよび前記補正対象インターフレームをデコードしてデコードイントラフレームまたはデコード補正対象インターフレームであるデコードフレームを得るデコード処理と、
前記デコードフレームに対して画質補正処理を行って補正済デコードフレームを得る補正処理と、
該補正済みデコードフレームをエンコードして補正済みフレームを得るエンコード処理と、
該補正済みフレームと前記非補正対象フレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなり、
前記補正処理が、各前記デコードイントラフレームに対して前記画質補正処理を行うための補正パラメータを算出して前記画質補正処理を施すと共に、前記デコード補正対象インターフレームに対して、該デコード補正対象インターフレームの前の、最も近い前記デコードイントラフレームの補正パラメータを用いて前記画質補正処理を行うことを特徴とするプログラム。A program for causing a computer to execute image processing for obtaining processed compressed moving image data by performing image quality correction processing on compressed moving image data including an intra frame and an inter frame,
The image processing separates the compressed moving image data into an intra frame, a correction target inter frame, and a non-correction target inter frame;
A decoding process for decoding the intra frame and the correction target inter frame obtained by the separation process to obtain a decoded frame that is a decoded intra frame or a decoding correction target inter frame;
Correction processing for obtaining a corrected decoded frame by performing image quality correction processing on the decoded frame;
An encoding process for encoding the corrected decoded frame to obtain a corrected frame;
Combining the corrected frame and the non-correction target frame to obtain the processed compressed moving image data,
The correction processing calculates a correction parameter for performing the image quality correction processing for each decoded intra frame, performs the image quality correction processing, and applies the decoding correction target inter-frame to the decoding correction target inter-frame. A program for performing the image quality correction processing using a correction parameter of the nearest decoded intra frame before a frame.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003036092A JP4219704B2 (en) | 2003-02-14 | 2003-02-14 | Image processing apparatus and program |
| US10/774,590 US7657111B2 (en) | 2003-02-14 | 2004-02-10 | Apparatus and program for image processing for obtaining processed compressed moving image data |
| CNA2004100330811A CN1525738A (en) | 2003-02-14 | 2004-02-14 | Apparatus and program for image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003036092A JP4219704B2 (en) | 2003-02-14 | 2003-02-14 | Image processing apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004247988A JP2004247988A (en) | 2004-09-02 |
| JP4219704B2 true JP4219704B2 (en) | 2009-02-04 |
Family
ID=33021289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003036092A Expired - Fee Related JP4219704B2 (en) | 2003-02-14 | 2003-02-14 | Image processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4219704B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4919034B2 (en) * | 2006-10-11 | 2012-04-18 | 株式会社Ｊｖｃケンウッド | Network decoder device |
-
2003
- 2003-02-14 JP JP2003036092A patent/JP4219704B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004247988A (en) | 2004-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8368814B2 (en) | Visual processing device, display device, and integrated circuit for adjusting the contrast of an image | |
| JP3280211B2 (en) | Video encoder control system | |
| US11024017B2 (en) | Tone mapping adaptation for saturation control | |
| US6587509B1 (en) | Reducing undesirable effects of an emphasis processing operation performed on a moving image by adding a noise signal to a decoded uncompressed signal | |
| US20080317377A1 (en) | Image coding apparatus and image coding method | |
| US20070188634A1 (en) | Imaging apparatus | |
| JP2007094742A (en) | Image signal processor and image signal processing program | |
| CN105960658B (en) | Image processing apparatus, image capturing apparatus, image processing method, and non-transitory storage medium that can be processed by computer | |
| US9241095B2 (en) | Method and system for adaptive temporal interpolation filtering for motion compensation | |
| US7657111B2 (en) | Apparatus and program for image processing for obtaining processed compressed moving image data | |
| JPH04219089A (en) | Image encoding device | |
| US11039133B2 (en) | Image processing apparatus and image processing method for inhibiting application of an offset to pixels of an image | |
| KR100327368B1 (en) | Method of video coding and decoding | |
| JP2007028598A (en) | Compression coding apparatus and compression coding method | |
| JP4219704B2 (en) | Image processing apparatus and program | |
| JP4247666B2 (en) | Image processing method and image processing system | |
| JP4175954B2 (en) | Image display device and image display method | |
| KR100493702B1 (en) | Image communication system and operating method thereof | |
| JP2008300953A (en) | Image processor and imaging device mounted with the same | |
| JP4173747B2 (en) | Image processing apparatus and program | |
| JP2001320707A (en) | Image transmission system | |
| JP3992403B2 (en) | Image signal processing apparatus and image signal processing method | |
| JP2001313906A (en) | Digital camera | |
| JP2021117981A (en) | Image processing apparatus, image processing method, video transmission and reception system, and program | |
| JP5415050B2 (en) | Video playback device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050209 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081014 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081112 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131121 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |