JP2013247402A - 画像編集装置およびプログラム - Google Patents

Abstract

【課題】編集処理を繰り返すことによる画像の劣化を抑えつつ、画像データを記録するための記録容量の増大を抑制すること。
【解決手段】記録装置は、可逆符号化により圧縮された空間周波数成分を含む入力画像データを編集して、可逆符号化により圧縮された出力画像データを生成する画像編集装置であって、入力画像データを復号化して、空間周波数成分に含まれるＤＣ成分およびＡＣ成分を抽出する復号化部と、復号化部により抽出されたＤＣ成分を変更するＤＣ成分変更部と、ＤＣ成分変更部により変更されたＤＣ成分、および、復号化部により抽出されたＡＣ成分を、可逆符号化により圧縮する符号化部と、符号化部により可逆符号化されたＤＣ成分およびＡＣ成分を含む出力画像データを生成する出力画像データ生成部とを備える。
【選択図】図２

Description

本発明は、画像編集装置およびプログラムに関する。

３原色の色成分からなる階調カラー画像データを、色成分毎に空間周波数成分に変換した周波数データを入力画像データとし、周波数データ中のＤＣ成分を対象として色補正処理を行い、周波数データ中のＡＣ成分データと色補正されたＤＣ成分データとを基に復号化処理を行ってプリンタに出力する画像変換装置が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開平６−６６１１号公報

圧縮符号処理された画像データに明るさ調整や色味調整等の編集処理を施して、圧縮符号処理された形式の画像データとして記録する場合、画像データを一旦ＲＧＢビットマップ等の色成分に変換してから編集処理を施してから圧縮符号処理して記録すると、編集処理を繰り返すことでブロックノイズが増加する等の画像劣化が大きくなってしまう。画像劣化が大きくならないよう、編集後の画像データを非圧縮形式や可逆圧縮形式で記録すると、画像データのデータ量が大きくなってしまい、画像データを記録するのに大きな記録容量が必要となってしまう。

本発明の第１の態様においては、可逆符号化により圧縮された空間周波数成分を含む入力画像データを編集して、可逆符号化により圧縮された出力画像データを生成する画像編集装置であって、入力画像データを復号化して、空間周波数成分に含まれるＤＣ成分およびＡＣ成分を抽出する復号化部と、復号化部により抽出されたＤＣ成分を変更するＤＣ成分変更部と、ＤＣ成分変更部により変更されたＤＣ成分、および、復号化部により抽出されたＡＣ成分を、可逆符号化により圧縮する符号化部と、符号化部により可逆符号化されたＤＣ成分およびＡＣ成分を含む出力画像データを生成する出力画像データ生成部とを備える。

本発明の第２の態様においては、プログラムであって、コンピュータを、上記画像編集装置として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一実施形態に係るシステム５のブロック構成の一例を示す。 圧縮画像編集部１０のブロック構成の一例を示す。 編集指示画面３００の一例を示す。 ＤＣ成分の変更対象となるブロックの一例を模式的に示す。 ＤＣ成分変更部２２０およびＤＣ成分補正部２２２における処理を模式的に示す。 画像編集装置１００における編集処理に係る動作の一例を示すフローチャートを示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係るシステム５のブロック構成の一例を示す。システム５は、撮像装置１０２および画像編集装置１００を備える。画像編集装置１００は、エントロピー符号化された画像データに対して明るさや色味等の変更等の編集処理を行う場合に、編集対象の画像データをエントロピー復号化して、抽出された空間周波数成分のうちのＤＣ成分に対して変更を行い、エントロピー符号化して記録する。これにより、編集処理を繰り返すことによる画像の劣化を抑えつつ、画像データを記録するための記録容量の増大を抑制する。

撮像装置１０２は、被写体を撮像して画像データを生成する。撮像装置１０２は、画像データを圧縮符号化して画像ファイルを生成する。撮像装置１０２は、ＪＰＥＧ形式で圧縮符号化して、ＪＰＥＧ形式の画像データの画像ファイルとして、不揮発性の記録媒体に記録する。撮像装置１０２は、画像編集装置１００から画像ファイルの転送要求を受信すると、記録媒体に記録している画像ファイルを読み出して、画像編集装置１００へ画像ファイルを転送する。例えば、撮像装置１０２は、ＵＳＢケーブル等の接続ケーブル１０４を介して画像編集装置１００と通信可能に接続される。撮像装置１０２は、接続ケーブル１０４を介して画像編集装置１００と通信して、画像ファイルを画像編集装置１００へデータ転送する。

画像編集装置１００は、ＣＰＵ１１０、ＲＡＭ１２０、システムメモリ１３０、記録媒体１４０、操作入力部１５０、通信部１７０、表示部１８０およびバス１９０を備える。バス１９０は、ＣＰＵ１１０、ＲＡＭ１２０、システムメモリ１３０、記録媒体１４０、操作入力部１５０、通信部１７０および表示部１８０と結合され、各部から出力された各種データ、制御信号等を相互に伝送する。

ＣＰＵ１１０は、中央処理装置であり、画像編集装置１００の制御全般を司る。システムメモリ１３０は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等により構成される。システムメモリ１３０は、画像編集装置１００の動作に必要な定数、変数等の制御用のパラメータ、プログラム等を、画像編集装置１００の非動作時にも失われないように記憶している。システムメモリ１３０に記憶された定数、変数、プログラム等は、システムメモリ１３０からＲＡＭ１２０に展開され、画像編集装置１００の各部の制御に利用される。ＲＡＭ１２０としては、ＳＤＲＡＭ等を適用できる。

記録媒体１４０は、不揮発性の記録媒体である。記録媒体１４０としては、ハードディスク等の磁気記録媒体、フラッシュメモリ等の半導体メモリ、光ディスク等の光学記録媒体等、種々の記録媒体を適用できる。操作入力部１５０は、ユーザ操作を受け付ける。操作入力部１５０としては、マウス、キーボード等の操作部材を含んでよい。通信部１７０は、外部機器との通信を担い、外部機器との間で各種のデータ、制御信号を送受信する。外部機器との間の通信インタフェースとしては、ＵＳＢインタフェース等の種々の通信インタフェースを適用できる。表示部１８０としては、液晶ディスプレイ等の表示デバイスを適用できる。

ＣＰＵ１１０は、撮像装置１０２から転送された画像ファイルを、記録媒体１４０に記録させる。ＣＰＵ１１０は、圧縮画像編集部１０、編集情報取得部２０および復号処理部３０として機能する。編集情報取得部２０は、画像ファイルに含まれる画像データの画像内容に対する編集要求を、ユーザから取得する。田編集情報取得部２０は、明るさや色味を変更する変更量等の、画像の編集内容を取得する。編集情報取得部２０は、操作入力部１５０等を介して、これらの情報を取得する。編集情報取得部２０によってユーザから取得された画像の編集内容を示す編集情報は、ＲＡＭ１２０に記憶される。

圧縮画像編集部１０がユーザから編集要求を受け付けると、ＣＰＵ１１０は、記録媒体１４０に記録している画像ファイルをＲＡＭ１２０に読み出す。圧縮画像編集部１０は、ＲＡＭ１２０に読み出された画像ファイルの画像データをエントロピー復号化して、空間周波数成分のＤＣ成分およびＡＣ成分を抽出する。圧縮画像編集部１０は、編集情報取得部２０が取得した編集内容に基づいて、抽出したＤＣ成分を変更することにより、画像における明るさや色味の補正を行う。そして、圧縮画像編集部１０は、変更したＤＣ成分、および、元々の画像データから抽出したＡＣ成分に対してエントロピー符号化を行い、ＪＰＥＧ形式の画像データをＲＡＭ１２０内に生成する。そして、ＣＰＵ１１０は、生成した画像データを含む画像ファイルを、記録媒体１４０に記録する。

圧縮画像編集部１０により生成され記録媒体１４０に記録されたＪＰＥＧ形式の画像ファイルは、ユーザからの指示等に応じてＲＡＭ１２０に読み出される。復号処理部３０は、ＲＡＭ１２０に読み出された画像データをＪＰＥＧ形式に従って復号化して、ＲＧＢ等の各色成分の画像データを生成する。例えば、エントロピー復号化、逆量子化、逆ＤＣＴ変換、色空間変換処理を含む伸張復号処理により、例えばＲＧＢ形式のビットマップ形式のデータを生成する。復号処理部３０により生成された画像データは、例えば表示用の画像データとしてＲＡＭ１２０内に記憶される。表示部１８０は、ＲＡＭ１２０に記憶された表示用の画像データに基づいて画像を表示する。

図２は、圧縮画像編集部１０のブロック構成の一例を示す。圧縮画像編集部１０は、ＪＰＥＧ構文解析部２００、エントロピー復号化部２１０、ＤＣ成分変更部２２０、ＤＣ成分補正部２２２、エントロピー符号化部２３０、ＪＰＥＧ構文組立部２４０、判定部２５０、量子化係数決定部２６０、編集処理部２７０、変更対象ブロック特定部２８０および依存ブロック特定部２９０を有する。

ＪＰＥＧ構文解析部２００は、ＲＡＭ１２０に記憶されているＪＰＥＧ形式の入力画像データを解析する。ＪＰＥＧ構文解析部２００は、入力画像データから、符号化情報およびデータストリームを抽出する。ＪＰＥＧ構文解析部２００は、入力画像データの符号化情報を抽出する。符号化情報としては、量子化表および符号表を含む。すなわち、ＪＰＥＧ構文解析部２００は、入力画像データから、空間周波数成分のエントロピー符号化に用いられた符号表を抽出する符号表情報抽出部として機能する。具体的には、ＪＰＥＧ構文解析部２００は、入力画像データから、量子化された空間周波数成分のエントロピー符号化に用いられた符号表を抽出する。また、ＪＰＥＧ構文解析部２００は、入力画像データから、空間周波数成分の量子化に用いられた量子化係数を示す量子化情報を抽出する量子化情報抽出部として機能する。ＪＰＥＧ構文解析部２００により抽出された量子化表、符号表は、ＲＡＭ１２０に記憶される。ＪＰＥＧ構文解析部２００により抽出されたデータストリームは、エントロピー復号化部２１０に入力される。

エントロピー復号化部２１０は、入力画像データをエントロピー復号化して、空間周波数成分に含まれるＤＣ成分およびＡＣ成分を抽出する。具体的には、エントロピー復号化部２１０は、ＪＰＥＧ構文解析部２００から入力されるデータストリームを、エントロピー復号化して、空間周波数成分に含まれるＤＣ成分およびＡＣ成分を抽出する。エントロピー復号化部２１０により抽出されたＤＣ成分は、ＤＣ成分変更部２２０に入力される。エントロピー復号化部２１０により抽出されたＡＣ成分は、エントロピー符号化部２３０に入力される。

ＤＣ成分変更部２２０は、エントロピー復号化部２１０により抽出されたＤＣ成分を変更する。例えば、ＤＣ成分変更部２２０は、エントロピー復号化部２１０により抽出されたＤＣ成分の値を変更する。例えば、ＤＣ成分変更部２２０は、エントロピー復号化部２１０により抽出されたＤＣ成分の値の大きさを変更する。ＤＣ成分変更部２２０は、ＲＡＭ１２０に記憶された編集情報に基づいて、エントロピー復号化部２１０により抽出されたＤＣ成分を変更する。すなわち、ＤＣ成分変更部２２０は、編集情報取得部２０により取得された編集情報に基づいて、エントロピー復号化部２１０により抽出されたＤＣ成分を変更する。ＤＣ成分変更部２２０は、画像における明るさおよび色味の少なくとも一方を変更することを示す編集情報に基づいて、エントロピー復号化部２１０により抽出されたＤＣ成分を変更してよい。ＤＣ成分変更部２２０により変更されたＤＣ成分は、エントロピー符号化部２３０に入力される。

エントロピー符号化部２３０は、ＤＣ成分変更部２２０により変更されたＤＣ成分、および、エントロピー復号化部２１０により抽出されたＡＣ成分を、エントロピー符号化する。エントロピー復号化部２１０は、ＲＡＭ１２０に記憶された符号化表を用いて、エントロピー符号化する。すなわち、エントロピー符号化部２３０は、ＤＣ成分変更部２２０により変更されたＤＣ成分およびエントロピー復号化部２１０により抽出されたＡＣ成分を、ＪＰＥＧ構文解析部２００が抽出した符号表を用いてエントロピー符号化する。このように、入力画像のＡＣ成分は、変更されずにエントロピー符号化部２３０に入力される。エントロピー符号化部２３０によりエントロピー符号化された画像データストリームは、ＪＰＥＧ構文組立部２４０に入力される。

ＪＰＥＧ構文組立部２４０は、エントロピー符号化部２３０によりエントロピー符号化されたＤＣ成分およびＡＣ成分を含む出力画像データを生成する出力画像データ生成部として機能する。具体的には、ＪＰＥＧ構文組立部２４０は、エントロピー符号化された画像データストリームおよび符号化情報を含むＪＰＥＧ形式の画像データを生成して出力する。すなわち、ＪＰＥＧ構文解析部２００により抽出された量子化情報を含む出力画像データを生成する。また、ＪＰＥＧ構文組立部２４０は、ＪＰＥＧ構文解析部２００が抽出した符号表を含む出力画像データを生成する。ＪＰＥＧ構文組立部２４０が生成したＪＰＥＧ形式の画像データは、ＲＡＭ１２０内に生成される。ＲＡＭ１２０内に生成されたＪＰＥＧ形式の画像データは、ＣＰＵ１１０の制御により、ＪＰＥＧ形式の画像ファイルとして記録媒体１４０に記録される。

このように、本実施形態においては、圧縮画像編集部１０に対する入力画像データおよび出力画像データは、ＪＰＥＧ形式の画像データである。エントロピー復号化部２１０は、入力画像データを、入力画像データに含まれる符号表に基づいてエントロピー復号化して、空間周波数成分に含まれるＤＣ成分およびＡＣ成分を抽出する。ＪＰＥＧ構文組立部２４０は、エントロピー符号化部２３０によりエントロピー符号化されたＤＣ成分およびＡＣ成分、および、入力画像データに含まれる量子化表を含む出力画像データを生成する。

判定部２５０は、入力画像データに対する画像の編集内容に基づいて、ＪＰＥＧ構文解析部２００が抽出した量子化情報で示される量子化精度より高い編集精度が必要であるか否かを判定する。量子化係数決定部２６０は、判定部２５０によって高い精度が必要と判定された場合に、ＪＰＥＧ構文解析部２００が抽出した量子化情報で示される量子化精度より高い量子化精度の新たな量子化係数を決定する。例えば、量子化係数決定部２６０は、抽出された量子化表に含まれる量子化係数より小さい量子化係数を決定する。量子化係数決定部２６０は、ＤＣＴ成分に対する新たな量子化係数として、抽出された量子化表に含まれるＤＣ成分に対する量子化係数より小さい値の量子化係数を決定してよい。量子化係数決定部２６０が決定した量子化係数は、新たな量子化表としてＲＡＭ１２０に記憶され、量子化部２７６およびＪＰＥＧ構文組立部２４０の処理に供される。編集処理部２７０は、判定部２５０によって高い精度が必要と判定された場合に、新たな量子化係数による量子化処理を少なくとも含む画像処理により、入力画像データに対する画像の編集内容に基づいて入力画像データを編集する。判定部２５０によって高い精度が必要でないと判定された場合に、ＤＣ成分変更部２２０は、エントロピー復号化部２１０により抽出されたＤＣ成分を変更し、ＪＰＥＧ構文組立部２４０は、ＪＰＥＧ構文解析部２００により抽出された量子化情報を含む出力画像データを生成する。一方、判定部２５０によって高い精度が必要と判定された場合に、エントロピー符号化部２３０は、編集処理部の編集処理により得られた空間周波数成分をエントロピー符号化し、ＪＰＥＧ構文組立部２４０は、編集処理により得られエントロピー符号化された空間周波数成分、および、新たな量子化係数を示す量子化情報を含む出力画像データを生成する。

編集処理部２７０は、逆量子化部２７２、編集部２７４および量子化部２７６を含む。逆量子化部２７２は、エントロピー復号化部２１０から出力されるＤＣ成分およびＡＣ成分を逆量子化する。逆量子化部２７２は、ＪＰＥＧ構文解析部２００により抽出された量子化表に基づいて逆量子化を行う。

編集部２７４は、逆量子化部２７２によって逆量子化されたＤＣ成分に少なくとも基づいて、編集処理を行う。編集部２７４は、ＤＣ成分変更部２２０と同様に、ＤＣ成分を変更することにより、編集処理を行ってよい。量子化部２７６は、量子化係数決定部２６０が決定した新たな量子化係数で、編集部２７４による編集後のＤＣ成分、および、エントロピー復号化部２１０により抽出されたＡＣ成分を量子化する。

なお、編集部２７４は、ＤＣ成分等の空間周波数成分の変更ではなく、画素値レベルの編集を行ってもよい。例えば、編集処理部２７０は、逆ＤＣＴ変換を含む処理によりＲＧＢ形式のビットマップデータを生成して、ＲＧＢの各色成分の値を変更してよい。そして、編集処理部２７０は、ＤＣＴ変換を含む処理によりＤＣＴ係数を算出して、量子化部２７６に出力してよい。

判定部２５０、量子化係数決定部２６０および編集処理部２７０による処理によれば、入力画像データに含まれている量子化表で十分な精度の編集ができる場合には、ＤＣ成分変更部２２０によるＤＣ成分の変更を行うことで、少ない演算量で画像を編集することができる。入力画像データに含まれている量子化表で十分な精度の編集ができない場合でも、量子化係数決定部２６０および編集処理部２７０による編集処理により、高い精度で画像を編集できる。

なお、編集情報取得部２０は、画像領域において編集すべき一部の画像領域を示す情報を取得する。すなわち、編集情報取得部２０は、入力画像データにより表される画像領域のうち、編集すべき一部の画像領域を示す情報を取得する。編集情報取得部２０は、編集領域情報取得部として機能する。変更対象ブロック特定部２８０は、編集情報取得部２０が取得した一部の画像領域を含む一以上のブロックを、ＤＣ成分を変更すべきブロックとして特定する。この場合、エントロピー復号化部２１０は、変更対象ブロック特定部２８０により特定されたブロックをエントロピー復号化する。そして、ＤＣ成分変更部２２０は、変更対象ブロック特定部２８０が特定したブロックからエントロピー復号化部２１０により抽出されたＤＣ成分を変更する。

なお、ＪＰＥＧ形式では、画像データにおける少なくとも一部のブロックのＤＣ成分は、他のブロックのＤＣ成分との差分で表されている。このように、入力画像データにおける少なくとも一部のブロックのＤＣ成分が、他のブロックのＤＣ成分との差分で表されている場合には、依存ブロック特定部２９０は、変更対象ブロック特定部２８０が特定した一以上のブロックのＤＣ成分との差分でＤＣ成分が表された他のブロックを特定する。ＤＣ成分補正部２２２は、依存ブロック特定部２９０が特定したブロックの画像が、ＤＣ成分変更部２２０によるＤＣ成分の変更によって変化しないよう、依存ブロック特定部２９０が特定したブロックのＤＣ成分を、対応するブロックのＤＣ成分の変更量に応じて補正する。本処理については、図５等に関連して説明する。エントロピー復号化部２１０は、変更対象ブロック特定部２８０により特定されたブロックおよび依存ブロック特定部２９０により特定されたブロックをエントロピー復号化する。エントロピー符号化部２３０は、ＤＣ成分変更部２２０により変更されたＤＣ成分、ＤＣ成分補正部２２２により補正されたＤＣ成分、および、エントロピー復号化部２１０により抽出されたＡＣ成分をエントロピー符号化する。

以上に説明した画像編集装置１００によれば、可逆性を保証しつつ、エントロピー符号化された空間周波数成分を含む入力画像データを編集して、エントロピー符号化された出力画像データを生成することができる。

図３は、編集指示画面３００の一例を示す。編集指示画面３００は表示部１８０に表示される。編集指示画面３００は、画像表示領域３４０、スライダ３１０、領域指定枠３２０、および保存ボタン３５０を含む。画像表示領域３４０には、編集対象の画像が表示される。スライダ３１０は、例えば明るさの増減量を指定する指示をユーザから受け付けるためのグラフィック要素である。ユーザがマウス操作によりスライダ３１０の位置を変更すると、編集情報取得部２０は、スライダ３１０の位置に基づいて、明るさの増減量を特定する。

領域指定枠３２０は、明るさを変更する対象領域を指定する指示をユーザから受け付けるためのグラフィック要素である。ユーザがマウス操作により領域指定枠３２０の位置および大きさの少なくとも一方を変更すると、編集情報取得部２０は、領域指定枠３２０の位置および大きさに基づいて、画像領域における、明るさを変更する対象領域を特定する。編集情報取得部２０により特定された明るさの増減量および対象領域を示す情報は、ＲＡＭ１２０に編集情報として記憶される。

保存ボタン３５０は、編集対象として選択した画像データに対して明るさを補正して画像ファイルとして保存する指示をユーザから受け付けるためのグラフィック要素である。保存ボタン３５０が選択されると、圧縮画像編集部１０は、指定された編集対象領域に対して、指定された明るさの増減量に従って明るさを増減する編集処理を行う。そして、ＣＰＵ１１０は、圧縮画像編集部１０により編集された出力画像データを含む出力画像ファイルを、記録媒体１４０に記録する。

ＣＰＵ１１０は、出力画像データを含む出力画像ファイルを、入力画像ファイルのファイル名と同じファイル名の画像ファイルで記録媒体１４０に記録してよい。例えば、ＣＰＵ１１０は、入力画像ファイルを出力画像ファイルで上書きしてよい。ここで、ＣＰＵ１１０は、判定部２５０によってＪＰＥＧ構文解析部２００が抽出した量子化情報で示される量子化精度より高い編集精度が必要でないと判定されたことを条件として、入力画像ファイルを出力画像ファイルで上書きしてよい。かかる処理によれば、入力画像データから出力画像データへの画像処理に可逆性が保証されている場合に、出力画像データから元の入力画像データを提供することができる。なお、ＣＰＵ１１０は、明るさの増減量や編集対象領域等を示す情報を、出力画像ファイルに対応づけて記録してよい。例えば、ＣＰＵ１１０は、明るさの増減量や編集対象領域等を示す情報を、出力画像ファイルに付帯して記録してよい。例えば、ＣＰＵ１１０は、出力画像ファイルをＥｘｉｆ形式で記録する場合、ベンダー固有領域に、明るさの増減量や編集対象領域等を示す情報を含めて記録してよい。

なお、圧縮画像編集部１０は、スライダ３１０の位置が変更されたことを検出すると、検出に応じて、明るさの増減量に基づいて明るさを増減させる編集処理を行ってよい。そして、ＣＰＵ１１０は、圧縮画像編集部１０により編集されて得られた出力画像データに基づいて、画像表示領域３４０に画像を表示してよい。また、圧縮画像編集部１０は、領域指定枠３２０の位置および大きさの少なくとも一方が変更されたことが検出すると、検出に応じて、変更された領域指定枠３２０の位置および大きさ、ならびに、現在指定されている明るさの増減量に基づいて、画像の編集処理を行ってよい。そして、ＣＰＵ１１０は、圧縮画像編集部１０により編集されて得られた出力画像データに基づいて、画像表示領域３４０に画像を表示してよい。このように、画像編集装置１００は、ユーザから編集内容を変更する指示を受け付けた場合に、リアルタイムに編集を行って、表示部１８０に表示させてもよい。

なお、画像表示領域３４０への表示用の画像データは、ＤＣ成分変更部２２０が変更したＤＣ成分およびエントロピー復号化部２１０により抽出されたＡＣ成分に対して、逆量子化および逆ＤＣＴ変換を含む伸張処理により生成されてよい。当該伸張処理は、復号処理部３０で行われてよい。

図４は、ＤＣ成分の変更対象となるブロックの一例を模式的に示す。ＪＰＥＧ方式による圧縮および符号化処理では、輝度信号および色差信号のそれぞれにつき、８×８のブロック毎に、６４個のＤＣＴ係数が算出される。６４個のＤＣＴ係数は、１つのＤＣ成分および６３個のＡＣ成分を含む。

ここで、変更対象ブロック特定部２８０は、編集情報取得部２０によって対象領域を包含するブロックを、変更対象のブロックとして特定する。本図は、横方向に４個、縦方向に３個のブロック４１０を、ＤＣ成分の変更対象のブロックとして特定されたことを模式的に示す。変更対象ブロック特定部２８０により特定された１２個のブロック４１０のＤＣ成分が、ＤＣ成分変更部２２０で変更される。

依存ブロック特定部２９０は、変更対象ブロック特定部２８０が特定したブロック４１０のうち、右側に隣接するブロック４２０ａ〜ブロック４２０ｃを、依存ブロックとして特定する。依存ブロック特定部２９０により特定された依存ブロック４２０のＤＣ成分は、それぞれ隣接するブロックのＤＣ成分の変更量に応じて、ＤＣ成分補正部２２２で補正される。

図５は、ＤＣ成分変更部２２０およびＤＣ成分補正部２２２における処理を模式的に示す。本図では、ブロック４２０ａ、および、ブロック４２０ａと同じ行に存在するブロック４１０ａ〜ブロック４１０ｃを取り上げて、これらのブロックに対する処理を模式的に示す。本図において、各ブロックの左上に、エントロピー復号化部２１０で抽出されたＤＣ成分を模式的に示す。これらのＤＣ成分が、ＤＣ成分変更部２２０による変更対象となる。本図において、ＤＣ成分以外の他の部分はエントロピー復号化部２１０により抽出された６３個のＡＣ成分を模式的に示す。抽出されたＡＣ成分は、変更されずにエントロピー符号化部２３０に入力される。

ＪＰＥＧ符号化においては、各ブロックで算出されたＤＣ成分は、量子化された後、直前のブロックのＤＣ成分との差分が算出され、ＤＣ成分の差分がエントロピー符号化の対象となる。したがって、エントロピー復号化部２１０によるエントロピー復号化で得られるＤＣ成分の値は、直前のブロック４２０から算出されたＤＣＴ係数の量子化後のＤＣ成分から、ブロック４１０から算出されたＤＣＴ係数の量子化後のＤＣ成分を減じた値を示す。

ここでは、圧縮画像編集部１０が、領域指定枠３２０内の画像領域に対して一定の明るさを増加させる処理を行う場合について説明する。また、当該明るさの増加量に対応する輝度値の増加量がΔであるとする。

ＤＣ成分変更部２２０は、入力画像データから抽出した量子化表で示されるＤＣ成分用の量子化係数でΔを除算して、量子化されたＤＣ成分に対する変更量δを算出する。そして、ＤＣ成分変更部２２０は、同一行で最も左に位置するブロック４１０ａのＤＣ成分の値にδを加算する。そして、他のブロック４１０ｂおよびブロック４１０ｃについては、ＤＣ成分の値を変更せず維持する。そして、ＤＣ成分補正部２２２は、ブロック４２０ａのＤＣ成分の値から、δを減算する。同様の処理を各行のブロック４１０およびブロック４２０に適用することで、領域指定枠３２０内の画像領域の少なくとも一部を含むブロックの輝度値を、一律の値だけ増加させることができる。このように、ＤＣ成分変更部２２０は、編集情報および量子化表に基づいて、ＤＣ成分の値を変更する。また、ＤＣ成分補正部２２２は、ＤＣ成分変更部２２０によるＤＣ成分の変更量に応じて、当該変更量をキャンセルするように依存ブロック４２０のＤＣ成分の値を補正する。

なお、判定部２５０は、ＪＰＥＧ構文解析部２００が抽出した量子化情報で示される量子化精度より高い編集精度が必要であるか否かの判定を、明るさの増加量に対応する輝度値の増加量Δに基づいて行ってよい。例えば、増加量ΔをＤＣ成分用の量子化係数で除した値が、予め定められた値より小さい場合に、ＪＰＥＧ構文解析部２００が抽出した量子化情報で示される量子化精度より高い編集精度が必要であると判定してよい。より具体的には、判定部２５０は、増加量ΔをＤＣ成分用の量子化係数で除した値が１より小さい場合に、ＪＰＥＧ構文解析部２００が抽出した量子化情報で示される量子化精度より高い編集精度が必要であると判定してよい。

図６は、画像編集装置１００における編集処理に係る動作の一例を示すフローチャートである。本フローは、編集対象の画像データがユーザによって選択された場合に開始される。本フローの処理は、ＣＰＵ１１０を主体とする動作またはＣＰＵ１１０の制御に従う画像編集装置１００の各部の動作により実行される。

ステップＳ６０２において、選択された編集対象の画像データを、記録媒体１４０からＲＡＭ１２０に読み出す。ステップＳ６０４において、読み出した画像データに基づいて、編集対象の画像を表示部１８０に表示させる。例えば、図３に例示した編集指示画面を表示部１８０に表示させる。

ステップＳ６０６において、編集情報取得部２０は編集情報をユーザから取得する。ステップＳ６０８において、ＪＰＥＧ構文解析部２００は、ステップＳ６０２で読み出された画像データから符号化情報を抽出する。上述したように、符号化情報は、量子化係数および符号表を含む。

ステップＳ６１０において、判定部２５０は、ステップＳ６０８で抽出された量子化係数で示される量子化精度より高い編集精度が必要であるか否かを判断する。高い編集精度が必要でないと判断された場合、編集対象領域が全画像領域であるか否かを判断する（ステップＳ６１２）。

編集対象領域が全画像領域でない場合、ステップＳ６１４において、変更対象ブロック特定部２８０が変更対象ブロックを特定し、依存ブロック特定部２９０が依存ブロックを特定する。本ステップの処理としては、図４および５等に関連して説明した処理を適用できる。ステップＳ６１６において、エントロピー復号化部２１０は、ステップＳ６１４で特定されたブロックをエントロピー復号化する。ステップＳ６１８において、ステップＳ６１４で特定されたブロックに対して、ＤＣ成分の編集処理を施す。具体的には、ＤＣ成分変更部２２０は、変更対象ブロックのＤＣ成分を変更する。また、ＤＣ成分補正部２２２は、依存対象ブロックのＤＣ成分を補正する。本ステップの処理としては、図４および５等に関連して説明した処理を適用できる。

ステップＳ６２０において、エントロピー符号化部２３０はエントロピー符号化を行う。具体的には、エントロピー符号化部２３０は、ステップＳ６１８で編集されたＤＣ成分およびステップＳ６１６におけるエントロピー復号化により抽出されたＡＣ成分を含む符号化対象データをエントロピー符号化する。ステップＳ６２２において、ＪＰＥＧ構文組立部２４０は、ステップＳ６２０でエントロピー符号化されたＪＰＥＧ形式の画像データを生成する。ステップＳ６２４において、ステップＳ６２２で生成された画像データを、ＪＰＥＧ形式の画像データファイルとして記録媒体１４０に記録させる。

ステップＳ６１２の判断において、編集対象領域が全画像領域であると判断された場合、エントロピー復号化部２１０は、全ブロックをエントロピー復号化する（ステップＳ６３２）。ステップＳ６３４において、ＤＣ成分変更部２２０は、ステップＳ６３２でエントロピー符号化されたブロックのＤＣ成分を変更する。ステップＳ６３４の処理が完了すると、ステップＳ６２０に処理を進める。

ステップＳ６１０の判断において、ステップＳ６０８で抽出された量子化係数で示される量子化精度より高い編集精度が必要であると判断された場合、エントロピー復号化部２１０は全ブロックをエントロピー復号化し（ステップＳ６４２）、逆量子化部２７２は逆量子化を行う（ステップＳ６４４）。ステップＳ６４６において、編集部２７４は、ステップＳ６４４で逆量子化されたＤＣ成分を少なくとも用いて、編集情報に基づく編集処理を行う。ステップＳ６４８において、量子化係数決定部２６０は、編集情報に基づいて、新たな量子化係数を決定する。ステップＳ６５０において、量子化部２７６は、ステップＳ２４８で決定された新たな量子化係数でＤＣＴ係数を量子化する。具体的には、量子化部２７６は、ステップＳ２４８で決定された新たな量子化係数で、ステップＳ６４６の編集処理で得られたＤＣ成分のＤＣＴ係数を量子化する。また、量子化部２７６は、当該新たな量子化係数で、ステップＳ６４２で抽出されたＡＣ成分のＤＣＴ係数を量子化する。

なお、ステップＳ６４６で画素値レベルの編集を行う場合、ステップＳ６４６では、逆ＤＣＴ変換を含む編集処理を行って画素値レベルの編集を行い、編集後のデータに対してＤＣＴ変換を含む処理を施して、ＤＣ成分およびＡＣ成分のＤＣＴ係数を算出する。この場合、ステップＳ６５０では、量子化部２７６は、ステップＳ６４６で算出された編集後のＤＣ成分およびＡＣ成分のＤＣＴ係数を、ステップＳ６４８で決定した新たな量子化係数で量子化する。ステップＳ６５０の処理が完了すると、ステップＳ６２０に処理を進める。

図３−６に関連して、圧縮画像編集部１０の全体の動作を分かり易く説明することを目的として、明るさを補正する場合を取り上げて、画像編集装置１００の動作の一例を説明した。しかし、圧縮画像編集部１０は、同様の動作により、色差成分についてＤＣ成分を変更することができる。例えば、図３の編集指示画面３００においては、明るさ調整量を指定させるスライダ３１０に加えて、赤味の調整量および青味の調整量を指定させるスライダを設けてよい。そして、圧縮画像編集部１０においては、輝度信号のＤＣ成分の変更および補正処理と同様の処理を、Ｃｒ、Ｃｂの色差信号のＤＣ成分の変更および補正処理として適用してよい。

また、図３−６に関連して、ユーザが編集内容を指定する場合を取り上げて画像編集装置１００の動作の一例を説明したが、圧縮画像編集部１０が編集内容を決定してもよい。例えば、圧縮画像編集部１０は、画像から人間の顔の領域を特定して、特定した領域である顔領域を、編集対象領域としてよい。また、圧縮画像編集部１０は、顔の領域に対して明るさを高める度合いを示す明るさの増加量を決定してよい。また、圧縮画像編集部１０は、当該顔領域以外の領域に対して、明るさを低減させる度合いを示す明るさの低減量を決定してよい。そして、圧縮画像編集部１０は、明るさの増加量に基づいて顔領域の明るさを増加させ、明るさの低減量に基づいて顔領域以外の領域の明るさを低減させる編集処理を行ってよい。このように、圧縮画像編集部１０は、画像における特徴的な領域である特徴領域を特定して、特定した特徴領域を、編集の対象領域として特定してよい。

また、以上の説明では、エントロピー符号化部２３０は、入力画像データから抽出された符号表を用いてエントロピー符号化を行うとして説明した。しかし、エントロピー符号化部２３０は、入力画像データから抽出された符号表を用いたエントロピー符号化とは異なるエントロピー符号化を適用してよい。例えば、エントロピー符号化部２３０は、入力画像データから抽出された符号表とは異なる符号表でエントロピー符号化を行ってよい。例えば、エントロピー符号化部２３０は、エントロピー符号化としてハフマン符号化を適用する場合、入力画像データから抽出されたハフマン符号表とは異なるハフマン符号表を用いてハフマン符号化を行ってよい。また、エントロピー符号化部２３０は、入力画像データがハフマン符号化により符号化されたものである場合に、算術符号化を行ってもよい。このように、エントロピー符号化部２３０は、入力画像データを生成する場合に適用された符号化方式とは異なる符号化方式で符号化を行ってよい。

上記の説明において、ＣＰＵ１１０の動作として説明した処理は、ＣＰＵ１１０がプログラムに従って画像編集装置１００が有する各ハードウェアを制御することにより実現される。すなわち、本実施形態の画像編集装置１００に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。

以上の説明では、入力画像データおよび出力画像データの一例として、静止画データを取り上げて説明した。特に、ＪＰＥＧ形式の静止画データを取り上げて説明した。しかし、入力画像データおよび出力画像データとしては、ＪＰＥＧ形式の静止画データに限らず、デジタル圧縮及び符号処理された種々の形式の静止画データを適用の対象とすることができる。また、入力画像データおよび出力画像データとしては、静止画データに限らず、デジタル圧縮及び符号処理された種々の形式の動画データを適用の対象とすることができる。例えば、Ｍｏｔｉｏｎ ＪＰＥＧ形式の動画データにおける少なくとも１つのフレームの画像データを適用の対象とすることができる。また、ＭＰＥＧ形式の動画データにおける少なくとも１つのフレームの画像データを適用の対象とすることができる。

また、以上の説明におけるエントロピー符号化は、可逆符号化の一例である。画像編集装置１００における上述したエントロピー符号化に代えて、エントロピー符号化以外の種々の可逆符号化を適用することができる。また、上述したエントロピー復号化に代えて、エントロピー復号化以外の種々の復号化を適用する。具体的には、画像編集装置１００には、エントロピー符号化以外の符号化方式で可逆符号化された入力画像データが入力されてよい。また、画像編集装置１００には、エントロピー符号化以外の符号化方式で可逆符号化された出力画像データを生成してよい。すなわち、画像編集装置１００は、エントロピー符号化以外の可逆符号化により圧縮された空間周波数成分を含む入力画像データを編集して、可逆符号化により圧縮された出力画像データを生成してよい。より具体的には、圧縮画像編集部１０は、入力画像データを復号化して、空間周波数成分に含まれるＤＣ成分およびＡＣ成分を抽出してよい。そして、圧縮画像編集部１０は、ＤＣ成分変更部２２０において変更されたＤＣ成分、および、復号化により抽出されたＡＣ成分を、可逆符号化により圧縮して、可逆符号化されたＤＣ成分およびＡＣ成分を含む出力画像データを生成してよい。圧縮画像編集部１０によれば、空間周波数領域での情報間引きを利用した画像圧縮方式に従って、可逆符号化された空間周波数成分を含む入力画像データから空間周波数成分をロスレスに抽出して、編集したＤＣ成分を含む空間周波数成分をロスレスに符号化することができる。そのため、画像編集装置１００によれば、入力画像データに対して編集を行う場合に、復号化および符号化の過程において情報が損失することを防ぎつつ、データ量の小さい出力画像データを生成することができる。

また、画像編集装置１００としては、パーソナルコンピュータ等の、汎用のコンピュータ装置を適用できる。しかし、画像編集装置１００は、デジタルフォトフレーム、記録機能付きのテレビジョン装置、レコーダ装置等、携帯電話機、ＰＤＡ等の携帯情報端末等として実現されてよい。また、撮像装置１０２が、画像編集装置１００の機能を有してよい。

撮像装置１０２は、ミラーレス一眼カメラ、一眼レフレックスカメラ等のレンズ交換式のカメラであってよい。また、撮像装置１０２は、レンズ非交換式カメラであってよい。その他、撮像装置１０２としては、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の機器を適用の対象とすることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

５ システム、１０ 圧縮画像編集部、２０ 編集情報取得部、３０ 復号処理部、１００ 画像編集装置、１０２ 撮像装置、１０４ 接続ケーブル、１１０ ＣＰＵ、１２０ ＲＡＭ、１３０ システムメモリ、１４０ 記録媒体、１５０ 操作入力部、１７０ 通信部、１８０ 表示部、１９０ バス、２００ ＪＰＥＧ構文解析部、２１０ エントロピー復号化部、２２０ ＤＣ成分変更部、２２２ ＤＣ成分補正部、２３０ エントロピー符号化部、２４０ ＪＰＥＧ構文組立部、２５０ 判定部、２６０ 量子化係数決定部、２７０ 編集処理部、２７２ 逆量子化部、２７４ 編集部、２７６ 量子化部、２８０ 変更対象ブロック特定部、２９０ 依存ブロック特定部、３００ 編集指示画面、３１０ スライダ、３２０ 領域指定枠、３４０ 画像表示領域、３５０ 保存ボタン、４１０ ブロック、４２０ ブロック

Claims (11)

1. 可逆符号化により圧縮された空間周波数成分を含む入力画像データを編集して、可逆符号化により圧縮された出力画像データを生成する画像編集装置であって、
   前記入力画像データを復号化して、空間周波数成分に含まれるＤＣ成分およびＡＣ成分を抽出する復号化部と、
   前記復号化部により抽出されたＤＣ成分を変更するＤＣ成分変更部と、
   前記ＤＣ成分変更部により変更されたＤＣ成分、および、前記復号化部により抽出されたＡＣ成分を、可逆符号化により圧縮する符号化部と、
   前記符号化部により可逆符号化されたＤＣ成分およびＡＣ成分を含む出力画像データを生成する出力画像データ生成部と
   を備える画像編集装置。
2. 前記可逆符号化は、エントロピー符号化であり、
   前記復号化部は、エントロピー復号化により、前記空間周波数成分に含まれるＤＣ成分およびＡＣ成分を抽出する
   請求項１に記載の画像編集装置。
3. 画像の編集内容を示す編集情報をユーザから取得する編集情報取得部
   をさらに備え、
   前記ＤＣ成分変更部は、前記編集情報取得部により取得された編集情報に基づいて、前記復号化部により抽出されたＤＣ成分を変更する
   請求項１または２に記載の画像編集装置。
4. 前記ＤＣ成分変更部は、画像における明るさおよび色味の少なくとも一方を変更することを示す編集情報に基づいて、前記復号化部により抽出されたＤＣ成分を変更する
   請求項１から３のいずれか一項に記載の画像編集装置。
5. 前記入力画像データから、空間周波数成分の符号化に用いられた符号表を抽出する符号表情報抽出部
   をさらに備え、
   前記符号化部は、前記ＤＣ成分変更部により変更されたＤＣ成分および前記復号化部により抽出されたＡＣ成分を、前記符号表情報抽出部が抽出した符号表を用いて符号化し、
   前記出力画像データ生成部は、前記符号表情報抽出部が抽出した符号表を含む前記出力画像データを生成する
   請求項２に記載の画像編集装置。
6. 前記入力画像データおよび前記出力画像データは、ＪＰＥＧ形式の画像データであり、
   前記復号化部は、前記入力画像データを、前記入力画像データに含まれる符号表に基づいて復号化して、空間周波数成分に含まれるＤＣ成分およびＡＣ成分を抽出し、
   前記出力画像データ生成部は、前記符号化部により符号化された前記ＤＣ成分および前記ＡＣ成分、および、前記入力画像データに含まれる量子化表を含む前記出力画像データを生成する
   請求項１から５のいずれか一項に記載の画像編集装置。
7. 前記入力画像データから、空間周波数成分の量子化に用いられた量子化係数を示す量子化情報を抽出する量子化情報抽出部
   をさらに備え、
   前記出力画像データ生成部は、前記量子化情報抽出部により抽出された量子化情報を含む前記出力画像データを生成する
   請求項１から６のいずれか一項に記載の画像編集装置。
8. 前記入力画像データに対する画像の編集内容に基づいて、前記量子化情報抽出部が抽出した量子化情報で示される量子化精度より高い編集精度が必要であるか否かを判定する判定部と、
   前記判定部によって前記高い精度が必要と判定された場合に、前記量子化情報抽出部が抽出した量子化情報で示される量子化精度より高い量子化精度の新たな量子化係数を決定する量子化係数決定部と、
   前記高い精度が必要と判定された場合に、前記新たな量子化係数による量子化処理を少なくとも含む画像処理により、前記入力画像データに対する画像の編集内容に基づいて前記入力画像データを編集する編集処理部と
   をさらに備え、
   前記高い精度が必要でないと判定された場合に、前記ＤＣ成分変更部は、前記復号化部により抽出されたＤＣ成分を変更し、前記出力画像データ生成部は、前記量子化情報抽出部により抽出された量子化情報を含む前記出力画像データを生成し、
   前記高い精度が必要と判定された場合に、前記符号化部は、前記編集処理部の編集処理により得られた空間周波数成分を符号化し、前記出力画像データ生成部は、前記編集処理により得られ前記符号化部により符号化された空間周波数成分、および、前記新たな量子化係数を示す量子化情報を含む前記出力画像データを生成する
   請求項７に記載の画像編集装置。
9. 前記入力画像データにより表される画像領域のうち、編集すべき一部の画像領域を示す情報を取得する編集領域情報取得部と、
   前記編集領域情報取得部が取得した一部の画像領域を含む一以上のブロックを、ＤＣ成分を変更すべきブロックとして特定する変更対象ブロック特定部と
   をさらに備え、
   前記復号化部は、前記変更対象ブロック特定部により特定されたブロックを復号化し、
   前記ＤＣ成分変更部は、前記変更対象ブロック特定部が特定したブロックから前記復号化部により抽出されたＤＣ成分を変更する
   請求項１から８のいずれか一項に記載の画像編集装置。
10. 前記入力画像データにおける少なくとも一部のブロックのＤＣ成分は、他のブロックのＤＣ成分との差分で表されており、
    前記画像編集装置は、
    前記変更対象ブロック特定部が特定した一以上のブロックのＤＣ成分との差分でＤＣ成分が表された他のブロックを特定する依存ブロック特定部と、
    前記依存ブロック特定部が特定したブロックの画像が、前記ＤＣ成分変更部によるＤＣ成分の変更によって変化しないよう、前記依存ブロック特定部が特定したブロックのＤＣ成分を、対応するブロックのＤＣ成分の変更量に応じて補正するＤＣ成分補正部と
    をさらに備え、
    前記復号化部は、前記変更対象ブロック特定部により特定されたブロックおよび前記依存ブロック特定部により特定されたブロックを復号化し、
    前記符号化部は、前記ＤＣ成分変更部により変更されたＤＣ成分、前記ＤＣ成分補正部により補正されたＤＣ成分、および、前記復号化部により抽出されたＡＣ成分を符号化する
    請求項９に記載の画像編集装置。
11. コンピュータを、請求項１から１０のいずれか一項に記載の画像編集装置として機能させるためのプログラム。

Images