JP2010199681A - 画像処理装置、および画像処理プログラム - Google Patents

Abstract

【課題】画像ファイルのデータサイズを低減すること。
【解決手段】制御装置１０４は、画像内の主要被写体を含む主要被写体領域を特定し、特定した主要被写体領域以外の領域に対して画像の解像度を低下させる、主要被写体領域の画像と、解像度を低下させた主要被写体領域以外の領域の画像とを合成する。
【選択図】図１

Description

本発明は、画像処理装置、および画像処理プログラムに関する。

次のような撮像装置が知られている。この撮像装置は、重要度が低い領域の画像処理を簡素化して処理時間を短縮している（例えば、特許文献１）。

特開２００１−２２３９４１号公報

しかしながら、従来の撮像装置では、重要度が低い領域の解像度と重要度が高い領域の解像度とを変更していないため、画像全体としてのデータサイズは大きくなってしまうという問題があった。

本発明による画像処理装置は、画像内の主要被写体を含む主要被写体領域を特定する特定手段と、特定手段が特定した主要被写体領域以外の非主要被写体領域内の画像の解像度を低下させる解像度変更手段と、主要被写体領域内の画像と、解像度を低下させた非主要被写体領域内の画像とを合成する合成手段とを備えることを特徴とする。
本発明では、解像度変更手段は、非主要被写体領域内の複数の画素それぞれの画素値を加算平均するか、または非主要被写体領域内の画素を間引くことによって、非主要被写体領域内の画像の解像度を低下させるようにしてもよい。
解像度変更手段は、撮影感度が高感度である場合には、非主要被写体領域内の複数の画素それぞれの画素値を加算平均することにより解像度を低下させ、撮影感度が低感度である場合には、非主要被写体領域内の画素を間引くことにより解像度を低下させるようにしてもよい。
解像度変更手段は、非主要被写体領域内の解像度を、主要被写体領域からの距離に応じて段階的に変化させるようにしてもよい。
被写体に合焦させる焦点調整手段と、焦点調整手段が合焦させる対象となる合焦領域を指定する指定手段とをさらに備え、特定手段は、指定手段が指定した合焦領域に対応する画像内の位置に基づいて、主要被写体領域を特定するようにしてもよい。
画像内の被写体の特徴領域を認識する認識手段をさらに備え、特定手段は、認識手段により認識された特徴領域の画像内の位置に基づいて、主要被写体領域を特定するようにしてもよい。
本発明による画像処理プログラムは、コンピュータに、画像内の主要被写体を含む主要被写体領域を特定する特定手順と、特定手順で特定した主要被写体領域以外の非主要被写体領域に対して、非主要被写体領域内の画像の解像度を低下させる解像度変更手順と、主要被写体領域の画像と、解像度を低下させた非主要被写体領域内の画像とを合成する合成手順とを実行させることを特徴とする。

本発明によれば、主要被写体を含む領域以外の解像度を低くして、画像データのサイズを低減することができる。

デジタルカメラ１００の一実施の形態の構成を示すブロック図である。 ＡＦエリアに基づいて主要被写体領域を特定する場合の具体例を示す図である。 デジタルカメラ１００の処理を示すフローチャート図である。 被写体認識結果に基づいて主要被写体領域を特定する場合の具体例を示す第１の図である。 被写体認識結果に基づいて主要被写体領域を特定する場合の具体例を示す第２の図である。

図１は、本実施の形態におけるデジタルカメラの一実施の形態の構成を示すブロック図である。デジタルカメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタン、キャンセルボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。レンズ１０２を構成するレンズには、ズーム倍率を変更するためのズームレンズや、焦点調節を行うための焦点調節用レンズ（ＡＦレンズ）等が含まれる。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、デジタルカメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

制御装置１０４は、使用者によって操作部材１０１に含まれるレリーズボタンが半押しされたことを検出すると、ＡＦ（Ａｕｔｏフォーカス／自動焦点調節）処理を実行する。具体的には、制御装置１０４は、公知の位相差方式やコントラスト方式といった手法を用いて、撮像素子１０３から入力される画像内におけるＡＦエリアを特定する。そして、制御装置１０４は、特定したＡＦエリアに合焦するようにレンズ１０２に含まれるＡＦレンズを移動させることにより焦点調節を行う。その後、制御装置１０４は、使用者によってレリーズボタンが全押しされたことを検出すると、撮影処理を実行する。

具体的には、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用の画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

なお、メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、デジタルカメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やデジタルカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってデジタルカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。また、制御装置１０４は、上述した撮影処理を実行した場合には、撮影によって得た表示用画像データをモニタ１０６に出力することにより、使用者が撮影した画像を確認できるようにする。

本実施の形態では、制御装置１０４は、上述した撮影処理において、画像内の主要被写体を含む領域内の解像度を高くし、それ以外の領域内の解像度を低くすることによって、生成される本画像データのデータサイズを小さくする。これにより、最終的に生成される画像ファイルのデータサイズを小さくすることができ、メモリカードの記憶容量を節約することができる。

具体的には、制御装置１０４は、以下のように処理する。まず、制御装置１０４は、撮像素子１０３から入力される画像信号に基づいて生成される画像内の主要被写体を含む領域を特定する。本実施の形態では、制御装置１０４は、上述したＡＦ処理により特定したＡＦエリア内に主要被写体が存在するものと判断して、ＡＦエリア、またはＡＦエリアを含んだ所定範囲の領域を主要被写体領域とし、該主要被写体領域については、撮像素子１０３から入力される画像信号における全画素を用いることにより解像度を高くする。

一方、制御装置１０４は、主要被写体領域以外の領域については、複数画素の画素値を加算平均することにより、解像度を低下させる。画素値の加算平均を行う場合には、隣接する複数画素、例えば４画素や９画素等を１単位として、該複数画素の画素値を加算した後、画素数で割ることによって、複数画素の画素値の加算平均値を算出し、１単位分の複数画素の画素値として、算出した加算平均値を設定する。制御装置１０４は、この処理を主要被写体領域以外の全画素を対象として実行することにより、主要被写体以外の領域の解像度を低下させることができる。

制御装置１０４は、解像度を高いままとした主要被写体領域内の画像と、解像度を低下させた主要被写体領域外の画像とを合成することにより本画像データを生成し、上述した画像ファイルを生成する。これによって、画像内の主要被写体を含む領域内の解像度を高くし、それ以外の領域内の解像度を低くすることによって、生成される本画像データのデータサイズを小さくすることができ、その結果、画像ファイルのデータサイズを小さくすることができる。

例えば、図２（ａ）に示すように、人物の顔２ａ上にＡＦエリアが設定されている場合には、制御装置１０４は、ＡＦエリアを中心とした所定の大きさの円形領域を主要被写体領域２ａとし、この主要被写体領域２ａについては、撮像素子１０３から入力される画像信号における全画素を用いることにより解像度を高くする。一方、主要被写体領域２ａ以外の領域については、複数画素、例えば４画素の加算平均を行うことにより解像度を低下させる。なお、図２（ａ）においては、主要被写体領域２ａの形状を円形としたが、四角形としてもよい。

この場合、図２（ｂ）に示すように、制御装置１０４は、主要被写体領域２ａ以外の領域については、主要被写体領域２ａから遠くなるほど解像度が低下するように、加算平均を行う画素数を変更するようにしてもよい。図２（ｂ）に示す例では、制御装置１０４は、主要被写体領域２ａの外側に円形領域２ｂを設定し、主要被写体領域２ａの外側であって円形領域２ｂの内側の領域に対しては４画素の加算平均を行い、円形領域２ｂの外側の領域に対しては９画素の加算平均を行っている。これによって、使用者が注目するＡＦエリア近傍の画像は高解像度のままとし、使用者の注目が薄れる外側にいくにしたがって徐々に画像の解像度を低下させることで、本画像データのデータサイズを小さくすることができる。

また、図２（ｂ）に示す例では、全画素、４画素の加算平均、９画素の加算平均の３段階で解像度を低下させていく例について説明したが、さらに領域を細かく分けて、１６画素の加算平均、２５画素の加算平均のように、画像の外側に行くにしたがってさらに解像度を低下させるようにしてもよい。

図３は、本実施の形態におけるデジタルカメラ１００の処理を示すフローチャートである。図３に示す処理は、使用者によってデジタルカメラ１００の電源がオンされて、カメラのモードが撮影モードに設定されると起動するプログラムとして制御装置１０４によって実行される。

ステップＳ１０において、制御装置１０４は、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力することによってモニタ１０６にスルー画を表示する。その後、ステップＳ２０へ進み、制御装置１０４は、使用者によって操作部材１０１に含まれるレリーズボタンが半押しされたか否かを判断する。ステップＳ２０で肯定判断した場合には、ステップＳ３０へ進む。

ステップＳ３０では、制御装置１０４は、上述したＡＦ処理を実行し、特定したＡＦエリアに合焦するように、レンズ１０２に含まれるＡＦレンズのレンズ位置を決定する。その後、ステップＳ４０へ進み、制御装置１０４は、使用者によって操作部材１０１に含まれるレリーズボタンが全押しされたか否かを判断する。ステップＳ４０で否定判断した場合には、ステップＳ５０へ進む。

ステップＳ５０では、制御装置１０４は、使用者によるレリーズボタンの半押しが解除されたか否かを判断する。ステップＳ５０で否定判断した場合には、ステップＳ４０へ戻って処理を繰り返す。これに対して、ステップＳ５０で肯定判断した場合には、後述するステップＳ１１０へ進む。

一方、ステップＳ４０で肯定判断した場合には、ステップＳ６０へ進み、制御装置１０４は、上述したように、ＡＦ処理により特定したＡＦエリア、またはＡＦエリアを含んだ所定範囲の領域を主要被写体領域として特定する。その後、ステップＳ７０へ進み、制御装置１０４は、上述したように、主要被写体領域以外の領域内の複数画素の画素値を加算平均することにより解像度を低下させる。その後、ステップＳ８０へ進む。

ステップＳ８０では、制御装置１０４は、解像度を高いままとした主要被写体領域内の画像と、解像度を低下させた主要被写体領域外の画像とを合成することにより本画像データを生成する。その後、ステップＳ９０へ進み、制御装置１０４は、ステップＳ８０で生成した本画像データと、生成したサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成して、ステップＳ１００へ進み。

ステップＳ１００では、制御装置１０４は、ステップＳ９０で生成した画像ファイルをメモリカードスロット１０５へ出力してメモリカードに記録して、ステップＳ１１０へ進む。ステップＳ１１０では、制御装置１０４は、使用者によって撮影モードの終了が指示されたか否かを判断する。ステップＳ１１０で否定判断した場合には、ステップＳ１０へ戻って処理を繰り返す。これに対して、ステップＳ１１０で肯定判断した場合には、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、画像内の主要被写体を含む主要被写体領域を特定し、特定した主要被写体領域以外の領域に対して画像の解像度を低下させ、主要被写体領域の画像と、解像度を低下させた主要被写体領域以外の領域の画像とを合成するようにした。これによって、使用者が注目する可能性が高い領域の解像度は高くしたまま、それ以外の領域の解像度を低下させて画像ファイルのデータサイズを低減することができる。

（２）制御装置１０４は、主要被写体領域以外の領域内の複数の画素を対象として画素値を加算平均することによって解像度を低下させるようにした。これによって、主要被写体領域以外の領域内の画像の解像度を簡易な処理により低減させることができる。

（３）制御装置１０４は、ＡＦ処理で設定したＡＦエリアの位置に基づいて、主要被写体領域を特定するようにした。これによって、ＡＦエリアの近傍に主要被写体が存在する可能性が高いことを加味して、精度高く主要被写体領域を設定することができる。

（４）制御装置１０４は、主要被写体領域以外の領域については、主要被写体領域から遠くなるほど解像度が低下するように加算平均を行う画素数を変更するようにして、主要被写体領域以外の画像の解像度を主要被写体領域からの距離に応じて段階的に変化させるようにした。これによって、主要被写体から離れるほど使用者の注目が薄れることを加味して、主要被写体から離れるほど徐々に画像の解像度を低下させることで、本画像データのデータサイズを小さくすることができる。

―変形例―
なお、上述した実施の形態のデジタルカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、ＡＦ処理によって特定したＡＦエリア、またはＡＦエリアを含んだ所定領域を主要被写体領域として判断する例について説明した。しかしながら、制御装置１０４は、その他の方法により主要被写体領域を特定するようにしてもよい。例えば、制御装置１０４は、撮影時にモニタ１０６に撮影画像を表示するようにし、使用者はモニタ１０６に表示された画像上で主要車体領域を任意に指定できるようにしてもよい。

あるいは、制御装置１０４は、特徴領域認識処理を行って画像内で被写体の特徴領域を認識し、認識した特徴領域を含む領域を主要被写体領域とするようにしてもよい。一例として、デジタルカメラ１００が顔認識機能を備えている場合には、特徴領域として認識した人物の顔を含む領域を主要被写体領域としてもよい。例えば、図４（ａ）に示すように人物が写っている画像においては、図４（ｂ）に示すように、制御装置１０４は、顔認識処理によって特徴領域として認識した人物の顔を含む所定の大きさの領域４ａを主要被写体領域とすればよい。

また、別の例としては、使用者がデジタルカメラ１００の撮影モードを風景モードに設定して山を撮影した場合には、山を含む領域を主要被写体領域とするようにしてもよい。例えば、制御装置１０４は、風景モードで撮影された図５（ａ）に示す画像内から、緑色の画素を含む領域を山の領域として特定し、これにより特定された図５（ｂ）に示す領域５ａを主要被写体領域として特定するようにしてもよい。あるいは、風景モードで撮影された画像内のピンクの画素を含む領域を桜の花と判断して、該ピンクの領域を被写体領域としてもよいし、青い画素を含む領域を海と判断して、該青い領域を被写体領域としてもよいし、水色の画素を含む領域を空と判断して、該水色の領域を被写体領域としてもよい。

（２）上述した実施の形態では、制御装置１０４は、主要被写体領域以外の領域については、複数画素の画素値を加算平均することにより、解像度を低下させる例について説明した。しかしながら、制御装置１０４は、主要被写体以外の領域については、画素の間引きを行うことにより解像度を低下させてもよい。

また、撮影時の感度設定状況に応じて、画素値の加算平均と画素の間引きとを使い分けるようにしてもよい。具体的には、高感度で撮影が行われた場合（例えば、ＩＳＯ感度の設定値が３２００以上の場合）には、画素値の加算平均により解像度を低下させ、低感度で撮影が行われた場合（例えば、ＩＳＯ感度の設定値が３２００未満の場合）には画素の間引きを行って解像度を低下させればよい。これによって、高感度時にはノイズを低下させつつ低解像度化を図ることができ、低感度時には処理を高速化させつつ低解像度化を図ることができる。

（３）上述した実施の形態では、制御装置１０４は、撮影処理において、画像内の主要被写体を含む領域内の解像度を高くし、それ以外の領域内の解像度を低くすることによって、生成される本画像データのデータサイズを小さくする例について説明した。しかしながら、制御装置１０４は、使用者から指示があった場合のみ、画像内の主要被写体を含む領域内の解像度を高くし、それ以外の領域内の解像度を低くする処理（以下「低解像度化処理」と呼ぶ）を実行するようにしてもよい。例えば、使用者は、撮影時に低解像度化処理を実行するか否かをあらかじめ設定できるようにし、制御装置１０４は、低解像度化処理を実行するように設定されている場合のみ、撮影時に低解像度化処理を実行するようにしてもよい。あるいは、制御装置１０４は、撮影後にモニタ１０６に撮影画像を表示し、画像表示中に使用者から低解像度化処理の実行が指示された場合に、撮影した画像に対して低解像度化処理を実行するようにしてもよい。

（４）上述した実施の形態では、デジタルカメラ１００の制御装置１０４が図３に示す処理を実行する例について説明した。しかしながら、本発明は画像処理を実行することができる他の機器、例えばパソコン等にも適用することができ、パソコンのＣＰＵが図３に示す処理を実行するようにしてもよい。この場合、デジタルカメラ１００で取得した画像データ、例えばＲＡＷデータをパソコンへ転送して、パソコンが備えるＨＤＤ（ハードディスクドライブ）に記録しておき、パソコンのＣＰＵは、ＨＤＤに記録されている画像データに対して図３のステップＳ６０からステップＳ９０の処理を実行することにより、主要被写体領域の画像の解像度を高くし、それ以外の領域の画像の解像度を低くして、画像ファイルのデータサイズを低減することができる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ デジタルカメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (7)

1. 画像内の主要被写体を含む主要被写体領域を特定する特定手段と、
   前記特定手段が特定した前記主要被写体領域以外の非主要被写体領域内の画像の解像度を低下させる解像度変更手段と、
   前記主要被写体領域内の画像と、解像度を低下させた前記非主要被写体領域内の画像とを合成する合成手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記解像度変更手段は、前記非主要被写体領域内の複数の画素それぞれの画素値を加算平均するか、または前記非主要被写体領域内の画素を間引くことによって、前記非主要被写体領域内の画像の解像度を低下させることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記解像度変更手段は、撮影感度が高感度である場合には、前記非主要被写体領域内の複数の画素それぞれの画素値を加算平均することにより解像度を低下させ、撮影感度が低感度である場合には、前記非主要被写体領域内の画素を間引くことにより解像度を低下させることを特徴とする画像処理装置。
4. 請求項１から請求項３のいずれか一項に記載の画像処理装置において、
   前記解像度変更手段は、前記非主要被写体領域内の解像度を、前記主要被写体領域からの距離に応じて段階的に変化させることを特徴とする画像処理装置。
5. 請求項１から請求項４のいずれか一項に記載の画像処理装置において、
   被写体に合焦させる焦点調整手段と、
   前記焦点調整手段が合焦させる対象となる合焦領域を指定する指定手段とをさらに備え、
   前記特定手段は、前記指定手段が指定した前記合焦領域に対応する画像内の位置に基づいて、前記主要被写体領域を特定することを特徴とする画像処理装置。
6. 請求項１から請求項４のいずれか一項に記載の画像処理装置において、
   画像内の被写体の特徴領域を認識する認識手段をさらに備え、
   前記特定手段は、前記認識手段により認識された前記特徴領域の画像内の位置に基づいて、前記主要被写体領域を特定することを特徴とする画像処理装置。
7. コンピュータに、
   画像内の主要被写体を含む主要被写体領域を特定する特定手順と、
   前記特定手順で特定した前記主要被写体領域以外の非主要被写体領域内の画像の解像度を低下させる解像度変更手順と、
   前記主要被写体領域の画像と、解像度を低下させた前記非主要被写体領域内の画像とを合成する合成手順とを実行させるための画像処理プログラム。

Images