JP2004215005A

JP2004215005A - Apparatus and method for processing image and for judging scene, and program

Info

Publication number: JP2004215005A
Application number: JP2003000068A
Authority: JP
Inventors: Yasunari Kishimoto; 康成岸本; Yoshiharu Hibi; 吉晴日比
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2003-01-06
Filing date: 2003-01-06
Publication date: 2004-07-29
Anticipated expiration: 2023-01-06
Also published as: JP4006590B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an apparatus for assuming a scene, which can assume a photographing scene by a simple method and to provide an apparatus for processing the image. <P>SOLUTION: A printer 1 calculates the sharpness intensity value of the image based on the image data, and assumes the photographing scene based on the calculated sharpness intensity value. The printer 1 can obtain a digital image having proper sharpness in view of human visual characteristics by performing the sharpness altering process in response to the assumed photographing scene, and can automatically regulate the sharpness. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタルスチルカメラ等で撮影されたディジタル画像に対して、撮影条件に応じた画像処理を可能にする画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラムに関する。
【０００２】
【従来の技術】
画像データに撮影時の情報を付加し、付加された撮影時の情報に応じて画像処理を行う形態が提案されている。例えば、フィルムに磁気的もしくは光学的に記録されたシーン情報に応じて、画像処理条件を設定する画像処理方法（例えば、特許文献１）や、撮影日時等の付加的な情報を画像データと共に取得し、これらの付加的な情報に基づいて撮影シーンを推定し画像処理を行う画像処理方法（例えば、特許文献２）が開示されている。
【０００３】
【特許文献１】
特開平１１−２３９２６９号公報
【特許文献２】
特開２００１−２３８１７７号公報
【０００４】
【発明が解決しようとする課題】
本発明は、上述した背景からなされたものであり、画像のシャープネス度合いに基づいて、画像の撮影シーンを推定するシーン判定装置を提供することを目的とする。また、シャープネス度合いに基づいて推定された撮影シーンに応じて、画像調整処理を施すことができる画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明にかかる画像処理装置は、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出する強度値算出手段と、ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出するシーン情報抽出手段と、前記ディジタル画像のシャープネス強度を変更する変更手段と、前記シャープネス強度値および前記撮影シーン情報に基づいて、前記変更手段による変更処理を制御する制御手段とを有し、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。
【０００６】
また、本発明の画像処理装置は、シャープネス強度値と、ディジタル画像が撮影されたシーンの分類とを対応付けるシーン分類手段をさらに有し、前記制御手段は、算出されたシャープネス強度値に対応するシーン分類と、撮影シーン情報とに基づいて、前記変更手段による変更処理を制御する。これにより、入力画像に対して撮影シーン情報を付加することができる。
【０００７】
また、前記シーン分類手段は、ディジタル画像の画素数に応じて、各シーン分類に対応する。したがって、種々の画像サイズに寄与したシャープネス度合いの判定のばらつきを抑えることができる。
【０００８】
また、前記制御手段は、前記シャープネス強度値および前記撮影シーン情報が風景シーンに対応する場合に、前記ディジタル画像のシャープネスをより強調するように前記変更手段を制御し、前記シャープネス強度値および前記撮影シーン情報が人物シーンに対応する場合に、前記ディジタル画像のシャープネスをより弱くするように前記変更手段を制御してもよい。すなわち、本発明の画像処理装置は、画像解析から撮影シーンを推定し、シャープネス度合いを修正する場合に、添付された画像情報などから風景シーンとわかった場合に、自動的にシャープネスをより強調した補正をし、人物シーンとわかった場合に、自動的にシャープネス強調をより弱くすることを特徴とする。
また、前記制御手段は、前記シャープネス強度値が既定値よりも低い場合に、前記変更手段による変更処理を禁止してもよい。すなわち、本発明の画像処理装置は、シャープネス度合いを含む画像の特徴量を算出し、その度合いに応じたシャープネス補正を実施する場合、シャープネス度合いが所定値以下の場合、シャープネス補正を行わないことを特徴とする。
【０００９】
［シーン判定装置］
また、本発明のシーン判定装置は、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出する強度値算出手段と、算出されたシャープネス強度値に基づいて、前記ディジタル画像の撮影シーンを推定する推定手段とを有する。すなわち、本発明のシーン判定装置は、ディジタル画像から原画の持つシャープネス度合いを算出する手段を有し、該シャープネス度合いに応じて原画の撮影シーンを推定することを特徴とする。
また、シーン判定装置は、ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出するシーン情報抽出手段をさらに有し、前記推定手段は、算出されたシャープネス強度値と、抽出された撮影シーン情報とに基づいて、撮影シーンを推定してもよい。すなわち、本発明のシーン判定装置は、推定された撮影シーンを、ディジタル画像にタグとして添付された撮影シーンに応じて推定シーン分類を修正することを特徴とする。
さらに、前記推定手段は、算出されたシャープネス強度値、および、抽出された撮影シーン情報の少なくとも一方が人物シーンに対応する場合に、撮影シーンを人物シーンであると推定してもよい。すなわち、本発明のシーン判定装置は、推定された撮影シーンと添付された撮影シーンとが異なる場合、人物優先と判定することを特徴とする。
【００１０】
ディジタルスチルカメラ撮影の画像信号などには、撮影状況を記録したチャンク情報やタグ情報（付属情報）を画像形式（例えば、ＥＸＩＦ２．２）に保持している。
そのため、画像画素数、解像度、シーン分類などシャープネスに関わる付属情報も利用しても良い。もちろん、ＥＸＩＦの画像形式の付属情報はディジタルスチルカメラ画像形式に限らない。さらに、可逆圧縮にて高精度の撮影情報を保持できる画像形式ＴＩＦＦ等においても、同様にチャンク情報やタグ情報（付属情報）を利用してもよい。
【００１１】
［画像処理方法］
また、本発明の画像処理方法は、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出し、ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出し、算出されたシャープネス強度値、および、抽出された撮影シーン情報に基づいて、前記ディジタル画像のシャープネス強度を変更する。
【００１２】
［シーン判定方法］
また、本発明のシーン判定方法は、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出し、算出されたシャープネス強度値に基づいて、前記ディジタル画像の撮影シーンを推定する。
【００１３】
［プログラム］
また、本発明のプログラムは、コンピュータを含む画像処理装置において、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出するステップと、ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出するステップと、前記ディジタル画像のシャープネス強度を変更する変更手段と、前記シャープネス強度値および前記撮影シーン情報に基づいて、前記ディジタル画像のシャープネス強度を変更するステップとを前記画像処理装置のコンピュータに実行させる。
また、本発明のプログラムは、コンピュータを含むシーン推定装置において、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出するステップと、算出されたシャープネス強度値に基づいて、前記ディジタル画像の撮影シーンを推定するステップとを前記シーン推定装置のコンピュータに実行させる。
【００１４】
【発明の実施の形態】
［背景］
まず、本発明の理解を助けるために、その背景を説明する。
ディジタル画像の画品質（色・階調再現やシャープネスなど）は、ディジタル画像信号の特性、画像が出力されるカラー画像記録装置および画像記録材料の画品質に関する特性、又は、画像表示装置の画品質に関する特性で決定される。
反射原稿を読み込むカラースキャナ装置から入力されるディジタル画像信号は、反射原稿の画品質を維持することを目的にすれば、カラースキャナ装置の画品質に関する特性を補正するようなカラー画像処理、または、出力装置の特性を補正するようなカラー画像処理を利用することで、ある程度原稿に近い画品質を得ることができる。
例えば、カラー複写機などに用いられる画像処理がある。これらは入力されたディジタル画像信号（入力画像信号）に対して、入力装置、カラー画像記録装置、表示装置、又は画像記録材料の特性に合わせた補正（最適化）を目的とする処理方法として分類される。一方、ディジタルスチルカメラなどで、一般のシーンを撮影してディジタル化された画像の場合、入力装置であるカメラ機器の特性のみでなく、被写体の状態や、撮影条件が画品質の観点から様々な状況が想定されるため、入力のディジタル画像の画品質が特定できなかったり、不明な場合が多い。そのような入力画像信号の場合、画像の解析を行い、撮影シーンや撮影状況を推定しながら、好ましいと思われる画品質の調整を行なう必要があった。
後者の場合、主観的に好ましく画像を再現することを目的とする処理方法として分類される。
【００１５】
入力画像信号を調整するための画像処理装置での色補正処理は、コントラスト調整や色味のバランス調整、ホワイトバランス調整、かぶり補正等の技術で構成される他、空間処理的な補正としては、エッジ強調を含むシャープネス強調、解像度変換、ノイズ除去等の技術で構成されている。
【００１６】
画品質の中でも、階調や色品質に比べて、シャープネス品質に関しては、補正方法や補正パラメータの設定が難しい。
なぜならば、デジタルカメラでの撮影の場合、被写体の状況が様々であることや、撮影時の状態（ピントや手ぶれなど）、記録時の圧縮状態等、種々の要因に特性が左右されているためである。
そのため、前記した撮影状態などの情報からは、一概に好ましい処理パラメータが得られない。
【００１７】
空間補正処理は、機器の特性を前もって入手可能な限られた情報で記述したシャープネス補正フィルタを利用して、画像処理を施す仕組みになっていることが一般的である。
しかし、機器補正の情報は、ディジタル画像その物の情報とは独立した情報であるため、前述した撮影条件などにより、ディジタル画像にとって最適な出力条件を考慮しておらず、バランスが崩れたディジタル画像を出力されることもある。
【００１８】
ディジタル画像信号の調整を行う最善の施策は、利用者が利用している表示・出力装置で、表示・出力画像の程度を確認しつつ好みにあった処理を施す方法である。しかし、この方法では、利用者に画像処理の経験及び作業時間を要求するといった問題が生じる。そのため、画像処理装置は、最小の手間、もしくは自動で画像そのものから情報を獲得する画像計測及び画質調整を施す方法（自動画質調整技術）を備えることも提案されている。
【００１９】
前述の自動画質調整技術でのシャープネス処理は、ディジタル画像からシャープネス度合い（エッジ度合いや画像ノイズ等が複合した程度を表す）を測り、計測結果に応じてシャープネス処理を施す機能が想定される。
【００２０】
また、シャープネス処理の問題は、単純に、暈し処理を施すと高精細な再現（キメ）がなくなり、シャープネス度合いが下がり、シャープネス強調処理でシャープネスが強すぎると、肌の荒れ（肌荒れ）、無彩色部でのノイズやエッジ部の境界の破綻（リンギング）が目立つことで不快と感じることである。この問題は、通常のシャープネス処理技術が、鮮鋭度（シャープネス度合い）と共にシャープネス阻害が変化し、それぞれを独立に制御できないことに起因している。このため、ディジタル画像信号の情報だけでは上記問題を根本的に解決することが困難であった。
【００２１】
この問題に対応するには、測定量として、シャープネス度合いと共に、シャープネスの良好さを阻害する又は劣化した量（シャープネス阻害量）を反映させたシャープネスの好ましさの度合い（シャープネス嗜好度）が必要である。この問題解決するために、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする発明が本発明者らによりなされている。
【００２２】
同様に、画像信号そのものから画像の特性を測る技術、特に、シャープネス計測の技術は、幾つかの方法が提案されている。例えば、鮮鋭度評価方法は微分画像（ベクトル画像、またはエッジ画像）の信号強度の総和を鮮鋭度の評価値とする鮮鋭度評価手法（三宅洋一：テレビジョン学会誌，４３，１１（１９８９））が提案されている。三宅は微分画像を経て、画素のエッジ強度値の総和を利用することを提案している。一方、ガウス性雑音、インパルス性雑音が混在する混合雑音で劣化した画像信号に対しては、計測・判定手段を利用した方法（Ｙ．Ｈ．Ｌｅｅ，Ｓ．Ａ．Ｋａｓｓａｍ，Ｇｅｎｅｒａｌｉｚｅｄｍｅｄｉａｎａｌｔｅｒｉｎｇａｎｄｒｅｌａｔｅｄｎｏｎ−ｌｉｎｅａｒａｌｔｅｒｉｎｇｔｅｃｈｎｉｑｕｅｓ”，ＩＥＥＥＴｒａｎｓ．Ａｃｏｕｓｔ．，Ｓｐｅｅｃｈ＆ＳｉｇｎａｌＰｒｏｃｅｓｓ．，ｖｏｌ．ＡＳＳＰ−３３，ｎｏ．３，ｐｐ．６７２−６８３，Ｊｕｎｅ１９８７．）が知られている。但し、このような例は、画像のシャープネス度合いを計測することが目的であり、それらを用いて、入力画像の撮影シーンの推定に適用するものはなかった。
【００２３】
また、最近のディジタルスチルカメラ撮影の画像信号などの画像形式では、利用者が指定した撮影シーンを保持できる仕組みがある。例えば、ディジタルスチルカメラの標準フォーマットであるＥＸＩＦ規格では、標準の他に、人物・風景・夜景等を指定できる。このように、撮影時にある程度撮影シーンを特定できる情報をタグとして付加しておくことで、後処理において前記した画品質の調整等に利用できるようになってきている。
しかしながら、このようなタグのみではシャープネス調整に適した分類であるとは限らず、解析した推定シーンとあわせて処理方法やパラメータを考慮する必要があった。
さらに撮影者が、撮影時に適切なシーン選択をするとは限らず、標準で利用することや前回設定のままで撮影を行うことで被写体と異なる撮影シーン情報を間違って記録する場合もあるものと考えられる。
そのため、画像処理や画像検索等のために、適切な撮影シーンを得る施策として、例えば、画像形式だけで判断するのではなく、何らかの情報を利用してシーンの誤判定を検出する汎用的な仕組みも必要となる。
【００２４】
そこで、本発明にかかるシーン判定装置は、画像データのシャープネス強度に基づいてシーンを判定する。また、本発明にかかる画像処理装置は、画像データのシャープネス強度に基づいてシーンを判定し、判定されたシーンに応じて画像のシャープネスを変更する。
【００２５】
［第１の実施形態］
次に、本発明の第１の実施形態について図面を用いて説明する。
図１は、本発明にかかる画像処理方法が適応されるプリンタ装置１のハードウェア構成を、その制御装置２を中心に例示する図である。
図１に示すように、プリンタ装置１は、制御装置２およびコピー装置本体１０から構成される。
制御装置２は、ＣＰＵ２０２およびメモリ２０４などを含む制御装置本体２０と、通信装置２２と、ＨＤＤ・ＣＤ装置などの記録装置２４と、ＬＣＤ表示装置あるいはＣＲＴ表示装置およびキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６とから構成される。
プリンタ装置１は、ディジタルスチルカメラ等で撮影された画像データを、通信装置２２または記録装置２４を介して取得し、画像データに基づいて撮影シーンを判定する。そして、プリンタ装置１は、撮影シーンの判定結果に応じてシャープネス調整処理などの画像処理を行い、画像処理された画像データをシート上に印刷する。
ここで、プリンタ装置１が判定する撮影シーンとは、シャープネス度合いと撮影シーンとを複合した分類であり、対応テーブルとしてだけでなく、特徴量として求めても良い。本実施形態では、「ピンボケ」、「人物」、「物」、「風景」、「複雑なシーン」を撮影シーンの具体例として以下説明する。
なお、プリンタ装置１が行う画像処理は、空間補正を行うシャープネス調整処理などであり、システム系の線形性を仮定したシステム伝達関数（ＭＴＦ）などで記述する処理手法に限定されないものである。
【００２６】
図２は、制御装置２（図１）により実行され、本発明にかかる画像処理方法を実現する第１の画像処理プログラム５の構成を示す図である。
図２に示すように、画像処理プログラム５は、シーン判定部５００（シーン判定装置）、シャープネス処理部５４０、制御部５５０および画像出力部５６０から構成される。
また、シーン判定部５００は、画像データ取得部５１０、強度値算出部５２０および撮影シーン推定部５３０を含み、強度値算出部５２０は、明度・輝度信号変換部５２２、帯域処理部５２４およびシャープネス計測部５２６を含む。
画像処理プログラム５は、例えば記録媒体２４０（図１）を介して制御装置２に供給され、メモリ２０４にロードされて実行される。
【００２７】
画像処理プログラム５において、シーン判定部５００およびシャープネス処理部５４０には、自然画を含んだディジタル画像がＲＧＢ色空間の画像信号として入力される。なお、本実施形態において入力される画像信号は、もとの状態の画像信号だけでなく、最適な出力条件を求める場合に得られた途中経過のディジタル画像としてもよい。更に、この他にも、少なくとも入力画像信号の計測結果と同程度以上の良好なディジタル画像であれば如何なるものも適用することが可能である。
【００２８】
シーン判定部５００において、画像データ取得部５１０は、通信装置２２または記録装置２４を介して、ディジタルの画像データを取得すると、強度値算出部５２０およびシャープネス処理部５４０に対して出力する。
強度値算出部５２０において、明度・輝度信号変換手段５２２は、画像データ取得部５１０から入力された画像データについて、ＲＧＢ色空間からＹＣｒＣｂ色空間の輝度信号（＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ）に変換し、帯域処理部５２４に対して出力する。ここで輝度信号は、ｓＹＣＣ色空間に準拠した輝度信号や三刺激値ＣＩＥＸＹＺやＧ信号だけでも良い。但し、高精度の処理を行うためには、画像データの輝度信号は、ＣＩＥＬＡＢ信号のＬ＊、あるいは、主成分分析またはＫ−Ｌ変換した信号であってもよい。なお、上記に限定されず、本実施形態において明度・輝度信号変換手段５２２が変換する輝度・明度情報は、明るさを表す信号であれば、知覚量の均等性と処理速度に応じて適宜変更可能である。ここで、シャープネス処理は、便宜上、知覚的に等歩的な明度または輝度の画像信号を対象に説明を行うが、本実施形態において、上記画像信号を含む処理であるなら特に限定しない。
【００２９】
帯域処理部５２４は、明度・輝度信号変換部５２２から入力された画像データの輝度信号に対して、所定の帯域処理を行い、中高周波数帯域だけの信号（以下、これを微分画像信号という）を生成し、シャープネス計測部５２６に対して出力する。
この帯域処理において、処理速度を考慮する場合、１次微分を適用するとよいが、像が暈ける現象の基本要因の１つである拡散仮定と視覚特性とが２次微分画像と深く関わるため、本実施形態では２次微分画像を生成する場合を適用する。
例えば、帯域処理部５２４は、微分画像として、２次微分画像を生成する。
２次微分画像は、下記（式１）に基づいて算出される。例えば、２次微分画像（Ｆｘ）は、元の画像信号に対して図３に例示するアンシャープマスク（ＵＳＭ）フィルタ６００を作用させて暈した輝度画像信号Ｆｂを求め、輝度画像信号Ｆからこの輝度画像信号Ｆｂを除いた輝度画像信号の絶対値として算出される。
Ｆｘ＝｜Ｆ−Ｆｂ｜・・・（式１）
【００３０】
シャープネス計測部５２６は、帯域処理部５２４から入力された微分画像信号に基づいて、シャープネス強度値を算出し、撮影シーン推定部５３０に対して出力する。シャープネス計測部５２６は、例えば、以下の（式２）のようにシャープネス強度値を算出する。すなわち、シャープネス計測部５２６は、微分画像信号における評価対象領域の強度値の総和ΣＦｘを評価対象領域の画素数Ｐで正規化し、正規化した強度値の総和に任意の係数Ｋを乗算してシャープネス強度値Ｓｄを求める。
Ｓｄ＝Ｋ×ΣＦｘ／Ｐ・・・（式２）
【００３１】
撮影シーン推定部５３０は、シャープネス計測部５２６から入力されたシャープネス強度値に基づいて、撮影シーンを推定し、撮影シーンを識別する情報を制御部５５０に対して出力する。撮影シーン推定部５３０は、例えば、「ピンボケ」、「人物」、「物」、「風景」および「複雑なシーン」の順にシャープネス強度値が大きくなるように、シャープネス強度値の範囲を各撮影シーンに割り当てた判定テーブルを保持し、判定テーブルに基づいて撮影シーンを推定する。
【００３２】
制御部５５０は、撮影シーン推定部５３０が推定した撮影シーンに応じて、シャープネスの変更量を決定し、変更量に応じた制御信号をシャープネス処理部５４０に対して出力する。すなわち、制御部５５０は、シャープネス強度値に応じて、シャープネスの変更量を設定し、シャープネス処理部５４０に画像のシャープネス強度を変更させる。
例えば、制御部５５０は、図４に例示する補正テーブルに基づいて、撮影シーン（シャープネス強度値）に応じたシャープネス変更量を決定する。すなわち、制御部５５０は、ピンボケ画像に対してはシャープネス変更処理を禁止し、人物画像に対してはシャープネス強度を小さくするよう制御する。また、制御部５５０は、風景画像に対してはシャープネス強度を上げて、微小部分を鮮鋭な画像に変換させる。
【００３３】
シャープネス処理部５４０は、制御部５５０からの制御信号に応じて、画像データのシャープネス強度を変更して、画像出力部５６０に対して出力する。
画像出力部５６０は、プリンタ装置本体１０のプリントエンジン（不図示）を制御して、シャープネス処理部５４０から入力された画像データをシート上に印刷させる。また、画像出力部５６０は、ＵＩ装置２６を制御して、シャープネス処理部５４０から入力された画像データをＬＣＤ表示装置等に表示させてもよい。
【００３４】
なお、制御部５５０は、シャープネス強度値と、シャープネスの変更量とを対応付ける補正テーブルを有してもよく、この場合、撮影シーン推定部５３０による撮影シーンの判定処理は必須ではない。
また、撮影シーン推定部５３０は、シャープネス強度値に応じて撮影シーンを推定し、画像データに対して撮影シーン情報を付加することができる。
また、入力される画像データの画素数、および、出力される画像の大きさによって、人間が感じるシャープネス度合いが異なる。そこで、撮影シーン推定部５３０は、画像データの画素数（画像サイズ）に応じて、各撮影シーンに対応するシャープネス強度値の範囲を変化させてもよい。
【００３５】
［動作］
以下、プリンタ装置１の動作を説明する。
図５は、プリンタ装置１（画像処理プログラム５）の第１の動作（Ｓ１０）を示すフローチャートである。
ステップ１００（Ｓ１００）において、プリンタ装置１は、通信装置２２または記録装置２４を介して、画像データを取得し、ノイズ除去、ホワイトバランス補正、露出補正等の補正処理を行る。
画像データ取得部５１０は、これらの補正処理がなされた画像データを取得し、明度・輝度信号変換部５２２およびシャープネス処理部５４０に対して出力する。
【００３６】
ステップ１０２（Ｓ１０２）において、明度・輝度信号変換部５２２は、画像データのＲＧＢ信号を輝度信号に変換し、帯域処理部５２４に対して出力する。
帯域処理部５２４は、輝度信号に基づいて、微分画像を生成し、シャープネス計測部５２６に対して出力する。シャープネス計測部５２６は、微分画像に基づいて、シャープネス強度値を算出し、撮影シーン推定部５３０に対して出力する。
【００３７】
ステップ１０４（Ｓ１０４）において、撮影シーン推定部５３０は、「ピンボケ」、「人物」、「物」、「風景」および「複雑なシーン」等の画像グループと、シャープネス強度値の範囲とを互いに対応付ける判定テーブルを参照して、シャープネス強度値に応じた撮影シーンのグループを特定し、制御部５５０に対して出力する。
なお、本例の撮影シーン推定部５３０は、画像データ取得部５１０が取得した画像データの画素数と、画像出力部５６０が出力させる画像の大きさとに対応する判定テーブルを複数有しており、入力された画像データの画素数と、出力される画像の大きさとに応じた判定テーブルを用いて、撮影シーンを特定する。
【００３８】
ステップ１０６（Ｓ１０６）において、制御部５５０は、撮影シーン推定部５３０により特定された撮影シーンに基づいて、シャープネスの変更処理を行うか否かを判断する。画像処理プログラム５は、特定された撮影シーンが「ピンボケ」であると判断された場合、すなわち、シャープネス強度値が既定値より小さい場合に、Ｓ１１２の処理に移行し、これ以外の場合に、Ｓ１０８の処理に移行する。
ピンボケ画像の場合には、シャープネス補正を行っても無駄になる場合が多く、ピンボケ画像と判断された場合に、プリンタ装置１がシャープネス処理を禁止することにより、不必要なシャープネス処理を防止でき、同時に処理コストを少なくできる。
【００３９】
ステップ１０８（Ｓ１０８）において、制御部５５０は、撮影シーンとシャープネス変更量とを対応付ける補正テーブルを参照して、撮影シーンに応じたシャープネス変更量を決定し、シャープネス変更量に応じたシャープネス処理係数をシャープネス処理部５４０に対して出力する。
【００４０】
ステップ１１０（Ｓ１１０）において、シャープネス処理部５４０は、シャープネス処理係数に応じたシャープネス補正処理を画像データに対して行い、画像出力部５６０に対して出力する。
ステップ１１２（Ｓ１１２）において、画像出力部５６０は、利用者からの指示に応じて、プリントエンジンまたはＵＩ装置２６を制御して、画像データに基づく画像形成を行う。
【００４１】
以上のよう、本実施形態のプリンタ装置１は、入力されたディジタル画像信号に対して推定した撮影シーンに応じてシャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を自動的に生成することができる。
【００４２】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態のプリンタ装置１は、画像データのシャープネス強度値と、画像データに付加された付加情報とに基づいて、撮影シーンを判定する。例えば、プリンタ装置１は、図６に例示するようなタグデータ（付加情報）と画像データとを取得し、タグデータに含まれる撮影シーン情報と、画像データに基づいて算出されるシャープネス強度値とに応じて、シャープネス強度を変更する。
【００４３】
図７は、第２の画像処理プログラム５２の構成を説明する図である。
図７に示すように、画像処理プログラム５２は、図２に示した画像処理プログラム５に、タグデータ取得部５７０を追加した構成をとる。
タグデータ取得部５７０は、画像データに付加されたタグデータを取得し、撮影条件を特定する撮影シーン情報を抽出し、撮影シーン推定部５３０に対して出力する。撮影シーン情報には、撮影モード（標準撮影モード、人物撮影モード、風景撮影モードなど）、焦点距離、露出条件およびディジタルズーム倍率などを特定する情報が含まれる。
【００４４】
本実施形態の撮影シーン推定部５３０は、シャープネス強度値と、撮影シーン情報とに基づいて、撮影シーンを推定する。
また、撮影シーン推定部５３０は、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとが異なり、いずれか一方が人物シーンに対応する場合に、人物シーンを優先適用する。
【００４５】
図８は、第２の画像処理プログラム５２の動作（Ｓ１２）を説明するフローチャートである。なお、図８に示した第２の動作における各処理の内、図５に示した第１の動作における各処理と実質的に同一なものには、同一の符号が付してある。
ステップ１１２（Ｓ１１２）において、画像データ取得部５１０は、画像データを取得して、強度値算出部５２０およびシャープネス処理部５４０に対して出力し、タグデータ取得部５７０は、画像データに添付されたタグデータを取得して、タグデータに含まれる撮影シーン情報を抽出し、撮影シーン推定部５３０に対して出力する。
【００４６】
ステップ１１４（Ｓ１１４）において、撮影シーン推定部５３０は、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとを比較する。画像処理プログラム５２は、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとが一致する場合に、Ｓ１０６の処理に移行し、不一致の場合に、Ｓ１１６の処理に移行する。
ステップ１１６（Ｓ１１６）において、画像処理プログラムは、さらに、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとのいずれかが、人物シーンに対応する場合に、Ｓ１１８の処理に移行し、これ以外の場合に、Ｓ１２０の処理に移行する。
ステップ１１８（Ｓ１１８）において、撮影シーン推定部５３０は、人物シーンであると判断して、人物シーンに対応する情報を制御部５５０に対して出力する。
ステップ１２０（Ｓ１２０）において、撮影シーン推定部５３０は、シャープネス強度値に基づいて推定された撮影シーンを採用し、採用された撮影シーンに対応する情報を制御部５５０に対して出力する。
すなわち、第２の画像処理プログラム５２は、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとが不一致の場合であって、いずれか一方が人物シーンに対応する場合に人物シーンを優先して、シャープネス変更量を決定し、いずれも人物シーンに対応しない場合に、シャープネス強度値に基づいて推定された撮影シーンを優先して、シャープネス変更量を決定する。
【００４７】
以上のように、本実施形態のプリンタ装置１は、複数の情報に基づいて撮影シーンを推定するので、撮影シーンの誤判定により的外れな画像調整を行うことを防止できる。また、プリンタ装置１は、撮影者が撮影シーンに不適合な撮影モードで撮影した場合にも、実際の画像データに基づく撮影シーン判定も加味するので、撮影者の設定ミスをフォローすることができる。
【００４８】
なお、本例では、撮影シーン推定部５３０がシャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとに基づいて撮影シーンを推定しているが、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとの両方を制御部５５０に対して出力し、制御部５５０が、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとに応じたシャープネス補正量を修正しても同じ効果を得ることができる。
【００４９】
また、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとに応じて、シャープネス変更量を決定する方法は、種々考えられる。
図９は、撮影シーン推定部５３０がシャープネス強度値およびタグデータを撮影シーンに対応付ける他の方法を説明する図である。
本例では、撮影シーン推定部５３０は、撮影モードに基づいて、図９に例示する撮影シーンの大分類（「人物撮影モード」、「標準撮影モード」、「風景撮影モード」）を決定し、決定された大分類内の小分類（Ｐ１，Ｐ２，Ｐ３など）をシャープネス強度値に基づいて決定する。
まず、撮影シーン推定部５３０は、図４を用いて説明したようにシャープネス強度値に基づいて撮影シーンを推定し、大分類と推定結果が対応する場合（なお「物」は「標準」に対応する）に、対応する大分類の中位分類（Ｐ２，Ｓ２またはＬ２）に決定する。また、撮影シーン推定部５３０は、大分類が「風景撮影モード」の場合において、シャープネス強度値が図４の「ピンボケ」または「物」に対応するときはＬ１に決定し、「複雑なシーン」に対応するときはＬ３に決定する。同様に、撮影シーン推定部５３０は、大分類が「標準」の場合において、シャープネス強度値が図４の「ピンボケ」に対応するときはＳ１に決定し、「風景」または「複雑なシーン」に対応するときはＳ３に決定する。
制御部５５０は、図９に例示する小分類（Ｐ１〜Ｐ３、Ｓ１〜Ｓ３、Ｌ１〜Ｌ３）に対応するシャープネス変更量を特定し、シャープネス処理部５４０によるシャープネス変更処理を制御する。
【００５０】
［第３の実施形態］
次に、本発明の第３の実施形態を説明する。本実施形態では、画像のシーンを判定して、判定結果を画像データに付加する付加情報生成装置について説明する。付加情報生成装置は、例えば、画像を撮影するディジタルスチルカメラ、または、画像のレタッチなどを行う画像処理装置などである。なお、付加情報生成装置のハードウェア構成は、通常のディジタルスチルカメラまたはコンピュータ端末と同様である。
また、付加情報生成装置にインストールされている付加情報生成プログラムは、図７を用いて説明したシーン判定部５００と実質的に同一である。すなわち、付加情報生成プログラムは、画像データ取得部５１０、強度値算出部５２０、撮影シーン推定部５３０およびタグデータ取得部５７０を有する。また、強度値算出部５２０は、明度・輝度信号変換部５２２、帯域処理部５２４およびシャープネス計測部５２６を含む。
画像データ取得部５１０は、固体撮像素子、リムーバブルメディア、ＵＳＢ等のケーブル、または、ＬＡＮ等の通信網を介して、画像データを取得し、強度値算出部５２０に対して出力する。
強度値算出部５２０は、図２を用いて説明したものと実質的に同一な機能を有する。
タグデータ取得部５７０は、ディジタルスチルカメラに設定された撮影条件、焦点距離および絞り値などの撮影パラメータ、または、画像データに付加されていたタグデータを取得し、撮影シーン情報として撮影シーン推定部５３０に対して出力する。
撮影シーン推定部５３０は、強度値算出部５２０により算出されたシャープネス強度値およびタグデータ取得部５７０により取得された撮影シーン情報またはこれらのいずれかに基づいて、この画像データの撮影シーンを推定し、推定された撮影シーンを識別するシーン識別情報を画像データに付加して、不揮発性記録装置、リムーバブルメディアまたは外部端末に出力する。
【００５１】
以上説明したように、第３の実施形態の付加情報生成装置によれば、画像のシャープネス強度値を解析し、解析結果とその他の情報とに基づいて撮影シーンを推定し、画像データに付加することができる。これは、撮影シーンに応じた画像データの仕分けや、撮影シーンに応じた画像処理などを可能にする。
【００５２】
［変形例］
上記実施形態では、強度値算出部５２０は、画像全体の輝度・明度情報に基づいてシャープネス強度値を算出していたが、図１０に示すように、画像の一部領域（評価対象領域）についてシャープネス強度値を算出してもよい。例えば、図１０（Ａ）に示すように、強度値算出部５２０は、画像の中心部の矩形領域（シャープネス強度値算出エリアＡ）のみについてシャープネス強度値を算出し、撮影シーン推定部５３０に出力してもよい。画像の中心領域に主題となる像が存在する場合が多く、プリンタ装置１は、この部分についてシャープネス強度を評価してシャープネス変更量を決定することにより、より主題の内容に応じたシャープネス補正を行うことができる。
また、強度値算出部５２０は、図１０（Ｂ）に示すように、画像の全体的な特徴を扱うために図に示す矩形領域の集合（シャープネス強度値算出エリアＢ）について、シャープネス強度値を算出してもよい。この場合、プリンタ装置１は、それぞれの矩形領域に所定の重み付けを行うことにより、シャープネス評価の柔軟に行うことができ、また、全体についてシャープネス強度値を算出する場合よりも処理負荷を小さくすることができる。
上記いずれの場合も、分母を一定にすることで、正規処理を省いた相対強度とすることができる。この他にも、例えば、画素を間引いた領域または注目している領域等についてシャープネス強度値を算出することができる。
【００５３】
以上、説明した実施形態は本発明の好適な一実施形態にすぎず、本発明はその趣旨を逸脱しない限り種々変形して実施可能である。
例えば、上記した構成は、ソフトウェアで実現される形態を具体例として説明したが、ハードウェアで実現してもよい。
【００５４】
以上説明したように、上記実施形態によれば、入力された画像データに基づいて算出されたシャープネス強度値に応じて、適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。
【００５５】
また、上記実施形態によれば、入力された画像データに基づいて推定された撮影シーンに応じて、処理に則した撮影シーン情報を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。
【００５６】
また、上記実施形態によれば、入力された画像データに基づいて推定されたシャープネス強度値に応じて、適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。
【００５７】
また、上記実施形態によれば、処理に要するデータ量が削減され、より効率よく的確なシャープネス処理係数を求め、好ましいシャープネスを有する出力画像を得ることが可能となる。
【００５８】
また、上記実施形態によれば、更に人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００５９】
なお、上記第１および第２の実施形態は、プリンタ装置１を具体例として説明したが、これに限定されるものではなく、ディジタルスチルカメラ内で上記処理を行い、ディジタルスチルカメラに設けられた液晶モニタ上に表示させてもよい。また、スキャナで画像データを取り込み、上記処理を行った後で、コンピュータに接続されたモニタ上で表示させてもよい。このように、本発明にかかる画像処理方法は、プリンタ装置、コンピュータ端末、ディジタルスチルカメラ、スキャナ、携帯電話、または、これらの組合せにより行われてもよい。
【００６０】
【発明の効果】
以上説明したように、本発明にかかる画像処理装置またはシーン推定装置によれば、撮影シーンを簡易な方法で推定することができる。
【図面の簡単な説明】
【図１】本発明にかかる画像処理方法が適応されるプリンタ装置１のハードウェア構成を、その制御装置２を中心に例示する図である。
【図２】制御装置２（図１）により実行され、本発明にかかる画像処理方法を実現する第１の画像処理プログラム５の構成を示す図である。
【図３】帯域処理部５２４が微分画像を生成するときに用いるアンシャープマスクフィルタ６００を例示する図である。
【図４】シャープネス強度値と撮影シーンとの対応関係、および、撮影シーンとシャープネス変更量との対応関係を例示する図である。
【図５】プリンタ装置１（画像処理プログラム５）の第１の動作（Ｓ１０）を示すフローチャートである。
【図６】タグデータを含む画像データのデータフォーマットを例示する図である。
【図７】第２の画像処理プログラム５２の構成を説明する図である。
【図８】第２の画像処理プログラム５２の動作（Ｓ１２）を説明するフローチャートである。
【図９】撮影シーン推定部５３０がシャープネス強度値およびタグデータを撮影シーンに対応付ける他の方法を説明する図である。
【図１０】（Ａ）は、強度値算出部５２０がシャープネス強度値を算出する中心部の矩形領域を例示し、（Ｂ）は、強度値算出部５２０がシャープネス強度値を算出する矩形領域の集合を例示する図である。
【符号の説明】
１・・・プリンタ装置
１０・・・プリンタ装置本体
２・・・制御装置
２０・・・制御装置本体
２０２・・・ＣＰＵ
２０４・・・メモリ
２２・・・通信装置
２４・・・記録装置
２４０・・・記録媒体
２６・・・ＵＩ装置
５，５２・・・画像処理プログラム
５００・・・シーン判定部
５１０・・・画像データ取得部
５２０・・・強度値算出部
５２２・・・明度・輝度信号変換部
５２４・・・帯域処理部
５２６・・・シャープネス計測部
５３０・・・撮影シーン推定部
５７０・・・タグデータ取得部
５４０・・・シャープネス処理部
５５０・・・制御部
５６０・・・画像出力部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device, a scene determination device, an image processing method, a scene determination method, and a program that enable image processing according to shooting conditions for a digital image captured by a digital still camera or the like.
[0002]
[Prior art]
There has been proposed a form in which information at the time of shooting is added to image data, and image processing is performed according to the added information at the time of shooting. For example, an image processing method for setting image processing conditions according to scene information magnetically or optically recorded on a film (for example, Patent Document 1), and additional information such as shooting date and time are acquired together with image data. An image processing method for estimating a shooting scene based on such additional information and performing image processing (for example, Patent Document 2) is disclosed.
[0003]
[Patent Document 1]
JP-A-11-239269
[Patent Document 2]
JP 2001-238177 A
[0004]
[Problems to be solved by the invention]
The present invention has been made in view of the above background, and has as its object to provide a scene determination device that estimates a shooting scene of an image based on the degree of sharpness of the image. It is another object of the present invention to provide an image processing device, a scene determination device, an image processing method, a scene determination method, and a program that can perform image adjustment processing according to a shooting scene estimated based on a degree of sharpness. .
[0005]
[Means for Solving the Problems]
In order to achieve the above object, an image processing apparatus according to the present invention is provided with an intensity value calculating means for calculating a sharpness intensity value indicating a sharpness intensity of a digital image based on the digital image, and an image processing apparatus attached to the digital image. Scene information extracting means for extracting shooting scene information relating to a shooting scene in which the digital image is shot based on the additional information; changing means for changing the sharpness intensity of the digital image; the sharpness intensity value and the shooting scene information Control means for controlling the change processing by the change means based on the above, a digital image having preferable sharpness can be obtained in view of human visual characteristics, and the sharpness can be automatically adjusted.
[0006]
The image processing apparatus according to the present invention may further include a scene classification unit that associates a sharpness intensity value with a classification of a scene in which the digital image is captured, wherein the control unit includes a scene corresponding to the calculated sharpness intensity value. The change processing by the change means is controlled based on the classification and the shooting scene information. As a result, shooting scene information can be added to the input image.
[0007]
Further, the scene classification means corresponds to each scene classification according to the number of pixels of the digital image. Therefore, it is possible to suppress a variation in the determination of the sharpness degree that has contributed to various image sizes.
[0008]
Further, when the sharpness intensity value and the shooting scene information correspond to a scenery scene, the control unit controls the changing unit so as to further enhance the sharpness of the digital image. When the scene information corresponds to a person scene, the changing unit may be controlled so as to further reduce the sharpness of the digital image. That is, the image processing apparatus of the present invention estimates a shooting scene from image analysis, corrects the degree of sharpness, and automatically enhances sharpness when it is determined that the scene is a landscape scene from attached image information or the like. It is characterized in that when correction is made and a person scene is identified, sharpness enhancement is automatically weakened.
Further, the control unit may prohibit the changing process by the changing unit when the sharpness intensity value is lower than a predetermined value. That is, the image processing apparatus of the present invention calculates the feature amount of an image including the degree of sharpness, performs sharpness correction according to the degree, and does not perform sharpness correction when the degree of sharpness is equal to or less than a predetermined value. Features.
[0009]
[Scene judgment device]
Further, the scene determination device of the present invention includes an intensity value calculating unit that calculates a sharpness intensity value indicating a sharpness intensity of the digital image based on the digital image, and the digital image based on the calculated sharpness intensity value. Estimating means for estimating the shooting scene. That is, the scene determination device of the present invention has means for calculating the degree of sharpness of an original image from a digital image, and estimates a shooting scene of the original image according to the degree of sharpness.
The scene determining apparatus further includes scene information extracting means for extracting shooting scene information relating to a shooting scene in which the digital image is shot based on the additional information attached to the digital image, and the estimating means includes The shooting scene may be estimated based on the obtained sharpness intensity value and the extracted shooting scene information. That is, the scene determination device of the present invention is characterized in that the estimated scene classification is corrected according to the photographed scene attached to the digital image as a tag.
Further, the estimating means may estimate that the photographed scene is a person scene when at least one of the calculated sharpness intensity value and the extracted photographed scene information corresponds to a person scene. That is, the scene determination device of the present invention is characterized in that when the estimated shooting scene is different from the attached shooting scene, it is determined that the priority is the person.
[0010]
In an image signal or the like of a digital still camera, chunk information and tag information (attached information) recording the shooting state are held in an image format (for example, EXIF 2.2).
Therefore, additional information related to sharpness such as the number of image pixels, resolution, and scene classification may be used. Of course, the EXIF image format accessory information is not limited to the digital still camera image format. Furthermore, chunk information and tag information (attached information) may be similarly used in an image format TIFF or the like that can hold high-precision shooting information by reversible compression.
[0011]
[Image processing method]
The image processing method of the present invention calculates a sharpness intensity value indicating the sharpness intensity of the digital image based on the digital image, and captures the digital image based on the additional information attached to the digital image. Then, the photographing scene information relating to the photographed scene is extracted, and the sharpness intensity of the digital image is changed based on the calculated sharpness intensity value and the extracted photographing scene information.
[0012]
[Scene judgment method]
Further, the scene determination method of the present invention calculates a sharpness intensity value indicating a sharpness intensity of the digital image based on the digital image, and estimates a shooting scene of the digital image based on the calculated sharpness intensity value. I do.
[0013]
[program]
Further, the program according to the present invention includes, in an image processing apparatus including a computer, calculating a sharpness intensity value indicating a sharpness intensity of the digital image based on the digital image, and calculating the sharpness intensity value based on the additional information attached to the digital image. Extracting photographing scene information relating to a photographing scene in which the digital image has been photographed, changing means for changing the sharpness intensity of the digital image, and the digital image based on the sharpness intensity value and the photographing scene information. Changing the sharpness intensity of the image processing apparatus.
Further, the program of the present invention, in a scene estimation device including a computer, based on the digital image, a step of calculating a sharpness intensity value indicating the intensity of sharpness of the digital image, based on the calculated sharpness intensity value, Estimating the photographed scene of the digital image.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
[background]
First, the background will be described to help the understanding of the present invention.
The image quality (color / gradation reproduction, sharpness, etc.) of a digital image is determined by the characteristics of the digital image signal, the characteristics related to the image quality of the color image recording device and the image recording material from which the image is output, or the image quality of the image display device. Is determined by the characteristics of
A digital image signal input from a color scanner device that reads a reflection document is color image processing that corrects the image quality characteristics of the color scanner device, if the purpose is to maintain the image quality of the reflection document, or By using color image processing that corrects the characteristics of the output device, it is possible to obtain image quality close to a document to some extent.
For example, there is image processing used for a color copying machine or the like. These are classified as processing methods for the purpose of correcting (optimizing) input digital image signals (input image signals) in accordance with the characteristics of an input device, a color image recording device, a display device, or an image recording material. Is done. On the other hand, in the case of an image digitized by shooting a general scene with a digital still camera or the like, not only the characteristics of the camera device as an input device but also the state of the subject and shooting conditions vary from the viewpoint of image quality. Since a situation is assumed, the image quality of the input digital image cannot be specified or is often unknown. In the case of such an input image signal, it is necessary to analyze the image and adjust the image quality which is considered preferable while estimating the shooting scene and the shooting situation.
In the latter case, the processing method is classified as a processing method intended to reproduce an image subjectively and preferably.
[0015]
The color correction processing in the image processing device for adjusting the input image signal is configured by techniques such as contrast adjustment, color balance adjustment, white balance adjustment, fog correction, and other spatial processing corrections. It is configured by techniques such as sharpness enhancement including edge enhancement, resolution conversion, and noise removal.
[0016]
Among image qualities, it is difficult to set a correction method and a correction parameter for sharpness quality as compared with gradation and color qualities.
This is because, in the case of shooting with a digital camera, the characteristics are influenced by various factors such as various situations of the subject, a state at the time of shooting (focus, camera shake, etc.), a compression state at the time of recording, and the like. It is.
For this reason, from the information such as the above-described shooting state, it is impossible to obtain a generally desirable processing parameter.
[0017]
In general, the spatial correction processing is configured to perform image processing using a sharpness correction filter in which characteristics of the device are described in advance using limited information.
However, since the device correction information is independent of the information of the digital image itself, the optimal output conditions for the digital image are not taken into account due to the above-mentioned shooting conditions and the like. May be output.
[0018]
The best measure for adjusting the digital image signal is to use a display / output device used by a user and perform a process suitable for the user while checking the degree of the display / output image. However, this method has a problem that the user requires experience of image processing and work time. For this reason, it has been proposed that the image processing apparatus is provided with a method for performing image measurement and image quality adjustment (automatic image quality adjustment technology) for automatically acquiring information from the image itself with minimum effort.
[0019]
The sharpness processing in the above-described automatic image quality adjustment technology is assumed to have a function of measuring the degree of sharpness (indicating the degree of compounding of the degree of edge and image noise) from a digital image and performing the sharpness processing according to the measurement result.
[0020]
Also, the problem of sharpness processing is that simply applying blurring processing eliminates high-definition reproduction (texture), lowering the degree of sharpness, and sharpening too strong sharpening processing results in rough skin (rough skin) The user feels uncomfortable because noise in the coloring portion and breakdown (ringing) at the boundary of the edge portion are conspicuous. This problem is due to the fact that sharpness inhibition changes with sharpness (sharpness degree) in a normal sharpness processing technology, and it is not possible to control each of them independently. For this reason, it has been difficult to fundamentally solve the above problem only with information of the digital image signal.
[0021]
To cope with this problem, the degree of sharpness preference (sharpness preference) that reflects the degree of sharpness as well as the amount that impairs or degrades sharpness (sharpness inhibition amount) is required as the measurement amount. It is. In order to solve this problem, the present inventors have made an invention capable of obtaining a digital image having preferable sharpness in view of human visual characteristics and enabling automatic adjustment of sharpness.
[0022]
Similarly, several methods have been proposed for a technique for measuring the characteristics of an image from an image signal itself, in particular, a technique for measuring sharpness. For example, the sharpness evaluation method is a sharpness evaluation method in which the sum of signal intensities of differential images (vector images or edge images) is used as an evaluation value of sharpness (Yoichi Miyake: Journal of the Institute of Television Engineers of Japan, 43, 11 (1989)). Has been proposed. Miyake proposes to use the sum of the edge intensity values of pixels via differential images. On the other hand, with respect to an image signal degraded by mixed noise in which Gaussian noise and impulse noise are mixed, a method using measurement / determination means (YH Lee, SA Kassam, Generalized median altering and related) is used. non-linear alteringtechniques ", IEEE Trans. Acoustic., Speech & Signal Process., vol. ASSP-33, no. 3, pp. 672-683, June 1987.). The purpose of the method is to measure the degree of sharpness of an image, and there is no application using the information to estimate a shooting scene of an input image.
[0023]
Further, in an image format such as an image signal of a recent digital still camera shooting, there is a mechanism that can hold a shooting scene specified by a user. For example, in the EXIF standard, which is a standard format of a digital still camera, a person, a landscape, a night view, and the like can be specified in addition to the standard. In this way, by adding, as a tag, information that can specify a shooting scene to some extent at the time of shooting, it can be used for the above-described adjustment of image quality in post-processing.
However, such a tag alone is not always a classification suitable for sharpness adjustment, and it is necessary to consider a processing method and parameters together with an estimated scene analyzed.
Furthermore, it is considered that the photographer does not always select an appropriate scene at the time of shooting, and that sometimes shooting scene information different from the subject may be erroneously recorded by using it as a standard or shooting with the previous setting Can be
Therefore, as a measure to obtain an appropriate shooting scene for image processing, image search, etc., for example, a general-purpose mechanism that detects erroneous scene determination using some information instead of using only the image format Is also required.
[0024]
Therefore, the scene determination device according to the present invention determines a scene based on the sharpness intensity of image data. Further, the image processing device according to the present invention determines a scene based on the sharpness intensity of the image data, and changes the sharpness of the image according to the determined scene.
[0025]
[First Embodiment]
Next, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram exemplifying a hardware configuration of a printer device 1 to which an image processing method according to the present invention is applied, focusing on a control device 2 thereof.
As shown in FIG. 1, the printer device 1 includes a control device 2 and a copying device main body 10.
The control device 2 includes a control device main body 20 including a CPU 202 and a memory 204, a communication device 22, a recording device 24 such as an HDD / CD device, and a user interface including an LCD display device or a CRT display device and a keyboard / touch panel. Device (UI device) 26.
The printer device 1 acquires image data captured by a digital still camera or the like via the communication device 22 or the recording device 24, and determines a captured scene based on the image data. Then, the printer device 1 performs image processing such as sharpness adjustment processing according to the determination result of the shooting scene, and prints the image processed image data on a sheet.
Here, the shooting scene determined by the printer device 1 is a classification that combines the degree of sharpness and the shooting scene, and may be obtained not only as a correspondence table but also as a feature amount. In the present embodiment, “out of focus”, “person”, “object”, “landscape”, and “complex scene” will be described below as specific examples of the shooting scene.
The image processing performed by the printer device 1 is a sharpness adjustment process for performing spatial correction, and is not limited to a processing method described by a system transfer function (MTF) assuming linearity of a system.
[0026]
FIG. 2 is a diagram showing a configuration of a first image processing program 5 executed by the control device 2 (FIG. 1) and realizing the image processing method according to the present invention.
As shown in FIG. 2, the image processing program 5 includes a scene determination unit 500 (scene determination device), a sharpness processing unit 540, a control unit 550, and an image output unit 560.
The scene determination unit 500 includes an image data acquisition unit 510, an intensity value calculation unit 520, and a photographed scene estimation unit 530. The intensity value calculation unit 520 includes a brightness / luminance signal conversion unit 522, a band processing unit 524, and a sharpness measurement. Unit 526 is included.
The image processing program 5 is supplied to the control device 2 via, for example, a recording medium 240 (FIG. 1), loaded into the memory 204, and executed.
[0027]
In the image processing program 5, a digital image including a natural image is input to the scene determination unit 500 and the sharpness processing unit 540 as an image signal in an RGB color space. Note that the image signal input in the present embodiment may be not only the image signal in the original state but also a digital image in the course of progress obtained when the optimum output condition is obtained. Furthermore, any other digital image can be applied as long as the digital image is at least as good as the measurement result of the input image signal.
[0028]
In the scene determination unit 500, when the image data acquisition unit 510 acquires digital image data via the communication device 22 or the recording device 24, it outputs the digital image data to the intensity value calculation unit 520 and the sharpness processing unit 540.
In the intensity value calculation unit 520, the brightness / luminance signal conversion unit 522 converts the image data input from the image data acquisition unit 510 from a RGB color space into a luminance signal (= 0.30R + 0.59G + 0.11B) in a YCrCb color space. The data is converted and output to the band processing unit 524. Here, the luminance signal may be a luminance signal based on the sYCC color space, a tristimulus value CIE XYZ or a G signal alone. However, in order to perform high-precision processing, the luminance signal of the image data may be L * of the CIELAB signal or a signal obtained by performing principal component analysis or KL conversion. Note that the present invention is not limited to the above, and the brightness / brightness information converted by the brightness / brightness signal conversion unit 522 in the present embodiment is appropriately changed according to the uniformity of the perceived amount and the processing speed as long as it is a signal representing brightness. It is possible. Here, for the sake of convenience, the sharpness process will be described with respect to an image signal having a perceptually uniform brightness or luminance. However, in the present embodiment, the process is not particularly limited as long as the process includes the image signal.
[0029]
The band processing unit 524 performs predetermined band processing on the luminance signal of the image data input from the brightness / luminance signal conversion unit 522, and converts a signal of only the middle and high frequency band (hereinafter, referred to as a differential image signal). It is generated and output to the sharpness measurement unit 526.
In consideration of the processing speed in this band processing, it is preferable to apply the first derivative. However, since the diffusion assumption and the visual characteristics, which are one of the basic factors of the image blur phenomenon, are closely related to the second derivative image, In the present embodiment, a case where a second derivative image is generated is applied.
For example, the band processing unit 524 generates a secondary differential image as a differential image.
The secondary differential image is calculated based on the following (Equation 1). For example, the secondary differential image (Fx) is obtained by applying an unsharp mask (USM) filter 600 illustrated in FIG. 3 to the original image signal to obtain a blurred luminance image signal Fb. It is calculated as the absolute value of the luminance image signal excluding the luminance image signal Fb.
Fx = | F−Fb | (formula 1)
[0030]
The sharpness measuring unit 526 calculates a sharpness intensity value based on the differential image signal input from the band processing unit 524, and outputs the calculated sharpness intensity value to the shooting scene estimation unit 530. The sharpness measuring unit 526 calculates a sharpness intensity value, for example, as in the following (Equation 2). That is, the sharpness measuring unit 526 normalizes the sum 強度 Fx of the intensity values of the evaluation target area in the differential image signal by the number of pixels P of the evaluation target area, and multiplies the sum of the normalized intensity values by an arbitrary coefficient K to obtain sharpness. Determine the intensity value Sd.
Sd = K × ΣFx / P (Equation 2)
[0031]
The photographing scene estimating unit 530 estimates a photographing scene based on the sharpness intensity value input from the sharpness measuring unit 526, and outputs information for identifying the photographing scene to the control unit 550. For example, the shooting scene estimating unit 530 determines the range of the sharpness intensity value for each shooting scene so that the sharpness intensity value increases in the order of “out of focus”, “person”, “object”, “landscape”, and “complex scene”. Is stored, and a shooting scene is estimated based on the determination table.
[0032]
The control unit 550 determines the amount of change in sharpness according to the shooting scene estimated by the shooting scene estimation unit 530, and outputs a control signal according to the change amount to the sharpness processing unit 540. That is, control unit 550 sets the amount of change in sharpness according to the sharpness intensity value, and causes sharpness processing unit 540 to change the sharpness intensity of the image.
For example, the control unit 550 determines a sharpness change amount according to a shooting scene (sharpness intensity value) based on the correction table illustrated in FIG. That is, the control unit 550 prohibits the sharpness changing process for the out-of-focus image, and controls to reduce the sharpness intensity for the human image. Further, the control unit 550 increases the sharpness intensity of the landscape image, and converts a minute portion into a sharp image.
[0033]
The sharpness processing unit 540 changes the sharpness intensity of the image data according to the control signal from the control unit 550, and outputs it to the image output unit 560.
The image output unit 560 controls a print engine (not shown) of the printer device main body 10 to print the image data input from the sharpness processing unit 540 on a sheet. The image output unit 560 may control the UI device 26 to display the image data input from the sharpness processing unit 540 on an LCD display device or the like.
[0034]
Note that the control unit 550 may have a correction table that associates the sharpness intensity value with the amount of change in sharpness. In this case, the photographic scene determination process by the photographic scene estimation unit 530 is not essential.
Further, the shooting scene estimation unit 530 can estimate a shooting scene according to the sharpness intensity value, and can add shooting scene information to the image data.
Further, the degree of sharpness perceived by a human varies depending on the number of pixels of input image data and the size of an output image. Thus, the shooting scene estimation unit 530 may change the range of the sharpness intensity value corresponding to each shooting scene according to the number of pixels (image size) of the image data.
[0035]
[motion]
Hereinafter, the operation of the printer device 1 will be described.
FIG. 5 is a flowchart showing a first operation (S10) of the printer device 1 (image processing program 5).
In step 100 (S100), the printer device 1 acquires image data via the communication device 22 or the recording device 24, and performs correction processing such as noise removal, white balance correction, and exposure correction.
The image data acquisition unit 510 acquires the image data on which these correction processes have been performed, and outputs the acquired image data to the brightness / luminance signal conversion unit 522 and the sharpness processing unit 540.
[0036]
In step 102 (S102), the brightness / luminance signal conversion unit 522 converts the RGB signal of the image data into a luminance signal and outputs the luminance signal to the band processing unit 524.
The band processing unit 524 generates a differential image based on the luminance signal, and outputs the differential image to the sharpness measuring unit 526. The sharpness measuring unit 526 calculates a sharpness intensity value based on the differential image, and outputs the calculated sharpness intensity value to the photographed scene estimating unit 530.
[0037]
In step 104 (S104), the photographed scene estimation unit 530 associates image groups such as “out of focus”, “person”, “object”, “landscape”, and “complex scene” with the range of the sharpness intensity value. With reference to the determination table, a group of shooting scenes corresponding to the sharpness intensity value is specified and output to the control unit 550.
Note that the shooting scene estimation unit 530 of this example has a plurality of determination tables corresponding to the number of pixels of the image data acquired by the image data acquisition unit 510 and the size of the image output by the image output unit 560. A shooting scene is specified using a determination table according to the number of pixels of the input image data and the size of the output image.
[0038]
In step 106 (S106), the control unit 550 determines whether or not to perform the sharpness change process based on the shooting scene specified by the shooting scene estimation unit 530. If it is determined that the specified shooting scene is “out of focus”, that is, if the sharpness intensity value is smaller than the default value, the image processing program 5 proceeds to the process of S112. Move to the processing of.
In the case of an out-of-focus image, even if the sharpness correction is performed, it is often useless. If the out-of-focus image is determined, the printer apparatus 1 prohibits the sharpness processing, thereby preventing unnecessary sharpness processing. At the same time, processing costs can be reduced.
[0039]
In step 108 (S108), the control unit 550 determines a sharpness change amount according to the shooting scene with reference to a correction table that associates the shooting scene with the sharpness change amount, and determines a sharpness processing coefficient according to the sharpness change amount. Output to the sharpness processing unit 540.
[0040]
In step 110 (S110), the sharpness processing unit 540 performs a sharpness correction process on the image data according to the sharpness processing coefficient, and outputs the result to the image output unit 560.
In step 112 (S112), the image output unit 560 controls the print engine or the UI device 26 according to an instruction from the user, and performs image formation based on the image data.
[0041]
As described above, the printer device 1 of the present embodiment changes the sharpness processing coefficient according to the shooting scene estimated for the input digital image signal. Images can be generated automatically.
[0042]
[Second embodiment]
Next, a second embodiment of the present invention will be described. The printer device 1 according to the second embodiment determines a shooting scene based on a sharpness intensity value of image data and additional information added to the image data. For example, the printer device 1 acquires tag data (additional information) and image data as illustrated in FIG. 6, and acquires shooting scene information included in the tag data and a sharpness intensity value calculated based on the image data. The sharpness intensity is changed according to.
[0043]
FIG. 7 is a diagram illustrating the configuration of the second image processing program 52.
As shown in FIG. 7, the image processing program 52 has a configuration in which a tag data acquisition unit 570 is added to the image processing program 5 shown in FIG.
The tag data acquisition unit 570 acquires tag data added to the image data, extracts shooting scene information for specifying shooting conditions, and outputs the information to the shooting scene estimation unit 530. The shooting scene information includes information for specifying a shooting mode (standard shooting mode, portrait shooting mode, landscape shooting mode, etc.), focal length, exposure condition, digital zoom magnification, and the like.
[0044]
The shooting scene estimation unit 530 of the present embodiment estimates a shooting scene based on the sharpness intensity value and shooting scene information.
Further, the shooting scene estimating unit 530 determines whether the shooting scene estimated based on the sharpness intensity value is different from the shooting scene estimated based on the shooting scene information, and one of the shooting scenes corresponds to a person scene. Give priority to the scene.
[0045]
FIG. 8 is a flowchart illustrating the operation (S12) of the second image processing program 52. Note that among the processes in the second operation shown in FIG. 8, those substantially the same as those in the first operation shown in FIG. 5 are denoted by the same reference numerals.
In step 112 (S112), the image data acquisition unit 510 acquires the image data and outputs it to the intensity value calculation unit 520 and the sharpness processing unit 540, and the tag data acquisition unit 570 attaches the image data to the image data. The tag data is acquired, the shooting scene information included in the tag data is extracted, and output to the shooting scene estimation unit 530.
[0046]
In step 114 (S114), the photographic scene estimation unit 530 compares the photographic scene estimated based on the sharpness intensity value with the photographic scene estimated based on the photographic scene information. The image processing program 52 shifts to the process of S106 when the shooting scene estimated based on the sharpness intensity value matches the shooting scene estimated based on the shooting scene information, and proceeds to S116 when the shooting scene does not match. Move to the processing of.
In step 116 (S116), the image processing program further determines whether the one of the shooting scene estimated based on the sharpness intensity value and the shooting scene estimated based on the shooting scene information corresponds to a person scene. Then, the process proceeds to S118, otherwise, the process proceeds to S120.
In step 118 (S118), the photographed scene estimating unit 530 determines that the scene is a person scene, and outputs information corresponding to the person scene to the control unit 550.
In step 120 (S120), the photographed scene estimating unit 530 adopts the photographed scene estimated based on the sharpness intensity value, and outputs information corresponding to the adopted photographed scene to the control unit 550.
In other words, the second image processing program 52 determines that the shooting scene estimated based on the sharpness intensity value does not match the shooting scene estimated based on the shooting scene information, and one of the two is a person scene. If the image corresponds to, the sharpness change amount is determined by giving priority to the person scene.If none of the images corresponds to the person scene, the sharpness change amount is determined by giving priority to the shooting scene estimated based on the sharpness intensity value. I do.
[0047]
As described above, the printer apparatus 1 of the present embodiment estimates a shooting scene based on a plurality of pieces of information, and thus can prevent inappropriate image adjustment due to erroneous determination of a shooting scene. Further, even when the photographer shoots in a shooting mode that is not suitable for the shooting scene, the printer device 1 also takes into account the shooting scene determination based on the actual image data, so that the photographer can follow a setting error of the photographer.
[0048]
In this example, the shooting scene estimation unit 530 estimates the shooting scene based on the shooting scene estimated based on the sharpness intensity value and the shooting scene estimated based on the shooting scene information. Both the shooting scene estimated based on the intensity value and the shooting scene estimated based on the shooting scene information are output to the control unit 550, and the control unit 550 estimates based on the sharpness intensity value. The same effect can be obtained by correcting the sharpness correction amount according to the shooting scene and the shooting scene estimated based on the shooting scene information.
[0049]
There are various methods for determining the amount of change in sharpness according to the shooting scene estimated based on the sharpness intensity value and the shooting scene estimated based on the shooting scene information.
FIG. 9 is a diagram illustrating another method in which the shooting scene estimation unit 530 associates the sharpness intensity value and the tag data with the shooting scene.
In this example, the shooting scene estimating unit 530 determines the large classification of the shooting scene (“person shooting mode”, “standard shooting mode”, “landscape shooting mode”) illustrated in FIG. 9 based on the shooting mode, Small classes (P1, P2, P3, etc.) in the determined large classes are determined based on the sharpness intensity values.
First, the shooting scene estimating unit 530 estimates a shooting scene based on the sharpness intensity value as described with reference to FIG. 4 and, when the large classification corresponds to the estimation result (where “object” corresponds to “standard”). ) Is determined as the middle class (P2, S2 or L2) of the corresponding large class. In addition, when the sharpness intensity value corresponds to “out of focus” or “thing” in FIG. 4 in the case where the large classification is “landscape shooting mode”, the shooting scene estimation unit 530 determines L1 and “complex scene”. Is determined as L3. Similarly, when the major classification is “standard” and the sharpness intensity value corresponds to “out of focus” in FIG. 4, the shooting scene estimating unit 530 determines S1 to be “landscape” or “complex scene”. When it corresponds, it decides to S3.
The control unit 550 specifies a sharpness change amount corresponding to the small classifications (P1 to P3, S1 to S3, and L1 to L3) illustrated in FIG. 9 and controls the sharpness change processing by the sharpness processing unit 540.
[0050]
[Third Embodiment]
Next, a third embodiment of the present invention will be described. In the present embodiment, an additional information generation device that determines a scene of an image and adds a determination result to image data will be described. The additional information generation device is, for example, a digital still camera that captures an image, or an image processing device that retouches an image. Note that the hardware configuration of the additional information generation device is the same as that of a normal digital still camera or a computer terminal.
Further, the additional information generation program installed in the additional information generation device is substantially the same as the scene determination unit 500 described with reference to FIG. That is, the additional information generation program includes an image data acquisition unit 510, an intensity value calculation unit 520, a shooting scene estimation unit 530, and a tag data acquisition unit 570. Further, the intensity value calculation unit 520 includes a brightness / luminance signal conversion unit 522, a band processing unit 524, and a sharpness measurement unit 526.
The image data acquisition unit 510 acquires image data via a solid-state imaging device, a removable medium, a cable such as a USB, or a communication network such as a LAN, and outputs the acquired image data to the intensity value calculation unit 520.
The intensity value calculation unit 520 has substantially the same function as that described with reference to FIG.
The tag data acquiring unit 570 acquires photographing parameters set for the digital still camera, such as photographing parameters such as a focal length and an aperture value, or tag data added to image data, and acquires photographed scene estimating unit as photographed scene information. 530.
The photographing scene estimating unit 530 estimates the photographing scene of the image data based on the sharpness intensity value calculated by the intensity value calculating unit 520 and the photographing scene information acquired by the tag data acquiring unit 570 or any one of them. Then, scene identification information for identifying the estimated shooting scene is added to the image data and output to a non-volatile recording device, a removable medium, or an external terminal.
[0051]
As described above, according to the additional information generation device of the third embodiment, the sharpness intensity value of the image is analyzed, and the photographic scene is estimated based on the analysis result and other information, and is added to the image data. be able to. This enables sorting of image data according to the shooting scene, image processing according to the shooting scene, and the like.
[0052]
[Modification]
In the above embodiment, the intensity value calculation unit 520 calculates the sharpness intensity value based on the luminance / brightness information of the entire image. However, as shown in FIG. The sharpness intensity value may be calculated. For example, as shown in FIG. 10A, the intensity value calculation unit 520 calculates the sharpness intensity value only for the rectangular area (sharpness intensity value calculation area A) at the center of the image, and outputs the sharpness intensity value to the photographed scene estimation unit 530. May be. In many cases, a subject image exists in the central region of the image, and the printer device 1 performs sharpness correction in accordance with the content of the subject by evaluating the sharpness intensity of this portion and determining the amount of change in sharpness. be able to.
Further, as shown in FIG. 10B, the intensity value calculation unit 520 calculates a sharpness intensity value for a set of rectangular regions (sharpness intensity value calculation area B) shown in FIG. It may be calculated. In this case, the printer apparatus 1 can flexibly perform the sharpness evaluation by performing the predetermined weighting on each rectangular area, and can reduce the processing load as compared with the case where the sharpness intensity value is calculated for the whole. Can be.
In any of the above cases, by keeping the denominator constant, it is possible to obtain a relative intensity without normal processing. In addition, for example, a sharpness intensity value can be calculated for an area where pixels are thinned out or an area of interest.
[0053]
The embodiment described above is merely a preferred embodiment of the present invention, and the present invention can be implemented with various modifications without departing from the spirit thereof.
For example, the above-described configuration has been described as a specific example implemented by software, but may be implemented by hardware.
[0054]
As described above, according to the above-described embodiment, the sharpness processing coefficient is appropriately changed according to the sharpness intensity value calculated based on the input image data. And a digital image having a sharpness can be obtained, and the sharpness can be automatically adjusted.
[0055]
Further, according to the above-described embodiment, in order to change the shooting scene information according to the process according to the shooting scene estimated based on the input image data, it has a preferable sharpness in view of human visual characteristics. A digital image can be obtained and the sharpness can be automatically adjusted.
[0056]
Further, according to the above embodiment, the sharpness processing coefficient is appropriately changed in accordance with the sharpness intensity value estimated based on the input image data. And automatic adjustment of sharpness is enabled.
[0057]
Further, according to the above embodiment, the amount of data required for processing is reduced, more accurate and accurate sharpness processing coefficients can be obtained, and an output image having preferable sharpness can be obtained.
[0058]
Further, according to the above embodiment, it is possible to obtain an output image having preferable sharpness in which human visual characteristics are further considered by automatic adjustment.
[0059]
In the first and second embodiments, the printer apparatus 1 has been described as a specific example. However, the present invention is not limited to this. The above processing is performed in a digital still camera, and the processing is provided in the digital still camera. It may be displayed on a liquid crystal monitor. Alternatively, the image data may be captured by a scanner, and after performing the above processing, the image data may be displayed on a monitor connected to a computer. As described above, the image processing method according to the present invention may be performed by a printer device, a computer terminal, a digital still camera, a scanner, a mobile phone, or a combination thereof.
[0060]
【The invention's effect】
As described above, according to the image processing device or the scene estimating device according to the present invention, it is possible to estimate a shooting scene by a simple method.
[Brief description of the drawings]
FIG. 1 is a diagram exemplifying a hardware configuration of a printer device 1 to which an image processing method according to the present invention is applied, focusing on a control device 2 thereof.
FIG. 2 is a diagram showing a configuration of a first image processing program 5 which is executed by a control device 2 (FIG. 1) and realizes an image processing method according to the present invention.
FIG. 3 is a diagram exemplifying an unsharp mask filter 600 used when a band processing unit 524 generates a differential image.
FIG. 4 is a diagram exemplifying a correspondence relationship between a sharpness intensity value and a shooting scene, and a correspondence relationship between a shooting scene and a sharpness change amount.
FIG. 5 is a flowchart showing a first operation (S10) of the printer device 1 (image processing program 5).
FIG. 6 is a diagram illustrating a data format of image data including tag data.
FIG. 7 is a diagram illustrating a configuration of a second image processing program 52.
FIG. 8 is a flowchart illustrating an operation (S12) of a second image processing program 52;
FIG. 9 is a diagram illustrating another method in which the shooting scene estimating unit 530 associates a sharpness intensity value and tag data with a shooting scene.
FIG. 10A illustrates a central rectangular area where an intensity value calculating unit 520 calculates a sharpness intensity value, and FIG. 10B illustrates a rectangular area where the intensity value calculating unit 520 calculates a sharpness intensity value. It is a figure which illustrates a set.
[Explanation of symbols]
1 ... Printer device
10 ・・・ Printer body
2 ... Control device
20 ・・・ Control device body
202 CPU
204 ・・・ Memory
22 Communication device
24 ・・・ Recording device
240 ・・・ Recording medium
26 ... UI device
5, 52 ... image processing program
500: scene determination unit
510 ・・・ Image data acquisition unit
520... Intensity value calculation unit
522... Brightness / luminance signal converter
524 bandwidth processing section
526 ··· Sharpness measurement unit
530... Shooting scene estimation unit
570: Tag data acquisition unit
540: Sharpness processing unit
550 ... Control unit
560: Image output unit

Claims

An intensity value calculating means for calculating a sharpness intensity value indicating a sharpness intensity of the digital image based on the digital image;
Based on additional information attached to the digital image, scene information extracting means for extracting shooting scene information regarding a shooting scene in which the digital image was shot;
Changing means for changing the sharpness intensity of the digital image,
A control unit for controlling a change process by the change unit based on the sharpness intensity value and the shooting scene information.

Further comprising scene classification means for associating the sharpness intensity value with the classification of the scene in which the digital image was taken
The image processing apparatus according to claim 1, wherein the control unit controls a changing process by the changing unit based on a scene classification corresponding to the calculated sharpness intensity value and shooting scene information.

3. The image processing apparatus according to claim 2, wherein the scene classification unit corrects a sharpness intensity value corresponding to the scene classification according to the number of pixels of the digital image.

The said control means controls the said change means so that the sharpness of the said digital image may be emphasized more, when the said sharpness intensity value and the said photography scene information correspond to a scenery scene. Image processing device.

The said control means controls the said change means so that the sharpness of the said digital image may be made weaker, when the said sharpness intensity value and the said photography scene information correspond to a person scene. Image processing device.

The image processing apparatus according to claim 1, wherein the control unit prohibits the changing process by the changing unit when the sharpness intensity value is lower than a predetermined value.

An intensity value calculating means for calculating a sharpness intensity value indicating a sharpness intensity of the digital image based on the digital image;
An estimating means for estimating a shooting scene of the digital image based on the calculated sharpness intensity value.

Based on the additional information attached to the digital image, further comprising scene information extracting means for extracting shooting scene information regarding a shooting scene in which the digital image was shot;
8. The scene determination device according to claim 7, wherein the estimating unit estimates a shooting scene based on the calculated sharpness intensity value and the extracted shooting scene information.

9. The scene determination according to claim 8, wherein the estimating unit estimates that the photographed scene is a person scene when at least one of the calculated sharpness intensity value and the extracted photographed scene information corresponds to a person scene. apparatus.

Based on the digital image, calculate a sharpness intensity value indicating the sharpness intensity of the digital image,
Based on the additional information attached to the digital image, extract shooting scene information regarding a shooting scene in which the digital image was shot,
An image processing method for changing the sharpness intensity of the digital image based on the calculated sharpness intensity value and the extracted shooting scene information.

Based on the digital image, calculate a sharpness intensity value indicating the sharpness intensity of the digital image,
A scene determination method for estimating a shooting scene of the digital image based on the calculated sharpness intensity value.

In an image processing apparatus including a computer,
Calculating, based on the digital image, a sharpness intensity value indicating the intensity of sharpness of the digital image;
Extracting, based on the additional information attached to the digital image, shooting scene information regarding a shooting scene in which the digital image has been shot;
Changing means for changing the sharpness intensity of the digital image,
Changing the sharpness intensity of the digital image based on the sharpness intensity value and the shooting scene information.

In a scene estimation device including a computer,
Calculating, based on the digital image, a sharpness intensity value indicating the intensity of sharpness of the digital image;
Estimating a shooting scene of the digital image based on the calculated sharpness intensity value.