JP2009077241A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP2009077241A
JP2009077241A JP2007245397A JP2007245397A JP2009077241A JP 2009077241 A JP2009077241 A JP 2009077241A JP 2007245397 A JP2007245397 A JP 2007245397A JP 2007245397 A JP2007245397 A JP 2007245397A JP 2009077241 A JP2009077241 A JP 2009077241A
Authority
JP
Japan
Prior art keywords
image quality
image
correction amount
data
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007245397A
Other languages
English (en)
Other versions
JP5034820B2 (ja
Inventor
Takayoshi Kojima
貴義 小嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2007245397A priority Critical patent/JP5034820B2/ja
Priority to US12/210,015 priority patent/US7924326B2/en
Publication of JP2009077241A publication Critical patent/JP2009077241A/ja
Application granted granted Critical
Publication of JP5034820B2 publication Critical patent/JP5034820B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

【課題】画像ファイルの画質に基づく評価により、画像ファイルの画質調整の指標を提供可能とする。
【解決手段】画像データを出力するにあたり該画像データに画質調整を行う画像処理装置に、前記画像データの画質特徴を示す特徴量を算出する特徴量算出手段と、前記特徴量と画質目標値との比較に基づいて画質調整の補正量を算出する補正量算出手段と、前記補正量に基づいて画質調整後の画質を評価する画質評価手段と、を備えさせる。
【選択図】図4

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関し、特に、画像データの画質調整を実行可能な画像処理装置、画像処理方法および画像処理プログラムに関する。
従来、画質調整を行う際には、表示されている画像を見ながらユーザが画質調整したり、予め定められた画質目標値や画像データ解析結果から求められた画質目標値に対し自動補正したりすること知られている(例えば特許文献1,2,3参照)。このような自動補正においては、自動補正された結果を画面に表示し、ユーザが結果を確認できるようになっている。また、画像同士を比較して、類似度合を判定する技術も知られている(例えば特許文献4参照)。
特開2002−314809号公報 特開2002−314834号公報 特開2003−250056号公報 WO002/86821
しかしながら、画質調整には各人の嗜好があり、元画像と自動調整後の画像の択一では完全には対応できない。とは言え、ユーザ自身で、レタッチ等により各人の嗜好にあわせた画質調整を行おうとしても、どのような画質調整を行えばよいか分からず、画質調整の指標(指針)の提供が望まれていた。さらに、自動調整・レタッチに関わらず、ディスプレイ上ではユーザの嗜好にあった結果が表示されていても、印刷結果が表示結果と異なることもあり、印刷結果が想定したものになるか否かの指標の提供も望まれていた。
ところで、近年、デジタルスチルカメラ(DSC)では、記憶素子の低価格化に伴い、記憶媒体の容量が増加している。そのため、気軽に写真を撮れるようになったが、大量の写真の整理が問題となる。記念として残す写真であれば全てを残せばよいが、目的を持って撮影した写真では、大量の画像データから写真の出来不出来に応じて取捨選択する必要がある。このような実情に鑑みて、大量の画像データを取捨選択する際の指標の提供も望まれていた。
また、DSCではJPEGファイル等、デモザイク処理や圧縮処理を実行済みのファイル形式で保存するのが一般的であるが、レタッチの自由度向上のためにRAW形式での保存も増加傾向にある。何れか一方のファイル形式しか保存されなければ問題は無いが、JPEGとRAWの双方が保存されるとユーザは何れのファイル形式を選択すべきか(保存対象、処理対象として)迷うことになる。従って、複数のファイル形式が保存された場合に、何れのファイル形式を選択すべきかの指標の提供が望まれていた。
以上の課題のうち少なくとも1つは、いずれも理想的な画質に調整するための画質調整の指標を提供することにより解決される。従って、本発明は、画像ファイルの画質に基づく評価により、画像ファイルの画質調整の指標を提供可能な画像処理装置、画像処理方法及び画像処理プログラムの提供を目的とする。
前記課題を解決するために、本発明の画像処理装置は、画像データの画質調整を実行可能な画像処理装置が、特徴量算出手段と補正量算出手段と画質評価手段とを備える構成としてある。
前記構成において、特徴量算出手段が前記画像データの画質特徴を示す特徴量を算出し、補正量算出手段が前記特徴量と所定の画質目標値との比較に基づいて画質調整の補正量を算出する。そして画質評価手段が前記補正量に基づいて画質を評価する。前記画質特徴を示す特徴量とは、例えば各種画質調整処理にて調整されるパラメータ値に対応するパラメータを各画像データから作成したものである。より具体的には、例えば、画像データをヒストグラム化して作成されたり、画像データの空間周波数分布の分析により作成されたりする。
前記画質目標値は、例えば定量評価と官能評価による画像評価によって予め定められた画像の出力結果が最適となる画像パラメータである。補正量は特徴量を画質目標値に修正するための画質調整パラメータである。また、前記評価は補正量に基づいて行われ、各補正量に画質調整処理の種類に応じて画質劣化度合を重み付けした値を利用して行われてもよい。すなわち、画像ファイルの補正耐性指標が提供されることになる。また、例えば、所定の画質劣化無しを意味する値から減算したものが評価値とすると、劣化無しの値から値が減少するにつれて画質が悪くなることを意味するため、ユーザにとって評価を把握しやすくなる。
本発明の選択的な一側面として、少なくとも同一の画像データから派生したJPEGデータとRAWデータとを含むファイル群に対し、前記特徴量算出手段が前記JPEGデータに基づいて特徴量を算出し、前記JPEGデータに対する前記画質評価手段の評価結果が所定レベルよりも良い場合は前記JPEGデータを出力対象とするとともに、前記JPEGデータに対する前記画質評価手段の評価結果が所定レベルよりも悪い場合は前記RAWデータを出力対象とするファイル選択手段を備える構成としてある。
該構成において、JPEGデータは少なくともデモザイク処理と圧縮処理とが行われており、一般にRAWデータよりもビット深度が小さい。従って、JPEGデータから算出された特徴量に基づいて作成された評価が所定レベルよりも低い場合は、より画質調整耐性の高いRAWデータを出力対象に選択する。つまり、JPEGデータに基づいて画質調整しても画質劣化が起こりにくい場合には、利用者が多く且つ容量が少なくて済むJPEGデータを利用し、JPEGデータを画質調整すると画質劣化が激しい場合にはRAWデータを選択する。
本発明の選択的な一側面として、画像データに対するユーザのレタッチ結果に基づいてユーザ補正量を記憶するユーザ補正量記憶手段と、前記画質目標値を前記ユーザ補正量に基づいて修正する目標値修正手段と、を備える構成としてある。
該構成において、実際にユーザが補正したレタッチ結果を画質目標値に反映させることで、特徴量算出手段と補正量算出手段と画質評価手段とで実行される評価結果及び、補正量算出手段により算出される補正量で行われる画質調整が、よりユーザの嗜好を反映したものになる。
本発明の選択的な一側面として、前記評価結果が所定レベル範囲にあるファイルを所定処理の対象として選別するファイル選別手段を備える構成としてある。すなわち、評価結果に応じて、より好適な評価が下された画像データと、評価の低い画像データとを選別する。選別とは、例えば、評価に応じて記憶先を分けたり評価の低い画像データを削除したりすることであり、画質の良悪でファイル選別したいユーザの利便性が向上する。
本発明の選択的な一側面として、前記画質評価手段の評価結果を前記画像データとともに表示する表示手段を備える構成としてある。このとき表示される画像データは、前記補正値による画質調整後のものであっても良いし、画質調整前のものであっても良いし、両者であってもよい。すなわち、所定の画質目標値と一致するように画像データを補正すると、どの程度画質劣化が発生するかの評価と画像とをユーザが視認可能になる。ユーザは、視認した評価を勘案しつつ、実際の処理を実行するか否かを判断することができる。また、評価を視認しつつ、自らレタッチ処理を実行して画質劣化がひどくならない程度の画質調整を実行可能になる等、ユーザの判断を補助することができる。
本発明の選択的な一側面として、前記補正量算出手段は、画質調整の種類毎に補正量を算出し、前記画質評価手段は、各画質調整による画質劣化の度合を各補正量に重み付けして合計することにより、画質調整後の画質を総合的に評価する構成としてある。前記画質調整の種類とは、例えば、レベル補正、トーンカーブ補正、シャープネス調整、コントラスト調整、ノイズ低減等である。すなわち、複数種類の画質調整が必要となる場合であっても、各画質調整の画質劣化に対する影響度合を考慮して、各補正量に画質調整処理の種類に応じて画質劣化度合を重み付けした値を合計することで総合的な影響度合を算出する。よって、画質調整種類毎の評価のみならず、必要な画質調整が全て実行された場合の補正体制指標が提供されることになる。
前述した画像処理装置は、他の機器に組み込まれた状態で実施されたり他の方法とともに実施されたりする等の各種の態様を含む。また、本発明は前記画像処理装置を備える画像処理システム、前述した装置の構成に対応した工程を有する制御方法、上述した装置の構成に対応した機能をコンピュータに実現させるプログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体、等としても実現可能である。これら画像処理システム、画像処理方法、画像処理プログラム、該プログラムを記録した媒体、の発明も、前述した作用、効果を奏する。むろん、請求項2〜6に記載した構成も、前記システムや前記方法や前記プログラムや前記記録媒体に適用可能である。
以下、下記の順序に従って本発明の実施形態を説明する。
(1)画像処理装置の構成:
(2)画像の保存形式:
(3)指標算出処理:
(4)算出された指標を利用した出力処理:
(1)画像処理装置の構成:
以下、図1,2を参照して本発明の実施形態にかかる画像処理装置の構成について説明する。本実施形態においては、画像処理装置としてフォトストレージビューワ(PSV)を例にとって説明を行う。無論、本発明の画像処理装置はPSVに限るものではなく、入力された画像データの印刷を行うフォトプリンタ、画像撮影や再生が出来るデジタルスチルカメラ、レタッチアプリケーション等、画質調整処理を行うものであれば様々なものに適用可能である。
図1はPSV100の外観斜視図である。同図に示すように、PSV100は、本体の一表面に設けられた液晶ディスプレイ17、液晶ディスプレイと同じ面に設けられた操作パネル22、入力端子(端子21)、電源端子35、挿入されたメモリカード(スマートメディア、コンパクトフラッシュ(登録商標)、マルチメディアカード(登録商標)、xD-Picture Card、メモリースティック等)の読み書きを行うスロット19、を備えている。
PSV100は、入力端子に接続された画像処理装置やスロットに挿入されたメモリカードに記憶されている画像ファイル、もしくは内蔵された記憶媒体に記憶された画像ファイルを指定して読込んで後述のHDDに保存する。また保存された画像ファイルや読込んだ画像ファイルに対してデコードや画質調整処理を行って液晶ディスプレイに表示する処理を行う。
図2はPSV100の電気的構成の概略を示すブロック図である。同図に示すように、PSV100は、CPU10aと、RAM10bと、ROM12と、HDD14(Hard Disk Drive)(不揮発性記憶媒体)と、液晶ディスプレイドライバ16と、液晶ディスプレイ17と、カードインターフェース18(カードI/F)と、スロット19と、外部機器接続インターフェース20(外部I/F)と、操作パネル22と、を備えている。PSV100は、スロット19に挿入されたメモリカードに対しカードI/Fを介して接続可能である。また、外部I/Fに所定のケーブルを介して接続されたデジタルスチルカメラ等の外部機器とも接続可能である。
CPU10aとRAM10bはPSV100の制御部10を構成し、制御部10では、CPU10aがRAM10bをワークエリアとして使用しながら、ROM12やHDD14に記憶されている各種プログラムを実行する。本実施形態では、制御部10はROM12に記憶されているファームウェア(F/W)を読み出して実行する。実行されるF/Wは、概略、特徴量算出部M1と、補正量算出部M2と、画質評価部M3と、補正部M4と、出力部M5と、を備える。各部M1〜M5は本発明の各手段を構成する。
特徴量算出部M1は、画像データをRGBデータ化し、該RGBデータの解析により画質特徴を示す特徴量を算出する。例えば、特徴量算出部M1は、RGBデータから明度、彩度、色相、空間周波数分布、等の統計値を作成し、該統計値に基づいて画像データの特徴量を作成する。本実施形態においては、F/WにJPEGデコーダを搭載したものを想定しているため、解析対象となる画像データにはJPEGデータもしくはRGBデータを利用するものとして記載するが、無論、デコーダさえ搭載していればいかなる画像フォーマットが解析対象となっても構わない。
補正量算出部M2は、特徴量と画質目標値との比較に基づいて画質調整の補正量を算出する。ここで画質目標値とは、定量評価と官能評価による画像評価によって予め定められた画像の出力結果が最適となる画像パラメータである。また、補正量とは特徴量を画質目標値に修正するための画質調整パラメータである。つまり、補正量算出部M2の算出した補正値に基づいて画質調整を行うと、画像データの特徴量が画質目標値に補正されることになる。
画質評価部M3は、補正量に基づいて画質調整後の画質を評価する。該評価は補正量算出部M2の算出した補正量に基づいて行われ、画質調整パラメータに画質調整処理の種類に応じて重み付けした値を利用する。画質評価部M3は、複数種類の画質調整処理が実行される場合には各画質調整パラメータに画質調整処理の種類に応じた重み付けを行って加算すること総合的な評価を行うことも可能である。すなわち、各画質調整処理における画質劣化の度合の高いものほど評価に対する寄与が大きくなる。すると、前記画像データが画質目標値に一致するように画質調整した場合に発生する画質劣化の度合が求まり、画像ファイルの補正耐性指標が求まる。無論、単一の画質調整処理の補正量を評価することも可能である。
補正部M4は、補正量算出部M3の算出した補正量で、画像データの補正を行う。但し、補正量算出部M3で算出された画像データと実際に補正対象となる画像データとで画素数が異なる場合は、画素数の相違に応じた修正を行う必要がある。例えばシャープネス補正などのように、周辺画素の影響を補正対象となる画素に畳み込む演算を行う画質調整処理の場合は、畳み込む周辺画素の範囲を調整したり、周辺画素からの影響度を調整したりすることになる。
出力部M5は、印刷装置へのデータ出力や液晶ディスプレイ17へのデータ出力を行う。例えば本実施形態の液晶ディスプレイ17に対する表示処理であれば、表示対象となる画像データの画素数を、ディスプレイサイズの画素数に一致させるスケーリング処理を行う。また、制御部の制御に従って、画質評価処理の算出した評価を画像データに重畳して表示させたりもする。
(2)画像の保存形式:
次に、各画素が単色の情報しか持たない単板式カラーイメージセンサ(CCDやCMOSで実現される。以下、単板式センサと略す。)で撮像されたデータの保存形式について説明する。以下の例では、単板式センサを採用したDSCを例にとって説明を行う。
DSCは、各画素でRGB何れか単色を撮像する。そのため、DSCで最初に作成される画像データは、マトリクス状に配列した各画素が単色の色情報しか持たないRAWデータである。無圧縮のRAWデータはデータサイズが大きく、また各画素の色情報が足りないため、DSCではRAWデータにデモザイク処理と圧縮処理とを行い、JPEGやTIFF等の汎用フォーマットで保存するのが一般的である。但し、記憶媒体の値下がりに伴い、対応機器・対応ソフトウェアの多いJPEGファイルと共に、レタッチ自由度の高いRAWデータを保存する機種も増えてきている。さらに、RAWファイルのみを保存する機種もあり、プレビュー用のJPEGデータがRAWファイルに埋込まれる場合がある。RAWファイルに埋込まれるJPEGデータは、各社仕様によりサイズがまちまちであり、プレビュー用の小サイズからRAWデータと同サイズまである。
前述した実情から、DSCで撮像された画像ファイルは、例えばJPEGファイルとRAWファイルの双方を保存しつつ互いに関連付けられたファイル群として保存されることがある。無論、ファイル群はJPEGファイルとRAWファイルに限るものではなく、同一のRAWデータから派生した複数種類の画像データをまとめたものであったり、解像度・画素数・圧縮の有無・保存フォーマット・画質調整の程度・画質調整の有無・RAW現像の有無、の少なくとも1つが異なるファイルを、互いに関連付けて保存したものであったりしても良い。なお、言うまでも無いが、ファイル群にはRAWデータそのものも含みうる。
図3はファイル群の説明図である。同図では、同一ファイル群に属するファイルには同一のファイル名を付し、群内のファイル識別は拡張子で行っている。同図において、ファイル群1はJPEGファイルとRAWファイル、ファイル群2はJPEGファイルのみ、ファイル群3はRAWファイルのみ、ファイル群4はファイル内にJPEGデータが埋め込まれたRAWファイル、でそれぞれ構成されている。
同一の機種で作成されるファイル群は、基本的には、ファイル群1〜4の何れか1つに統一された仕様で作成・保存される。しかし、例えば、RAW保存とJPEG保存とを切換えて選択できる機種であれば、複数種類のファイル群が混在するファイル保存環境も考えられる。また、DSCからPCなどにデータを転送してレタッチや印刷を行う場合は、複数種類のDSCから転送されてきたデータが混在する環境も考えられる。
以上のように、RAWとJPEGの双方が保存されている場合は、ユーザは何れを保存対象・画質調整対象として選択すべきか迷うことになる。例えば、僅かな画質劣化しか伴わない画質調整で済むのであればJPEGファイルで十分であるし、大きな画質劣化を伴う画質調整が必要であれば画質劣化を低減するためにビット深度の大きいRAWファイルを選択するのが好ましい。しかし、ユーザとって、表示された画像を見てもどの程度の画質調整が必要かの判断は難しい。加えて、大量のファイルが保存されている場合は、全ての画像を見て取捨選択するのは大変な作業になる。そこで、以下の指標算出処理を行って各画像ファイルの画質調整耐性を評価し、該評価をユーザに通知することによりユーザの負担を減らしたり、評価結果に応じた自動選別処理を行ったりする。
(3)指標算出処理:
以下、図4のフローチャートを参照して、各ファイル群の指標算出処理について説明する。指標算出処理とは、例えば自動補正機能により画像データを解析して画像データの各パラメータを基準値に近づけるために必要な補正量を作成し、該画像データの指標を算出する処理である。なお、基準値とは、例えば定量評価と感応評価による画像評価によって予め定められた画像の出力結果が最適となるパラメータの目標値である。また、指標とは、各ファイル群を構成する画像の画質を評価するものであり、例えば画像データを目標値に補正した場合の画質維持度合を表すものである。
該処理は、該処理単独での実行の他、印刷処理、表示処理、ファイル保存処理、転送処理、選別処理等の際に呼び出されて実行可能であり、複数の画像データから処理対象となる画像データを選別する際に利用される。また、レタッチ処理の際に呼び出されて処理対象画像の指標を算出し、レタッチアプリケーションが算出された指標を表示してユーザの判断基準とすることも可能である。無論、画像ファイルが作成される都度実行し、作成された指標を各画像ファイルに対応付けて保存しておけば、印刷処理や表示処理や転送処理や選別処理等の際には、作成済みの指標を利用すればよいので実行されずともよい。
処理が開始されると、制御部10は、ステップS100で解析対象画像を選択する。該選択においては、解析対象画像にJPEGファイルが含まれていれば、該JPEGファイルを優先的に選択する。一方、RAWファイルの選択順位を最も低くする。すなわち、最も広く利用されているフォーマットの画像ファイルを優先選択すると共に、解析前にRGBデータ作成処理(デモザイクやガンマ補正等)が必要となるRAWファイルの優先度を最も低くする。
ステップS100の処理はステップS102〜S116で具体的に実行される。まず、ステップS102でJPEGファイルの有無を判断する。すなわち図3のファイル群1やファイル群2のタイプのファイル群であるか否かを判断する。ファイル群にJPEGファイルが存在する場合は、ステップS104に進んでJPEGファイルを解析対象画像に指定する。一方、ファイル群にJPEGファイルが存在しない場合は、ステップS106に進む。
ステップS106では、RAWファイルの有無を判断する。ファイル群にRAWファイルが存在する場合はステップS108に進み、ファイル群にRAWファイルが存在しない場合はステップS116に進んでエラー処理を行って処理を終了する。但し、JPEG以外のフォーマットをRGBデータに展開可能であれば、ステップS102とS106の間に、その他ファイルフォーマットの存在の有無を判断する判断分岐を設けても構わない。その他ファイルフォーマットが存在する場合は、存在したファイルフォーマットを解析対象画像に指定することになる。
ステップS108では、RAWファイルにJPEGデータが埋込まれているか否かを判断する。すなわち図3のファイル群4のタイプのファイル群であるか否かを判断する。このように埋め込みJPEG画像をRAWファイルよりも優先する理由は、前述したようにデコーダの搭載の有無によるものであり、RAWデータを高速にRGBデータに変換可能であれば、RAWデータを優先しても構わない。JPEGデータが埋め込まれている場合はステップS110に進み、埋込まれているJPEGデータを解析対象画像に指定する。一方、JPEGデータが埋込まれていない場合はステップS112に進む。
ステップS112では、少なくともデモザイク処理を行ってRAWデータをRGBデータに変換する(RAW現像)。但し、本ステップで実行されるRAW現像のデモザイク処理は、簡略的なものでよい。本ステップでRAW現像されたデータは、実際に表示や印刷に利用されるわけではなく、解析対象画像のパラメータ採取が目的だからである。
続くステップS114では、RAWデータから作成されたRGBデータを解析対象画像に設定する。
以上のように、解析対象画像が設定されると、ステップS200で画像の解析と、各画質調整処理における調整パラメータの作成が行われる。調整パラメータの作成は、例えば、以下のように具体的に実行される。
・コントラスト、シャドー、ハイライトについては、画像データからシャドウポイントとハイライトポイントとを検出して基準値に基づくレベル補正値と、輝度ヒストグラムの伸張度合をパラメータとする。また、輝度標準偏差を基準値に補正するトーンカーブ補正値を調整パラメータとする。
・明るさについては、画像データを9分割した個々の領域から計算される輝度値に基づいて画像が暗い(露出不足)か明るい(露出超過)かを判定し、明るさを基準値に補正するトーンカーブを調整パラメータとする。
・カラーバランスについては、画像データのR成分、G成分、B成分の各ヒストグラムからカラーバランスの偏りを分析し、R成分、G成分、B成分の各トーンカーブをRGB各成分に対する基準値に補正する補正値を調整パラメータとする。
・彩度については、画像データの彩度分布を分析し、基準値に彩度を強調する補正値を調整パラメータとする。したがって、低彩度の画像データほど彩度強調のレベルが大きくなる調整パラメータとなる。
・シャープネスについては、画像データの周波数とエッジの強度分布を解析し、基準値に基づくアンシャープマスクを調整パラメータとする。基準値は、周波数分布に基づいて決定され、高周波画像データ(風景等)ほど基準値が小さくなり、低周波画像データ(人物等)ほど基準値が大きくなる。また、アンシャープマスクの適用量は、エッジ強度分布に依存しており、ぼけた特性を有する画像データほどその適用量が大きくなる。
・記憶色については、一般的に、記憶色と呼ばれる「肌色」、「緑色」、「空色」等について、画像データから該当する画層を抽出し、好ましいと思われる色(目標値)になるよう補正する補正値を調整パラメータとする。
以上の調整パラメータの目標画質(基準値や目標値)は、1種類のみならず、人物画像、風景画像といった画像種類毎に用意されても良い。
ところで、前記基準値は、所定の値を一つ指定するものであってもよいし、所定範囲を指定するものであってもよい。所定の値を一つ指定する場合、記憶色を例にとって説明すると、例えば「肌色」の目標値をL色空間でL=70,a=20,b=20、「緑色」の目標値を色相120°、「空色」の目標値を色相260°にそれぞれ固定する。従って、調整パラメータは固定された目標値に画質調整するための補正値となる。
一方、目標値に範囲を持たせた場合は、例えば「肌色」は、色相20〜70°,彩度10〜50%,明度40〜90%の範囲を、「緑色」は色相100〜150°,彩度20%〜の範囲を、「空色」は色相240〜270°,彩度20%〜の範囲を、それぞれ目標値とする。従って、該当する画層が範囲内に収まる色であれば補正せず、範囲外の色であっても範囲の近辺の色であれば僅かな補正で目標の範囲内に調整出来る。つまり、複数の画像データ同士が画一的な色合いに補正されず、元の画像データの色合いが反映された補正結果になる。また、補正量が必要以上に大きくなることもなく、それぞれの画質調整処理の結果が画像全体に与える影響も少なくて済む。
ステップS300では、画質評価手段が、前記ステップS200で算出された各調整パラメータに基づいて画質調整の指標を算出する。画質調整処理は、各処理の特性に応じて画質劣化の度合が異なるので、各処理の画質劣化度合を考慮した指標の算出が必要となる。そこで各種補正量(a,b,c,d,・・・)に各補正量の画質劣化度合を重み(A,B,C,D,・・・)として掛け合わせ、点数(Score=100−(aA+bB+cC+dC+・・・))を算出する。但し、各補正量は100で正規化されているものとする。この点数が画質劣化の度合を示す指標となる。無論、指標算出の方法は、前述の重み付けした補正量を加算するものに限られず、どのような方法で採点されても構わない。
すなわち指標が高いほど画質劣化せずに目標値への画質調整が可能であり、指標が低いほど目標値へ画質調整した場合に大きく画質劣化することになる。この指標をユーザに通知するにあたり、例えば、点数90〜100の場合には「劣化はほとんど見られない」として「☆☆☆」を、点数60〜80の場合には「劣化は余り見られない」として「☆☆」を、点数50〜60の場合には「劣化が目立つことがある」として「☆」を、点数0〜50の場合には「劣化が発生する」として「(☆の表示無し)」を、それぞれ指標として表示することが考えられる。
点数算出では、例えば、一般に画質劣化の度合が高いシャープネスの重みを高めに設定し、一般に画質劣化の度合が低めのコントラストの重みを低めに設定する。より具体的には、レベル補正の重みを「2」、トーンカーブの重みを「2」、シャープネスの重みを「3」、コントラストの重みを「1」、ノイズ低減の重みを「2」、等とする。このとき各補正量が、シャープネス「2」、トーンカーブ「4」、シャープネス「3」、コントラスト「0」、ノイズ低減「3」、であれば、Score=100−(2×2+2×4+3×3+1×0+2×3)=73、である。よって、目標値への補正を行っても、画質劣化は余り見られない画像であり、「☆☆」を表示する。
(3)算出された指標を利用した出力処理:
以上のように画質評価部で算出された指標は、各種処理で利用される。例えば、印刷処理、ディスプレイへの表示処理、他の機器や記録メディアからPSV100への保存処理、他の機器や記録メディアへのファイル転送処理、必要ファイルと不要ファイルとの選別処理、等のファイルを入出力する処理において利用される。すなわち、これらの処理においては、前記指標算出処理で算出された指標が閾値以上であるか否かの判断と、ファイル群におけるRAWファイルの有無判断と、に基づいて処理対象ファイルを選択する。
図5に、指標とファイル群の構成とに基づく、処理対象ファイルの選択のされかたの一例を示した。同図では「画質劣化が目立たない」ファイルを処理対象とするように、閾値を60とした例について示してある。無論、閾値はユーザが各々選択して指定可能である。同図では、制御部10で実行されるプログラム(ファイル選択手段)により以下(a)〜(d)のように処理対象ファイルを決定している。
(a)JPEGファイルに基づいて算出された指標が閾値60以上のファイル群A,B,F,G,HではJPEGファイルを処理対象ファイルとする。
(b)JPEGファイルに基づいて算出された指標が閾値60を下回るとともにRAWファイルを有するファイル群CについてはRAWファイルを処理対象ファイルとする。
(c)JPEGファイルJPEGファイルに基づいて算出された指標が閾値60を下回るとともにRAWファイルを持たないファイル群E,Jについては処理対象外とする。
(d)RAWファイルに基づいて指標算出されたファイル群D,Iについては、RAWファイルを処理対象ファイルとする。RAWファイルは、RAW現像次第では画質調整耐性が高まることで指標が向上する可能性があること考慮したためであるが、無論、処理対象外とすることも考えられる。
処理対象ファイルに選択されたファイルについては、前述した処理が実行される。例えば印刷処理や表示処理であれば、補正量算出部が算出した補正量に基づいた画質調整が行われた上で印刷や表示が行われる。よって、画質劣化せずに好ましい色合いや明るさに調整された画像のみが印刷・表示されるようになる。
また、転送処理であれば処理対象ファイルのみを転送先に転送し、選別処理であれば処理対象ファイルと処理対象外ファイルとで保存先を変えたり処理対象外ファイルを削除したりする。よって、綺麗な画像や綺麗に補正可能な画像(画質劣化せずに好ましい色合いや明るさに調整可能なファイル)と、綺麗に補正することが難しい画像(好ましい色合いや明るさに調整すると画質劣化を引き起こすファイル)とを選別することにより、ユーザがどの画像を残すかの選択を補助することができる。
また、例えば、レタッチ処理においても前記指標を利用可能である。図6にレタッチ処理に指標を利用した表示例を示した。レタッチ処理においては、解析対象画像は選択済みなので、レタッチが実行される度に、図4に示す処理のうちステップS200〜S400の処理が繰り返し実行されることになる。具体的には、ユーザが画質調整を行う都度、調整後の画像データを目標値に補正する場合の指標を算出し、該指標を画面上に表示する。このとき、目標値に補正するために必要な画質調整処理の具体的な数値を表示すると、ユーザがレタッチする際の目安になり好適である。
また、ユーザによっては初期設定の目標値が嗜好に合わない場合もある。そこで、レタッチ処理と補正値算出処理とを連動させ、レタッチアプリケーションにおいてユーザが実際に行ったレタッチ結果を記憶し(ユーザ補正量記憶手段)、該レタッチ結果を新たな目標値とする(目標値修正手段)と好適である。例えば、図7のように、人物が暗めに写されている画像(指標85)において、人物の肌色を初期設定の目標値(指標100)よりも暗め(指標95)に修正させるレタッチが行われた場合、このレタッチの補正値を記憶しておく。以降の目標値を補正値で修正することにより、レタッチ時の指標がユーザの嗜好に合ったものになると共に、印刷処理や表示処理においてもユーザの嗜好に合った補正が行われることになる。なお、ユーザ補正量については、ユーザのレタッチの度にその内容のみを反映させてもよいし、ユーザのレタッチしてきた履歴を記憶しておいて、該履歴を総合的に反映させてもよい。
なお、本発明は上述した実施形態や変形例に限られず、上述した実施形態および変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術並びに上述した実施形態および変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、等も含まれる。
PSVの外観斜視図である。 PSVの電気的構成の概略を示すブロック図である。 ファイル群の説明図である 指標算出処理のフローチャートである。 指標とファイル群の構成とに基づく、処理対象ファイルの選択のされかたの一例である。 レタッチ処理に指標を利用した表示例である。 レタッチ結果と目標値とが異なる場合の説明図である。
符号の説明
10…制御部、10a…CPU、10b…RAM、14…HDD、16…液晶ディスプレイドライバ、17…液晶ディスプレイ、18…カードインターフェース、19…スロット、20…外部機器接続インターフェース、21…端子、22…操作パネル、35…電源端子、100…フォトストレージビューワ、M1…特徴量算出部、M2…補正量算出部、M3…画質評価部、M4…補正部、M5…表示部

Claims (8)

  1. 画像データの画質調整を実行可能な画像処理装置であって、
    前記画像データの画質特徴を示す特徴量を算出する特徴量算出手段と、
    前記特徴量を所定の画質目標値に画質調整するための補正量を算出する補正量算出手段と、
    前記補正量に基づいて画質を評価する画質評価手段と、
    を具備することを特徴とする画像処理装置。
  2. 少なくとも同一の画像データから派生したJPEGデータとRAWデータとを含むファイル群に対し、前記特徴量算出手段が前記JPEGデータに基づいて特徴量を算出し、
    前記JPEGデータに対する前記画質評価手段の評価結果が所定レベルよりも良い場合は前記JPEGデータを出力対象とするとともに、前記JPEGデータに対する前記画質評価手段の評価結果が所定レベルよりも悪い場合は前記RAWデータを出力対象とするファイル選択手段を備える請求項1に記載の画像処理装置。
  3. 前記ファイル選択手段は、前記評価結果が所定レベル範囲にあるファイルを出力対象とする請求項1または請求項2に記載の画像処理装置。
  4. 画像データに対するユーザのレタッチ結果に基づいてユーザ補正量を記憶するユーザ補正量記憶手段と、
    前記画質目標値を前記ユーザ補正量に基づいて修正する目標値修正手段と、
    を備える請求項1〜請求項3の何れか一項に記載の画像処理装置。
  5. 前記画質評価手段の評価結果を前記画像データとともに表示する表示手段を備える請求項1〜請求項4の何れか一項に記載の画像処理装置。
  6. 前記補正量算出手段は、画質調整の種類毎に補正量を算出し、
    前記画質評価手段は、各画質調整による画質劣化の度合を各補正量に重み付けして合計することにより、画質調整後の画質を総合的に評価する請求項1〜請求項5の何れか一項に記載の画像処理装置。
  7. 画像データの画質調整を実行可能な画像処理方法であって、
    前記画像データの画質特徴を示す特徴量を算出する特徴量算出工程と、
    前記特徴量と画質目標値との比較に基づいて画質調整の補正量を算出する補正量算出工程と、
    前記補正量に基づいて画質を評価する画質評価工程と、
    を具備することを特徴とする画像処理方法。
  8. 画像データの画質調整を実行可能な画像処理プログラムであって、
    前記画像データの画質特徴を示す特徴量を算出する特徴量算出機能と、
    前記特徴量と画質目標値との比較に基づいて画質調整の補正量を算出する補正量算出機能と、
    前記補正量に基づいて画質を評価する画質評価機能と、
    をコンピュータに実現させることを特徴とする画像処理プログラム。
JP2007245397A 2007-09-21 2007-09-21 画像処理装置、画像処理プログラム Active JP5034820B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007245397A JP5034820B2 (ja) 2007-09-21 2007-09-21 画像処理装置、画像処理プログラム
US12/210,015 US7924326B2 (en) 2007-09-21 2008-09-12 Image quality adjustment processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007245397A JP5034820B2 (ja) 2007-09-21 2007-09-21 画像処理装置、画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012110437A Division JP2012191641A (ja) 2012-05-14 2012-05-14 画像処理装置、画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2009077241A true JP2009077241A (ja) 2009-04-09
JP5034820B2 JP5034820B2 (ja) 2012-09-26

Family

ID=40471178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007245397A Active JP5034820B2 (ja) 2007-09-21 2007-09-21 画像処理装置、画像処理プログラム

Country Status (2)

Country Link
US (1) US7924326B2 (ja)
JP (1) JP5034820B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199740A (ja) * 2010-03-23 2011-10-06 Nikon Corp 画像処理装置、および画像処理プログラム
CN105574059A (zh) * 2014-11-07 2016-05-11 财团法人资讯工业策进会 用于产生一图像的一交互索引码图的电子计算装置及其方法
JP2018537742A (ja) * 2015-11-05 2018-12-20 グーグル エルエルシー エッジ認識双方向画像処理
WO2023157070A1 (ja) * 2022-02-15 2023-08-24 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4495639B2 (ja) * 2005-05-31 2010-07-07 Hoya株式会社 画像記録装置
KR101559583B1 (ko) * 2009-02-16 2015-10-12 엘지전자 주식회사 이미지 데이터 처리 방법 및 이를 적용한 카메라가 부착된 휴대용 전자 장치
KR101906827B1 (ko) * 2012-04-10 2018-12-05 삼성전자주식회사 연속 사진 촬영 장치 및 방법
US8983193B1 (en) * 2012-09-27 2015-03-17 Google Inc. Techniques for automatic photo album generation
US8913152B1 (en) 2012-09-27 2014-12-16 Google Inc. Techniques for user customization in a photo management system
US20150189166A1 (en) * 2013-12-30 2015-07-02 Telefonica Digital España, S.L.U. Method, device and system for improving the quality of photographs
CN104867154A (zh) * 2015-05-29 2015-08-26 华中科技大学 一种基于陡度的遥感图像质量评价方法
WO2020041930A1 (en) * 2018-08-27 2020-03-05 SZ DJI Technology Co., Ltd. Image processing and presentation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001136313A (ja) * 1999-11-05 2001-05-18 Fuji Photo Film Co Ltd プリントシステム
JP2003333381A (ja) * 2002-05-10 2003-11-21 Ricoh Co Ltd 画像評価機能付き撮像装置
JP2004129226A (ja) * 2002-08-08 2004-04-22 Canon Inc 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム、及びコンピュータ可読メモリ
JP2005062993A (ja) * 2003-08-08 2005-03-10 Seiko Epson Corp 画像データの出力画像調整
JP2005151091A (ja) * 2003-11-14 2005-06-09 Seiko Epson Corp 画像補正パラメータを用いた画像処理
JP2006222977A (ja) * 2006-02-17 2006-08-24 Seiko Epson Corp 画像データの出力画像調整
JP2006295316A (ja) * 2005-04-06 2006-10-26 Canon Inc 撮像装置及び撮像方法及びプログラム及び記憶媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3834516B2 (ja) 2001-02-09 2006-10-18 セイコーエプソン株式会社 画像データの出力画像調整
JP3520869B2 (ja) 2001-02-09 2004-04-19 セイコーエプソン株式会社 画像データの出力画像調整
JP4170767B2 (ja) 2001-04-19 2008-10-22 株式会社東芝 画像処理装置
US7362354B2 (en) * 2002-02-12 2008-04-22 Hewlett-Packard Development Company, L.P. Method and system for assessing the photo quality of a captured image in a digital still camera
JP4011933B2 (ja) 2002-02-22 2007-11-21 キヤノン株式会社 画像処理装置およびその方法
US20050212914A1 (en) * 2004-03-25 2005-09-29 Fuji Photo Film Co., Ltd. Method, apparatus, system, and computer executable program for image processing
KR100716977B1 (ko) * 2004-07-23 2007-05-10 삼성전자주식회사 디지털 영상 기기
JP4466261B2 (ja) * 2004-07-30 2010-05-26 カシオ計算機株式会社 撮像装置、明るさ補正方法及びプログラム
JP2006093757A (ja) 2004-09-21 2006-04-06 Olympus Corp 画像処理装置と撮像装置、および画像処理プログラム
JP2006234869A (ja) 2005-02-22 2006-09-07 Fuji Xerox Co Ltd 画質調整方法、画質調整装置、および出力制御装置、並びにプログラム
US7872675B2 (en) * 2005-06-02 2011-01-18 The Invention Science Fund I, Llc Saved-image management
JP2006345319A (ja) * 2005-06-09 2006-12-21 Canon Inc 撮像装置及びその制御方法
US7742083B2 (en) * 2006-04-13 2010-06-22 Eastman Kodak Company In-camera dud image management

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001136313A (ja) * 1999-11-05 2001-05-18 Fuji Photo Film Co Ltd プリントシステム
JP2003333381A (ja) * 2002-05-10 2003-11-21 Ricoh Co Ltd 画像評価機能付き撮像装置
JP2004129226A (ja) * 2002-08-08 2004-04-22 Canon Inc 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム、及びコンピュータ可読メモリ
JP2005062993A (ja) * 2003-08-08 2005-03-10 Seiko Epson Corp 画像データの出力画像調整
JP2005151091A (ja) * 2003-11-14 2005-06-09 Seiko Epson Corp 画像補正パラメータを用いた画像処理
JP2006295316A (ja) * 2005-04-06 2006-10-26 Canon Inc 撮像装置及び撮像方法及びプログラム及び記憶媒体
JP2006222977A (ja) * 2006-02-17 2006-08-24 Seiko Epson Corp 画像データの出力画像調整

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199740A (ja) * 2010-03-23 2011-10-06 Nikon Corp 画像処理装置、および画像処理プログラム
US8928768B2 (en) 2010-03-23 2015-01-06 Nikon Corporation Image processing device and computer-readable computer program product containing image processing program
CN105574059A (zh) * 2014-11-07 2016-05-11 财团法人资讯工业策进会 用于产生一图像的一交互索引码图的电子计算装置及其方法
JP2018537742A (ja) * 2015-11-05 2018-12-20 グーグル エルエルシー エッジ認識双方向画像処理
WO2023157070A1 (ja) * 2022-02-15 2023-08-24 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
JP5034820B2 (ja) 2012-09-26
US7924326B2 (en) 2011-04-12
US20090079852A1 (en) 2009-03-26

Similar Documents

Publication Publication Date Title
JP5034820B2 (ja) 画像処理装置、画像処理プログラム
KR100724869B1 (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을기록한 컴퓨터 판독 가능한 기록 매체
JP3758452B2 (ja) 記録媒体、並びに、画像処理装置および画像処理方法
JP5743384B2 (ja) 画像処理装置及び画像処理方法とコンピュータプログラム
JP5300595B2 (ja) 画像処理装置及び方法、及びコンピュータプログラム
JP4978378B2 (ja) 画像処理装置
JP2002344989A (ja) 画像ファイルの出力画像調整
JP3928704B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体および画像処理プログラム
US7974487B2 (en) System and method for image white balance adjustment
US7433079B2 (en) Image processing apparatus and method
US20080298723A1 (en) Image processing device
US20100182620A1 (en) Image processing device and image processing method
JP4221577B2 (ja) 画像処理装置
US20080211923A1 (en) Imaging apparatus, image processing method, and computer program
US7768674B2 (en) Exposure determining device and exposure determining method
JP2012191641A (ja) 画像処理装置、画像処理プログラム
JP2007098897A (ja) プリンタ
JP4665802B2 (ja) 明度補正処理装置および明度補正判別方法
JP4569659B2 (ja) 画像処理装置
US20100118342A1 (en) Image forming apparatus and program
JP4766644B2 (ja) 画像処理方法および画像処理装置
JP4290303B2 (ja) 画像特徴量取得装置、画像特徴量取得方法、画像特徴量取得プログラムを記録したコンピュータ読み取り可能な記録媒体、画像修整装置、画像修整方法、画像修整プログラムを記録したコンピュータ読み取り可能な記録媒体、画像印刷装置、画像印刷方法、画像印刷プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008147714A (ja) 画像処理装置およびその方法
JP2006345461A (ja) 通信装置、送信制御方法、送信制御プログラムおよび記録媒体
JP4670577B2 (ja) プリンタ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120618

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5034820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250