JP2004013339A

JP2004013339A - Method, device and computer program for image retouching

Info

Publication number: JP2004013339A
Application number: JP2002163371A
Authority: JP
Inventors: Yasushi Hiraoka; 平岡　靖; Shingo Yudasaka; 湯田坂　新吾; Kaoru Nakabayashi; 中林　薫
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-06-04
Filing date: 2002-06-04
Publication date: 2004-01-15

Abstract

<P>PROBLEM TO BE SOLVED: To refine retouched finish by applying retouch fitted to image characteristics. <P>SOLUTION: A high resolution retouch module with standard retouching intensity and a low resolution retouch module with high smoothing intensity are prepared as softwares beforehand. A CPU detects a parameter PT, such as the number of pixels of an image, for specifying output resolution of a digital camera 14 from image data (S120), and determines whether or not the parameter PT indicates high resolution (S130). When the parameter PT is determined to indicate high resolution, the retouch module for high resolution is executed (S200), and when the parameter PT is determined to indicate low resolution, the retouch module for low resolution is executed (S300). Thus, retouched finish can be refined for images shot with a low resolution digital camera as well as for images shot with a high resolution digital camera. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
この発明は、画像データで表わされた画像を修整する技術に関する。
【０００２】
【従来の技術】
従来より、コンピュータでは、画像処理ソフトウェアを使えば、取り込んだ画像データを加工・編集することが容易にできる。これら加工の処理には、画像の明るさや色合い、コントラストなどを、作業者の好みに応じて調整する「手動修整」と、最適となるように自動的に調整する「自動修整」とがある。例えば、デジタルカメラで撮影した写真画像は、デジタルカメラ特有の色かぶりやアンバランスなシャープネスが生じやすいことから、自動修整の処理により、明るさや色合い、コントラストなどの画質を自動的に修整することで、自然な美しさに仕上げることができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、画像の特性によっては、修整が適正とならない場合があり、このために、画像の仕上げが劣ることがあった。例えば、高解像度のデジタルカメラで撮影した画像と、低解像度のデジタルカメラで撮影した画像とは、画質の程度がもともと大きく違うことから、同一の修整では、解像度によっては修整が不適なものとなり、画像の仕上げが劣ったものとなることがあった。
【０００４】
この発明は、上記問題に鑑みてなされたもので、画像の特性に適合した修整を施すことで、修整による仕上げを美しくできるようにすることを目的としている。
【０００５】
【課題を解決するための手段およびその作用・効果】
前述した課題の少なくとも一部を解決するための手段として、以下に示す構成をとった。
【０００６】
この発明の画像修整方法は、
画像データで表わされた画像を修整する画像修整方法であって、
（ａ）前記修整のための処理が規定された修整モジュールを、複数種類用意するステップと、
（ｂ）前記画像の特性に関連があるパラメータを、前記画像データから検出するステップと、
（ｃ）前記検出されたパラメータに基づいて、前記複数種類の修整モジュールから少なくとも一の修整モジュールを選択するステップと、
（ｄ）前記選択された修整モジュールを用いて、前記画像の修整を行なうステップと
を備えることを特徴としている。
【０００７】
この構成の画像修整方法によれば、画像の特性に関連があるパラメータに基づいて選択された修整モジュールでもって、画像の修整がなされる。このために、画像の特性に応じた修整モジュールでもって、その画像の修整がなされる。したがって、この画像修整方法によれば、画像に対して、その画像の特性に適合した修整を施すことが可能となることから、どのような特性の画像であっても修整による仕上げを美しくすることができる。
【０００８】
前記画像データは、デジタルカメラにより撮影された画像を表わす画像データとすることができる。ここで、デジタルカメラとは、ＣＣＤや光電子増倍管等のデジタルデバイスによって捉えた画像をデジタルデータとして記録するカメラであり、デジタルスチルカメラとも呼ばれる。デジタルカメラで撮影した画像は、デジタルカメラ特有の色かぶりやアンバランスなシャープネスが生じやすいが、この構成によれば、自動的に画像を修整することができる。
【０００９】
前記パラメータは、前記デジタルカメラの出力解像度を特定し得るデータである構成とすることができる。高解像度のデジタルカメラで撮影した画像と、低解像度のデジタルカメラで撮影した画像とは、画質の程度がもともと大きく違うことから、同一の修整では、出力解像度によっては修整が不適なものとなる。この構成によれば、パラメータが、デジタルカメラの出力解像度を特定し得るデータであることから、出力解像度に適合した修整を施すことができ、修整による仕上げを美しくすることができる。
【００１０】
前記パラメータをデジタルカメラの出力解像度とした画像修整方法において、前記ステップ（ａ）は、補整強度が相違する第１の修整モジュールと第２の修整モジュールとを用意し、修整の強度が高い側を第１の修整モジュールとし、修整の強度が低い側を第２の修整モジュールとする構成であり、前記ステップ（ｃ）は、（ｃ−１）前記パラメータに基づいて、出力解像度が高低のいずれであるかを判別するステップと、（ｃ−２）前記ステップ（ｃ−１）により前記出力解像度が高いと判別されたとき、前記第１の修整モジュールを選択し、前記ステップ（ｃ−１）により前記出力解像度が低いと判別されたとき、前記第２の修整モジュールを選択するステップとを備える構成とすることができる。
【００１１】
この構成によれば、高解像度のデジタルカメラで撮影した画像も、低解像度のデジタルカメラで撮影した画像も修整による仕上げを美しくすることができる。
【００１２】
この発明の画像修整方法において、前記パラメータは、前記デジタルカメラのメーカを特定するデータとすることもできる。デジタルカメラは、メーカによって、彩度が高いとかノイズが多いとかといった特性を備える。この構成によれば、パラメータが、デジタルカメラのメーカを特定するデータであることから、メーカに適合した修整を施すことができ、修整による仕上げを美しくすることができる。
【００１３】
また、前記パラメータは、前記デジタルカメラの機種を特定するデータとすることもできる。デジタルカメラは、機種によって特性が違うが、この構成によれば、機種に適合した修整を施すことができることから、修整による仕上げを美しくすることができる。
【００１４】
前記パラメータは、前記デジタルカメラに搭載されるＣＣＤを特定するデータとすることもできる。ここで、ＣＣＤとは、Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓの略称で、光を電気信号に変換する撮像素子である。デジタルカメラは、搭載されるＣＣＤによって特性が違うが、この構成によれば、ＣＣＤに適合した修整を施すことができることから、修整による仕上げを美しくすることができる。
【００１５】
前記パラメータは、前記デジタルカメラに搭載されるＣＣＤフィルタが、原色フィルタと補色フィルタのいずれであるかを判別するデータとすることもできる。デジタルカメラは、ＣＣＤ表面に貼り付けられたＣＣＤフィルタが原色フィルタであるか補色フィルタであるかによって特性が違うが、この構成によれば、ＣＣＤフィルタに適合した修整を施すことができることから、修整による仕上げを美しくすることができる。
【００１６】
この発明の画像修整方法において、前記画像データは、画像を表わす実画像データとともに、撮影条件を表わす付加情報を記憶するデータであり、前記ステップ（ｂ）は、（ｂ−１）前記画像データの前記付加情報から前記パラメータを求めるステップを備える構成とすることができる。
【００１７】
ほとんどのデジタルカメラから出力される画像データは、国際標準規格となったＥｘｉｆ形式のデータである。上記構成の画像修整方法によれば、Ｅｘｉｆを始めとする各種形式で記憶された画像データから、上記パラメータを簡単に求めることができる。
【００１８】
この発明の画像修整装置は、
画像データで表わされた画像を修整する画像修整装置であって、
前記修整のための処理が規定された修整モジュールを、複数種類記憶する修整モジュール記憶手段と、
前記画像の特性に関連があるパラメータを、前記画像データから検出するパラメータ検出手段と、
前記検出されたパラメータに基づいて、前記複数種類の修整モジュールから少なくとも一の修整モジュールを選択する修整モジュール選択手段と、
前記選択された修整モジュールを用いて、前記画像の修整を行なう修整手段と
を備えることを特徴としている。
【００１９】
この発明のコンピュータプログラムは、
画像データで表わされた画像を修整する処理をコンピュータに実行させるためのコンピュータプログラムであって、
（ａ）前記修整のための処理が規定された修整モジュールを、複数種類用意する機能と、
（ｂ）前記画像の特性に関連があるパラメータを、前記画像データから検出する機能と、
（ｃ）前記検出されたパラメータに基づいて、前記複数種類の修整モジュールから少なくとも一の修整モジュールを選択する機能と、
（ｄ）前記選択された修整モジュールを用いて、前記画像の修整を行なう機能と
を実現することを特徴としている。
【００２０】
上記構成の画像修整装置およびコンピュータプログラムは、上記画像修整方法と同様な作用・効果を有しており、画像の特性に適合した修整を施すことで、画像の仕上げを美しくできる。
【００２１】
この発明の記録媒体は、この発明のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体を特徴としている。この記録媒体は、この発明の各コンピュータプログラムと同様な作用・効果を有している。
【００２２】
【発明の他の態様】
この発明は、以下のような他の態様も含んでいる。その第１の態様は、この発明のコンピュータプログラムを通信経路を介して供給するプログラム供給装置としての態様である。この第１の態様では、コンピュータプログラムをコンピュータネットワーク上のサーバなどに置き、通信経路を介して、必要なプログラムをコンピュータにダウンロードし、これを実行することで、上記の方法や装置を実現することができる。
【００２３】
【発明の実施の形態】
本発明の実施の形態を実施例に基づき説明する。この実施例を、次の順序に従って説明する。
Ａ．装置の構成：
Ｂ．コンピュータ処理：
Ｂ−１．入力処理：
Ｂ−２．一括自動修整処理
Ｂ−３．高解像度向け修整モジュールと低解像度向け修整モジュール
Ｃ．作用・効果
Ｄ．他の実施形態：
Ｄ−１．第１の他の実施形態：
Ｄ−２．第２の他の実施形態：
Ｄ−３．第３の他の実施形態：
Ｄ−４．第３の他の実施形態：
Ｄ−５．さらに他の実施形態：
【００２４】
Ａ．装置の構成：
図１は、この発明の一実施例を適用するコンピュータシステム１０のハードウェアの概略構成を示すブロック図である。このコンピュータシステム１０は、いわゆるパーソナルコンピュータ（以下、単にコンピュータと呼ぶ）を中心に備え、その周辺にＣＲＴディスプレイ１２、プリンタ１３およびデジタルカメラ１４を備える。コンピュータは、コンピュータ本体１６とキーボード１８とマウス２０を備える。なお、このコンピュータ本体１６には、ＣＤ−ＲＯＭ２２の内容を読み取るＣＤドライブ２４が搭載されている。
【００２５】
コンピュータ本体１６は、中央演算処理装置としてのＣＰＵ３０を中心にバスにより相互に接続されたＲＯＭ３１、ＲＡＭ３２、表示画像メモリ３３、マウスインタフェース３４、キーボードインタフェース３５、ＣＤＣ３６、ＨＤＣ３７、ＣＲＴＣ３８、プリンタインタフェース３９、入出力機用インタフェース４０およびＩ／Ｏポート４１を備える。ＲＯＭ３１は、内蔵されている各種プログラム等を記憶する読み出し専用のメモリである。ＲＡＭ３２は、各種データ等を記憶する読み出し・書込み可能なメモリである。表示画像メモリ３３は、ＣＲＴディスプレイ１２に表示する画像の画像データを記憶するメモリである。
【００２６】
マウスインタフェース３４は、マウス２０とのデータ等のやり取りを司るインタフェースである。キーボードインタフェース３５は、キーボード１８からのキー入力を司るインタフェースである。ＣＤＣ３６は、ＣＤドライブ（ＣＤＤ）２４を制御するＣＤコントローラである。ＨＤＣ３７は、ハードディスクドライブ（ＨＤＤ）４２を制御するハードディスクコントローラである。ＨＤＤ４２には、後述するコンピュータプログラム等が予め記憶されている。
【００２７】
ＣＲＴＣ３８は、表示画像メモリ３３に記憶される表示画像データに基づいてＣＲＴディスプレイ１２における画像の表示を制御するＣＲＴコントローラである。プリンタインタフェース３９は、プリンタ１３へのデータの入出力を制御するインタフェースである。入出力機用インタフェース４０は、外部に接続された入出力機器、この実施例ではデジタルカメラ１４へのデータの入出力を制御するインタフェースである。Ｉ／Ｏポート４１は、シリアル出力のポートを備えており、モデム４４に接続されており、このモデム４４を介して、公衆電話回線４６に接続されている。コンピュータ本体１６は、モデム４４を介して、外部のネットワークに接続されており、特定のサーバ４７に接続可能となっている。
【００２８】
このコンピュータシステム１０では、オペレーティングシステムはＨＤＤ４２に記憶されており、コンピュータ本体１６に電源を投入すると、ＨＤＤ４２のブートブロックに書き込まれたローダに従ってＲＡＭ３２の所定の領域にロードされる。また、デジタルカメラ１４で撮影した画像（カラー写真画像）を加工するフォトレタッチ用ソフトウェア（コンピュータプログラム）は、ＣＤ−ＲＯＭ２２に予め格納されており、所定のインストールプログラムを起動することで、ＣＤドライブ２４からコンピュータ本体１６にインストールされる。このインストールされたコンピュータプログラムは、ＨＤＤ４２に記憶されており、所定の起動命令を受けたときに、ＲＡＭ３２の所定の領域にロードされる。
【００２９】
このフォトレタッチ用ソフトウェアの一部分（後述する一括自動修整部）をＣＰＵ３０が実行することによって本発明の各種構成要件は実現される。このコンピュータプログラムは、前述したように、ＣＤ−ＲＯＭ２２に格納されたものであるが、これに替えて、フロッピィディスク、光磁気ディスク、ＩＣカード等の他の携帯型記録媒体（可搬型記録媒体）に格納された構成としてもよい。また、前述したコンピュータプログラムは、外部のネットワークに接続される特定のサーバ４７から、ネットワークを介して提供されるプログラムデータをダウンロードして、ＲＡＭ３２またはＨＤＤ４２に転送することにより得るようにすることもできる。なお、上記ネットワークとしては、インターネットであってもよく、特定のホームページからダウンロードして得たコンピュータプログラムであってもよい。あるいは、電子メールの添付ファイルの形態で供給されたコンピュータプログラムであってもよい。
【００３０】
以上説明したハードウェア構成を有するコンピュータシステム１０によるフォトレタッチ用ソフトウェアに従う制御処理の様子について次に説明する。図２は、コンピュータ本体１６によって実行されるこのフォトレタッチ用ソフトウェア５０に従う制御処理の様子を示すブロック図である。
【００３１】
図２に示すように、コンピュータ本体１６の内部で動作しているフォトレタッチ用ソフトウェア５０によれば、まず、入力部５１によりデジタルカメラ１４から画像データを取り込む処理を行なう。次いで、入力部５１によって取り込まれた画像データ（以下、元画像データと呼ぶ）Ｄａに対する加工を一括自動修整部５２によって行なう。この一括自動修整部５２によって、元画像データＤａで表わされた画像に対して色を含めた画像の修整を自動的に行なうことができる。一括としたのは、元画像データＤａが複数あるときには、複数の全てを一括して修整することができるためである。この修整を行なう機能は、一括自動修整部５２に備えられる修整モジュール記憶部５２ａとパラメータ検出部５２ｂと修整モジュール選択部５２ｃと修整部５２ｄとの働きによる。
【００３２】
一括自動修整部５２による修整済の画像データＤｂは、フォトレタッチ用ソフトウェア５０によれば、出力部５３により、外部機器へ送られる。また、修整済画像データＤｂは、印刷部５４により、プリンタドライバ６２を介してプリンタ１３へ送られて印刷される。元画像データＤａや修整済画像データＤｂは、ディスプレイドライバ６０を介してＣＲＴディスプレイ１２へ送られて表示もされる。
【００３３】
Ｂ．コンピュータ処理：
Ｂ−１．入力処理：
コンピュータ本体１６のＣＰＵ３０でフォトレタッチ用ソフトウェア５０を実行することで、上述した入力部５１、一括自動修整部５２、出力部５３および印刷部５４を実現している。入力部５１は、前述したように、デジタルカメラ１４から元画像データＤａを取り込むものである。この元画像データＤａの取り込み作業は、図３に示されるアプリケーションウィンドウＷＤのツールバーＢＲに設けられた「入力」のボタンＢＴ１が、マウス２０によりクリックされる操作指令を受けて行なわれる。詳細には、「入力」のボタンＢＴ１から開くプルダウンメニュ（図示せず）に備えられた「外部機器入力」を選択して、次いで、入力デバイスとしてデジタルカメラ１４を選択して、その後、ファイル名を選択するといった一連のマウス２０からの操作指令を受けて行なわれる。なお、こうして取り込まれた１または複数の元画像データＤａは、ＲＡＭ３２の所定のエリアに格納されるが、それとともに、図示するように、アプリケーションウィンドウＷＤにサムネイル表示される。
【００３４】
なお、デジタルカメラ１４から直接、元画像データＤａを取り込む構成に替えて、デジタルカメラ１４で撮影した画像の画像データを予めＨＤＤ４２に格納しておき、このＨＤＤ４２内の画像データを読み出す構成とすることもできる。すなわち、画像を表わす画像データであれば、デジタルカメラ１４を用いてその都度読み出す構成としてもよいし、予めＨＤＤ４２等の記憶手段に用意しておき、その記憶手段から読み出す構成とすることもできる。また、画像データをネットワークを介して外部から取り込む構成とすることもできる。さらには、画像データは、必ずしもデジタルカメラ１４で撮影した画像の画像データである必要もなく、デジタルビデオカメラから切り出した静止画像であってもよい。
【００３５】
Ｂ−２．一括自動修整処理
一括自動修整部５２に対応する一括自動修整処理について、以下詳細に説明する。一括自動修整処理は、図３に示されるアプリケーションウィンドウＷＤのツールバーＢＲに設けられた「修整」のボタンＢＴ２がクリックされ、そのボタンＢＴ２から開くプルダウンメニュ（図示せず）に備えられた「一括自動修整」がクリックされるという一連の操作指令を受けて行なわれる。図４および図５は、ＣＰＵ３０にて実行される一括自動修整処理のルーチンを示すフローチャートである。このルーチンは、前述した一連のクリック操作指令を受けて実行開始される。
【００３６】
図示するように、処理が開始されると、ＣＰＵ３０は、まず、変数ｉに値１をセットする（ステップＳ１００）。次いで、ＣＰＵ３０は、上述した入力部５１で取り込まれ、ＲＡＭ３２に格納された１または複数の元画像データＤａから、ｉ番目の元画像データＤａ（ｉ）を一つ選択して、その元画像データＤａ（ｉ）を処理対象画像データＤｔ（ｉ）として、ＲＡＭ３２の別のエリアに格納する（ステップＳ１１０）。続いて、その処理対象画像データＤｔ（ｉ）の出力元であるデジタルカメラ１４の出力解像度を特定し得るパラメータＰＴを検出する処理を行なう（ステップＳ１２０）。このパラメータＰＴは、ここでは、処理対象画像データＤｔ（ｉ）で示される画像のピクセル数が該当する。
【００３７】
続いて、ＣＰＵ３０は、パラメータＰＴが高解像度を示すものであるか否かを判別する処理を行なう（ステップＳ１３０）。具体的には、ステップＳ１４０で算出したピクセル数が、所定の閾値Ｐ０を越えているか否かから、高解像度であるか否かを判別する。
【００３８】
なお、処理対象画像データＤｔ（ｉ）がＥｘｉｆ形式の画像データである場合には、ステップＳ１２０，Ｓ１３０の処理は、次のように換えることができる。図６は、Ｅｘｉｆ形式の画像データのフォーマットの一例を示す説明図である。図示するように、Ｅｘｉｆ形式の画像データは、付加情報のデータと実画像データとから構成されており、付加情報のデータの中に、［機種名］の項目Ｎｍ１が用意されている。ステップＳ１２０では、その［機種名］の項目Ｎｍ１から機種名データを読み出して、予めＲＡＭ３２に格納した、機種毎の性能（出力解像度を含む）を示す機種情報テーブルをその機種名データをキーとして参照することで、その画像データの出力元であるデジタルカメラの出力解像度を求める。その後、ステップＳ１３０では、その出力解像度が閾値Ｐ０を超えるか否かから、高解像度であるか否かを判別する。この構成によれば、処理対象画像データＤｔ（ｉ）が、デジタルカメラで撮影した画像を一旦トリミングしてピクセル数を削減したものであっても、高解像度か否かの判別を確実に行なうことができる。
【００３９】
ステップＳ１３０で肯定判別、すなわち、パラメータＰＴが高解像度を示すものであると判別された場合には、ステップＳ２００に処理を進めて、高解像度向け修整モジュールを実行する。一方、ステップＳ１５０で否定、すなわち高解像度を示すものでないと判別された場合には、ステップＳ３００に処理を進めて、低解像度向け修整モジュールを実行する。ステップＳ２００，Ｓ３００で実行される高解像度向け修整モジュールおよび低解像度向け修整モジュールについては、後ほど詳述する。なお、ステップＳ１２０の処理が、前述したパラメータ検出部５２ｂ（図２）に対応し、ステップＳ１３０の処理が、前述した修整モジュール選択部５２ｃ（図２）に対応し、ステップＳ２００，Ｓ３００の処理が、前述した修整部５２ｄ（図２）に対応する。ステップＳ２００，Ｓ３００でコールされる高解像度向け修整モジュールと低解像度向け修整モジュールは、フォトレタッチ用ソフトウェアの一部分としてＲＡＭ３２の所定の領域にロードされるが、この領域が、前述した修整モジュール記憶部５２ａ（図２）に対応する。
【００４０】
ステップＳ２００またはＳ３００の実行後、ＣＰＵ３０は、変数ｉを値１だけインクリメントして（ステップＳ４００）、その後、変数ｉが、ステップＳ１１０で選択された元画像データＤａの数ｎを越えているか否かを判別する（ステップＳ４１０）。ここで、変数ｉが定数ｎを越えていないと判別された場合には、ステップＳ１１０に処理を戻して、入力部５１で取り込まれた複数の元画像データＤａの中から、次の元画像データＤａ（ｉ）を処理対象画像データＤｔ（ｉ）とする。
【００４１】
一方、ステップＳ４１０で、変数ｉが定数ｎを越えたと判別された場合には、全ての元画像データＤａに対する修整が完了したとして、図５のステップＳ４２０に処理を進める。ステップＳ４２０では、ＣＰＵ３０は、一括自動修整処理用のダイアログボックスＤＢ１を、ＣＲＴディスプレイ１２に表示する処理を行なう。図７は、一括自動修整処理用のダイアログボックスＤＢ１の一例を示す説明図である。図示するように、このダイアログボックスＤＢ１には、元画像データＤａと修整済の処理対象画像データＤｔを表示するための表示フィールドＦＤ１が備えられており、その表示フィールドＦＤ１の左隣りに、［元画像を全て選択］用のボタンＢＴ１１と［修整画像を全て選択］用のボタンＢＴ１２が設けられ、表示フィールドＦＤ１の下方に、［実行］のボタンＢＴ１３が設けられている。
【００４２】
図５に示すように、ステップ４２０の実行後、ＣＰＵ３０は、入力部５１により取り込まれた元画像データＤａ（１）〜Ｄａ（ｎ）と、修整済の処理対象画像データＤｔ（１）〜Ｄｔ（ｎ）とを、ダイアログボックスＤＢ１の表示フィールドＦＤ１にサムネイル表示する処理を行なう（ステップＳ４３０）。図７に示すように、ダイアログボックスＤＢ１の表示フィールドＦＤ１の上段には、元画像データＤａ（１）〜Ｄａ（ｎ）の各サムネイル画像が表示される。その表示フィールドＦＤ１の下段には、上方に位置する元画像データＤａ（１）〜Ｄａ（ｎ）に対応して、修整済の処理対象画像データＤｔ（１）〜Ｄｔ（ｎ）の各サムネイル画像が表示される。
【００４３】
作業者は、作業フィールドＦＤ１に表示されたサムネイル画像から、一括して自動修整した修整済の処理対象画像データＤｔが美しく仕上がったかを、各画像毎に目視にてチェックする。作業者は、その後、修整済の画像の方が気に入れば、その下段側のサムネイル画像をマウス２０を用いてクリックするという操作を行ない、一方、自動修整を施さない元画像の方が好ましいと思った場合には、上段側のサムネイル画像をマウス２０を用いてクリックするという操作を行なう。その後、ＣＰＵ３０は、［実行］のボタンＢＴ１３がクリック操作されるのを待って（ステップＳ４４０）、下段側のサムネイル画像の中でクリックされたサムネイル画像に対応する処理対象画像データＤｔを、修整済画像データＤｂとして、ＨＤＤ４２に記憶する処理を行なう（ステップＳ４５０）。すなわち、修整済の方が美しいと判断された処理対象画像データＤｔについては、修整済画像データＤｂとして、ＨＤＤ４２に記憶する。なお、上段側のサムネイル画像がクリックされて修整前の方が好ましいと判断された元画像データＤａについては、対応する処理対象画像データＤｔを削除して、修整済画像データの作成は行なわない。
【００４４】
なお、一括自動修整処理用のダイアログボックスＤＢ１において、［元画像を全て選択］用のボタンＢＴ１１がクリックされる操作がなされたときには、上段側の元画像を表わすサムネイル画像が全てクリックされたものとし、一方、［修整画像を全て選択］用のボタンＢＴ１２がクリックされる操作がなされたときには、下段側の修整済画像を表わすサムネイル画像が全てクリックされたものとする。
【００４５】
図５に戻り、ステップＳ４５０の実行後、「リターン」に抜けてこの一括自動修整処理を一旦終了する。一方、ステップＳ４４０で、［実行］のボタンＢＴ１３がクリックされずにキャンセルされた場合には、ステップＳ４５０の処理を行なうことなく、「リターン」に抜けてこの一括自動修整処理を一旦終了する。
【００４６】
Ｂ−３．高解像度向け修整モジュールと低解像度向け修整モジュール
ステップＳ２００で実行する高解像度向け修整モジュールとステップＳ３００で実行する低解像度向け修整モジュールについて、次に詳述する。高解像度のデジタルカメラは、十分な画質と情報量があるため、高解像度向け修整モジュールにおいては、補整の強度は標準的なものとする。補整の処理としては、シャープネス強調、ノイズ除去、彩度強調、ヒストグラム変形、明るさ・コントラスト補正の各処理を行なう。一方、低解像度のデジタルカメラ（例えば、低価格のいわゆるおもちゃデジタルカメラや、古い機種のデジタルカメラ）は、画質が悪く、ノイズが多く、偽色が多く、エッジが汚い（画素数が少ないためガタガタな線）という傾向があるために、高解像度機向け修整モジュールと比較して、シャープネス強調とノイズ除去の処理を、以下のように変える。すなわち、シャープネス強調とノイズ除去の処理を、エッジをよりなめらかにする、エッジをより強く描写する、ノイズ除去、偽色除去を強く行なうといった処理に変更する。以下、高解像度向け修整モジュールと低解像度向け修整モジュールを具体的に説明する。
【００４７】
図８は、ステップＳ２００にてコールされる高解像度向け修整モジュールを示すフローチャートである。図示するように、この高解像度向け修整モジュールに処理が移行すると、ＣＰＵ３０は、まず、変数ｊに値１をセットする（ステップＳ２１０）。次いで、ＣＰＵ３０は、処理対象画像データＤｔ（ｉ）から、処理対象となるｊ番目のピクセルＰＸ（ｊ）を選択して、そのピクセルＰＸ（ｊ）と周囲との輝度差ＢＤを算出する（ステップＳ２２０）。詳細には、ピクセルＰＸ（ｊ）と、そのピクセルＰＸ（ｊ）の周囲８方向（上、右上、右、右下、下、左下、左、左上）の各ピクセルとの間の輝度（階調）差Ｂ１〜Ｂ８をそれぞれ求め、各輝度差Ｂ１〜Ｂ８の中から最大値を、輝度差ＢＤとして求める。
【００４８】
次いで、ＣＰＵ３０は、その輝度差ＢＤが、予め定めた下限値Ｂ１（例えば、値４）と上限値Ｂ２（例えば、値１６）との間に含まれる値か否かを判別する。ここで、ＢＤがＢ１とＢ２との間に含まれる値と判別されたときには、ＣＰＵ３０は、処理対象のピクセルＰＸ（ｊ）に対して、アンシャープマスクの処理を施す（ステップＳ２４０）。アンシャープマスクの処理は、明るさが大きく変わる部分を強調する周知の処理である。ステップＳ２３０で、周囲との輝度差ＢＤが一定範囲内（Ｂ１からＢ２）と判別された場合に、アンシャープマスクの処理を実行することで、明るさの変化を強調する。
【００４９】
一方、ステップＳ２３０で、輝度差ＢＤが、下限値Ｂ１と上限値Ｂ２との間に含まれない値であると判別された場合には、ＣＰＵ３０は、処理対象のピクセルＰＸ（ｊ）に対して、ぼかしの処理を施す（ステップＳ２５０）。ぼかしの処理は、周知の処理でノイズ除去を目的としている。ステップＳ２３０で、周囲との輝度差ＢＤが下限値Ｂ１以下であると判別された場合には、処理対象のピクセルＰＸ（ｊ）は、「ニジミ」のような、いわゆるＪＰＥＧノイズであったりすることが多いことから、ぼかすことにより、そのノイズを除去する。あるいは、周囲との輝度差ＢＤが下限値Ｂ１以下である場合には、人の肌のようななめらかな部分である可能性も高いので、よりなめらかにしたほうが美しく見えるために、ぼかす。一方、周囲との輝度差ＢＤが上限値Ｂ２以上であると判別された場合には、処理対象のピクセルＰＸ（ｊ）はいわゆるスパイクノイズであると判断して、ぼかすことにより、そのノイズを除去する。
【００５０】
ステップＳ２４０またはＳ２５０の実行後、ＣＰＵ３０は、変数ｊを値１だけインクリメントして（ステップＳ２６０）、その後、変数ｊが、処理対象画像データＤｔ（ｉ）のピクセル数ｍを越えているか否かを判別する（ステップＳ２７０）。ここで、変数ｊが定数ｍを越えていないと判別された場合には、ステップＳ２２０に処理を戻して、処理対象画像データＤｔ（ｉ）から次のピクセルＰＸ（ｊ）を選択する。
【００５１】
上述したステップＳ２１０ないしＳ２７０の処理は、シャープネス強調とノイズ除去の処理を行なおうというものである。ステップＳ２７０で、変数ｊが定数ｍを越えたと判別された場合には、ＣＰＵ３０は、このシャープネス強調とノイズ除去の処理を抜けて、ステップＳ２８０に処理を進める。ＣＰＵ３０は、彩度強調、ヒストグラム変形、明るさ・コントラスト補正の各処理を実行する（ステップＳ２８０，Ｓ２９０，Ｓ２９２）。彩度強調、ヒストグラム変形、明るさ・コントラスト補正の各処理は、デジタルカメラで撮影した画像を自動補整するために用いられる周知の構成であり、ここでは詳しい説明は省略する。ステップＳ２９２の実行後、「リターン」に抜けて、この高解像度向け修整モジュールの処理ルーチンを一旦終了する。
【００５２】
上述したステップＳ２００の結果、高解像度向け修整モジュールの処理が施された画像データがＲＡＭ３２に一旦記憶される。
【００５３】
図９は、ステップＳ３００にてコールされる低解像度向け修整モジュールを示すフローチャートである。図示するように、この低解像度向け修整モジュールに処理が移行すると、ＣＰＵ３０は、まず、変数ｊに値１をセットする（ステップＳ３１０）。次いで、ＣＰＵ３０は、処理対象画像データＤｔ（ｉ）から、処理対象となるｊ番目のピクセルＰＸ（ｊ）を選択して、そのピクセルＰＸ（ｊ）と周囲との輝度差ＢＤを算出する（ステップＳ３２０）。詳細には、ピクセルＰＸ（ｊ）と、そのピクセルＰＸ（ｊ）の周囲８方向（上、右上、右、右下、下、左下、左、左上）の各ピクセルとの間の輝度（階調）差Ｂ１〜Ｂ８をそれぞれ求め、各輝度差Ｂ１〜Ｂ８の中から最大値を、輝度差ＢＤとして求める。
【００５４】
次いで、ＣＰＵ３０は、処理対象のｊ番目のピクセルＰＸ（ｊ）を通過するベクトルの方向を算出する処理を行なう（ステップＳ３３０）。ここでいうベクトルの方向とは、ピクセルＰＸ（ｊ）の周囲８方向（上、右上、右、右下、下、左下、左、左上）の中で、輝度値の分散が最も小さい方向をいう。図１０は、ステップＳ３３０の処理の内容を示す説明図である。まず、図１０の（ａ）に示すように、処理対象のｊ番目のピクセルＰＸ（ｊ）を中心とする５×５のピクセル群を読み出して、次いで、（ｂ）に示すように、上方向の７ピクセル（図中、べた塗りされたピクセル）について、輝度値の分散を求める。この分散は、周知の演算式に従うものである（以下、同じ）。
【００５５】
次いで、図１０の（ｃ）に示すように、右上方向の７ピクセル（図中、べた塗りされたピクセル）について、輝度値の分散を求める。続いて、図１０の（ｄ）に示すように、右方向の７ピクセル（図中、べた塗りされたピクセル）について、輝度値の分散を求める。図示はしないが、その後、右下方向の７ピクセル、下方向の７ピクセル、左下方向の７ピクセル、左方向の７ピクセル、左上方向の７ピクセルについて、それぞれ輝度値の分散を求める。各方向の７ピクセルは、図１０の（ｄ）の状態から、時計回りに４５度ずつ順に回転したものである。
【００５６】
図８のステップＳ３３０では、さらに、上記求めた８方向の輝度値の分散の中で最も値の小さいもの求めて、この方向を上記求めるべきベクトルの方向と定める。
【００５７】
ステップＳ３３０の実行後、ＣＰＵ３０は、ステップＳ３２０で求めた輝度差ＢＤが、予め定めた閾値Ｂ３（例えば、値８）以上であるか否かを判別する（ステップＳ３４０）。この判別は、処理対象のピクセルＰＸ（ｊ）がエッジに該当するか否かを判別するものである。ここで、ＢＤがＢ３以上であると判別されたときには、そのピクセルＰＸ（ｊ）はエッジに該当することから、ＣＰＵ３０は、処理対象のピクセルＰＸ（ｊ）の輝度値を強調するシャープネス強調の処理を行なう（ステップＳ３５０）。
【００５８】
ステップＳ３５０の処理は詳細には、処理対象のピクセルＰＸ（ｊ）からステップＳ３３０で求めたベクトルの方向と垂直な方向に並ぶ複数（例えば、図１０で例示したような７つ）のピクセルの階調値の平均値を求め、処理対象のピクセルＰＸ（ｊ）の輝度値（階調値）を、上記平均値とは逆方向（ここでいう方向とは、大きさの方向）の値に変更する。すなわち、ピクセルＰＸ（ｊ）の階調値と平均値との差分を求めて、その差分だけ上記平均値と逆方向にピクセルＰＸ（ｊ）の階調値を変える。あるいはその差分の所定の割合分だけ、上記平均値と逆方向の大きさにピクセルＰＸ（ｊ）の階調値を変える。例えば、ピクセルＰＸ（ｊ）の輝度値が８０で、平均値が１２０であるとき、８０の輝度値を１２０（増側）とは逆の方向、すなわち、減側に輝度値を変更して、例えば、６０の輝度値とする。
【００５９】
一方、ステップＳ３４０で、ＢＤがＢ３以上でないと判別されたときには、ピクセルＰＸ（ｊ）がエッジに該当しないことから、ＣＰＵ３０は、処理対象のピクセルＰＸ（ｊ）の周囲を走るエッジの影響を除去し、ノイズ除去を施す処理を行なう（ステップＳ３６０）。詳細には、処理対象のピクセルＰＸ（ｊ）からステップＳ３３０で求めたベクトルの方向に並ぶ複数（例えば、上記７つ）のピクセルの階調値の平均値を求め、処理対象のピクセルＰＸ（ｊ）の輝度値（階調値）を、上記平均値に近づける。すなわち、ピクセルＰＸ（ｊ）の階調値と平均値との差分を求めて、その差分の所定の割合分だけ、上記平均値方向にピクセルＰＸ（ｊ）の階調値を変える。
【００６０】
図１１は、ステップＳ３５０およびＳ３６０の処理の内容を示す説明図である。画像データは、図示するように、黒（輝度値０）、濃い灰（輝度値６０）、淡い灰（輝度値１２０）、白（輝度値２５５）の各色を用いて表わされているものとして説明する。処理対象のピクセルＰＸ（ｊ）が▲１▼の位置にあるとき、このピクセルＰＸ（ｊ）は、エッジに該当すると判断されることから、ステップＳ３５０では、ステップＳ３３０で求めた、図中Ｌ１方向と垂直なＬ２方向に向けて、複数のピクセルの輝度の平均値を求める。そうして、▲１▼に示すピクセルＰＸ（ｊ）の階調値を、その平均値とは逆方向の値に変える。この結果、エッジが、修整前に比べて強調される。
【００６１】
処理対象のピクセルＰＸ（ｊ）が▲２▼の位置にあるとき、このピクセルＰＸ（ｊ）は、エッジに該当しないと判断されることから、ステップＳ３６０では、ステップＳ３３０で求めた、図中Ｌ３方向に向けて、複数のピクセルの輝度の平均値を求める。そうして、▲２▼に示すピクセルＰＸ（ｊ）の階調値を、その平均値に近づける。この結果、ピクセルＰＸ（ｊ）について、周囲を走るエッジ（▲１▼を通るエッジのライン）からの影響が除去されて、ノイズが除去されることになる。
【００６２】
ステップＳ３５０およびＳ３６０の処理は、要は、ピクセルＰＸ（ｊ）がエッジに該当するときには、そのエッジが強調されるように、エッジをより強く表わし、ピクセルＰＸ（ｊ）がエッジに該当しないときには、周囲を走るエッジの影響が除外されて、ノイズが除去される処理を強く行なう。これらの処理は、高解像度向け修整モジュールのステップＳ２４０，Ｓ２５０で実行するアンシャープマスクとぼかし（ノイズ除去）の処理と比べて、修整の強度は遙かに高いものである。
【００６３】
ステップＳ３５０またはＳ３６０の実行後、ＣＰＵ３０は、変数ｊを値１だけインクリメントして（ステップＳ３７０）、その後、変数ｊが、処理対象画像データＤｔ（ｉ）のピクセル数ｍを越えているか否かを判別する（ステップＳ３８０）。ここで、変数ｊが定数ｍを越えていないと判別された場合には、ステップＳ３２０に処理を戻して、処理対象の元画像データＤａ（ｉ）から次のピクセルＰＸ（ｊ）を選択する。
【００６４】
上述したステップＳ３１０ないしＳ３８０の処理は、シャープネス強調とノイズ除去の処理を行なおうというものである。ステップＳ３８０で、変数ｊが定数ｍを越えたと判別された場合には、ＣＰＵ３０は、このシャープネス強調とノイズ除去の処理を抜けて、ステップＳ３９０に処理を進める。ＣＰＵ３０は、彩度強調、ヒストグラム変形、明るさ・コントラスト補正の各処理を実行する（ステップＳ３９０，Ｓ３９２，Ｓ３９４）。彩度強調、ヒストグラム変形、明るさ・コントラスト補正の各処理は、高解像度向け修整モジュールにおけるステップＳ２８０，Ｓ２９０，Ｓ２９２と同一の処理である。ステップＳ３９４の実行後、「リターン」に抜けて、この低解像度向け修整モジュールの処理ルーチンを一旦終了する。
【００６５】
上述したステップＳ３００の結果、低解像度向け修整モジュールの処理が施された画像データがＲＡＭ３２に一旦記憶される。
【００６６】
Ｃ．作用・効果
以上のように構成されたこの実施例のコンピュータシステムによれば、画像の特性に関連があるパラメータ、ここでは、デジタルカメラ１４の出力解像度を特定し得るパラメータＰＴに基づいて選択された修整モジュールでもって、画像の修整がなされる。このために、画像の特性に応じた修整モジュールでもって、その画像の修整がなされる。したがって、このコンピュータシステムによれば、画像に対して、その画像の特性に適合した修整を施すことが可能となることから、修整による仕上げを美しくすることができる。
【００６７】
特に、この実施例では、画像の特性に関連があるパラメータは、デジタルカメラ１４の出力解像度を特定し得るデータであることから、出力解像度に適合した修整を施すことができる。高解像度のデジタルカメラで撮影した画像と、低解像度のデジタルカメラで撮影した画像とは、画質の程度がもともと大きく違うことから、同一の修整では、出力解像度によっては修整が不適なものとなる。翻って、この実施例では、出力解像度が高いときには、修整強度が標準的な高解像度向け修整モジュールを実行することで、もともと高い画質のレベルを保持した状態で画質の仕上げを行なう。出力解像度が低いときには、修整強度の高い低解像度向け修整モジュールを実行することで、積極的に画質の修整を行なう。このために、高解像度のデジタルカメラで撮影した画像も、低解像度のデジタルカメラで撮影した画像も修整による仕上げを美しくすることができる。
【００６８】
Ｄ．他の実施形態：
本発明の他の実施形態について、次に説明する。
【００６９】
Ｄ−１．第１の他の実施形態：
前記実施例では、デジタルカメラ１４の出力解像度を特定し得るパラメータＰＴに基づいて、修整モジュールを選択する構成としたが、これに換えて、画像を撮影したデジタルカメラ１４のメーカ名に基づいて、修整モジュールを選択する構成としてもよい。Ｅｘｉｆ形式の画像データである場合には、図６に示すように、付加情報のデータの中に、［メーカ名］の項目Ｎｍ２が用意されていることから、そのメーカ名の項目Ｎｍ２からメーカ名データを読み出して、予め用意したメーカ別の修整モジュールから、対応するメーカ別の修整モジュールを選択する。デジタルカメラは、メーカによって出力される画像データに特性上の傾向がみられる。メーカ別の修整モジュールは、上記メーカ毎の特性を修復するように作られている。
【００７０】
図１２は、メーカ別の修整モジュールが、どのような修整内容の違いによって作成されるかの一例を示す説明図である。図示するように、メーカ名（情報が無くメーカ名が不明の場合を含む）によって、シャープネス強調、彩度強調、ノイズ除去の各修整処理の修整の強度が相違するように、メーカ別の修整モジュールが作成される。
【００７１】
Ｄ−２．第２の他の実施形態：
前記実施例に換えて、画像を撮影したデジタルカメラ１４の機種名に基づいて、修整モジュールを選択する構成としてもよい。Ｅｘｉｆ形式の画像データである場合には、前述したように、付加情報のデータの中に、［機種名］の項目Ｎｍ１（図６参照）が用意されていることから、その機種名の項目Ｎｍ１から機種名データを読み出して、予め用意した機種別の修整モジュールから、対応する機種別の修整モジュールを選択する。デジタルカメラは、機種によって出力される画像データに特性上の傾向がみられる。機種別の修整モジュールは、上記機種毎の特性を修復するように作られている。
【００７２】
図１３は、機種別の修整モジュールが、どのような修整内容の違いによって作成されるかの一例を示す説明図である。図示するように、機種名（情報が無く機種名が不明の場合を含む）によって、シャープネス強調、彩度強調、ノイズ除去の各修整処理の修整の強度が相違するように、機種別の修整モジュールが作成される。
【００７３】
Ｄ−３．第３の他の実施形態：
前記実施例に換えて、画像を撮影したデジタルカメラ１４に搭載されるＣＣＤを特定するデータに基づいて、修整モジュールを選択する構成としてもよい。Ｅｘｉｆ形式の画像データである場合には、前述したように、付加情報のデータの中に、［機種名］の項目Ｎｍ１（図６参照）が用意されていることから、その機種名の項目Ｎｍ２から機種名データを読み出して、予めＲＡＭ３２に格納した、機種毎の性能（ＣＣＤの型番を含む）を示す機種情報テーブルをその機種名データをキーとして参照することで、その画像データの出力元であるデジタルカメラのＣＣＤの型番を求める。そうして、予め用意したＣＣＤ型番別の修整モジュールから、対応する修整モジュールを選択する。デジタルカメラは、搭載されるＣＣＤによって出力される画像データに特性上の傾向がみられる。ＣＣＤ型番別の修整モジュールは、上記ＣＣＤ型番毎の特性を修復するように作られている。
【００７４】
Ｄ−４．第４の他の実施形態：
前記実施例に換えて、画像を撮影したデジタルカメラ１４に搭載されるＣＣＤフィルタが、原色フィルタと補色フィルタのいずれであるかを特定するデータに基づいて、修整モジュールを選択する構成としてもよい。Ｅｘｉｆ形式の画像データである場合には、前述したように、付加情報のデータの中に、［機種名］の項目Ｎｍ１（図６参照）が用意されていることから、その機種名の項目Ｎｍ２から機種名データを読み出して、予めＲＡＭ３２に格納した、機種毎の性能（ＣＣＤフィルタが原色系か補色系かを判別するデータを含む）を示す機種情報テーブルをその機種名データをキーとして参照することで、その画像データの出力元であるデジタルカメラのフィルタが原色系か補色系を求める。そうして、予め用意したＣＣＤフィルタの種類（原色系か補色系かの種類）別の修整モジュールから、対応する修整モジュールを選択する。デジタルカメラは、ＣＣＤ表面に貼り付けられたＣＣＤフィルタが原色フィルタであるか補色フィルタであるかによって、出力される画像データに特性上の傾向がみられる。ＣＣＤフィルタの種類別の修整モジュールは、上記ＣＣＤフィルタの種類別の特性を修復するように作られている。
【００７５】
図１４は、ＣＣＤフィルタ別の修整モジュールが、どのような修整内容の違いによって作成されるかの一例を示す説明図である。図示するように、原色フィルタであるか補色フィルタであるかの違いによって、シャープネス強調、彩度強調、ノイズ除去の各修整処理の修整の強度が相違するように、ＣＣＤフィルタ別の修整モジュールが作成される。
【００７６】
Ｄ−５．さらに他の実施形態：
本発明の他の実施形態について、次に説明する。
【００７７】
（１）前記実施例では、画像修整を施す元画像データは、デジタルカメラにより撮影したものとしたが、これに替えて、カラースキャナ等を用いて獲得した銀塩写真やカラーグラビア等の画像データであってもよい。また、必ずしもカラーの画像データである必要もなく、白黒の画像データに適用することもできる。
【００７８】
（２）前記実施例では、高解像度向け修整モジュール、低解像度向け修整モジュール共に、ソフトウェアで構成されていたが、これに換えて、ハードウェアにて構成することもできる。すなわち、高解像度向け、低解像度向けの各修整処理を、所定の電子回路で構成されたものを、高解像度向け修整モジュール、低解像度向け修整モジュールとする。
【００７９】
（３）前記実施例では、高解像度向けと低解像度向けの２種類の修整モジュールを用意したが、これに換えて、３以上の種類の修整モジュールを用意して、パラメータＰＴの値に応じて、その３以上の種類の修整モジュールに振り分ける構成とすることもできる。
【００８０】
（４）前記実施例では、高解像度向けと低解像度向けの２種類の修整モジュールを用意したが、これに換えて、季節毎の修整モジュールを用意して、Ｅｘｉｆ形式の画像データに記録されている撮影日時のデータから季節を判定して、その判定結果に応じて、上記季節毎の修整モジュールを選択する構成とすることもできる。例えば、春向けの修整モジュールは、新緑の感じを出すために「色あい」を緑色の感じを加えた色調とすることで、より季節感の強い画像に修整を行なうことができる。あるいは、緑色の感じを抑えることで、季節感を抑えた画像への修整を行なうことも可能となる。
【００８１】
（５）前記実施例では、高解像度向けと低解像度向けの２種類の修整モジュールを用意したが、これに換えて、撮影時間帯毎の修整モジュールを用意して、Ｅｘｉｆ形式の画像データに記録されている撮影日時のデータからどの撮影時間帯に該当するかを判定して、その判定結果に応じて、上記撮影時間帯毎の修整モジュールを選択する構成とすることもできる。例えば、夕暮れの時間帯の修整モジュールは、夕焼けで照らされた赤っぽい色にするというような修整を行なうものとすることで、撮影時間帯による影響がより強い画像に修整を行なうことができる。あるいは、赤っぽい色にすることを抑えることで、撮影時間帯による影響を抑えた画像への修整を行なうことも可能となる。
【００８２】
（６）前記実施例では、高解像度向け修整モジュールか低解像度向け修整モジュールかの一つを選択するように構成されていたが、これに換えて、修整モジュールを修整の種類によって細分化して、パラメータに基づいて、２以上の修整モジュールが選択される構成とすることもできる。
【００８３】
以上、本発明の実施例を詳述してきたが、本発明は、こうした実施態様に何等限定されるものではなく、本発明の要旨を逸脱しない範囲において種々なる態様にて実施することができるのは勿論のことである。
【図面の簡単な説明】
【図１】この発明の一実施例を適用するコンピュータシステム１０のハードウェアの概略構成を示すブロック図である。
【図２】コンピュータ本体１６によって実行されるこのフォトレタッチ用ソフトウェア５０に従う制御処理の様子を示すブロック図である。
【図３】アプリケーションウィンドウＷＤを示す説明図である。
【図４】ＣＰＵ３０にて実行される一括自動修整処理の前半部分のルーチンを示すフローチャートである。
【図５】上記一括自動修整処理の後半部分のルーチンを示すフローチャートである。
【図６】Ｅｘｉｆ形式の画像データのフォーマットの一例を示す説明図である。
【図７】一括自動修整処理用のダイアログボックスＤＢ１の一例を示す説明図である。
【図８】ステップＳ２００にてコールされる高解像度向け修整モジュールを示すフローチャートである。
【図９】ステップＳ３００にてコールされる低解像度向け修整モジュールを示すフローチャートである。
【図１０】ステップＳ３３０の処理の内容を示す説明図である。
【図１１】ステップＳ３５０およびＳ３６０の処理の内容を示す説明図である。
【図１２】メーカ別の修整モジュールがどのような修整内容の違いによって作成されるかの一例を示す説明図である。
【図１３】機種別の修整モジュールがどのような修整内容の違いによって作成されるかの一例を示す説明図である。
【図１４】ＣＣＤフィルタ別の修整モジュールがどのような修整内容の違いによって作成されるかの一例を示す説明図である。
【符号の説明】
１０…コンピュータシステム
１３…プリンタ
１４…デジタルカメラ
１６…コンピュータ本体
１８…キーボード
２０…マウス
３３…表示画像メモリ
３４…マウスインタフェース
３５…キーボードインタフェース
３９…プリンタインタフェース
４０…入出力機用インタフェース
４２…ハードディスクドライブ
４４…モデム
４６…公衆電話回線
４７…サーバ
５０…フォトレタッチ用ソフトウェア
５１…入力部
５２…一括自動修整部
５２ａ…修整モジュール記憶部
５２ｂ…パラメータ検出部
５２ｃ…修整モジュール選択部
５２ｄ…修整部
５３…出力部
５４…印刷部
６０…ディスプレイドライバ
６２…プリンタドライバ
ＷＤ…アプリケーションウィンドウ
ＤＢ１…一括自動修整処理用のダイアログボックス
Ｄａ…元画像データ
Ｄｂ…修整済画像データ
ＰＴ…パラメータ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for modifying an image represented by image data.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a computer can easily process and edit captured image data by using image processing software. These processing processes include "manual retouching" for adjusting the brightness, hue, and contrast of an image according to the preference of the operator, and "automatic retouching" for automatically adjusting the brightness, hue, and contrast of the image to be optimal. For example, photographic images taken with a digital camera tend to have color casts and unbalanced sharpness that are unique to digital cameras.Thus, automatic retouch processing automatically corrects image quality such as brightness, hue, and contrast. , Can be finished in natural beauty.
[0003]
[Problems to be solved by the invention]
However, in the above-described conventional technology, the modification may not be appropriate depending on the characteristics of the image, and therefore, the finish of the image may be inferior. For example, an image taken with a high-resolution digital camera and an image taken with a low-resolution digital camera have a very different degree of image quality from the beginning. In some cases, the finish of the image was inferior.
[0004]
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and has as its object to provide a modification suitable for the characteristics of an image so that a finish by the modification can be made beautiful.
[0005]
[Means for Solving the Problems and Their Functions and Effects]
As means for solving at least a part of the problems described above, the following configuration is adopted.
[0006]
The image retouching method of the present invention comprises:
An image modification method for modifying an image represented by image data,
(A) preparing a plurality of types of modification modules in which the processing for the modification is defined;
(B) detecting parameters related to the characteristics of the image from the image data;
(C) selecting at least one modification module from the plurality of types of modification modules based on the detected parameters;
(D) modifying the image using the selected modifying module;
It is characterized by having.
[0007]
According to the image retouching method having this configuration, the image is retouched by the retouching module selected based on the parameters related to the characteristics of the image. For this purpose, the image is modified by a modification module according to the characteristics of the image. Therefore, according to this image retouching method, it is possible to perform retouching on an image in accordance with the characteristics of the image, and therefore, it is possible to enhance the finish by retouching an image having any characteristics. Can be.
[0008]
The image data may be image data representing an image captured by a digital camera. Here, the digital camera is a camera that records an image captured by a digital device such as a CCD or a photomultiplier as digital data, and is also called a digital still camera. An image captured by a digital camera tends to have color cast and unbalanced sharpness unique to the digital camera, but according to this configuration, the image can be automatically corrected.
[0009]
The parameter may be data that can specify an output resolution of the digital camera. An image taken with a high-resolution digital camera and an image taken with a low-resolution digital camera have a significantly different degree of image quality from the beginning. Therefore, if the same modification is performed, the modification is inappropriate depending on the output resolution. According to this configuration, since the parameter is data that can specify the output resolution of the digital camera, a modification suitable for the output resolution can be performed, and the finishing by the modification can be beautiful.
[0010]
In the image retouching method in which the parameters are set to the output resolution of a digital camera, the step (a) comprises preparing a first retouching module and a second retouching module having different retouching intensities, and The first modification module is used, and the side having the low modification intensity is used as the second modification module. In the step (c), the step (c-1) is performed based on the parameter, in which case the output resolution is high or low. (C-2) when the output resolution is determined to be high in the step (c-1), the first modifying module is selected, and the step (c-1) is performed. Selecting the second modifying module when it is determined that the output resolution is low.
[0011]
According to this configuration, it is possible to make beautiful the finishing by the modification of the image photographed by the high-resolution digital camera and the image photographed by the low-resolution digital camera.
[0012]
In the image modifying method according to the present invention, the parameter may be data specifying a maker of the digital camera. Digital cameras have characteristics such as high saturation and high noise depending on the manufacturer. According to this configuration, since the parameter is the data specifying the maker of the digital camera, a modification suitable for the maker can be performed, and the finishing by the modification can be beautiful.
[0013]
Further, the parameter may be data for specifying a model of the digital camera. Digital cameras have different characteristics depending on the model, but according to this configuration, it is possible to perform a modification suitable for the model, so that the finishing by the modification can be beautiful.
[0014]
The parameter may be data specifying a CCD mounted on the digital camera. Here, the CCD is an abbreviation of Charge-Coupled Devices, and is an image sensor that converts light into an electric signal. The characteristics of the digital camera differ depending on the CCD mounted thereon. According to this configuration, a modification suitable for the CCD can be performed, so that the finishing by the modification can be beautiful.
[0015]
The parameter may be data for determining whether a CCD filter mounted on the digital camera is a primary color filter or a complementary color filter. Digital cameras have different characteristics depending on whether the CCD filter attached to the CCD surface is a primary color filter or a complementary color filter. However, according to this configuration, it is possible to perform modification suitable for the CCD filter. Finish can be beautiful.
[0016]
In the image retouching method according to the present invention, the image data is data for storing additional information indicating shooting conditions together with actual image data indicating an image, and the step (b) includes: It may be configured to include a step of obtaining the parameter from the additional information.
[0017]
Image data output from most digital cameras is Exif format data that has become an international standard. According to the image modification method having the above configuration, the parameters can be easily obtained from image data stored in various formats such as Exif.
[0018]
The image retouching device of the present invention
An image retouching device for retouching an image represented by image data,
Modification module storage means for storing a plurality of types of modification modules in which the processing for the modification is defined,
Parameter detection means for detecting parameters related to the characteristics of the image from the image data,
Modification module selection means for selecting at least one modification module from the plurality of types of modification modules based on the detected parameters,
Using the selected modifying module, modifying means for modifying the image;
It is characterized by having.
[0019]
The computer program according to the present invention includes:
A computer program for causing a computer to execute a process of modifying an image represented by image data,
(A) a function of preparing a plurality of types of modification modules in which processing for the modification is specified;
(B) a function of detecting parameters related to the characteristics of the image from the image data;
(C) a function of selecting at least one modification module from the plurality of types of modification modules based on the detected parameters;
(D) a function of modifying the image using the selected modifying module;
It is characterized by realizing.
[0020]
The image retouching device and the computer program having the above configuration have the same operation and effect as the above-described image retouching method. By performing the retouching suitable for the characteristics of the image, it is possible to make the finish of the image beautiful.
[0021]
The recording medium of the present invention is characterized by a computer-readable recording medium that stores the computer program of the present invention. This recording medium has the same operation and effect as each computer program of the present invention.
[0022]
Other aspects of the invention
The present invention includes other aspects as described below. The first aspect is an aspect as a program supply device for supplying the computer program of the present invention via a communication path. In the first aspect, the above-described method and apparatus are realized by placing a computer program on a server or the like on a computer network, downloading a necessary program to a computer via a communication path, and executing the program. Can be.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiments of the present invention will be described based on examples. This embodiment will be described in the following order.
A. Equipment configuration:
B. Computer processing:
B-1. Input processing:
B-2. Batch automatic retouching process
B-3. Modification module for high resolution and modification module for low resolution
C. Action / effect
D. Other embodiments:
D-1. First alternative embodiment:
D-2. Second alternative embodiment:
D-3. Third alternative embodiment:
D-4. Third alternative embodiment:
D-5. Still other embodiments:
[0024]
A. Equipment configuration:
FIG. 1 is a block diagram showing a schematic configuration of hardware of a computer system 10 to which an embodiment of the present invention is applied. The computer system 10 mainly includes a so-called personal computer (hereinafter, simply referred to as a computer), and a CRT display 12, a printer 13, and a digital camera 14 around the personal computer. The computer includes a computer main body 16, a keyboard 18, and a mouse 20. The computer main body 16 is equipped with a CD drive 24 for reading the contents of the CD-ROM 22.
[0025]
The computer body 16 includes a ROM 31, a RAM 32, a display image memory 33, a mouse interface 34, a keyboard interface 35, a CDC 36, an HDC 37, a CRTC 38, a printer interface 39, which are interconnected by a bus around a CPU 30 as a central processing unit. An output device interface 40 and an I / O port 41 are provided. The ROM 31 is a read-only memory for storing various built-in programs and the like. The RAM 32 is a readable / writable memory that stores various data and the like. The display image memory 33 is a memory for storing image data of an image to be displayed on the CRT display 12.
[0026]
The mouse interface 34 is an interface that controls exchange of data and the like with the mouse 20. The keyboard interface 35 is an interface that controls key input from the keyboard 18. The CDC 36 is a CD controller that controls the CD drive (CDD) 24. The HDC 37 is a hard disk controller that controls a hard disk drive (HDD) 42. In the HDD 42, a computer program and the like to be described later are stored in advance.
[0027]
The CRTC 38 is a CRT controller that controls display of an image on the CRT display 12 based on display image data stored in the display image memory 33. The printer interface 39 is an interface that controls input and output of data to and from the printer 13. The input / output device interface 40 is an interface for controlling input / output of data to / from an externally connected input / output device, in this embodiment, the digital camera 14. The I / O port 41 has a serial output port, is connected to a modem 44, and is connected to a public telephone line 46 via the modem 44. The computer main body 16 is connected to an external network via a modem 44, and is connectable to a specific server 47.
[0028]
In the computer system 10, the operating system is stored in the HDD 42. When the computer main body 16 is turned on, the operating system is loaded into a predetermined area of the RAM 32 according to the loader written in the boot block of the HDD 42. Photo retouching software (computer program) for processing an image (color photographic image) photographed by the digital camera 14 is stored in the CD-ROM 22 in advance, and by activating a predetermined installation program, the CD drive 24 is activated. From the computer main body 16. The installed computer program is stored in the HDD 42, and is loaded into a predetermined area of the RAM 32 when a predetermined activation command is received.
[0029]
Various constituent elements of the present invention are realized by the CPU 30 executing a part of the photo retouching software (a batch automatic modification unit described later). This computer program is stored in the CD-ROM 22, as described above, but may be replaced by another portable recording medium (portable recording medium) such as a floppy disk, a magneto-optical disk, or an IC card. May be stored. Further, the above-described computer program can be obtained by downloading program data provided via a network from a specific server 47 connected to an external network, and transferring the program data to the RAM 32 or the HDD 42. . The network may be the Internet or a computer program downloaded from a specific homepage. Alternatively, it may be a computer program supplied in the form of an e-mail attachment.
[0030]
The following describes how the computer system 10 having the above-described hardware configuration performs control processing according to the photo retouching software. FIG. 2 is a block diagram showing a state of a control process according to the photo retouching software 50 executed by the computer main body 16.
[0031]
As shown in FIG. 2, according to the photo retouching software 50 operating inside the computer main body 16, first, the input unit 51 performs a process of capturing image data from the digital camera 14. Next, the image data (hereinafter, referred to as original image data) Da captured by the input unit 51 is processed by the collective automatic modification unit 52. The batch automatic retouching unit 52 can automatically retouch the image represented by the original image data Da, including the color. The reason why they are collective is that when there are a plurality of original image data Da, all of the plurality of original image data Da can be collectively modified. The function of performing this modification is based on the functions of the modification module storage unit 52a, the parameter detection unit 52b, the modification module selection unit 52c, and the modification unit 52d provided in the batch automatic modification unit 52.
[0032]
According to the photo retouching software 50, the image data Db modified by the collective automatic modification unit 52 is sent to an external device by the output unit 53. The modified image data Db is sent by the printing unit 54 to the printer 13 via the printer driver 62 and printed. The original image data Da and the modified image data Db are sent to the CRT display 12 via the display driver 60 and are also displayed.
[0033]
B. Computer processing:
B-1. Input processing:
By executing the photo retouching software 50 by the CPU 30 of the computer main body 16, the input unit 51, the batch automatic modification unit 52, the output unit 53, and the printing unit 54 described above are realized. The input unit 51 receives the original image data Da from the digital camera 14 as described above. The operation of taking in the original image data Da is performed in response to an operation command for clicking the “input” button BT1 provided on the toolbar BR of the application window WD shown in FIG. More specifically, the user selects “external device input” provided in a pull-down menu (not shown) opened from the “input” button BT1, then selects the digital camera 14 as an input device, and then selects a file name. Is received in response to a series of operation commands from the mouse 20, such as selecting a command. The one or a plurality of original image data Da thus captured are stored in a predetermined area of the RAM 32, and are also displayed as thumbnails in the application window WD as shown in the figure.
[0034]
It should be noted that instead of the configuration in which the original image data Da is directly taken in from the digital camera 14, the image data of the image captured by the digital camera 14 is stored in the HDD 42 in advance, and the image data in the HDD 42 is read out. You can also. That is, image data representing an image may be read out each time using the digital camera 14 or may be prepared in advance in a storage unit such as the HDD 42 and read out from the storage unit. Further, a configuration may be adopted in which image data is taken in from outside via a network. Further, the image data does not necessarily need to be image data of an image captured by the digital camera 14, and may be a still image cut out from a digital video camera.
[0035]
B-2. Batch automatic retouching process
The batch automatic modification process corresponding to the batch automatic modification unit 52 will be described in detail below. The collective automatic retouching process is performed by clicking the “retouch” button BT2 provided on the toolbar BR of the application window WD shown in FIG. 3 and clicking the “batch retouching” provided in a pull-down menu (not shown) opened from the button BT2. This is performed in response to a series of operation commands that "modify" is clicked. FIGS. 4 and 5 are flowcharts showing a routine of the batch automatic retouching process executed by the CPU 30. This routine is started to be executed in response to a series of click operation commands described above.
[0036]
As shown, when the processing is started, the CPU 30 first sets a value 1 to a variable i (step S100). Next, the CPU 30 selects one of the i-th original image data Da (i) from one or a plurality of original image data Da fetched by the above-described input unit 51 and stored in the RAM 32, and selects the original image data Da (i). Da (i) is stored in another area of the RAM 32 as processing target image data Dt (i) (step S110). Subsequently, a process of detecting a parameter PT that can specify the output resolution of the digital camera 14 that is the output source of the processing target image data Dt (i) is performed (step S120). Here, the parameter PT corresponds to the number of pixels of the image indicated by the processing target image data Dt (i).
[0037]
Subsequently, the CPU 30 performs a process of determining whether or not the parameter PT indicates a high resolution (step S130). Specifically, it is determined whether the resolution is high based on whether the number of pixels calculated in step S140 exceeds a predetermined threshold value P0.
[0038]
If the processing target image data Dt (i) is Exif format image data, the processing in steps S120 and S130 can be changed as follows. FIG. 6 is an explanatory diagram illustrating an example of the format of the Exif format image data. As shown in the figure, the image data in the Exif format includes data of additional information and actual image data, and an item Nm1 of [model name] is prepared in the data of the additional information. In step S120, model name data is read from the item Nm1 of [model name], and a model information table stored in the RAM 32 and indicating the performance (including output resolution) for each model is referred to using the model name data as a key. Then, the output resolution of the digital camera that is the output source of the image data is obtained. Thereafter, in step S130, it is determined whether or not the output resolution is high based on whether or not the output resolution exceeds the threshold value P0. According to this configuration, even if the processing target image data Dt (i) is obtained by temporarily trimming an image captured by a digital camera to reduce the number of pixels, it is possible to reliably determine whether or not the resolution is high. Can be.
[0039]
If the determination in step S130 is affirmative, that is, if it is determined that the parameter PT indicates high resolution, the process proceeds to step S200, and the high-resolution modification module is executed. On the other hand, if the determination in step S150 is negative, that is, if it does not indicate high resolution, the process proceeds to step S300 to execute the low-resolution modification module. The high-resolution modification module and the low-resolution modification module executed in steps S200 and S300 will be described later in detail. Note that the processing in step S120 corresponds to the above-described parameter detection unit 52b (FIG. 2), the processing in step S130 corresponds to the above-described modification module selection unit 52c (FIG. 2), and the processing in steps S200 and S300. , 52d (FIG. 2). The retouching module for high resolution and the retouching module for low resolution called in steps S200 and S300 are loaded into a predetermined area of the RAM 32 as a part of the photo retouching software. (FIG. 2).
[0040]
After execution of step S200 or S300, the CPU 30 increments the variable i by 1 (step S400), and then determines whether or not the variable i exceeds the number n of the original image data Da selected in step S110. Is determined (step S410). Here, if it is determined that the variable i does not exceed the constant n, the process returns to step S110, and from among the plurality of original image data Da fetched by the input unit 51, the next original image data Let Da (i) be processing target image data Dt (i).
[0041]
On the other hand, if it is determined in step S410 that the variable i has exceeded the constant n, it is determined that the modification of all the original image data Da has been completed, and the process proceeds to step S420 in FIG. In step S420, the CPU 30 performs a process of displaying the dialog box DB1 for the batch automatic retouching process on the CRT display 12. FIG. 7 is an explanatory diagram illustrating an example of the dialog box DB1 for the batch automatic retouching process. As shown in the figure, the dialog box DB1 is provided with a display field FD1 for displaying the original image data Da and the modified processing target image data Dt. A button BT11 for [select all images] and a button BT12 for [select all modified images] are provided, and a button BT13 for [execute] is provided below the display field FD1.
[0042]
As shown in FIG. 5, after execution of step 420, the CPU 30 outputs the original image data Da (1) to Da (n) captured by the input unit 51 and the modified processing target image data Dt (1) to Dt. (N) is displayed as a thumbnail in the display field FD1 of the dialog box DB1 (step S430). As shown in FIG. 7, thumbnail images of the original image data Da (1) to Da (n) are displayed in the upper part of the display field FD1 of the dialog box DB1. In the lower part of the display field FD1, the thumbnail images of the modified processing target image data Dt (1) to Dt (n) corresponding to the original image data Da (1) to Da (n) located above. Is displayed.
[0043]
From the thumbnail images displayed in the work field FD1, the operator visually checks, for each image, whether or not the corrected and processed image data Dt that has been automatically corrected is beautifully finished. Then, if the operator prefers the modified image, he or she clicks the lower thumbnail image using the mouse 20 using the mouse 20. On the other hand, the original image without automatic modification is more preferable. In this case, an operation of clicking the upper thumbnail image with the mouse 20 is performed. After that, the CPU 30 waits until the [Execute] button BT13 is clicked (step S440), and modifies the processing target image data Dt corresponding to the thumbnail image clicked in the lower thumbnail image. A process of storing the image data Db in the HDD 42 is performed (step S450). That is, the processing target image data Dt for which it is determined that the modified image is more beautiful is stored in the HDD 42 as modified image data Db. In addition, for the original image data Da for which the upper thumbnail image is clicked and it is determined that it is more preferable to perform the modification, the corresponding processing target image data Dt is deleted, and the modified image data is not created.
[0044]
Note that, when the button BT11 for [select all original images] is clicked in the dialog box DB1 for the batch automatic retouching process, it is assumed that all the thumbnail images representing the original images in the upper row have been clicked. On the other hand, when the operation of clicking the button BT12 for “select all modified images” is performed, it is assumed that all the thumbnail images representing the modified images on the lower side are clicked.
[0045]
Returning to FIG. 5, after execution of step S450, the process exits to "return" and temporarily ends the batch automatic modification process. On the other hand, if the "execute" button BT13 is canceled without being clicked in step S440, the process automatically returns to "return" without performing the process in step S450, and once ends the batch automatic retouching process.
[0046]
B-3. Modification module for high resolution and modification module for low resolution
The modification module for high resolution executed in step S200 and the modification module for low resolution executed in step S300 will be described in detail below. Since a high-resolution digital camera has a sufficient image quality and amount of information, in a retouching module for high resolution, the intensity of correction is standard. As the correction processing, each processing of sharpness enhancement, noise removal, saturation enhancement, histogram deformation, and brightness / contrast correction is performed. On the other hand, a low-resolution digital camera (for example, a low-priced so-called toy digital camera or an old-model digital camera) has poor image quality, has many noises, has many false colors, and has a dirty edge (there is a small number of pixels, which makes the camera rattle. The processing of sharpness enhancement and noise removal is changed as follows, as compared with the retouching module for high-resolution machines. That is, the processes of sharpness enhancement and noise removal are changed to processes such as smoother edges, stronger edge drawing, and stronger noise removal and false color removal. Hereinafter, the modification module for high resolution and the modification module for low resolution will be specifically described.
[0047]
FIG. 8 is a flowchart showing the high-resolution modification module called in step S200. As shown in the drawing, when the processing shifts to the high-resolution modification module, the CPU 30 first sets a value 1 to a variable j (step S210). Next, the CPU 30 selects a j-th pixel PX (j) to be processed from the processing target image data Dt (i), and calculates a luminance difference BD between the pixel PX (j) and the surroundings (step). S220). Specifically, the luminance (gradation) between the pixel PX (j) and each pixel in eight directions (upper, upper right, right, lower right, lower, lower left, left, upper left) around the pixel PX (j) ) The differences B1 to B8 are respectively obtained, and the maximum value among the brightness differences B1 to B8 is obtained as the brightness difference BD.
[0048]
Next, the CPU 30 determines whether or not the luminance difference BD is a value included between a predetermined lower limit B1 (for example, value 4) and an upper limit B2 (for example, value 16). Here, when BD is determined to be a value included between B1 and B2, the CPU 30 performs an unsharp mask process on the pixel PX (j) to be processed (step S240). The unsharp mask process is a well-known process that emphasizes a portion where the brightness changes greatly. In step S230, when it is determined that the brightness difference BD from the surroundings is within a certain range (from B1 to B2), a change in brightness is emphasized by executing an unsharp mask process.
[0049]
On the other hand, if it is determined in step S230 that the luminance difference BD is a value that is not included between the lower limit value B1 and the upper limit value B2, the CPU 30 determines the pixel PX (j) to be processed. Then, a blurring process is performed (step S250). The blurring process is a known process for removing noise. If it is determined in step S230 that the luminance difference BD from the surroundings is equal to or smaller than the lower limit value B1, the pixel PX (j) to be processed may be a so-called JPEG noise such as “rainbow”. The noise is removed by blurring. Alternatively, when the luminance difference BD from the surroundings is equal to or smaller than the lower limit B1, it is highly possible that the part is a smooth part such as human skin. On the other hand, when it is determined that the brightness difference BD from the surroundings is equal to or larger than the upper limit value B2, the pixel PX (j) to be processed is determined to be so-called spike noise, and the noise is removed by blurring. I do.
[0050]
After execution of step S240 or S250, the CPU 30 increments the variable j by the value 1 (step S260), and then determines whether or not the variable j exceeds the number m of pixels of the processing target image data Dt (i). It is determined (step S270). If it is determined that the variable j does not exceed the constant m, the process returns to step S220 to select the next pixel PX (j) from the processing target image data Dt (i).
[0051]
The processing of steps S210 to S270 described above is for performing processing of sharpness enhancement and noise removal. If it is determined in step S270 that the variable j has exceeded the constant m, the CPU 30 exits the sharpness enhancement and noise removal processing and proceeds to step S280. The CPU 30 executes each process of saturation enhancement, histogram deformation, and brightness / contrast correction (steps S280, S290, S292). Each process of saturation enhancement, histogram deformation, and brightness / contrast correction is a well-known configuration used for automatically correcting an image captured by a digital camera, and a detailed description thereof will be omitted. After the execution of step S292, the process exits to "Return" and temporarily ends the processing routine of the high-resolution modification module.
[0052]
As a result of the above-described step S200, the image data processed by the high-resolution modification module is temporarily stored in the RAM 32.
[0053]
FIG. 9 is a flowchart showing the low-resolution modification module called in step S300. As shown in the figure, when the processing shifts to the low-resolution modification module, the CPU 30 first sets a value 1 to a variable j (step S310). Next, the CPU 30 selects a j-th pixel PX (j) to be processed from the processing target image data Dt (i), and calculates a luminance difference BD between the pixel PX (j) and the surroundings (step). S320). Specifically, the luminance (gradation) between the pixel PX (j) and each pixel in eight directions (upper, upper right, right, lower right, lower, lower left, left, upper left) around the pixel PX (j) ) The differences B1 to B8 are respectively obtained, and the maximum value among the brightness differences B1 to B8 is obtained as the brightness difference BD.
[0054]
Next, the CPU 30 performs a process of calculating the direction of the vector passing through the j-th pixel PX (j) to be processed (step S330). Here, the direction of the vector refers to the direction in which the variance of the luminance value is the smallest among the eight directions (upper, upper right, right, lower right, lower, lower left, lower left, upper left) around the pixel PX (j). . FIG. 10 is an explanatory diagram showing the content of the process of step S330. First, as shown in FIG. 10A, a 5 × 5 pixel group centered on the j-th pixel PX (j) to be processed is read out, and then, as shown in FIG. The variance of the luminance value is determined for the seven pixels (solid pixels in the figure). This variance is in accordance with a well-known arithmetic expression (the same applies hereinafter).
[0055]
Next, as shown in FIG. 10C, the variance of the brightness value is calculated for the seven pixels in the upper right direction (solid-filled pixels in the figure). Subsequently, as shown in FIG. 10D, the variance of the luminance value is calculated for the seven rightward pixels (solid-filled pixels in the figure). Although not shown, the variance of the luminance value is calculated for each of the lower right 7 pixels, the lower 7 pixels, the lower left 7 pixels, the left 7 pixels, and the upper left 7 pixels. The seven pixels in each direction are sequentially rotated 45 degrees clockwise from the state of FIG. 10D.
[0056]
In step S330 in FIG. 8, the smallest variance of the luminance values in the eight directions is determined, and this direction is determined as the direction of the vector to be determined.
[0057]
After executing Step S330, the CPU 30 determines whether or not the luminance difference BD obtained in Step S320 is equal to or larger than a predetermined threshold B3 (for example, value 8) (Step S340). This determination is for determining whether or not the pixel PX (j) to be processed corresponds to an edge. Here, when it is determined that the BD is equal to or larger than B3, the pixel PX (j) corresponds to an edge, and therefore, the CPU 30 performs the sharpness enhancement process for enhancing the luminance value of the processing target pixel PX (j). Is performed (step S350).
[0058]
The processing in step S350 is, in detail, the floor of a plurality of (for example, seven as illustrated in FIG. 10) pixels arranged in a direction perpendicular to the direction of the vector obtained in step S330 from the processing target pixel PX (j). The average value of the tonal values is obtained, and the luminance value (gradation value) of the pixel PX (j) to be processed is changed to a value in a direction opposite to the average value (the direction is the direction of the size). I do. That is, the difference between the gradation value of the pixel PX (j) and the average value is obtained, and the gradation value of the pixel PX (j) is changed in the direction opposite to the average value by the difference. Alternatively, the gradation value of the pixel PX (j) is changed to a size in a direction opposite to the above average value by a predetermined ratio of the difference. For example, when the luminance value of the pixel PX (j) is 80 and the average value is 120, the luminance value of 80 is changed to a direction opposite to 120 (increase side), that is, the luminance value is changed to a decrease side, For example, a luminance value of 60 is set.
[0059]
On the other hand, when it is determined in step S340 that the BD is not equal to or more than B3, the pixel PX (j) does not correspond to the edge, and thus the CPU 30 removes the influence of the edge running around the pixel PX (j) to be processed. Then, a process of removing noise is performed (step S360). More specifically, the average value of the gradation values of a plurality of (for example, the above seven) pixels arranged in the direction of the vector obtained in step S330 from the pixel PX (j) to be processed is obtained, and the pixel PX (j ) Approach the average value. That is, the difference between the gradation value of the pixel PX (j) and the average value is obtained, and the gradation value of the pixel PX (j) is changed in the direction of the average value by a predetermined ratio of the difference.
[0060]
FIG. 11 is an explanatory diagram showing the contents of the processing in steps S350 and S360. As illustrated, the image data is represented using black (brightness value 0), dark gray (brightness value 60), light gray (brightness value 120), and white (brightness value 255) colors. explain. When the pixel PX (j) to be processed is located at the position of {circle around (1)}, it is determined that this pixel PX (j) corresponds to an edge. Therefore, in step S350, the direction L1 in FIG. An average value of the luminance of a plurality of pixels is obtained in the L2 direction perpendicular to the above. Then, the gradation value of the pixel PX (j) shown in (1) is changed to a value in the direction opposite to the average value. As a result, the edge is emphasized as compared to before the modification.
[0061]
When the pixel PX (j) to be processed is located at the position of {circle around (2)}, it is determined that this pixel PX (j) does not correspond to an edge. Therefore, in step S360, L3 in the figure obtained in step S330 is obtained. An average value of the luminance of a plurality of pixels is obtained in the direction. Then, the gradation value of the pixel PX (j) shown in (2) is made to approach the average value. As a result, for the pixel PX (j), the influence from the edge running around (the edge line passing through (1)) is removed, and the noise is removed.
[0062]
The processing in steps S350 and S360 is basically that when the pixel PX (j) corresponds to an edge, the edge is represented more strongly so that the edge is emphasized, and when the pixel PX (j) does not correspond to the edge, The effect of removing the influence of the edge running around and removing the noise is strongly performed. In these processes, the intensity of the retouching is much higher than the unsharp mask and blurring (noise removal) processes performed in steps S240 and S250 of the retouching module for high resolution.
[0063]
After execution of step S350 or S360, the CPU 30 increments the variable j by the value 1 (step S370), and thereafter determines whether the variable j exceeds the number m of pixels of the processing target image data Dt (i). It is determined (step S380). If it is determined that the variable j does not exceed the constant m, the process returns to step S320 to select the next pixel PX (j) from the original image data Da (i) to be processed.
[0064]
The processing in steps S310 to S380 described above is for performing sharpness enhancement and noise removal processing. If it is determined in step S380 that the variable j has exceeded the constant m, the CPU 30 exits the sharpness enhancement and noise removal processing and proceeds to step S390. The CPU 30 executes each process of saturation enhancement, histogram deformation, and brightness / contrast correction (steps S390, S392, and S394). Each process of saturation enhancement, histogram deformation, and brightness / contrast correction is the same process as steps S280, S290, and S292 in the high-resolution modification module. After execution of step S394, the process exits to "RETURN" and temporarily ends the processing routine of the low-resolution modification module.
[0065]
As a result of the above-described step S300, the image data processed by the low-resolution modification module is temporarily stored in the RAM 32.
[0066]
C. Action / effect
According to the computer system of the present embodiment configured as described above, the modification module selected based on the parameters related to the characteristics of the image, here, the parameter PT that can specify the output resolution of the digital camera 14, is used. Thus, the image is modified. For this purpose, the image is modified by a modification module according to the characteristics of the image. Therefore, according to this computer system, the image can be modified according to the characteristics of the image, so that the finishing by the modification can be made beautiful.
[0067]
In particular, in this embodiment, since the parameters related to the characteristics of the image are data that can specify the output resolution of the digital camera 14, a modification suitable for the output resolution can be performed. An image taken with a high-resolution digital camera and an image taken with a low-resolution digital camera have a significantly different degree of image quality from the beginning. Therefore, if the same modification is performed, the modification is inappropriate depending on the output resolution. In contrast, in this embodiment, when the output resolution is high, the image quality is finished while maintaining a high image quality level by executing a high-resolution image modification module with a standard modification intensity. When the output resolution is low, the image quality is positively modified by executing the modification module for low resolution with high modification intensity. For this reason, it is possible to make the finishing by modifying both the image photographed by the high-resolution digital camera and the image photographed by the low-resolution digital camera beautiful.
[0068]
D. Other embodiments:
Next, another embodiment of the present invention will be described.
[0069]
D-1. First alternative embodiment:
In the above embodiment, the modification module is selected based on the parameter PT that can specify the output resolution of the digital camera 14, but instead, the modification module is selected based on the manufacturer name of the digital camera 14 that has captured the image. It is good also as composition which selects a modification module. In the case of the image data in the Exif format, as shown in FIG. 6, since the item Nm2 of [maker name] is prepared in the data of the additional information, the manufacturer name is changed from the item Nm2 of the manufacturer name. The data is read, and a corresponding maker-specific modification module is selected from the prepared maker-specific modification modules. Digital cameras tend to have characteristic characteristics in image data output by manufacturers. The manufacturer-specific modification module is designed to restore the characteristics of each manufacturer.
[0070]
FIG. 12 is an explanatory diagram showing an example of what kind of modification content creates a modification module for each maker. As shown in the figure, a modification module for each maker so that the intensity of each of the modification processing of sharpness enhancement, saturation enhancement, and noise removal differs depending on the maker name (including the case where there is no information and the maker name is unknown). Is created.
[0071]
D-2. Second alternative embodiment:
Instead of the above embodiment, a modification module may be selected based on the model name of the digital camera 14 that has captured the image. In the case of the image data in the Exif format, as described above, since the item Nm1 (see FIG. 6) of [model name] is prepared in the data of the additional information, the item Nm1 of the model name is provided. And reads out the model name data from the corresponding device, and selects a corresponding model-specific modification module from the model-specific modification modules prepared in advance. Digital cameras tend to have characteristic characteristics in image data output depending on the model. The modification module for each model is designed to restore the characteristics of each model.
[0072]
FIG. 13 is an explanatory diagram showing an example of what type of modification content creates a modification module for each model. As shown in the figure, a modification module for each model so that the modification intensity of each modification processing of sharpness enhancement, saturation enhancement, and noise removal differs depending on the model name (including the case where there is no information and the model name is unknown). Is created.
[0073]
D-3. Third alternative embodiment:
Instead of the above-described embodiment, a modification module may be selected based on data specifying a CCD mounted on the digital camera 14 that has captured an image. In the case of the image data in the Exif format, as described above, since the item Nm1 (see FIG. 6) of [model name] is prepared in the data of the additional information, the item Nm2 of the model name is provided. The model name data is read out from the CPU, and the model information table indicating the performance (including the model number of the CCD) for each model stored in the RAM 32 in advance is referred to by using the model name data as a key. Find the model number of a CCD in a digital camera. Then, a corresponding retouching module is selected from pre-prepared retouching modules for each CCD model number. Digital cameras tend to have characteristics in image data output by a mounted CCD. The modification module for each CCD model number is designed to restore the characteristics of each CCD model number.
[0074]
D-4. Fourth alternative embodiment:
Instead of the above embodiment, a modification module may be selected based on data specifying whether the CCD filter mounted on the digital camera 14 that has captured the image is a primary color filter or a complementary color filter. In the case of the image data in the Exif format, as described above, since the item Nm1 (see FIG. 6) of [model name] is prepared in the data of the additional information, the item Nm2 of the model name is provided. And reads the model name data from the device type table, and refers to a model information table previously stored in the RAM 32 and indicating the performance of each model (including data for determining whether the CCD filter is a primary color system or a complementary color system) using the model name data as a key. Thus, the filter of the digital camera that is the output source of the image data determines the primary color system or the complementary color system. Then, a corresponding modifying module is selected from the modifying modules for each type of CCD filter (primary color type or complementary color type) prepared in advance. In digital cameras, there is a tendency in output image data depending on whether the CCD filter attached to the CCD surface is a primary color filter or a complementary color filter. The modification module for each type of CCD filter is designed to restore the characteristics for each type of CCD filter.
[0075]
FIG. 14 is an explanatory diagram showing an example of what kind of modification content the modification module for each CCD filter creates. As shown in the figure, a modification module for each CCD filter is created so that the intensity of each of the modification processing of sharpness enhancement, saturation enhancement, and noise removal differs depending on whether the filter is a primary color filter or a complementary color filter. Is done.
[0076]
D-5. Still other embodiments:
Next, another embodiment of the present invention will be described.
[0077]
(1) In the above embodiment, the original image data to be subjected to image modification was taken by a digital camera. Instead, image data such as a silver halide photograph or a color gravure obtained using a color scanner or the like was used. It may be. Further, the present invention is not necessarily required to be color image data, and can be applied to black and white image data.
[0078]
(2) In the above embodiment, both the high-resolution modification module and the low-resolution modification module are configured by software, but may be configured by hardware instead. That is, the modification processing for the high resolution and the low resolution is configured by a predetermined electronic circuit, and the modification processing for the high resolution and the modification module for the low resolution are used.
[0079]
(3) In the above-described embodiment, two types of retouching modules for high resolution and low resolving power are prepared. Instead, three or more types of retouching modules are prepared, and according to the value of the parameter PT. , It is also possible to adopt a configuration of distributing to three or more types of modification modules.
[0080]
(4) In the above-described embodiment, two types of retouching modules for high resolution and low resolving power are prepared. Instead, retouching modules for each season are prepared and recorded in Exif format image data. It is also possible to adopt a configuration in which the season is determined from the data of the shooting date and time, and the modifying module for each season is selected according to the determination result. For example, the retouching module for spring can retouch an image with a stronger sense of season by changing the "hue" to a color tone that adds a green color to give a fresh green feeling. Alternatively, by suppressing the feeling of green, it is also possible to modify the image with a reduced seasonal feeling.
[0081]
(5) In the above-described embodiment, two types of retouching modules for high resolution and low resolving power are prepared. Instead, a retouching module for each photographing time zone is prepared and recorded in Exif image data. It is also possible to adopt a configuration in which a shooting time zone corresponding to the shooting date and time is determined from the data of the shooting date and time, and a modification module for each shooting time zone is selected according to the determination result. For example, the twilight time correction module can make corrections such as making the color reddish illuminated by the sunset, so that images that are more affected by the shooting time can be corrected. . Alternatively, by suppressing the color from being reddish, it is possible to modify the image while suppressing the influence of the shooting time zone.
[0082]
(6) In the above embodiment, one of the modification module for high resolution and the modification module for low resolution is configured to be selected. However, the modification module is subdivided according to the type of modification. It is also possible to adopt a configuration in which two or more modification modules are selected based on parameters.
[0083]
As mentioned above, although the Example of this invention was described in full detail, this invention is not limited to such an embodiment at all, and can be implemented in various aspects in the range which does not deviate from the summary of this invention. Of course.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of hardware of a computer system 10 to which an embodiment of the present invention is applied.
FIG. 2 is a block diagram showing a state of a control process executed by a computer main body 16 in accordance with the photo retouching software 50.
FIG. 3 is an explanatory diagram showing an application window WD.
FIG. 4 is a flowchart showing a first half of a routine of a batch automatic retouching process executed by a CPU 30;
FIG. 5 is a flowchart showing a latter half of a routine of the batch automatic retouching process.
FIG. 6 is an explanatory diagram showing an example of a format of Exif image data.
FIG. 7 is an explanatory diagram showing an example of a dialog box DB1 for batch automatic retouching processing.
FIG. 8 is a flowchart showing a high-resolution modification module called in step S200.
FIG. 9 is a flowchart showing a low-resolution modification module called in step S300.
FIG. 10 is an explanatory diagram showing the contents of a process in step S330.
FIG. 11 is an explanatory diagram showing the contents of processing in steps S350 and S360.
FIG. 12 is an explanatory diagram showing an example of what kind of modification content creates a modification module for each maker.
FIG. 13 is an explanatory diagram showing an example of what type of modification content creates a modification module for each model.
FIG. 14 is an explanatory diagram showing an example of what kind of modification content a modification module for each CCD filter creates.
[Explanation of symbols]
10. Computer system
13. Printer
14 ... Digital camera
16 Computer body
18 ... Keyboard
20 ... mouse
33 ... Display image memory
34 ... Mouse interface
35 ... Keyboard interface
39 ... Printer interface
40 ... I / O interface
42 ... Hard disk drive
44… Modem
46 ... Public telephone line
47 ... Server
50 ... Photo retouching software
51 ... input unit
52: Batch automatic modification unit
52a: Modification module storage unit
52b: Parameter detection unit
52c: Modification module selection unit
52d: Modification unit
53 Output part
54 ... Printing unit
60 ... Display driver
62: Printer driver
WD: Application window
DB1: Dialog box for batch automatic retouching process
Da: Original image data
Db: Modified image data
PT ... parameter

Claims

An image modification method for modifying an image represented by image data,
(A) preparing a plurality of types of modification modules in which the processing for the modification is defined;
(B) detecting parameters related to the characteristics of the image from the image data;
(C) selecting at least one modification module from the plurality of types of modification modules based on the detected parameters;
(D) modifying the image using the selected modification module.

The method according to claim 1, wherein the image data is image data representing an image captured by a digital camera.

The image modification method according to claim 2, wherein the parameter is data that can specify an output resolution of the digital camera.

An image retouching method according to claim 3, wherein
In the step (a), a first retouching module and a second retouching module having different retouching strengths are prepared. It is a configuration to be a modification module of 2,
The step (c) includes:
(C-1) determining whether the output resolution is high or low based on the parameter;
(C-2) When the output resolution is determined to be high in the step (c-1), the first modification module is selected, and in the step (c-1), the output resolution is determined to be low. Selecting the second modification module when the image is modified.

3. The image modification method according to claim 2, wherein the parameter is data specifying a maker of the digital camera.

The method according to claim 2, wherein the parameter is data specifying a model of the digital camera.

3. The image modification method according to claim 2, wherein the parameter is data specifying a CCD mounted on the digital camera.

The image modifying method according to claim 2, wherein the parameter is data for determining whether a CCD filter mounted on the digital camera is a primary color filter or a complementary color filter.

An image modification method according to any one of claims 1 to 8,
The image data is data for storing additional information indicating shooting conditions together with actual image data indicating an image,
The step (b) comprises:
(B-1) An image modification method including a step of obtaining the parameter from the additional information of the image data.

An image retouching device for retouching an image represented by image data,
Modification module storage means for storing a plurality of types of modification modules in which the processing for the modification is defined,
Parameter detection means for detecting parameters related to the characteristics of the image from the image data,
Modification module selection means for selecting at least one modification module from the plurality of types of modification modules based on the detected parameters,
Modifying means for modifying the image using the selected modifying module.

The image modifying apparatus according to claim 10, wherein the image data is image data representing an image captured by a digital camera, and the parameter is data that can specify an output resolution of the digital camera.

A computer program for causing a computer to execute a process of modifying an image represented by image data,
(A) a function of preparing a plurality of types of modification modules in which processing for the modification is specified;
(B) a function of detecting parameters related to the characteristics of the image from the image data;
(C) a function of selecting at least one modification module from the plurality of types of modification modules based on the detected parameters;
(D) a computer program for realizing a function of modifying the image using the selected modifying module.

The computer program according to claim 12, wherein the image data is image data representing an image captured by a digital camera.

14. The computer program according to claim 13, wherein the parameter is data that can specify an output resolution of the digital camera.

A computer program according to claim 14,
In the function (a), a first retouching module and a second retouching module having different retouching strengths are prepared. It is a configuration to be a modification module of 2,
The function (c) is
(C-1) a function of determining whether the output resolution is high or low based on the parameter;
(C-2) When the output resolution is determined to be high by the function (c-1), the first modifying module is selected, and the output resolution is determined to be low by the function (c-1). And a function of selecting the second retouching module when the program is executed.

14. The computer program according to claim 13, wherein the parameter is data specifying a maker of the digital camera.

14. The computer program according to claim 13, wherein the parameter is data specifying a model of the digital camera.

14. The computer program according to claim 13, wherein the parameter is data specifying a CCD mounted on the digital camera.

14. The computer program according to claim 13, wherein the parameter is data for determining whether a CCD filter mounted on the digital camera is a primary color filter or a complementary color filter.

A computer program according to any one of claims 12 to 19,
The image data is data for storing additional information indicating shooting conditions together with actual image data indicating an image,
The function (b) is
(B-1) A computer program having a function of obtaining the parameter from the additional information of the image data.

A computer-readable recording medium on which the computer program according to claim 12 is recorded.