JP2006203528A - 画像処理装置、画像処理プログラム及び記録媒体 - Google Patents

Abstract

【課題】 画像の自動補正機能と補正内容を読取装置を用いて指示する事により、ユーザの補正したい部分を簡便に指定するユーザインターフェースを実現する。
【解決手段】 画像ファイルをリードするインターフェース手段と、前記画像ファイルを解析する第一の解析手段と、少なくとも一つの画像と処理方法のメニューが書かれたオーダーシートをプリントアウトする印字手段と、前記シートに記入された情報をスキャンする読取り手段と、読取った情報を解析する第二の解析手段とを有し、前記画像を第一、第二の解析結果を元に前記画像の補正を行い、プリントアウトする事を特徴とするように制御する。
【選択図】 図１

Description

本発明は画像処理装置、画像処理プログラム及び記録媒体に関し、例えば、高品位な画像を簡便な操作で実現する画像処理に関する。

ディジタルスチルカメラ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ：以下ＤＳＣと略）はカメラユーザの人気を獲得しつつある。その理由としては、フィルムが不要で、その場で撮影画像がモニタなどで確認でき、ＰＣ等で加工が容易な事、さらにはネットワークへの親和性が高いことが上げられる。しかし、多くの場合、撮影した画像はＰＣやＴＶのデイスプレイだけでなく、紙などのメディアにプリントアウトして観賞されている。

ＰＣを用いれば高解像度のカラー画像を、従来のインクジェットプリンタおよびレーザプリンタによって印刷するためにデータを格納することができるものの、ＰＣの操作に不慣れなユーザなど抵抗感が強い。さらに、ＰＣの操作になじみの薄いユーザほど写真をプリントアウトして観賞する傾向が強い。また、ＤＳＣの写真をプリントアウトするだけのためにＰＣを購入する事は経済的にも非効率である。

そこで、ＤＳＣで撮影された写真情報を記録した記録媒体をプリンタに直接装着し、記録された画像をプリントアウトする製品が人気を得ている。また、記録媒体を経由することなく、カメラと直接接続する事も行われている。これらのＰＣレスプリントは操作の簡便さが支持されている。

近年のインクジェット印刷技術の進歩によってインクによって形成されるドットが微小化し肉眼の可視限界を越え、「粒状感ゼロ」の印刷が可能となっている。しかしながら、画質の点で、インクジェット印刷技術は従来のハロゲン化銀の写真印刷画質に迫るものの、後述する画像補正に関しては未だ改良の余地がある。

ユーザが撮影した画像は必ずしも適正に撮影されているとは限らない。そこで、印刷時に自動、もしくは半自動で画像を補正することが考えられる。撮影されたデータを自動で補正する技術が、特許文献１などで開示されている。

画像を解析して補正処理を決定し、決定した補正処理を画像に適用して印刷するが、現在のところ、必ずしもこの解析処理、補正決定処理は万能ではない。例えば夜景画像の場合に、解析処理によっては露出アンダーで撮影された画像と区別ができない場合がある。このような場合、撮影情報を用い、解析処理、補正決定処理に対する新たなヒント情報として使用している。

例えばこの場合、撮影情報の撮影シーンタイプが夜景となっていれば、それはユーザが夜景を意図して撮影したということがわかり、露出アンダーで撮影された画像と区別することができる。

また、ユーザが露出をマニュアルで撮影した場合は、明るさに関してはユーザが意図したものであることがわかるので、この場合明るさに関する補正処理を行わない、もしくは通常より低減することが望ましいことになる。

またあるいは、例えば撮影シーンタイプが風景となっている場合には、ユーザが風景写真を意図して撮影したということがわかるので、それに応じて補正処理でコントラスト、彩度、シャープネスを通常より上げ、風景として見栄えがするように補正を行うといったことも可能である。
特開２００１−１８９８６３号公報

しかしながら、ほとんどの場合撮影時にはシャッターチャンスを優先するあまり、ＤＳＣで詳細にモードをセットせず、自動モードで撮影する場合が多い。このような場合、撮影情報と画像解析結果のみで最適な補正画像を提供する事は難しい。

また、例えば、ＤＣＳでオート撮影を行うと、ＡＥ（自動露出）が機能するため、背景の大部分に例えば青空が含まれているような場合（例えば図１４の１４０１）、全体として暗くなる露出アンダーの撮像が行われ、人物など（例えば１４１０，１４１１）の被写体が良好な状態で写らない状態となる。つまり、風景写真の場合は好ましい補正となるが、人物が被写体の中に存在すると全く同一な補正であっても好ましくない補正になってしまう。

さらに、自動補正には撮影の失敗画像の救済やより好ましい画像への補正などさまざまな用途がある。一まとめに自動補正といってもさまざまな要素を含みまた、補正の目標とすべき色や補正を必要としている要素も個人によりまちまちである。

要求が高まるに連れ、一概に明るくするだけや、コントラストを上げるだけではユーザの支持する画像出力が困難になってきた。

最も要求が高いもののひとつである、人物の顔をきれいに出力したいと言う要望に答えるために、顔の自動検出や、肌色の検出を行い明度を調整する方法などがある。

ただし、これらの処理は顔を判定するための特徴量を記憶した膨大なデータベースとそれらの比較社業が必要であり、装置の制限が大きく、ＰＣレスの簡便な画像出力装置にはふさわしくない。

好ましい画像肌色の補正はユーザの感性に依存する部分が大きいため、自動補正の重要な情報としてユーザの嗜好を組み込む必要がある。

本発明は、上述の問題を個々にまたはまとめて解決するためのもので、プリント時にユーザの撮影時の意図を簡便なユーザインターフェースで入力し、撮影情報として記録し、また印刷時にはその撮影情報を参照することにより、より補正処理の精度を上げ、ユーザの意図を反映した補正、効果処理を適用するといったことを可能にするものであり、家庭に普及している簡便なマルチファンクション機においても、読取機能を利用する事により、ユーザの補正したい部分を簡便に指定するユーザインターフェースを実現する画像処理装置、画像処理プログラム及び記録媒体を提供することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理装置は、
画像ファイルをリードするインターフェース手段と、
前記画像ファイルを解析する第一の解析手段と、
少なくとも一つの画像と処理方法のメニューが書かれたオーダーシートをプリントアウトする印字手段と、
前記シートに記入された情報をスキャンする読み取り手段と、
読み取った情報を解析する第二の解析手段とを有し、
前記画像を第一、第二の解析結果を元に前記画像の補正を行い、プリントアウトすることを特徴とする。

本発明によれば、読取機能を利用する事により、ユーザの補正したい部分を簡便に指定するユーザインターフェースを実現することを目的とする。

以下、本発明にかかる実施形態の画像処理装置を図面を参照して詳細に説明する。

［構成］
図１は実施形態の画像処理装置の構成例を示すブロック図である。

図１において、ＣＰＵ１１は、画像処理装置が備える様々な機能を制御し、操作部１５の所定の操作に従い、ＲＯＭ１６に記憶された画像処理のプログラムを実行する。

ＣＣＤを備える読取部１４は、図２の入力部２４に対応し、原稿画像を読み取り、赤（Ｒ）、緑（Ｇ）および青（Ｂ）色のアナログ輝度データを出力する。なお、読取部１４は、ＣＣＤの代わりに密着型イメージセンサ（ＣＩＳ）を備えてもよい。また、図２のようなＡＤＦ部２３を備えれば、連続でオーダーシートを読み取る事が出来更に簡便である。

また、カードインターフェース部２２も図２の２２に対応し、例えばディジタルスチルカメラ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ：ＤＳＣ）で撮影され、メモリカードなどに記録された画像データを、操作部１５の所定の操作に従い読み込む。なお、カードインターフェース部２２を介して読み込まれた画像データの色空間は、必要ならば、画像処理部１２により、ＤＳＣの色空間（例えばＹＣｂＣｒ）から標準的なＲＧＢ色空間（例えばＮＴＳＣ−ＲＧＢやｓＲＧＢ）に変換される。また、そのヘッダ情報に基づき、読み込まれた画像データは、有効な画素数への解像度変換など、アプリケーションに必要な様々な処理が必要に応じて施される。

また、カメラインターフェース部２３はＤＳＣに直接接続し、画像データを読み込むためのものである。

画像処理部１２においては、後述する画像解析、サムネイル作成、サムネイル補正、オーダーシート解析、出力画像補正等の画像処理が行われ、それによって得られる補正データは、ＲＡＭ１７に格納される。そして、ＲＡＭ１７に格納された補正データが、図２の記録部２５に対応する記録部１３で記録するのに必要な所定量に達すると、記録部１３による記録動作が実行される。

また、不揮発性ＲＡＭ１８は、バッテリバックアップされたＳＲＡＭなどで、画像処理装置に固有のデータなどを記憶する。また、操作部１５は、図２の２６に相当し、記憶媒体に記憶された画像データを選択し、記録をスタートするためにフォトダイレクトプリントスタートキー、オーダーシートをプリントさせるキー、オーダーシートを読み込ますキー、モノクロコピー時やカラーコピー時におけるコピースタートキー、コピー解像度や画質などのモードを指定するモードキー、コピー動作などを停止するためのストップキー、並びに、コピー数を入力するテンキーや登録キーなどから構成される。ＣＰＵ１１は、これらキーの押下状態を検出し、その状態に応じて各部を制御する。

表示部１９は、ドットマトリクスタイプの液晶表示部（ＬＣＤ）およびＬＣＤドライバを備え、ＣＰＵ１１の制御に基づき各種表示を行う。また、記憶媒体に記録されていた画像データのサムネイルを表示する。記録部１３は、インクジェット方式のインクジェットヘッド、汎用ＩＣなどによって構成され、ＣＰＵ１１の制御により、ＲＡＭ１７に格納されている記録データを読み出し、ハードコピーとしてプリント出力する。

駆動部２１は、上述した読取部１４および記録部１３それぞれの動作における、給排紙ローラを駆動するためのステッピングモータ、ステッピングモータの駆動力を伝達するギヤ、および、ステッピングモータを制御するドライバ回路などから構成される。

センサ部２０は、記録紙幅センサ、記録紙有無センサ、原稿幅センサ、原稿有無センサおよび記録媒体検知センサなどから構成される。ＣＰＵ１１は、これらセンサから得られる情報に基づき、原稿および記録紙の状態を検知する。

以下に、図２から図１５を用い、本発明の動作説明を行う。

カードインターフェース部２２にカード挿入された、もしくは、カメラインターフェース部２３にＤＳＣが接続された後、以下の動作を行う。

オーダーシートの生成
ユーザは操作部１５より、カードまたはＤＳＣ内すべての画像データを一括でプリントする「すべてプリント」、特定のファイルのみプリントアウトする「ファイル名を指定してプリント」、インデックスをプリントアウトする「インデックスプリント」、オーダーシートをプリントする「オーダーシートプリント」を選択する。

オーダーシートプリントが選択された場合、図３（ａ），（ｂ）に示すフローにより、図４に例を示すオーダーシート用の印字データを作成する。

先ず、オーダーシートを識別するユニークな値を作成する（Ｓ１０１）。

これは、後述するようにオーダーシートを読取部１４にてスキャンした時に読み込まれたオーダーシートと記録部１３で出力したオーダーシートの関連を取るために用いる。日時、デジカメのＩＤ、本画像処理装置のシリアルナンバー、画像ファイル番号などを用い、ユニークな値になるように生成する。

識別マークは図４のようなバーコード４１でも構わないし、ＯＣＲ機能を備えた装置であれば、数字やアルファベットの組み合わせでも構わない。

ステップＳ１０２において、撮影情報などを記録したＴＡＧ情報を挿入されたメモリカードまたは接続されたＤＳＣから取得する。

ここで撮影情報とは、撮影手段（ＤＳＣ）の特性を示す、
ＤＳＣメーカー名、機種名、ファームウエアバージョン、ＣＣＤ感度、測光方式、
や、撮影状況を示す、
撮影日時、シャッタースピード、絞り（ＡＶ）、露出補正（ＥＶ）、焦点距離、フラッシュが使用されたか否か、デジタルズーム、撮影モード、コントラスト、
や、撮影データの特性を示す、
画像サイズ、画面アスペクト比、圧縮率、サンプリング、圧縮法、色空間、
ならびに、サムネイル画像などから成る。

また、上記撮影条件においてマニュアル設定で撮影された情報のある場合は、撮影者の意図に反した自動補正を行わないように、「自動補正禁止フラグ」を立てる。

また、露出モードやホワイトバランスに関して独立に「自動補正禁止フラグ」を用意しても良い。

次に、ステップＳ１０３においてＴＡＧ情報よりサムネイルファイルの有無を判断する。

画像ファイルにサムネイルがあり、サムネイルのサイズがオーダーシート出力に充分なサイズがある場合は、所定の画像補正を行い、オーダーシート作成用の画像ファイルとしてＲＡＭ１７（以下メモリ部１７とする）に格納する（Ｓ１０５）。

ただし、「自動補正禁止タグ」が立っている場合は、自動補正を行わず、オーダーシート作成用の画像ファイルとしてメモリ部１７に格納する（Ｓ１０４）。

ステップＳ１０３にてサムネイル画像がない場合は、以下のステップで、オーダーシート用の画像ファイルを作成する。

ステップＳ１０６において、カードインターフェース部２２より挿入されたメモリカードあるいはカメラインターフェース部２３より接続されたＤＳＣより画像データを取得する。

ステップＳ１０７において、「自動補正禁止タグ」が有効でない場合、画像補正に用いる解析データの作成を行う（Ｓ１０８）。

ステップＳ１０９において、サムネイル画像を作成する。

例えば、２００万画素で１２００ｘ１６００画素の場合は１０画素間隔で画像データをサンプリングし、サムネイルファイルを作成する。このサムネイルファイルは元のカードのデータに書き戻しても構わない。ステップＳ１０９で作成したサムネイルをＳ１０８の解析結果で決定した補正係数で補正しオーダーシート用の画像ファイルを作成しメモリ部１７へ格納する（Ｓ１１０）。

「自動補正禁止タグ」が立っている場合は、画像補正を行わず、サムネイル画像を作成する（Ｓ１１１）。

オーダーシート１ページ分の画像データが作成された時点で（Ｓ１２１）、オーダーシートの印字データを作成する。

メモリ部１７に格納された画像データを読み出しプリンタ用データを作成し、プリンタバッファへ送る（Ｓ１２２）。

送られたデータは画像処理部１２においてトナーまたはインクの色成分に分解され、記録部１３において紙に出力される。

まだ、オーダーシートを作成していない画像ファイルが残っている場合（Ｓ１２３）は、Ｓ１０１から繰り返す。

●解析の詳細
ＤＳＣのデータ出力はＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）などにおいて定義された、色空間および圧縮方法により受け渡しされる。

ここでは、ＹＣｂＣｒのＪＰＥＧ圧縮データを例に図５（ａ）を用いて説明する。もちろんさらなる、高品位の画像データを受け取るために、ＲＧＢの輝度のＲＡＷデータで受け渡ししても良い。

圧縮されたデータをステップＳ２０１でデコードし、必要に応じてサンプリングする（Ｓ２０２）。

得られたＹＣｂＣｒをメモリ部１７に格納する（Ｓ２０３）。

非圧縮の状態で複数の画像データを保持するには多くの画像メモリを必要とするため、ページメモリに全て格納するには好ましくない。また、ヒストグラム解析は画像のマクロな傾向を判定するためのものであるので、間引いたデータでも充分に効果がある。

ＴＡＧ解析
ステップＳ１０２で取得した撮影情報は、下記のように自動補正のパラメータを決める方法に用いる。

撮影シーンタイプ（Ｓｃｅｎｅ Ｔｙｐｅ Ｔａｇ）
シーンタイプが、
「風景」の場合、ユーザが風景写真を意図して撮影したということがわかるので、それに応じて補正処理でコントラスト、彩度、シャープネスを通常より上げ、風景として見栄えがするように補正を行う、
「人物」の場合は、階調性を重視し、
「夜景」の場合は、高輝度部の階調性を重視した補正を行う。

フラッシュＴＡＧ（Ｆｌａｓｈ Ｔａｇ）
また、撮影条件で、「フラッシュＯＮ」の場合は、階調性を重視した補正を行う。

露出モードＴＡＧ（Ｅｘｐｏｓｕｒｅ Ｍｏｄｅ Ｔａｇ）
また、ユーザが露出をマニュアルで撮影した場合は、明るさに関してはユーザが意図したものであることがわかるので、この場合明るさに関する補正処理を行わない、もしくは通常より低減する。

ホワイトバランスＴＡＧ（Ｗｈｉｔｅ Ｂａｌａｎｃｅ）
また、ユーザがホワイトバランスをマニュアルで撮影した場合は、ホワイトバランスに関してはユーザが意図したものであることがわかるので、この場合ホワイトバランスに関する補正処理を行わない、もしくは通常より低減する。

個別画像処理
セピアや絵画風など特殊画像処理がされているため、自動補正禁止ＴＡＧをたてる。

ヒストグラム解析図５（ｂ）
輝度信号Ｙのヒストグラム（度数分布）を作成する。

先ず画像全体の輝度信号のヒストグラム解析を行う。

ステップＳ２１０において、入力輝度信号に対し、そのデータの現れた頻度を計数する。画素全体のヒストグラムを作成するには負荷が大きいので、サンプリングして使用しても良い。ＪＰＥＧが８ｘ８の画素サイズのため、１／８のサンプリングレートにすればＪＰＥＧのＤＣ成分を使用すればよくＤＣＴ演算にてＡＣ成分を算出する不可が低減する。

その結果、図６のような解析結果を得る。

横軸が輝度Ｙ６１、縦軸が頻度６２を示す。

一般的な条件で撮影されたＤＳＣの撮影データは高輝度６３や低輝度６４の部分がほとんどない。これは、ＤＳＣにおいて撮影条件などによって、階調の跳びやつぶれを防ぐためにダイナミックレンジを広く取っているためである。しかし、限られた有効ビット幅の中で使用していない範囲が広ければ広いほど、コントラストのないぼやけた画像になりやすい。しかし、撮影者の記憶としてはコントラストの高い画像として記憶されているため、出力画像が意図したものからずれ撮影者の満足が得られにくい。

そこで、ＨＰ（Ｈｉｇｈｌｉｇｈｔ Ｐｏｉｎｔ）、ＳＰ（Ｓｈａｄｏｗ Ｐｏｉｎｔ）を定義する。

本実施例では、全画素数に対し、３％未満画素が属する領域を高輝度部でＨＰ部６５、低輝度部でＳＰ部６６とする（Ｓ２１１）。

たとえば、８ｂｉｔで２５６階調を表現できるとすると、図７のようにＨＰが２５５、ＳＰが０に成るような変換式（式１）ならびに係数を得る（Ｓ２１２）。

出力＝２５５＊（入力−ＳＰ）／（ＨＰ−ＳＰ） （式１）

また、ステップＳ２１４で平均輝度Ｙａｖｅｒａｇｅ６７を求める。この平均輝度が、ターゲットの輝度データＹｔａｒｇ６８となるようなガンマ係数を求める（Ｓ２１５）。

ｇａｍｍａ＝ｌｏｇ（Ｙｔａｒｇｅｔ／２５５）／ｌｏｇ（Ｙａｖｅｒａｇｅ／２５５） （式２）

このようにして求めたｇａｍｍａ係数は、
出力＝２５５＊（入力／２５５）＾ｇａｍｍａ （式３）
により図８のようなヒスグラムや図９のような補正輝度データになるものである。

これらの係数を補正パラメータとして、メモリ部１７へ保管する（Ｓ２１６）。

ＷＢ（ホワイトバランス）解析図５（ｃ）
前記メモリから色差信号Ｃｂ、Ｃｒごとの１画像平均の色差を計算する（Ｓ２２０）。

一画面の平均色差とホワイトバランスの崩れの関係より補正係数を決定する（Ｓ２２１）。一画面の平均色差と補正値（Ｃｂ＿ａｄｊ、Ｃｒ＿ａｄｊ）をテーブルから読み出し、補正係数とする（Ｓ２２２）。

補正は、
Ｃｂ’＝Ｃｂ−Ｃｂ＿ａｄｊ （式４）
Ｃｒ’＝Ｃｒ−Ｃｒ＿ａｄｊ
となる。

図５（ｄ）に肌色解析のフローを示す。

肌色検知は全画素データを判別する必要はないため、必要に応じてＮ個の領域にサンプリングを行う（Ｓ２３０）。

検定画素のデータ（Ｙ（ｎ），Ｃｂ（ｎ），Ｃｒ（ｎ））を取得する（Ｓ２３１）。

添え字のｎはサンプリングされた領域のエリア番号である。

まず、標準的な肌色にどれだけ近いかを評価する。

たとえば、標準的な肌色を（２０７，２３，−２７）とし、この値とのずれ量ΔＣｂ（ｎ）、ΔＣｒ（ｎ）を計算する（Ｓ２３２）。

ΔＣｂ（ｎ）、ΔＣｒ（ｎ）と閾値Ｃｂ＿ｔｈ０、Ｃｂ＿ｔｈ１、Ｃｂ＿ｔｈ２、Ｃｒ＿ｔｈ０、Ｃｒ＿ｔｈ１、Ｃｒ＿ｔｈ２から肌色係数０、１、２、３の４段階に分類する。すなわち、肌色係数０ではほぼ肌色として間違いない領域、肌色係数１、２で肌色の可能性がある領域。肌色係数４は肌色である可能性のない領域とする。

たとえば、Ｃｂ＜０、Ｃｒ＞０の領域やＹ＜７５の領域では肌色の可能性が極めて低いので、領域４とする。

肌色係数０の画像データが検出されれば、そのエリアを記憶する。

肌色係数０の画素をカウントし閾値以上であればｆｌａｇ＿ｓｋｉｎ＿ｃｏｕｎｔをたて、
肌色係数０の画素の連続性が閾値以上であればｆｌａｇ＿ｓｋｉｎ＿ａｒｅａをたてる。

肌色係数０を中心に肌色係数１，２のエリアが図１０のように判定される（Ｓ２３５）。

肌色係数０の部分において、ｆｌａｇ＿ｓｋｉｎ＿ｃｏｕｎｔとｆｌａｇ＿ｓｋｉｎ＿ａｒｅａから、顔（肌色）として識別しｆｌａｇ＿ｓｋｉｎをたて、最適な色で最適な肌色として表現できるように補正を行い、またオーダーシートに肌色のチェック欄を作成する。

肌色判定結果で肌色係数１または２の部分が独立してある場合、注目部分以外に肌色が存在する可能性があるために、フラグ（Ｆｌａｇ＿ｃａｎｄｉ）を立てる。

このフラグはオーダーシートで別の部分にある顔（肌色部分）に注目して補正すべきかを選択するチェック欄を作成するかの判断に用いる。

また、ＣｂＣｒの条件は肌色に当てはまっていても、Ｙ値が該当しない場合は、フラグ（ＦＬＡＧ＿ｄａｒｋ）を立てる。

オーダーシートの詳細
オーダーシートは図４、図１４に示すようなシートである。表示する画像の数やデザインは本実施例により限定されるものではない。

画像の数はサムネイルを見て画像処理・補正の判断をオペレータが可能な最低限度の大きさを確保しなければならないことは言うまでもない。それ以上のサイズに関しては、オペレータが選択できるようにしても良いし、その他に変化する表示情報により最適に変化させても良い。

４１はＳ１０１で作成したバーコードである。オーダーシートにユニークな値として付加されたものである。

４２は傾き検出用の目印である。これは、紙の輪郭線を読み取る事により代用する事も可能である。

４３はプリントされたサムネイル画像である。

オペレータは、この画像内に領域の指定などを書きこむ事ができる。

４４はそのサムネイル画像で示される画像ファイルをプリントするか否かの設定をするためのマーク欄である。

４５はファイル名などのファイル情報や撮影日時などの撮影情報およびコメントなどの情報である。

４６は補正を行いたい項目を選択するメニュー欄で、画像の解析結果に基づき各種組み合わせを表示する。

図１４に一例を示す。

１４０１の画像の解析結果でハイライト部が広く、肌色部の明度の低い領域がある範囲以上あった場合、逆光で撮影された可能性がある。

このため、顔色をさらに補正するかを選択するメニュー１４０３を表示する。

また、肌色領域が複数部分に分かれている場合は、どちらの肌色を重視するかを選択するメニュー１４０５を表示する。

１４５１の画像の解析結果でＴＡＧの撮影情報より、フラッシュが使用された場合は、補正の内容が異なる。

例えば、フラッシュを使用したものの被写体までの距離が遠く充分に届かなかった場合がある。これらの画像を救済するために例えば、顔色を明るくする補正メニュー１４５４を表示したり、逆に被写体までの距離が近すぎて白飛びしてしまった画像に関しては、緩和させるためのメニュー１４５６を表示する。

また、フラッシュ時には、赤目になることがある。

赤目の自動補正に関する技術はさまざまなものが研究されているが、精度と処理の軽負荷が両立した技術はまだ確立していない。

そこで、赤目画像であった場合にその画像および領域を指定できるように、メニュー１４５８を表示する。

また、複数の人物が写っている場合、どちらの人物を優先的に処理して良いか、画像処理装置においては判断しかねる。そこで、複数の肌色領域が存在し、解析結果の補正係数が互いに異なる場合は、どちらの人物に処理を会わせるかを選択するメニュー１４５５を表示する（どちらも選択されなければ平均的な補正を行う）。

また、補正すべき候補が複数有り、共通の補正係数では両立しない場合は、それぞれの補正係数で補正したものをプリントアウトし選択用のメニューを付加する。

オーダーシートの読み取り
オーダーシートに記入後、プリントアウトのオーダーを指示する。図２の読み取り部にオーダーシートをセットし、操作部のスキャンボタンを押下する。複数枚のオーダーシートにてオーダーする場合は図２のＡＤＦ２３を使用するようにすれば、オーダーシート毎に設定しなおす煩わしさから開放される。

なお、画像の傾きを補正するための自動調整機能を併せ持つため、原稿の向きに関してユーザは注意を払う必要はない。

以下、図１１のフローにて説明する。

ステップＳ３０１で読み取ったＲＧＢ輝度データを解析し（Ｓ３０３）、識別バーコードが所定の位置にあるか調べる。バーコードを黒インクまたは黒トナーで印字した場合は、Ｇデータを解析すると解析処理負荷が少なくて良い。

識別コードより元画像のあるオーダーシートを特定する（Ｓ３０６）。

オーダー内容解析
プリントを指示するチェックボックス１４０２がチェックされていたら、フラグ（ｃｈｅＢｏｘ＿ｐｒｉｎｔ＿ｏｒｄｒｅ）をたて、
顔色を補正するチェックボックス１４０３、１４５３がチェックされていたら、フラグ（ｃｈｅＢｏｘ＿ｆａｃｅ）をたて、
顔色を明るく補正するチェックボックス１４０４、１４５４がチェックされていたら、フラグ（ｃｈｅＢｏｘ＿ｆａｃｅ＿ｂｒｉｇｈｔｅｎ）をたて、
赤目補正を指示するチェックボックス１４５８がチェックされていたら、フラグ（ｃｈｅＢｏｘ＿ｒｅｄ＿ｅｙｅ）をたて、
白飛びを抑制するチェックボックス１４５６がチェックされていたら、フラグ（ｃｈｅＢｏｘ＿ｆａｃｅ＿ｗｈｉｔｅ＿ｏｕｔ）をたて、
マークした人物を優先して補正するするチェックボックス１４０５、１４５５がチェックされていたら、フラグ（ｃｈｅＢｏｘ＿ｍａｒｋｅｄ＿ｐｅｒｓｏｎ）をたて、
マークした部分を補正するチェックボックス１４５７がチェックされていたら、フラグ（ｃｈｅＢｏｘ＿ｍａｒｋｅｄ＿ａｒｅａ）をたてる。

指定された領域の特定（図１２）
フラグが立っている画像に関してはエリアを指定している可能性があるため、スキャンしたオーダーシートを解析する。ステップＳ４０１で対象画像のスキャンＲＧＢデータを読み出し、輝度データに変換する（Ｓ４０２）。

この際、スキャンしたデバイスに固有のＲＧＢデータから標準の色空間に変換した後、Ｙ値に変換する（Ｓ４０３）。

Ｙ＝０．２９９＊Ｒ’＋０．５８７＊Ｇ’＋０．１１４＊Ｂ’

ステップＳ４０４で対応する画像のサムネイルデータを読み出し、差分を計算する（Ｓ４０５）。

輝度データの差分ΔＹと閾値Ｙｔｈからマークされている部分を特定し、中心を求める（Ｓ４０６）。

その部分が、前記画像解析時にエリア指定の解析の候補であったかどうかを調べる（Ｓ４０７）。

肌色係数１などの解析結果を持っていたエリアであれば、そのエリアが好ましい肌色になるような係数を決定する（Ｓ４０８）。また、候補に成る物がなければ、指定エリアのサンプルレートを上げて詳細に画像を解析する（Ｓ４０９）。

出力画像補正（図１３）
Ｓ５０１において、オーダーされた画像データとＴＡＧ情報を読み込む。

該当する補正データがあれば（Ｓ５０２）、補正に関するオーダーを読み込む（Ｓ５０３）。

指定エリアがある場合は（Ｓ５０４）、サムネイルの座標で定義されている指定エリアを実画像の座標に変換する（Ｓ５０５）。

指定エリアの画像データを前記の手順に従い解析する（Ｓ５０６）。

ただし、サンプリングの量を増やし、高精度の解析を行う。

オーダーシート作成時の解析結果で肌色係数が１または２であった領域がマーキングで肌色としての補正をオーダーされた場合は、その領域が好ましいとされる肌色のＹＣｂＣｒの値に近くなるように補正係数を変更する（Ｓ５０７）。

指定エリアと、画像全体の補正係数が異なる場合は、エリアにより切り分けて使用してもよい。

以上のデータを元に、色調整を行う補正値を決定する。本実施例では非線形の部分を扱う１ＤＬＵＴによる変換（図１５のＳ６０２）と３ＤＬＵＴによる変換部（同図Ｓ６０３）で使用する、２段階の補正テーブルを作成する（Ｓ５０７）。

線形補間による３ＤＬＵＴを使う場合にはガンマなどの非線形補正はＳ６０２の１ＤＬＵＴで補正するようにパラメータを決定する。

プリントデータ作成
以上のように決定されたデータを用いて、プリントデータを作成する。

図１５のＳ６０１において、ＹＣｂＣｒをＲＧＢに変換する。

Ｓ６０２において、各成分独立のＬＵＴを用いてＲ’Ｇ’Ｂ’に変換する。

ここでは、明度補正などのための非線形変換を主に行う。

Ｓ６０３において前記補正されたＲ’Ｇ’Ｂ’から出力装置に依存したＲ”Ｇ”Ｂ”空間に変換する。

この際、彩度強調や色相回転、コントラスト補正などの変換を行う。

Ｓ６０４において、プリンタのインクあるいはトナーの特性に合わせたＣＭＹＫに分解される。

分解されたＣＭＹＫをＳ６０５で量子化し、その際発生した誤差をＳ６０６で誤差拡散する。

Ｓ６０４，６０５はデイザ法による処理でも構わない。

作成したデータ（Ｓ６０７）をプリンタに転送し（Ｓ６０８）、所定のメディア上に印字する。

以上が本発明の一連の動作概要である。

［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

実施形態の画像処理装置の構成例を示すブロック図 図１に示す画像処理装置の外観を示す図 オーダーシート作成を説明する図 オーダーシート作成を説明する図 オーダーシートの一例を示す図 撮影画像解析を説明するフローチャート 撮影画像解析を説明するフローチャート 撮影画像解析を説明するフローチャート 撮影画像解析を説明するフローチャート 輝度データＹのヒストグラム解析の一例を示す図 輝度データＹの補正の一例を示す図 輝度データＹの補正の一例を示す図 輝度データＹの補正の一例を示す図 肌色判定結果の一例を示す図 オーダーシート読み取りフローの一例を示すフローチャート オーダーシートのエリア指定テーマークの解析例を示す図 プリントアウト画像補正を示す図 オーダーシートの詳細を示す図 プリントアウト時のデータフローを示すフローチャート

符号の説明

１１ ＣＰＵ
１２ 画像処理部
１３ 記録部
１４ 読取部
１５ 操作部
１６ ＲＯＭ
１７ ＲＡＭ
１８ 不揮発性ＲＡＭ
１９ 表示部
２０ センサ部
２１ 駆動部
２２ カードインターフェース部
２３ カメラインターフェース部

Claims (9)

1. 画像ファイルをリードするインターフェース手段と、
   前記画像ファイルを解析する第一の解析手段と、
   少なくとも一つの画像と処理方法のメニューが書かれたオーダーシートをプリントアウトする印字手段と、
   前記シートに記入された情報をスキャンする読み取り手段と、
   読み取った情報を解析する第二の解析手段とを有し、
   前記画像を第一、第二の解析結果を元に前記画像の補正を行い、プリントアウトすることを特徴とする画像処理装置。
2. 画像ファイルの添付された撮影情報を解析する第三の解析手段を有し、
   前記画像を第一、二、三の解析結果を元に前記画像の補正を行い、プリントアウトすることを特徴とする請求項１に記載された画像処理装置。
3. 前記第一および第三の解析結果により、前記オーダーシートに記載するメニュー項目を変更することを特徴とする請求項１または２に記載された画像処理装置。
4. 前記メニューが画像補正に関するメニューであることを特徴とする請求項３に記載された画像処理装置。
5. 前記オーダーシートの画像上に書き込まれた情報を画像とエリア指定としてメニュー上の指示と関連付けて処理することを特徴とする請求項１から４のいずれかに記載された画像処理装置。
6. 前記オーダーシートの画像上に書き込まれた情報を前記画像に含まれる特定の色を補正する情報として用いることを特徴とする請求項１から５のいずれかに記載された画像処理装置。
7. 特定の色が肌色であることを特徴とする請求項６に記載された画像処理装置。
8. 請求項６に記載された画像処理装置を制御して、前記画像処理を実行することを特徴とする画像処理プログラム。
9. 請求項８に記載された画像処理プログラムが記録されたことを特徴とする記録媒体。

Images