JP2006121416A - 画像処理方法、装置及びプログラム並びにプリンタ - Google Patents

Abstract

【課題】顔の凹凸等の原画像の立体感が失われず、かつハイライト部がより明るくなる画像処理（美白処理）を可能にする。
【解決手段】デジタルの原画像R/G/B は、ボケ画像生成部２０２により第１のボケ画像に変換される。美白ＬＵＴ２０４は、ハイライト部が上に凸になるように（より明るくなるように）階調変換するテーブルであり、前記第１のボケ画像を入力し、該第１のボケ画像のハイライト部をより明るくした第２のボケ画像を出力する。一方、減算器２０６は、原画像R/G/B から第１のボケ画像を減算し、その差分画像を出力する。この差分画像は、原画像R/G/B の顔の凹凸等のディテール情報を担う高周波成分を含む。加算器２０８は、前記第２のボケ画像と差分画像とを加算し、この加算した画像を美白処理後の画像R'/G'/B'として出力する。
【選択図】 図２

Description

本発明は画像処理方法、装置及びプログラム並びにプリンタに係り、特に人物の顔を美白処理する技術に関する。

従来、撮影した顔画像とテンプレート画像とを合成してプリントするアミューズメントシールプリント機において、ユーザの好みの明るさの写真プリントを出力できるように、以下の２つの方法を採用している。

(a) 撮影前にユーザに明るさを選択させ、その選択された明るさに対応する撮影条件（絞り値、シャッタ速度）で撮影する。

(b) 撮影後にユーザに明るさを選択させ、画像処理（例えば、トーンカーブのハイライト部を上に凸に変更）することにより明るさを調整する。

また、従来、明暗の大きなフイルム画像を感光材料に露光する際に、フイルム画像のハイライト部が白飛びせず、シャドー部が黒潰れしないように、いわゆる覆い焼きが行われるが、この覆い焼きと同様の効果を得ることができる画像処理方法が提案されている（特許文献１）。

この特許文献１に記載の画像処理方法は、原画像からボケ画像を生成し、このボケ画像に基づいて該ボケ画像のハイライト部の画素に対応する原画像の画素の明るさを暗くし、ボケ画像のシャドー部に対応する原画像の画素の明るさを明るくするための補正量を得、この補正量を原画像に加算することにより、画像のめりはりを維持しつつ、白飛びや黒潰れのない高画質の処理画像を得るようにしている。
特開平９−１３０６０９号公報

従来のアミューズメントシールプリント機において、ユーザの好みの明るさの写真プリントを得る場合に、上記(b) の方法によって明るさを調整すると、ハイライト部のトーンカーブの傾きが小さくなるため、処理画像中のハイライト部（例えば、顔）の階調変化が小さくなり、美白になるが、立体感が欠如した顔画像になるという問題があった。

一方、特許文献１に記載の画像処理方法は、画像中のハイライト部の白飛びやシャドー部の黒潰れをなくす画像処理であり、美白にする画像処理ではない。

本発明はこのような事情に鑑みてなされたもので、画像中のハイライト部の立体感が失われることなく、画像中のハイライト部をより明るくする処理（美白処理）を行うことができる画像処理方法、装置及びプログラム並びにプリンタを提供することを目的とする。

前記目的を達成するために請求項１に係る画像処理方法は、デジタルの原画像から第１のボケ画像を生成する工程と、前記第１のボケ画像の各画素の明るさに基づいて前記第１のボケ画像のハイライト部の画素をより明るくする処理を行って第２のボケ画像を生成する工程と、前記原画像から前記第１のボケ画像を減算した差分画像を生成する工程と、前記第２のボケ画像と前記差分画像とを加算して美白処理した画像を生成する工程と、を含むことを特徴としている。

請求項１に係る画像処理方法は、まず、デジタルの原画像から第１のボケ画像を生成する。例えば、原画像を、IIR(Infinite Impulse Response)型フィルタ、FIR(Finite Impulse Response)型フィルタなどの所定のデジタルフィルタを通してボケ画像化する。次に、この第１のボケ画像を用いて、第１のボケ画像のハイライト部のみを、より明るくした第２のボケ画像を生成する。一方、原画像から前記第１のボケ画像を減算した差分画像を生成する。この差分画像と前記第２のボケ画像とを加算することにより、美白効果のある画像を生成するようにしている。尚、前記差分画像は、例えば、顔の凹凸等のディテール情報を担う高周波成分を含んでいるため、この差分画像が加算された処理後の画像は、ハイライト部（顔）の立体感が失われることはない。

請求項２に係る画像処理方法は、デジタルの原画像からボケ画像を生成する工程と、前記ボケ画像の各画素の明るさに基づいて前記ボケ画像のハイライト部の画素に対応する原画像の画素の明るさをより明るくするための補正量を求める工程と、前記原画像に前記求めた補正量を加算して美白処理した画像を生成する工程と、を含むことを特徴としている。

請求項２に係る発明は、請求項１に係る発明とは処理工程が異なるが、美白処理後の画像は同じとなる。

請求項３に示すように請求項１又は２に記載の画像処理方法において、前記原画像はＲ，Ｇ，Ｂの色画像からなるカラー画像であり、各色画像ごとに前記美白処理を行うことを特徴としている。

請求項４に示すように請求項１又は２に記載の画像処理方法において、前記原画像は輝度画像と色差画像とからなるカラー画像であり、前記輝度画像に対してのみ前記美白処理を行うことを特徴としている。

請求項５に係る画像処理装置は、デジタルの原画像から第１のボケ画像を生成する第１のボケ画像生成手段と、前記ボケ画像の各画素の明るさに基づいて前記第１のボケ画像のハイライト部の画素をより明るくする処理を行って第２のボケ画像を生成する第２のボケ画像生成手段と、前記原画像から前記第１のボケ画像を減算してなる差分画像を生成する減算手段と、前記第２のボケ画像と前記差分画像とを加算して美白処理した画像を生成する加算手段と、を備えたことを特徴としている。

請求項６に係る画像処理装置は、デジタルの原画像からボケ画像を生成するボケ画像生成手段と、前記ボケ画像の各画素の明るさに基づいて前記ボケ画像のハイライト部の画素に対応する原画像の画素の明るさをより明るくするための補正量を求める補正量生成手段と、前記原画像に前記求めた補正量を加算して美白処理した画像を生成する加算手段と、を備えたことを特徴としている。

請求項７に示すように請求項５に記載の画像処理装置において、前記第１のボケ画像生成手段は、前記原画像の低輝度の画素に対してはボケが小さくなるように前記第１のボケ画像を生成することを特徴としている。例えば、瞳の領域は、ボカシ効果によりボカシ前よりも明るくなり、美白処理される明るさにシフトする場合がある。この場合、瞳の領域にも美白処理がなされ、瞳が明るくなり、くっきり感がなくなり冴えない写りになるという弊害が生じることになる。これを防止するために、請求項７に記載の発明では、暗い領域のボカシ効果を低くするようにしている。

請求項８に示すように請求項６に記載の画像処理装置において、前記ボケ画像生成手段は、前記原画像の低輝度の画素に対してはボケが小さくなるように前記ボケ画像を生成することを特徴としている。

請求項９に示すように請求項５又は６に記載の画像処理装置において、前記原画像はＲ，Ｇ，Ｂの色画像からなるカラー画像であり、各色画像ごとに前記美白処理を行うことを特徴としている。

請求項１０に示すように請求項５又は６に記載の画像処理装置において、前記原画像は輝度画像と色差画像とからなるカラー画像であり、前記輝度画像に対してのみ前記美白処理を行うことを特徴としている。

請求項１１に示すように請求項５に記載の画像処理装置において、前記第２のボケ画像生成手段は、予め入力画素の明るさ情報に対応して前記第１のボケ画像のハイライト部の画素をより明るくするための明るさ情報を記憶するルックアップテーブルを有し、前記第１のボケ画像の各画素の明るさ情報を入力するごとに前記ルックアップテーブルから対応する明るさ情報を読み出し、前記第２のボケ画像として出力することを特徴としている。尚、ルックアップテーブルは、美白処理の程度に応じて複数設け、適宜選択したルックアップテーブルを使用するようにしてもよい。

請求項１２に示すように請求項６に記載の画像処理装置において、前記補正量生成手段は、予め入力画素の明るさ情報に対応して前記ボケ画像のハイライト部の画素に対応する原画像の画素の明るさをより明るくするための補正量を記憶するルックアップテーブルを有し、前記ボケ画像の各画素の明るさ情報を入力するごとに前記ルックアップテーブルから対応する補正量を読み出して出力することを特徴としている。

請求項１３に示すように請求項５又は６に記載の画像処理装置において、前記美白処理後の画像を表示する画像表示手段と、前記原画像に対する美白処理の度合いを変更させる指示手段と、を更に備えたことを特徴としている。これにより、ユーザは画像表示手段に表示された美白処理後の画像を見ながら、美白処理の度合いを段階的又は連続的に指示し、好みの美白処理を実行させることができる。

請求項１４に示すように請求項５又は６に記載の画像処理装置において、前記原画像に対する美白処理の度合いの異なる複数の美白処理後の画像を表示する画像表示手段と、前記表示された複数の画像から１つの画像を選択する選択手段と、を更に備えたことを特徴としている。即ち、予め準備された美白処理の度合い（例えば、強、中、弱など）の異なる複数の美白処理後の画像を生成し、これらを画像表示手段に表示させ、ユーザに好みの美白処理後の画像を選択させる。

請求項１５に係るプリンタは、請求項５乃至１４のいずれかに記載の画像処理装置と、該画像処理装置によって美白処理された画像を印画紙に印画する印刷手段とを備えたことを特徴としている。

請求項１６に示すように請求項１５に記載のプリンタにおいて、人物を撮影してデジタルの原画像を取得するカメラを更に備えたことを特徴としている。

請求項１７に係る画像処理プログラムは、デジタルの原画像から第１のボケ画像を生成する機能と、前記第１のボケ画像の各画素の明るさに基づいて前記第１のボケ画像のハイライト部の画素をより明るくする処理を行って第２のボケ画像を生成する機能と、前記原画像から前記第１のボケ画像を減算した差分画像を生成する機能と、前記第２のボケ画像と前記差分画像とを加算して美白処理した画像を生成する機能と、をコンピュータに実現させることを特徴としている。

請求項１８に係る画像処理プログラムは、デジタルの原画像からボケ画像を生成する機能と、前記ボケ画像の各画素の明るさに基づいて前記ボケ画像のハイライト部の画素に対応する原画像の画素の明るさをより明るくするための補正量を求める機能と、前記原画像に前記求めた補正量を加算して美白処理した画像を生成する機能と、をコンピュータに実現させることを特徴としている。

本発明によれば、処理対象の原画像のボケ画像を生成し、このボケ画像を利用してハイライト部をより明るくする処理（美白処理）を行うようにしたため、例えば、顔の凹凸等のディテール情報を担う高周波成分が保持され、原画像中のハイライト部の立体感が失われることなく、美白処理を行うことができる。

以下添付図面に従って本発明に係る画像処理方法、装置及びプログラム並びにプリンタの好ましい実施の形態について詳説する。

図１は本発明に係るプリンタの実施の形態を示すブロック図である。

同図に示すように、この実施の形態のプリンタ１００は、ゲームセンタや店頭に設置されているアミューズメントシールプリント機であり、主としてカメラ部１１０と、画像処理部１２０と、表示制御部１３０と、表示器１４０と、中央処理装置（ＣＰＵ）１５０と、主メモリ１６０と、ストレージ１７０と、プリントエンジン１８０と、操作部１９０とから構成されている。

カメラ部１１０は、ユーザの顔を撮影してデジタルのカラー画像データ（Ｒ、Ｇ、Ｂ信号）を出力する。画像処理部１２０は、カメラ部１１０から出力されたＲ、Ｇ、Ｂ信号に基づいて本発明に係る画像処理（以下、「美白処理」という）を行う機能と、ユーザの顔画像と予め準備されているテンプレート画像や落書きなどを合成処理する機能と、合成後の画像データから印画用のデータを作成する機能等を有している。尚、美白処理の詳細については後述する。

画像処理部１２０は、各種の画像処理を施したＲ、Ｇ、Ｂ信号をＹ、Ｍ、Ｃ（イエロー、マゼンタ、シアン）信号に変換し、この変換したＹ、Ｍ、Ｃ信号をプリントエンジン１８０に出力する。

表示制御部１３０は、カメラ部１１０から入力する画像データ（動画を示す画像データ）から表示器１４０にユーザの顔画像を表示するための表示用の画像データを作成し、これを表示器１４０に出力して画像を表示させ、また、上記ユーザの顔画像と予め準備されているテンプレート画像とが合成された合成画像を表示器１４０に表示させ、更に撮影後の美白処理された画像を表示させる。

ＣＰＵ１５０は、システム全体を統括的に制御する処理部であり、このＣＰＵ１５０により、カメラ部１１０への撮影指示や、カメラ部１１０からの画像データの読み出し、この読み出した画像データに対する処理指示や各制御ブロックに対する画像データの受け渡し、印画の実行等の各種指示を与える。ＣＰＵ１５０への各種処理の指示は、使用者の操作に基づいて操作部１９０から与えられる。例えば、操作部１９０は、表示器１４０に表示されるテンプレート画像を見ながら画像合成に使用するテンプレート画像の選択指示を行うボタン、プリント出力するプリント種類を選択するためのボタン、美白処理の度合いを選択するボタン、又は操作レバー等を有している。尚、操作部１９０は、表示器１４０上にタッチパネルのソフトボタンによって実現するようにしてもよい。

主メモリ１６０は、プリンタの制御プログラムが格納されたり、プログラム実行時の作業領域として使用され、ストレージ１７０は、不揮発性の記憶手段であり、各種のテンプレート画像や美白処理用のルックアップテーブル（ＬＵＴ）などが記憶されている。

プリントエンジン１８０は、例えば、印画方式としてＴＡ（サーモオートクローム）方式を採用したもので、Ｃ、Ｍ、Ｙの各発色層を有するカラー印画紙（以下、「ＴＡペーパー」という）自体を熱で発色させ、所定の波長の光の照射で定着するものであり、ＴＡペーパーを搬送する手段、サーマルヘッド、定着ランプ等を有している。カラー画像をＴＡペーパーに印画する場合には、まずＴＡペーパーを搬送するとともにＹ信号によってサーマルヘッドを制御し、ＴＡペーパーのイエロー層を発色させ、続いて定着ランプによってイエローの発色を定着させる。ＴＡペーパーのマゼンタ層及びシアン層の発色もＭ信号、Ｃ信号に基づいて同様に行われ、これによりＴＡペーパーにカラー画像を印画する。尚、この実施の形態のプリンタは、ＴＡプリンタであるが、これに限らず、本発明は他の感熱プリンタやインクジェットプリンタ等の他の形式のプリンタにも適用できる。

次に、上記画像処理部１２０内の美白処理部について説明する。

図２は画像処理部１２０内の美白処理部の第１の実施の形態を示すブロック図である。

同図に示す美白処理部２００は、ボケ画像生成部２０２と、美白ルックアップテーブル（ＬＵＴ）２０４と、減算器２０６と、加算器２０８とから構成されている。尚、この美白処理部２００は、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色別の原画像R/G/B がそれぞれ入力する３チャンネルの処理系を有しているが、図２上では、１チャンネルのみを示している。

ボケ画像生成部２０２は、入力するデジタルの原画像R/G/B に基づいて第１のボケ画像を生成する。

図３はボケ画像生成部２０２における処理手順のフローチャートであり、図４はボケ画像生成部２０２の各処理段階における画像のイメージを示す図である。

ボケ画像生成部２０２は、デジタルの原画像R/G/B を入力する。この原画像R/G/B （画像(1) ）の一例を、図４（Ａ）に示す。

ボケ画像生成部２０２は、画像(1) を１／２間引き処理して縮小した画像(2) を生成する（図３のステップＳ１０、図４（Ｂ））。図４（Ｂ）に示すように、縮小した画像(2) の画像サイズ（画素数）は元の画像(1) の画素数の１／４になるため、後段の処理は、演算時間を短縮することができる。

続いて、ボケ画像生成部２０２は、縮小した画像(2) に対してIIR 型ローパスフィルタ（ＬＰＦ）をかけてボケ画像(3) を生成する（ステップＳ１２、図４（Ｃ））。

図５はIIR 型ＬＰＦのモデルを示している。同図に示すようにIIR 型ＬＰＦは、加算器２０２Ａと、１画素遅延素子２０２Ｂと、乗算器２０２Ｃ、２０２Ｄとから構成されている。尚、乗算器２０２Ｃ、２０２Ｄでは、所定のフィルタ係数α、（１−α）が乗算される。

入力する画像(2) に対して上記構成のIIR 型ＬＰＦを上下左右に４回かけることでボケ画像(3) が得られる。また、フィルタ係数αは、31/32 、15/16 、7/8 などの値が適切である。

尚、ボケ画像(3) を生成するためのフィルタは、IIR 型ＬＰＦに限らず、例えば、FIR 型ＬＰＦでもよく、要はデジタル的に画像をぼかすフィルタであれば、いかなるものでもよい。

次に、ボケ画像(3) を２倍に拡大して元の画像(1) と同じ画素数のボケ画像(4) を生成する（ステップＳ１４、図４（Ｄ））。ボケ画像(3) の拡大処理は、隣接する画素の明暗データを補間して新たな画素を生成することによって行う。尚、ステップＳ１０、ステップＳ１４の縮小、拡大の処理は、図３では１／２間引き、×２拡大としたが、これに限らず、１／３間引き、×３拡大、あるいは１／４間引き、×４拡大などでもよい。

図２に戻って、ボケ画像生成部２０２によって生成された第１のボケ画像は、美白ＬＵＴ２０４及び減算器２０６に出力される。

美白ＬＵＴ２０４は、例えば、８ビット（０〜２５５）の入力信号に対応して８ビットの出力信号が記憶された階調変換テーブルであり、例えば、図６のグラフに示す入出力特性が記憶されている。即ち、同図に示すように、美白ＬＵＴ２０４は、点線で示した入出力特性に対し、ハイライト部が上に凸になるように（より明るくなるように）階調変換する。この美白ＬＵＴ２０４によってハイライト部が、より明るくなるように階調変換されたボケ画像（第２のボケ画像）は、加算器２０８に出力される。

減算器２０６は、原画像R/G/B から第１のボケ画像を減算し、その差分値を示す画像（差分画像）を加算器２０８に出力する。この差分画像は、原画像R/G/B の陰影（例えば、顔の凹凸を示す陰影）を含む情報である。

加算器２０８は、美白ＬＵＴ２０４から入力する第２のボケ画像と前記差分画像とを加算し、この加算した画像を美白処理後の画像R'/G'/B'として出力する。この美白処理後の画像R'/G'/B'は、原画像の立体感が失われず、かつハイライト部がより明るくなる画像となる。

図７は画像処理部１２０内の美白処理部の第２の実施の形態を示すブロック図である。

同図に示す美白処理部２１０は、輝度／色差（Ｙ／Ｃ）処理部２１２と、ボケ画像生成部２１４と、美白ＬＵＴ２１６と、減算器２１８と、加算器２２０と、マトリクス処理部２２２とから構成されている。

Ｙ／Ｃ処理部２１２は、入力するデジタルの原画像R/G/B に基づいて輝度画像Ｙと色差画像Ｃ_b 、Ｃ_r とを生成する。画像Ｙは、ボケ画像生成部２１４に出力され、画像Ｃ_b 、Ｃ_r はマトリクス処理部２２２に出力される。

ボケ画像生成部２１４、美白ＬＵＴ２１６、減算器２１８及び加算器２２０は、画像Ｙに対して美白処理するもので、図２に示したボケ画像生成部２０２、美白ＬＵＴ２０４、減算器２０６及び加算器２０８と同様な処理を行うため、ここでは詳細な説明は省略する。

加算器２２０から出力される画像Ｙに対して美白処理された画像Ｙ’は、マトリクス処理部２２２に加えられる。マトリクス処理部２２２の他の入力には、画像Ｃ_b 、Ｃ_r が加えられており、マトリクス処理部２２２は、美白処理された画像Ｙ’と、画像Ｃ_b 、Ｃ_r とに基づいてＲ，Ｇ，Ｂの美白処理後の画像R'/G'/B'を生成する。

図８は画像処理部１２０内の美白処理部の第３の実施の形態を示すブロック図である。

同図に示す美白処理部２３０は、ボケ画像生成部２３２と、美白ＬＵＴ２３４と、加算器２３６とから構成されている。尚、この美白処理部２３０は、Ｒ，Ｇ，Ｂの各色別の原画像R/G/B がそれぞれ入力する３チャンネルの処理系を有しているが、図８上では、１チャンネルのみを示している。

ボケ画像生成部２３２は、入力する原画像R/G/B に基づいてボケ画像を生成し、この生成したボケ画像を美白ＬＵＴ２３４に出力する。尚、ボケ画像生成部２３２は、図２に示したボケ画像生成部２０２と同様な処理を行うため、ここでは詳細な説明は省略する。

美白ＬＵＴ２３４は、例えば、８ビット（０〜２５５）の入力信号に対応して８ビットよりも小さい補正量が記憶された変換テーブルであり、例えば、図９のグラフに示す入出力特性が記憶されている。即ち、同図に示すように、美白ＬＵＴ２３４は、入力信号のシャドー部に対しては０、ハイライト部に対しては上に凸なる補正量を出力する。

この美白ＬＵＴ２０４から出力されるハイライト部のみを明るくする補正量は、加算器２３６に加えられる。加算器２３６の他の入力には、原画像R/G/B が加えられており、加算器２３６は、これらの２入力を加算し、この加算した画像を美白処理後の画像R'/G'/B'として出力する。この美白処理後の画像R'/G'/B'は、図２に示した第１の実施の形態と同じ画像であり、原画像の立体感が失われず、かつハイライト部がより明るくなる画像である。

図１０は画像処理部１２０内の美白処理部の第４の実施の形態を示すブロック図である。

同図に示す美白処理部２４０は、Ｙ／Ｃ処理部２４２と、ボケ画像生成部２４４と、美白ＬＵＴ２４６と、加算器２４８と、マトリクス処理部２５０とから構成されている。

Ｙ／Ｃ処理部２４２及びマトリクス処理部２５０は、図７に示した第２の実施の形態の美白処理部２１０のＹ／Ｃ処理部２１２及びマトリクス処理部２２２と同じであり、また、ボケ画像生成部２４４、美白ＬＵＴ２４６及び加算器２４８は、画像Ｙに対して美白処理するもので、図８に示したボケ画像生成部２３２、美白ＬＵＴ２３４及び加算器２３６と同様な処理を行うため、ここでは詳細な説明は省略する。

この美白処理部２４０のマトリクス処理部２５０から出力される美白処理後の画像R'/G'/B'は、図７に示した第２の実施の形態と同じ画像であり、原画像の立体感が失われず、かつハイライト部がより明るくなる画像である。

ところで、図１に示したカメラ部１１０でユーザを撮影する場合、ハイライト部が飽和しないように少しアンダー気味になるように絞り値やシャッタスピードを決定して撮影することが行われている。

この場合、撮影画像の濃度分布を示すヒストグラムは、図１１に示すようになる。即ち、ヒストグラムの右端値（Ｘ_max ）と、８ビットの最大値である２５５との間にギャップが生じる。このギャップ部分は、入力情報が存在しないので、レベル補正してヒストグラムの右端値（Ｘ_max ）が２５５になるようにした方が好ましい。

ヒストグラムの右端値（Ｘ_max ）を２５５にするためには、図１２の実線で示す入出力特性を有するレベル補正ＬＵＴによって階調補正を行う。このレベル補正ＬＵＴは、原画像R/G/B を入力情報とし、階調補正された原画像R/G/B を出力する。また、このレベル補正ＬＵＴは、図６に示した美白ＬＵＴと統合して１つのＬＵＴとすることもできる。

図１３は図１に示したアミューズメントシールプリント機によるユーザの撮影から写真シールのプリント出力までの処理手順を示すフローチャートである。

同図に示すように、まず、カメラ部１１０によりユーザの顔画像を撮影する（ステップＳ１０）。例えば、ポーズや表情等を変えながら、６コマ撮影する。次に、６コマ分の画像を表示器１４０にマルチ画面表示させ、ユーザに６コマの中からプリントする画像を選択させる（ステップＳ１２）。この実施の形態では、４コマ選択させる。

続いて、選択された１コマ目の画像の美白処理後の画像を表示器１４０に表示させる（ステップＳ１４）。表示器１４０に表示する画像は、間引いたり縮小した画像で、プリント出力する画像よりも粗い画素密度のものを使用するが、この場合、ボケ画像生成用のＬＰＦのカットオフ周波数も画素密度が低い分だけシフトすることが望ましい。

ユーザは表示器１４０に表示された画像を見ながら、操作部１９０を操作して所望の明るさ（美白処理）を指示する。即ち、図１４に示すように美白処理の度合いが強いＬＵＴ（実線で示すＬＵＴ）、美白処理の度合いが普通のＬＵＴ（一点鎖線で示すＬＵＴ）、及び美白処理の度合いが弱いＬＵＴ（破線で示すＬＵＴ）の３つのＬＵＴを予め準備しておき、ユーザに操作部１９０のボタンや操作レバーによって美白処理の強弱を選択させる。これにより、ユーザは好みの美白処理を実行させることができる。尚、美白処理の度合いは、強、中、弱のように段階的に指示したり、強から弱にわたって連続的に指示するようにしてもよい。美白処理の度合いを連続的に指示する場合には、その指示に応じて、例えば、図１４に示す３つのＬＵＴを補間して適宜のＬＵＴを作成し、そのＬＵＴを使用すればよい。

上記のように美白処理の度合いが指示されると、その指示に応じて美白処理が行われ、表示器１４０に表示される美白処理後の画像が更新される。

また、強、中、弱のように美白処理の度合いの異なる複数の美白処理後の画像を、表示器１４０上にマルチ画面表示させ、マルチ画面表示された画像の中からユーザの好みの美白処理された画像を操作部１９０で選択できるようにしてもよい。

１コマ目の画像の美白処理が決定すると、同様にして２コマ目、３コマ目、及び４コマ目の各画像の美白処理を決定するための処理結果を示す画像表示、及び美白処理の度合いの指定が行われる（ステップＳ１８〜Ｓ２８）。

各コマの美白処理が決定し、プリントボタンが押されると、各コマ画像の美白処理に適用される美白ＬＵＴが確定し、その美白ＬＵＴでプリント画像に対する美白処理が行われる（ステップＳ３０）。

図１５は図２に示したボケ画像生成部２０２の他の実施の形態を示すブロック図である。

同図に示すボケ画像生成部３００は、輝度重み信号生成部３１０と、輝度重み付きボケ画像生成部３２０とから構成されている。

輝度重み信号生成部３１０は、マトリクス回路３１２と、ローパスフィルタ３１４と、ウエイト（重み）信号算出回路３１６とから構成されている。マトリクス回路３１２は、入力するＲ，Ｇ，Ｂの各色信号に基づいて次式により輝度信号Ｙを算出し、この輝度信号Ｙをローパスフィルタ３１４に出力する。
［数１］
Ｙ＝0.3 Ｒ＋0.6 Ｇ＋0.1 Ｂ
ローパスフィルタ３１４は、注目画素を含む周囲の５×５画素の輝度信号Ｙの平均の輝度値ＹＬを求め、この輝度値ＹＬを重み信号算出回路３１６に出力する。尚、このローパスフィルタ３１４により、輝度が急激に変化する領域の輝度信号Ｙを入力しても、その変化が緩やかな輝度値ＹＬとして出力することができる。

重み信号算出回路３１６には、図１６のグラフに示すような輝度重みテーブルパラメータＹ１、Ｙ２、Ｗdarkが設定されており、重み信号生成部３１６は、入力する輝度値ＹＬと、輝度重みテーブルパラメータＹ１、Ｙ２、Ｗdarkとに基づいて次式により、輝度重み信号Ｗを算出する。
［数２］
Ｗ＝Ｗdark （０≦ＹＬ＜Ｙ１）
Ｗ＝｛（1.0 −Ｗdark）／（Ｙ２−Ｙ１）｝（ＹＬ−Ｙ２）＋1.0
（Ｙ２≦ＹＬ＜Ｙ２）
Ｗ＝１．０ （Ｙ２≦ＹＬ）
このようにして算出された輝度重み信号Ｗは、輝度が小さくなるにしたがって小さい値となる。尚、上記重み信号算出回路３１６の代わりに、図１６のグラフに示す入出力特性を有するＬＵＴを使用してもよい。

一方、輝度重み付きボケ画像生成部３２０は、ボケ画像生成部３２１と、乗算器３２２、３２３と、減算器３２４と、加算器３２５とから構成されている。ボケ画像生成部３２１は、図５に示したIIR 型ＬＰＦ等から構成されている。尚、このボケ画像生成部３２１は、図２のボケ画像生成部２０２に対応するものであり、その詳細な説明は省略する。

ボケ画像生成部３２１によって生成されたボケ画像は、乗算器３２２に出力される。乗算器３２２の他の入力には輝度重み信号Ｗが加えられており、乗算器３２２は、これらの２入力を乗算し、その乗算値を加算器３２５に出力する。

また、乗算器３２３の一方の入力には原画像R/G/B が加えられ、他の入力には減算器３２４により１から輝度重み信号Ｗが減算された信号（１−Ｗ）が加えられており、減算器３２４はこれらの２入力を乗算し、その乗算値を加算器３２５に出力する。

加算器３２５は、前記乗算器３２２、３２３からそれぞれ入力した乗算値を加算し、その加算値を第１のボケ画像として出力する。

次に、上記構成のボケ画像生成部３００の作用について説明する。

このボケ画像生成部３００から出力される第１のボケ画像は、原画像R/G/B の低輝度の画素に対してはボケが小さくなり、高輝度の画素に対してはボケが大きくなる。

例えば、瞳のような低輝度の領域内の画素に対してボケを大きくすると、瞳の領域は面積が小さく、その周囲は白眼や明るい肌色の領域であるため、瞳の領域内の画素は、輝度が明るい方にシフトする（輝度が上がる）。そして、ボケを大きくした結果、瞳の領域の明るさが、美白処理される明るさまでシフトすると、瞳の領域にも美白処理がされるという弊害が生じる。尚、瞳が本来の明るさよりも明るくなるように美白処理されると、くっきり感がなくなり、冴えない写りになる。

図１５に示した実施の形態のボケ画像生成部３００は、輝度の低い領域の画素に対してはボケが小さくなるようにしている。即ち、輝度の低い領域の画素が明るい方に大きくシフトしないようにしている。これにより、輝度の低い領域（特に面積の小さい領域）の画素に対しても美白処理が施されないようにすることができ、瞳の濃度を維持しつつ、顔を美白にする効果が得られる。

尚、ボケ画像生成部３００は、図８に示したボケ画像生成部２３２にも適用できる。また、図７及び図１０に示したボケ生成部２１４、２４４にも適用できるが、この場合、ボケ生成部２１４、２４４は、もともと輝度信号Ｙを入力しているため、ボケ画像生成部３００内の輝度信号Ｙを生成するためのマトリクス回路３１２は不要となる。

図１に示した実施の形態では、アミューズメントシールプリント機を例に説明したが、本発明は一般のパーソナルコンピュータ（パソコン）による美白処理にも適用できる。

図１７は本発明に係る画像処理装置の他の実施の形態を示すシステム構成図であり、パソコン（ＰＣ）４００と、その周辺機器であるカメラ部４１０、表示器４２０及びプリンタ４３０とから構成されている。

ＰＣ４００は、主として各構成要素の動作を制御するＣＰＵ４０２と、装置の制御プログラムが格納されたり、プログラム実行時の作業領域となる主メモリ４０４と、パソコンのオペレーティングシステム（ＯＳ）、本発明に係る画像処理プログラム、各種のアプリケーションソフト、及び画像等が格納されるハードディスク装置４０６と、前記カメラ部４１０、表示器４２０及びプリンタ４３０との間で通信を行うためのインターフェース４０８と、図示しないキーボードやマウス等の入力手段と、ＣＤ−ＲＯＭドライブとから構成されている。尚、上記構成のＰＣ４００は、周知のものであるため、各構成要素の詳細な説明については省略する。

ハードディスク装置４０６内の画像処理プログラムは、例えば、画像処理プログラムが記録されたＣＤ−ＲＯＭをＰＣ４００のＣＤ−ＲＯＭドライブにセットすることによりインストールされ、又は図示しないネットワークを介してインストールされる。この画像処理プログラムを起動させることにより、ＰＣ４００は、カメラ部４１０等から入力した原画像に対し、前述したアミューズメントシールプリント機によって行われる美白処理と同様の美白処理を施すことができる。美白処理後の画像は、表示器４２０に表示され、またプリンタ４３０によってプリント出力される。

図１は本発明に係るプリンタの実施の形態を示すブロック図である。 図２は図１に示した画像処理部の美白処理部の第１の実施の形態を示すブロック図である。 図３は図２に示したボケ画像生成部における処理手順をフローチャートである。 図４（Ａ）乃至（Ｄ）はそれぞれボケ画像生成部の各処理段階における画像のイメージを示す図である。 図５はIIR 型ローパスフィルタのモデルを示す図である。 図６は図２に示した美白ＬＵＴの一例を示す図である。 図７は図１に示した画像処理部の美白処理部の第２の実施の形態を示すブロック図である。 図８は図１に示した画像処理部の美白処理部の第３の実施の形態を示すブロック図である。 図９は図８に示した美白ＬＵＴの一例を示す図である。 図１０は図１に示した画像処理部の美白処理部の第４の実施の形態を示すブロック図である。 図１１は図１のカメラ部で撮影された撮影画像の濃度分布の一例を示すヒストグラムである。 図１２は図１１に示した濃度分布の撮影画像の階調変換を行うためのＬＵＴを示す図である。 図１３は図１に示したアミューズメントシールプリント機によるユーザの撮影から写真シールのプリント出力までの処理手順を示すフローチャートである。 図１４は強中弱のそれぞれの美白ＬＵＴの一例を示す図である。 図１５はボケ画像生成部の他の実施の形態を示すブロック図である。 図１６は輝度重みテーブルパラメータＹ１、Ｙ２、Ｗdarkを説明するために用いたグラフである。 図１７は本発明に係る画像処理装置の他の実施の形態を示すシステム構成図である。

符号の説明

１００、４３０…プリンタ、１１０、４１０…カメラ部、１２０…画像処理部、１３０…表示制御部、１４０、４２０…表示器、１５０、４０２…中央処理装置（ＣＰＵ）、１６０、４０４…主メモリ、１７０…ストレージ、１８０…プリントエンジン、１９０…操作部、２００、２１０、２３０、２４０…美白処理部、２０２、２１４、２３２、２４４３００、３２１…ボケ画像生成部、２０４、２１６、２３４、２４６…美白ＬＵＴ、２０６、２１８、３２４…減算器、２０８、２２０、２３６、２４８、３２５…加算器、２１２、２４２…Ｙ／Ｃ処理部、２２２、２５０…マトリクス処理部、３１０…輝度重み信号生成部、３１２…マトリクス回路、３１４…ローパスフィルタ、３１６…重み信号算出回路、３２０…輝度重み付きボケ画像生成部、３２２、３２３…乗算器、４０６…ハードディスク装置

Claims (18)

1. デジタルの原画像から第１のボケ画像を生成する工程と、
   前記第１のボケ画像の各画素の明るさに基づいて前記第１のボケ画像のハイライト部の画素をより明るくする処理を行って第２のボケ画像を生成する工程と、
   前記原画像から前記第１のボケ画像を減算した差分画像を生成する工程と、
   前記第２のボケ画像と前記差分画像とを加算して美白処理した画像を生成する工程と、
   を含むことを特徴とする画像処理方法。
2. デジタルの原画像からボケ画像を生成する工程と、
   前記ボケ画像の各画素の明るさに基づいて前記ボケ画像のハイライト部の画素に対応する原画像の画素の明るさをより明るくするための補正量を求める工程と、
   前記原画像に前記求めた補正量を加算して美白処理した画像を生成する工程と、
   を含むことを特徴とする画像処理方法。
3. 前記原画像はＲ，Ｇ，Ｂの色画像からなるカラー画像であり、各色画像ごとに前記美白処理を行うことを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記原画像は輝度画像と色差画像とからなるカラー画像であり、前記輝度画像に対してのみ前記美白処理を行うことを特徴とする請求項１又は２に記載の画像処理方法。
5. デジタルの原画像から第１のボケ画像を生成する第１のボケ画像生成手段と、
   前記ボケ画像の各画素の明るさに基づいて前記第１のボケ画像のハイライト部の画素をより明るくする処理を行って第２のボケ画像を生成する第２のボケ画像生成手段と、
   前記原画像から前記第１のボケ画像を減算してなる差分画像を生成する減算手段と、
   前記第２のボケ画像と前記差分画像とを加算して美白処理した画像を生成する加算手段と、
   を備えたことを特徴とする画像処理装置。
6. デジタルの原画像からボケ画像を生成するボケ画像生成手段と、
   前記ボケ画像の各画素の明るさに基づいて前記ボケ画像のハイライト部の画素に対応する原画像の画素の明るさをより明るくするための補正量を求める補正量生成手段と、
   前記原画像に前記求めた補正量を加算して美白処理した画像を生成する加算手段と、
   を備えたことを特徴とする画像処理装置。
7. 前記第１のボケ画像生成手段は、前記原画像の低輝度の画素に対してはボケが小さくなるように前記第１のボケ画像を生成することを特徴とする請求項５に記載の画像処理装置。
8. 前記ボケ画像生成手段は、前記原画像の低輝度の画素に対してはボケが小さくなるように前記ボケ画像を生成することを特徴とする請求項６に記載の画像処理装置。
9. 前記原画像はＲ，Ｇ，Ｂの色画像からなるカラー画像であり、各色画像ごとに前記美白処理を行うことを特徴とする請求項５又は６に記載の画像処理装置。
10. 前記原画像は輝度画像と色差画像とからなるカラー画像であり、前記輝度画像に対してのみ前記美白処理を行うことを特徴とする請求項５又は６に記載の画像処理装置。
11. 前記第２のボケ画像生成手段は、予め入力画素の明るさ情報に対応して前記第１のボケ画像のハイライト部の画素をより明るくするための明るさ情報を記憶するルックアップテーブルを有し、前記第１のボケ画像の各画素の明るさ情報を入力するごとに前記ルックアップテーブルから対応する明るさ情報を読み出し、前記第２のボケ画像として出力することを特徴とする請求項５に記載の画像処理装置。
12. 前記補正量生成手段は、予め入力画素の明るさ情報に対応して前記ボケ画像のハイライト部の画素に対応する原画像の画素の明るさをより明るくするための補正量を記憶するルックアップテーブルを有し、前記ボケ画像の各画素の明るさ情報を入力するごとに前記ルックアップテーブルから対応する補正量を読み出して出力することを特徴とする請求項６に記載の画像処理装置。
13. 前記美白処理後の画像を表示する画像表示手段と、前記原画像に対する美白処理の度合いを変更させる指示手段と、を更に備えたことを特徴とする請求項５又は６に記載の画像処理装置。
14. 前記原画像に対する美白処理の度合いの異なる複数の美白処理後の画像を表示する画像表示手段と、前記表示された複数の画像から１つの画像を選択する選択手段と、を更に備えたことを特徴とする請求項５又は６に記載の画像処理装置。
15. 請求項５乃至１４のいずれかに記載の画像処理装置と、該画像処理装置によって美白処理された画像を印画紙に印画する印刷手段とを備えたことを特徴とするプリンタ。
16. 人物を撮影してデジタルの原画像を取得するカメラを更に備えたことを特徴とする請求項１５に記載のプリンタ。
17. デジタルの原画像から第１のボケ画像を生成する機能と、
    前記第１のボケ画像の各画素の明るさに基づいて前記第１のボケ画像のハイライト部の画素をより明るくする処理を行って第２のボケ画像を生成する機能と、
    前記原画像から前記第１のボケ画像を減算した差分画像を生成する機能と、
    前記第２のボケ画像と前記差分画像とを加算して美白処理した画像を生成する機能と、
    をコンピュータに実現させることを特徴とする画像処理プログラム。
18. デジタルの原画像からボケ画像を生成する機能と、
    前記ボケ画像の各画素の明るさに基づいて前記ボケ画像のハイライト部の画素に対応する原画像の画素の明るさをより明るくするための補正量を求める機能と、
    前記原画像に前記求めた補正量を加算して美白処理した画像を生成する機能と、
    をコンピュータに実現させることを特徴とする画像処理プログラム。

Images