JP2007208912A - 画像処理装置及び制御方法、コンピュータプログラム、記憶媒体 - Google Patents

Abstract

【課題】 主画像と装飾画像を合成して合成画像を作成する場合において、両方に適した補正を自動的に行う画像処理装置を提供する。
【解決手段】 装飾用画像に関連付けられた、画像補正を制御する情報を取得する補正制御情報取得手段と、主画像と補正制御情報を参照して、主画像を自動に補正する画像補正処理手段と、画像補正処理手段で得た補正画像と装飾用画像を合成して出力する合成画像出力手段とを備える。
【選択図】 図２

Description

本発明はデジタル画像処理、特にデジタル画像を装飾加工する場合の画質を改善する方法、およびこれに関連したシステム、装置に関する。

デジタルスチルカメラやスキャナといった画像入力装置によって生成された画像データはデジタルデータなので、例えばパーソナルコンピュータ上で他の装飾用画像や文字を合成して表示、印刷を行うということが行われている。通常これは、ユーザが使用する装飾用画像を指定し、合成対象の主画像とその装飾用画像を合成した画像をモニタなどに表示させてユーザが確認して印刷、あるいは通信手段を用いて他者に送信するという使い方が一般的である。

例えば、この装飾用画像の選択に関しては、合成対象の画像を解析して画像特性を得、その画像特性に適した装飾画像を予め決定しておき、その特性に応じて装飾画像を選択し、ユーザに提示する方法が提案されている（特許文献１参照）。

一方、この合成対象の主画像、一例としてはデジタルカメラ等で撮影された画像は、必ずしも全てが良好な状態で撮影されているとは限らず、例えば露出不足や、色かぶりという失敗状況もありうる。このような失敗状況の場合、画像編集アプリケーション等を用いて、画像の明るさを変更したり画像の色味を変更したりして修正を行うと良好な結果が得られる場合がる。しかし、この修正で良好な結果を得るためには、画像処理に関する経験と習熟が必要となる。

そのため、この修正処理を自動的に行う方式が知られている。一般に、自動的に修正を行う方式では、修正対象画像の輝度、彩度、色相などの分布を調べ、それに応じた変換処理を決定してその処理を修正対象画像に施す。

また、この自動修正に関して、被写体に応じて調整する方法が知られている。例えば、一般に晴天の風景画像はコントラスト高め、彩度が高めにする方が、好印象となる修正結果を得られる場合が多いし、また例えば人物画像である場合は、逆にコントラスト強調を行わず階調性を重視した修正を行う方が、好印象となる修正結果が得られる。そのため、自動的に修正を行うモードを持つものもあり、例えばユーザが画像を見てモードを選んだり、あるいは公知の顔検出、肌色検出等の技術と組み合わせて自動的にモードを選択する方法や、あるいは修正対象がデジタルカメラによって撮像された画像で、公知のExif規格に従った書式でファイルに格納されている場合には、Exif内部に格納される撮影時の情報（例えばカメラ側で設定した撮影モードなど）などを参照して自動的にモードを選択する方法も知られている。

一方、画像データが画像処理制御情報を持っており、それに対して予め準備された装飾画像データより装飾画像を選択し、画像データと合成する方法や、撮影時の日時やGPS情報などよりフレーム画像を選択する方法も提案されている（特許文献２参照）。
特開２００３−２３６４６号公報 特開２００４−５６４５６号公報 特開２０００−２５３２２７号公報

主画像に装飾画像を合成して合成画像を作成する場合、特許文献１でも指摘されているように、装飾画像と主画像の相性というようなものがある。つまり、ある装飾画像によるデザインは例えば人物向けであって、風景画像には不向きなものがある。あるいは人物用の装飾画像であっても、派手なデザインのものに対して主画像を落ち着いた人物調のものであっては、装飾画像の方が目立ってしまい肝心の主画像が映えないというようなミスマッチもあり得る。

従来技術によれば、画像の修正、特に自動的な修正方式のモードと、装飾画像の選択には特に相関はなく、個々に別々の手段を講じ、操作者が整合をとる必要がある、という課題がある。

特許文献１では、画像の内容を判定して、それに合う装飾画像を選択する方法であるが、特に画像の自動的な修正との関連性はない。

また、特許文献２には、画像処理制御情報と装飾画像の両者について言及があるが、画像処理に関するパラメータが付加されているのは画像データであって、また、フレームを参照するデータを画像に付与するのみであって、画像の補正、フレームの選択は別々に行う必要がある。

また、装飾画像に装飾画像の印象を表す付帯情報を付与して記憶しておき、画像データと合成する際に画像データに対して画像処理を行う方法も提案されている（特許文献３参照）。

これは、付帯情報によって静的に決定された画像処理を画像に対して施すものであって、例えば「明るい」という付帯情報が付与された装飾画像と合成される画像は一律彩度向上処理および階調硬化処理を施すものである。従って、画像自体がすでに十分に彩度が高い、もしくはコントラストが高いか否かといったことには関係なく画像処理を施すもので、画像の状態によっては良好な結果が得られないという問題がある。

上記問題点を解決するために、本発明の画像処理方法は、以下の構成を持つ。

すなわち、主画像と装飾用画像を合成して合成画像を得る画像処理方法であって、前記装飾用画像に関連付けられた、画像補正を制御する情報を取得する補正制御情報取得工程と、前記主画像と前記補正制御情報を参照して、前記主画像を自動に補正する画像補正処理工程と、前記画像補正処理工程で得た補正画像と前記装飾用画像を合成して出力する合成画像出力工程を持つ。

以上説明したように、本発明によれば、ユーザは主画像と装飾用画像を選択するだけで、その主画像にあわせて画像補正処理を行い好適に補正可能となるとともに、装飾用画像にも適するような画像補正処理をし、好適な合成画像を得ることができる。

（実施例１）
以下、本発明による一実施形態を、図面を参照して詳細に説明する。

図1は、本発明による画像処理方法を実現可能な画像処理装置の一構成例を示すブロック図である。

図1の入力部101は、ユーザからの指示や、データを入力する装置で、キーボードやポインティング装置を含む。なお、ポインティング装置としては、マウス、トラックボール、トラックパッド、タブレット等が挙げられる。あるいは、本例を例えば公知のデジタルカメラ装置に適用した場合には、ボタンやモードダイヤル等で構成されるのであっても良い。また、キーボードをソフトウェアで構成（ソフトウェアキーボード）し、ボタンやモードダイヤル、あるいは先に挙げたポインティングデバイスを操作して文字を入力するように構成するのであっても良い。

データ保存部102は、画像データを保持する部分で、通常はハードディスク、フレキシブルディスク、CD-ROM、CD-RやDVD、メモリーカード、USBメモリ等で構成される。データ保存部102に画像データの他にも、プログラムやその他のデータを保存することも可能である。あるいは、以後説明する中間的な画像（輝度成分画像）等を格納するのに十分な記憶容量がRAM106で確保できるのであれば、データ保存部102を省略するように構成してもよい。

通信部107は、機器間の通信を行うためのI/Fである。これは例えば、公知のUSB、IEEE1284、IEEE1394、電話回線などの有線による通信方式であってもよいし、あるいは赤外線(IrDA)、IEEE802.11a, IEEE802.11b, IEEE802.11g, UWB（Ultra Wide Band）等の無線通信方式であっても良い。

ＲＯＭ
表示部103は、画像処理前、画像処理後の画像を表示、あるいはGUI等の画像を表示する装置で、一般的にはCRTや液晶ディスプレイなどが用いられる。あるいは、ケーブル等で接続された装置外部のディスプレイ装置であっても構わない。

104はCPUであり、上述した各構成の処理の全てに関わる。ROM105とRAM106は、その処理に必要なプログラム、データ、作業領域などをCPU104に提供する。また、後述する処理に必要な制御プログラムは、データ保存部102に格納されているか、ROM105に格納されている場合は、一旦RAM106に読み込まれてから実行される。

なお、図1では入力部101、データ保存部102、表示部103が全て1つの装置内に含まれるような図を示しているが、あるいはこれらの部分が公知の通信方式による通信路で接続されており、全体としてこのような構成となっているのであっても構わない。

なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。

図3は本発明で用いる装飾用画像の例を示す図である。図3で301は装飾用画像全体であり、302は画像合成の際に合成対象の主画像を表示する領域である。装飾画像301は、例えば公知の画像フォーマットで格納された画像データと領域302に関する情報であれば良い。例えば、装飾用画像データは公知の画像フォーマットで格納された画像データと領域302の輪郭を表すベクトル情報で良い。あるいは公知のGIFやPNG、あるいはアルファチャネル情報を持つビットマップ形式などの透過情報を保持可能な画像フォーマットで、領域302は透過領域として表されているのでも良い。

また、装飾用画像は公知のポストスクリプトやSVGのようなベクターグラフィックを記述可能なデータ形式によっても記述可能である。この場合、そのベクターグラフィック記述において、非透過のグラフィックオブジェクトが配置されていない領域が透過領域となる。また、明示的には領域302が記述されない場合があるが、本実施例で述べる装飾用画像に含まれる。

図4は、主画像と装飾用画像の合成例を示す図である。

装飾用画像と主画像を合成する場合、装飾用画像と合成対象の主画像で解像度があわない場合があるが、その場合は一方の画像を他方の画像と解像度があうように公知の方法で変倍すれば良い。この場合、領域302も装飾用画像301の変倍に応じて変倍、もしくは座標値変換される。

また、本発明による画像処理方法では、装飾用画像には、画像補正を制御する情報が関連づけられて格納されている。この装飾用画像と画像補正を制御する情報は別々のデータファイルとして格納する、例えばファイルの識別子上で関連付けた（ファイル識別子や一部を共通）もの等であれば良い。あるいは両者の関連を公知のデータベース手段で管理しても良いが、好ましくは装飾用画像データと画像補正を制御する情報は同一のファイルに格納される方が良い。例えば装飾用画像データが公知の画像フォーマットに従って格納されている場合は、そのフォーマットに従い画像補正を制御する情報を格納する。一例を挙げると、画像フォーマットが公知のExif画像フォーマットに従う場合は、例えばメーカーノートフィールドに予め定めた書式に従って格納すれば良い。あるいは、画像データフォーマットの末尾に接合する方法でも良い。

あるいは装飾用画像がベクターグラフィック形式で規定されている場合も、その書式に従って画像補正を制御する情報を格納すれば良い。例えばベクターグラフィックの形式が公知のポストスクリプト形式の場合は、コメントフィールドに記述しておけば良いし、あるいは公知のSVG形式の場合、やはりコメントフィールドや、あるいは画像補正を制御する情報用にXMLスキーマを定義してネームスペースを用いて装飾用画像データとともに記述するのであっても良い。

また、あるいは装飾用画像と画像補正を制御するパラメータを公知のMIME-Encodeや、あるいはtarといったような、複数のデータを1つの書庫ファイルに格納する方式によって格納して保持するというのであっても良い。その場合、同じ書庫ファイルに格納されていることがデータの関連付けとなるので、後述する処理に先立って書庫ファイルから元の各データを復元して参照する。

図2は本発明による画像処理方式の一例の、処理の流れを示す流れ図である。

まず、ステップS201では、合成の対象となる主画像を読み込む。

好適には、読み込む画像は本処理に先立ってユーザが選択する。画像の選択は、表示部103に、データ保存部102に保持してある画像の一覧を表示しユーザが入力部101を操作して指示する。画像の一覧は、ファイルの識別子（ファイル名やIDなど）の一覧を表示するのであっても良いし、あるいは各画像の縮小画像を表示するのであっても良い。この場合、ステップS201ではデータ保存部102に格納してある画像データファイルを、ファイルのフォーマットに従い読み込む。

あるいは、図１に不図示の画像入力手段を設け、ステップS201ではユーザが入力部101から画像入力を指示し画像入力を行うように構成しても良い。

続くステップS202では、画像解析処理を行う。画像解析処理では、後のステップで行う画像補正処理を決定するために、入力された画像の特徴量算出を行う。

本実施例では、画像の補正処理として画像の明るさを調整する方法を例として説明を行う。明るさの調整は、入力画像全体の輝度分布の代表値として平均輝度値を求め、それを好ましい明るさに調整する。好ましい明るさへの調整方法としては、画像の平均輝度と同じ明るさである画素の補正後の輝度が、輝度範囲の中間になるようにガンマ処理を施す。輝度範囲の中間とは、例えば輝度が8ビットで表現される場合、その輝度範囲は0〜255の値なので、目標の輝度としては127もしくは128を設定する。あるいは、0.0〜1.0といったように正規化されて表現されるような場合は、目標の輝度に0.5を設定する。

したがって、本実施例では、ステップS202では画像の平均輝度を算出する。そのため、画像の各画素の画素値を参照し、必要に応じて輝度を算出して集計し、集計値を参照した画素数で割って平均輝度Yaveを求める。

例えば、画像データの画素が公知のsRGB色空間で、8ビット符号なし整数（0〜255）で表現されており、輝度としてsYCC色空間のYを用いる場合には、各参照画素に次の式1による変換を施して輝度を得て集計する。なお、式1において、R,G,Bはそれぞれ画素のRGB値である。式1から明らかなようにRGB値が8ビット符号なし整数であれば、Yは0〜255の値を取る。

続くステップS203では装飾用画像を選択する。装飾用画像はデータ保存部102に格納されているので、装飾用画像の選択は、ステップS202の主画像の選択同様、装飾用画像の一覧を表示して、ユーザが選択する。一覧では、装飾用画像の識別子や、あるいは装飾用画像を表示用に縮小して表示する。あるいは、装飾用画像に対して、「人物用」、「明るい」、「派手な」などといった、その装飾用画像にふさわしい語を関連づけておき、それもあわせて表示するように構成しても良い。語の関連付けは先に説明した画像補正を制御する情報の関連付けと同様に行えばよい。

続くステップS204では、ユーザが選択した装飾用画像の読込みを行う。装飾用画像は所定のフォーマットに従ってデータ保存部102に格納されているので、そのフォーマットに従って読込みを行う。また、この時装飾用画像に関連付けられている画像補正を制御する情報も読み込む。

本実施例では画像補正を制御する情報として、画像補正処理を修正するパラメータを使うものとして説明を行う。この画像補正処理を修正するパラメータについては後述するが、本実施例の場合、重み付け係数をパラメータとして用いるものとして説明を行う。このパラメータは予め定まったフォーマットで格納されており、本ステップS204ではそのフォーマットに従い読み込みを行う。

続くステップS205では補正処理を決定する。本実施例では、先に述べたように、ガンマ処理によって画像の平均輝度と同じ明るさの画素が、補正により128となるようにするという補正方法の場合について説明を行う。この場合、補正処理のパラメータとして、ガンマ処理で用いるガンマ値を求める。これを数式で表すと、次の式2になる。式2でγはガンマ値である。

この式2を変形した次の式3によりガンマ値を求める。

次に、ステップS206では、ステップS205で決定した補正処理に従い、ステップS201で読み込んだ主画像の画素値を自動に補正する。本実施例では、主画像の各画素について、画素のRGB値から式1によるYCbCr値を算出し、Yを次の式4により変更してY'を得る。なお、式4におけるγはステップS205で算出したガンマ値である。

本発明による画像処理方式はステップS203で読み込んだ画像補正処理を修正する情報を用いて上記補正した画素の輝度値Y'を修正する。本実施例の場合、先に述べたように重み付け係数をパラメータとして用いる。まず、式4による補正前後の画素値の変化量、すなわち補正量を考える。本実施例の場合輝度のみ変化させるのでY'-Yが補正量である。

まず次の式5は自明である。

この式5で補正量であるY'-Yの部分に対して、ステップS203で読み込んだパラメータwをかける（式6）。

式6において、パラメータwが1.0より大きい場合、元々ステップS205で決定した補正処理で補正した結果のY'よりもY''は明るい値になる。逆にパラメータwが1.0よりも小さい場合には、ステップS205で決定した補正結果より、明るくする度合いが軽減される。したがって、例えば、装飾用画像が快活な感じでやや明るい画像と組み合わせる方が好ましい場合には、このパラメータを1.0よりも大きくすれば良いし、逆に装飾用画像が落ち着いた感じで主画像も落ち着いた感じが好ましい場合には、このパラメータを1.0よりも小さく設定して装飾用画像と関連付けて記憶しておけば良い。

また、この演算により、補正後の輝度値が元もとの定義域（本実施例の場合、0〜255）を超えてしまった場合には、0、あるいは255に値を修正する。

さらに、YCbCrで表された画素値をRGBに変換する。変換は次の式7を用いる。

以上説明した手順による補正処理をステップS201で読み込んだ主画像の各画素について順次実行して補正後の画像を得る。補正後の画像はRAM106に保持される。

続くステップS207ではステップS206で得た補正画像とステップS201で読み込んだ装飾用画像を例えば図４の例で示したように合成して合成画像を生成する。続くステップS208ではステップS207で得た合成画像を表示部103に表示してユーザに提示する。

この時、主画像は予め定められた位置に定められた解像度で配置するのであってもよいが、好ましくはユーザが入力部101を操作して、主画像の位置や大きさを調整できるように構成する。その場合、ユーザの操作毎に画像の合成ステップS207と表示ステップS208をユーザの入力毎に繰り返すように構成する。

続くステップS209では、処理の終了を判定する。これはユーザが入力部101を操作し、ユーザが画像の出力を指示した場合、ステップS209での判定を真として処理をステップS210移す。あるいはユーザが他の装飾画像を指示した場合には、ステップS209での判定を偽とし、処理をステップS203に移す。これらの指示は入力部101の特定のキー、ボタンなどに割り当てるのでも良いし、あるいはソフトウェアで表示部103にボタンやダイアログを構成してユーザに指示を入力するように促すようにする。

ステップS210では、合成画像を出力する。これは、ステップS207で得た画像をデータ保存部102に例えば公知のJPEG画像圧縮ファイルフォーマット等に従い格納する。あるいは図１不図示の印刷手段を設けて、そこに出力するように構成しても良い。またあるいは、通信部107を介し、他の機器に送信するように構成しても良い。

なお、本実施例では式1による変換でYの値を求めているが、あるいは、式1の近似式を用いるのであっても良い。またG値を輝度の変わりに用いるような変形も可能である。あるいはまた輝度として、CIE L^*a^*b^*空間のL^*、CIE CAMにおけるJ、XYZ色空間のYなど他の色空間の値を用いるのであっても本発明の意図するところと同じである。その場合、それぞれの色空間の定義やあるいは公知のICCプロファイルによる変換で画素値を変換して算出する。

また、画像解析処理において画素値の参照は必ずしも全ての画素について行わなければならないわけではない。したがって、画像の主走査方向、もしくは副走査方向に対してサンプリングを行い、処理の簡易化を行ってもよい。あるいは読み込んだ画像に対して公知の変倍方式によって縮小した縮小画像を用いるのであってもよい。またあるいは、この縮小画像があらかじめ画像データに格納されている場合は、それをステップS201で合成対象の画像とともに縮小画像を読み込み、ステップS202では縮小画像を用いて画像解析処理を行うように構成しても良い。

また、本実施例では、ステップS203で装飾用画像の一覧を提示してユーザが選択し、ステップS204でユーザが選択した装飾用画像を読み込むとして説明を行ったが、図1の装置内に十分なRAM106の容量がある場合には、あるいは図2で示した処理に先立って予め全て読み込んでおくように変形することも可能である。また、あるいは、本実施例ではデータ保存部102に装飾用画像を格納してあるとして説明を行ったが、あるいはROM105に装飾用画像を格納するように構成しても良い。その場合はステップS202の装飾用画像の読込み処理は特に必要ない。

また、本実施例では装飾用画像の一覧を表示する際に装飾用画像を表示用に縮小して表示するものとして説明を行ったが、あるいはこの装飾用画像の縮小画像を予め作成しておき、データ保存部102やあるいはROM105に保持しておくように構成することも可能である。

またあるいは、主画像や装飾用画像データを図１による装置とは別の外部の装置に記憶させておき、通信部107を介して取得するように構成しても良い。これは公知のHTTPプロトコル、HTMLなどを用いれば容易に実現可能である。この場合、読込み処理は通信手順に従い通信部107を介してデータを記憶してある外部装置にリクエストを発して受信する処理となる。この時、主画像や装飾用画像データを保持する外部の装置は１台でなければならない理由はなく、複数の装置であっても構わないし、主画像や装飾用画像データが同一の装置の記憶されていなければならない理由もない。

以上説明したように本発明によれば、装飾用画像に画像補正を制御する情報を関連付けることにより、ユーザは主画像と装飾用画像を選択するだけで、その主画像にあわせて画像補正処理を行い好適にするとともに、装飾用画像にも適するように画像補正処理をし、好適な合成画像を得ることができる。

（実施例２）
本実施例では第一の実施例と異なる部分についてのみ説明を行う。

第一の実施例では、画像補正を制御する情報の例として、補正処理に対する制御パラメータの例を示したが、本実施例では、画像の解析結果より補正決定処理に対するパラメータの例を示す。

図5は、階調補正の例を示す図である。図５の501は与えられた主画像の輝度ヒストグラムの例である。図５は、与えられた主画像の輝度が0（暗い）〜255（明るい）で表されている場合の例である。

このヒストグラム501に対して、暗い側、明るい側から累積度数を求め、所定比率の累積度数となる輝度レベルを検出し、その輝度レベルに応じて階調を補正する曲線502を設定する。図５では、暗い側から調べて検出した輝度レベルをa、明るい側から調べて検出した輝度レベルをbとして示している。

この比率は、概略0.5〜1%程度に設定するとおおよそ良好な結果が得られるが、この比率を大きくすると、もちろん対象の画像の輝度分布といった特徴に依存するものの、概略aやbが輝度レベルの中央寄りに近づき、結果としてコントラストを上げさせる補正曲線502が得られ易い。逆に、この比率を小さくすると、aやbが輝度レベルの両端に行き易く、結果としてコントラストをあまり変更しない補正曲線502が得られ易い。

本実施例ではこの比率を装飾画像毎に設定し、画像補正を制御する情報として装飾用画像と関連付けておく。

本実施例の処理の流れは、基本的に実施例１の図2と同じであるが、本実施例の場合、ステップS202では輝度のヒストグラムを算出し、ステップS205の補正決定処理で画像補正を制御する情報を参照してすでに説明したように画像の補正曲線を決定し、ステップS206ではステップS205で決定した補正曲線を適用する。

なお、図５の補正曲線502は一例であって、他の補正決定方式であってもよい。例えば公知の補間形式により図５の補正曲線502で示した例よりも滑らかな曲線を生成するようにするのであっても良い。

以上説明したように、本発明によれば装飾用画像に画像補正を制御する情報を関連付けることにより、ユーザは主画像と装飾用画像を選択するだけで、その主画像にあわせて自動画像補正処理を行い好適に補正するとともに、装飾用画像にも適するように自動画像補正処理を制御し、好適な合成画像を得ることができる。

（実施例３）
本実施例では、第一、第二の実施例と異なる部分についてのみ説明を行う。

第一、第二の実施例では補正処理に対する制御パラメータとして、具体的な数値を関連付ける方法について説明を行ったが、本実施例では抽象的なパラメータを関連づける例として、自然言語を用いる例を示す。

図６は、自然言語と、実際に補正処理に適用する数値パラメータの対応表の例である。図6の表で、左側の列には自然言語によるパラメータ（キーワード）が入っており、右側には数値のパラメータが入っている。例えば、1行目の「明るく」というパラメータが指定された場合には、それは「明るさ×1.2」というようなパラメータに変換される。これは例えば第一の実施例で示した、パラメータwの値に対応する。同様に、2行目の「やわらかく」であれば、「ハイライト 0.2%」、「シャドウ0.5%」という２つのパラメータに変換される。これは第二の実施例で示した、ヒストグラム解析の際の明るい側からの検出ポイントの比率、暗い側からの検出ポイントの比率に対応する。

この図６のようなパラメータの対応表は、予め定めておき、データ保存部102やあるいはROM105に格納しておけば良い。あるいは、本発明がプログラムで実行される場合には、そのプログラム内部に格納しておき、実行時にはRAM106に展開しておけば良い。

処理としては、ステップS204で装飾画像を読み込む際に、このパラメータを読み込み、図６で示した対応表から実際に補正処理制御に使用する数値パラメータに変換する。

なお、この時、例えば図６では「明るい」というパラメータに対して、ハイライト、シャドウというような数値パラメータの対応づけはされていないが、その場合はシステムで予め定めておいた値を使用するようにすればよい。

なお、本実施例では自然言語をパラメータとして用いる例を説明したが、自然言語によるパラメータを例えば一意に決めた識別子で代用するような変形は容易である。

以上説明したように、本発明によれば装飾用画像に画像補正を制御する情報を関連付けることにより、ユーザは主画像と装飾用画像を選択するだけで、その主画像にあわせて自動画像補正処理を行い好適に補正するとともに、装飾用画像にも適するように自動画像補正処理を制御し、好適な合成画像を得ることができる。本実施例の場合、第一、第二の実施例とは異なり、装飾用画像に対応付けられる画像補正を制御する情報が自然言語によるものなので、例えば補正処理部分が変更になって、数値パラメータの意味合いが変わってしまったり、数値パラメータの種類の増減があったりした場合でも、システム側が持つ対応表を修正するだけで、装飾用画像に関連付けられた画像補正を制御する情報を各装飾画像ごとに修正する必要がない、という利得がある。

（実施例４）
本実施例では、第一〜第三の実施例と異なる部分についてのみ説明を行う。

第一〜第三の実施例では、装飾用画像に対して画像補正を制御する情報を関連づけたが、これを装飾用画像の中の主画像を合成する位置（図３の302）に対して関連付けるように構成することも可能である。この場合、画像補正を制御する情報には、さらにその位置に関する情報を付与する。例えば図３の302であれば、302の輪郭を表すベクトル情報や、あるいは302内の一点、好ましくは302の概略中心の座標点をインデックスとして分類し、各領域情報毎に画像補正を制御する情報を持つように構成する。データの書式は、以上の条件を満たすものであれば任意のものでよい。

画像合成の場合、各領域別のパラメータを参照して取得する。領域指定が1点の座標点であっても、現在合成しようとしている領域にその点が含まれるかどうか判定を行えば容易に弁別できる。

本実施例の場合、装飾用画像に画像を合成する領域が複数あって、領域ごとに画像補正の方向性を違うようにしたい場合であっても対応できる。

また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明による画像処理方法を実現可能な画像処理装置の一構成例を示すブロック図である。 本発明による画像処理方法の一例の処理を示すフローチャートである。 本発明の説明に用いた装飾用画像の一例を示す図である。 本発明による主画像と装飾画像の合成画像の一例を示す図である。 本発明による画像処理方法の一例で、階調補正を説明する図である。 本発明による自然言語と、実際の補正処理に適用する数値パラメータの対応表の一例を示す図である。

符号の説明

１０１ 入力部
１０２ データ保存部
１０３ 画像表示部
１０４ ＣＰＵ
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 通信部

Claims (10)

1. 主画像と装飾用画像を合成して合成画像を得る画像処理方法であって、
   前記装飾用画像に関連付けられた、画像補正を制御する情報を取得する補正制御情報取得工程と、
   前記主画像と前記補正制御情報を参照して、前記主画像を自動に補正する画像補正処理工程と、
   前記画像補正処理工程で得た補正画像と前記装飾用画像を合成して出力する合成画像出力工程と
   を持つ事を特徴とする画像処理方法。
2. 前記画像補正処理工程は、
   前記主画像を解析して画像の特徴量を得る画像解析工程と、
   前記画像解析工程によって取得した画像の特徴量から画像補正処理を決定する補正決定工程と、
   前記補正決定工程で決定した補正処理を前記主画像に適用して補正画像を得る補正実行工程とからなり、
   前記補正決定工程では前記画像の特徴量と前記補正制御情報とから補正処理を決定することを特徴とする請求項１に記載の画像処理方法。
3. 前記画像補正を制御する情報は、自然言語もしくは識別子によって記述されており、
   さらに前記自然言語もしくは識別子による画像補正を制御する情報より、実際に補正を制御する数値パラメータに変換する工程を持つことを特徴とする請求項１乃至２のいずれかに記載の画像処理方法。
4. 前記装飾用画像と前記補正制御情報を関連付けるとは、前記装飾用画像のデータ形式が前記補正制御情報を含むデータ形式であることを特徴とする請求項１乃至３のいずれかに記載の画像処理方法。
5. 前記装飾用画像と前記補正制御情報を関連付けるとは、前記装飾用画像のデータの識別子と前記補正制御情報を含むデータの識別子を関連付けることであることを特徴とする請求項１乃至３のいずれかに記載の画像処理方法。
6. 前記装飾用画像と前記補正制御情報を関連付けるとは、前記装飾用画像のデータファイルと前記補正制御情報を含むデータファイルを復元可能な形で１つのデータにエンコードする方式によってエンコードすることであることを特徴とする請求項１乃至３のいずれかに記載の画像処理方法。
7. 主画像と装飾用画像を合成して合成画像を得る画像処理装置であって、
   前記装飾用画像に関連付けられた、画像補正を制御する情報を取得する補正制御情報取得手段と、
   前記主画像と前記補正制御情報を参照して、前記主画像を自動に補正する画像補正処理手段と、
   前記画像補正処理手段で得た補正画像と前記装飾用画像を合成して出力する合成画像出力手段と
   を持つ事を特徴とする画像処理装置。
8. 前記画像補正処理手段は、
   前記主画像を解析して画像の特徴量を得る画像解析手段と、
   前記画像解析手段によって取得した画像の特徴量から画像補正処理を決定する補正決定手段と、
   前記補正決定手段で決定した補正処理を前記主画像に適用して補正画像を得る補正実行手段とからなり、
   前記補正決定手段では前記画像の特徴量と前記補正制御情報とから補正処理を決定することを特徴とする請求項７に記載の画像処理装置。
9. 請求項１乃至６のいずれかに記載の方法をコンピュータに実行させるためのコンピュータプログラム。
10. 請求項１０に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

Images