JP2011018280A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】背景画像上に複数の画像を合成する際に、利用者に過度の負担を強いることなく、より見栄えの良い合成画像の生成を実現する。
【解決手段】背景画像の上に配置するＮ枚のフレーム枠内画像における各フレーム枠内画像について各代表色相を決定するとともに（Ｓ３０４）、背景画像の明度変換パラメータを算出し（Ｓ３０５）、Ｓ３０５で算出された明度変換パラメータと、Ｓ３０４で決定された各代表色相とに応じて、背景画像の色変換処理を行って（Ｓ３０６）、合成画像の生成を行う。
【選択図】図３

Description

本発明は、背景画像と、その上に配置される複数の画像とを合成する処理を行う画像処理装置及び画像処理方法、当該画像処理方法をコンピュータに実行させるためのプログラム、及び、当該プログラムを記憶するコンピュータ読み取り可能な記憶媒体に関する。

近年、デジタルカメラの普及に伴い、撮影した画像データ（電子データ）を利用してアルバムの編集等を行うようになってきており、そのような編集等の処理を行う画像処理装置やソフトウェア、サービスが提供されている。

例えば、利用者自身がソフトウェアを用いてアルバムを作成し編集する場合、利用者は、予め用意された多数のテンプレート画像の中から、そのアルバムまたはページに相応しい思われるテンプレートを選択する。さらに、利用者自身が保有する複数の画像の中から、利用者がアルバムに貼りたいと希望する画像を選択して、電子アルバムの各ページに１枚ずつ貼り付ける処理を行う。これにより、選択されたテンプレート画像と、利用者がアルバムに貼りたいと希望する画像とが合成されて、電子アルバムが作成される。

しかしながら、一般にテンプレート画像は単なる枠や飾りなどのありきたりのものが多く、合成された画像の見栄えがあまり良くないこともある。

そこで、従来、例えば下記の特許文献１では、電子アルバムを構成するページの台紙として、利用者が撮影した画像を用いる方法が開示されている。この際、電子アルバムを構成するページの台紙の代わりとなる撮影画像（以下、「背景画像」称する）上に、所望の撮影画像を貼り付けると、貼り付けられた画像が目立たなくなってしまうことがある。このため、特許文献１では、背景画像に、モノクロ処理や、セピア処理、濃度低下処理、ぼかし処理などの特殊な画像処理を施すことで、背景画像の上に貼り付けた撮影画像が引き立つようにしている。そして、特許文献１では、これらの画像処理は、利用者による選択指定もしくは予め決められた処理としている。

特開２００２−１１１９９５号公報

しかしながら、上述した特許文献１の手法では、背景画像に対する各種の画像処理のどの処理をどのように選択すれば、背景画像上に貼り付けた画像が目立つのかを利用者が試行錯誤して設定する必要があるため、利用者に非常に大きな負担を強いることになる。また、上述した特許文献１の手法において、予め決められた処理を実行した場合、場合よっては、当該処理を行うことで、逆に貼り付けられた画像が目立たなくなる恐れもある。

本発明は、このような問題点に鑑みてなされたものであり、背景画像上に複数の画像を合成する際に、利用者に過度の負担を強いることなく、より見栄えの良い合成画像の生成を実現する仕組みを提供することを目的とする。

本発明の画像処理装置は、背景となる第１画像と、当該第１画像の上に配置される複数の第２画像とを合成する合成処理を行う画像処理装置であって、前記複数の第２画像における各第２画像について各代表色相を決定する代表色相決定手段と、前記第１画像の明度変換パラメータを算出する明度変換パラメータ算出手段と、前記明度変換パラメータと前記各代表色相とに応じて前記第１画像の色変換処理を行って、前記合成処理を行う画像処理手段とを有する。

また、本発明は、上述した画像処理装置による画像処理方法、及び、当該画像処理方法をコンピュータに実行させるためのプログラム、並びに、当該プログラムを記憶するコンピュータ読み取り可能な記憶媒体を含む。

本発明によれば、背景画像上に複数の画像を合成する際に、利用者に過度の負担を強いることなく、より見栄えの良い合成画像の生成を実現することが可能となる。

本発明の第１の実施形態に係る画像処理装置の内部のシステム構成の一例を示すブロック図である。 本発明の第１の実施形態を示し、図１の表示装置に表示されるアルバム作成に係るＧＵＩ画面の一例を示す模式図である。 本発明の第１の実施形態に係る画像処理装置による画像処理方法の処理手順の一例を示すフローチャートである。 図３のステップＳ３０４の具体的な処理手順の一例を示すフローチャートである。 図４のステップＳ４０３の具体的な処理手順の一例を示すフローチャートである。 図３のステップＳ３０５の具体的な処理手順の一例を示すフローチャートである。 図３のステップＳ３０６の具体的な処理手順の一例を示すフローチャートである。 本発明の第１の実施形態を示し、図７のステップＳ７０６の具体的な処理手順の一例を示すフローチャートである。 図８のステップＳ８０２の具体的な処理手順の一例を示すフローチャートである。 図８のステップＳ８０７の具体的な処理手順の一例を示すフローチャートである。 本発明の第１の実施形態を示し、図８のステップＳ８０８の具体的な処理手順の一例を示すフローチャートである。 図７のステップＳ７０７の具体的な処理手順の一例を示すフローチャートである。 本発明の第２の実施形態を示し、図７のステップＳ７０６の具体的な処理手順の一例を示すフローチャートである。 本発明の第２の実施形態を示し、図１３のステップＳ１３０１において色相範囲Ｒ（Ｈｐ）を取得する際に用いるテーブルの一例を示す模式図である。 本発明の第３の実施形態を示し、図７のステップＳ７０６の具体的な処理手順の一例を示すフローチャートである。 図１５のステップＳ１５０２の具体的な処理手順の一例を示すフローチャートである。 本発明の第５の実施形態を示し、図８のステップＳ８０８の具体的な処理手順の一例を示すフローチャートである。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。

図１は、本発明の第１の実施形態に係る画像処理装置の内部のシステム構成の一例を示すブロック図である。
画像処理装置１００は、図１に示すように、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、蓄積装置１０４、入力装置１０５、表示装置１０６、及び、バス１０７を有して構成されている。

ＣＰＵ１０１は、例えば、ＲＯＭ１０２或いは蓄積装置１０４に記憶されているプログラムや各種の情報を用いて、画像処理装置１００の全体を統括的に制御する。

ＲＯＭ１０２は、変更を必要としないプログラムや各種のパラメータ等の情報などを格納している。

ＲＡＭ１０３は、ＲＯＭ１０２或いは蓄積装置１０４からロードされたプログラムや各種の情報を一時的に記憶するエリアを備えるとともに、ＣＰＵ１０１が各種の処理を行うために必要とするワークエリアを備える。

蓄積装置１０４は、例えば、ハードディスクを含み構成され、オペレーティングシステム（ＯＳ）やＣＰＵが実行するプログラム、更には本実施形態の説明において既知としている情報（画像データ等も含む）などを記憶している。

入力装置１０５は、利用者（ユーザ）からの指示や各種の情報を画像処理装置１００に入力するための装置であり、キーボードやマウスなどの入力デバイスを含み構成されている。

表示装置１０６は、例えば、ＣＲＴや液晶ディスプレイ等を具備して構成されており、ＣＰＵ１０１の制御に基づいて、前記プログラムによって生成処理された表示画像（表示画面）等をＣＲＴや液晶ディスプレイ等に出力する。例えば、表示装置１０６は、編集処理の前後の画像やアルバム編集ソフトにおけるＧＵＩ画像などを表示出力する。

バス１０７は、ＣＰＵ１０１と、ＲＯＭ１０２、ＲＡＭ１０３、蓄積装置１０４、入力装置１０５、表示装置１０６及びバス１０７とを相互に通信可能に接続する。

なお、図１に示すシステム構成は一例を示したものであり、例えば、図１に示す構成に加えて、利用者（ユーザ）の指示に基づき、画像の編集処理結果を印刷する印刷装置（不図示）を備える構成としてもよい。この場合、印刷装置としては、例えば、インクジェットプリンタやレーザープリンタなどを適用することができる。また、例えば、図１に示す構成に加えて、外部装置と通信を行う通信装置を備える構成としてもよい。この場合、例えば、通信装置及びインターネットを介して、編集処理結果の画像データを、印刷処理を行う業者の外部装置に送信して、当該業者に印刷処理をしてもらうようにすることも可能である。なお、図１に示すシステム構成については、上述した以外にも、様々な構成要素が存在するが、本発明の主眼ではないため、その記載及び説明は省略する。

ここで、本実施形態では、利用者（ユーザ）がアルバム作成ソフトウェアプログラムを利用して、複数の撮影画像を使って電子アルバムを作成する場合について説明する。

ここで、本実施形態では、利用者（ユーザ）が電子アルバムの作成に利用する撮影画像は、デジタルカメラ用の標準規格であるＥｘｉｆファイルとして、例えば蓄積装置１０４に保存されているものとする。なお、当該撮影画像は、例えば、ＣＤ−ＲＯＭなどの外部記憶装置から読み込まれたものや、Ｗｅｂなどのネットワーク先にある外部装置に保存されているものであっても本実施形態に適用可能である。

また、本実施形態では、説明を簡単にするために、アルバム作成ソフトウェアプログラムは、例えば蓄積装置１０４に保存されており、当該アルバム作成ソフトウェアプログラムを用いてアルバム作成を行うものとする。しかしながら、本発明においては、この形態に限定されるものではなく、例えば、Ｗｅｂ上にあるシステムプログラムを用いてアルバム作成をする形態であってもよい。

利用者（ユーザ）が入力装置１０５を介してアルバム作成ソフトウェアプログラムの起動指示を行うと、ＣＰＵ１０１は、蓄積装置１０４に記憶されているアルバム作成ソフトウェアプログラムを起動する処理を行う。その後、利用者（ユーザ）が入力装置１０５を介してアルバム作成に利用する画像が格納されているフォルダを指定すると、ＣＰＵ１０１は、アルバム作成処理を開始する。ここで、アルバム作成に利用される画像は、複数のフォルダ内に存在していてもよいが、複数のフォルダ内に存在するか否かは重要でないため、本実施形態では、説明を簡単にするために、同一フォルダ内に全ての撮影画像が格納されているものとする。

図２は、本発明の第１の実施形態を示し、図１の表示装置１０６に表示されるアルバム作成に係るＧＵＩ画面の一例を示す模式図である。この図２のＧＵＩ画面２００のウィンドウは、利用者（ユーザ）からアルバム作成指示がなされた際に、ＣＰＵ１０１の処理によって表示装置１０６に表示される。そして、本実施形態では、利用者（ユーザ）は、例えば、図２に示すＧＵＩ画面２００を見ながら、入力装置１０５であるキーボードやマウスを使って、アルバムの編集を行うことになる。

アルバム作成ウィンドウであるＧＵＩ画面２００は、サムネイル画像一覧表示領域２１０、テンプレート一覧表示領域２２０、画像編集領域２３０、及び、メニュー一覧表示領域２４０を有して構成されている。

サムネイル画像一覧表示領域２１０は、アルバム作成に利用する撮影画像が格納されているフォルダとして利用者（ユーザ）が選択したフォルダの中の、全ての撮影画像に係るサムネイル画像を一覧表示する領域である。図２に示す例では、サムネイル画像一覧表示領域２１０には、サムネイル画像２１１〜２１４の４枚のサムネイル画像が示されているが、スクロールバーによって全ての撮影画像に係るサムネイル画像を確認することができるように構成されている。

ここで、サムネイル画像の表示は、本実施形態のように撮影画像がＥｘｉｆファイルとして保存されている場合には、Ｅｘｉｆ内部に格納されているサムネイル画像を用いてもよいし、或いは、ＣＰＵ１０１が当該撮影画像を縮小して作成してもよい。このサムネイル画像の作成及び表示の方法については、本発明の主眼ではないため、その詳しい説明は省略する。利用者（ユーザ）は、サムネイル画像一覧表示領域２１０に表示されているサムネイル画像をマウス等で指定することによって、サムネイル画像を選択することができる。

テンプレート一覧表示領域２２０は、本アルバム作成ソフトウェアで利用できるページレイアウトのテンプレートに係るサムネイル画像の一覧を表示する領域である。図２に示す例では、テンプレート画像２２１〜２２４の４枚のサムネイル画像が示されているが、テンプレート一覧表示領域２２０にあるスクロールバーでスクロールすることにより、その他のテンプレート画像も閲覧・選択できるように構成されている。

利用者（ユーザ）は、テンプレート一覧表示領域２２０に表示されているテンプレートのサムネイル画像をマウス等で指定することによって、画像編集領域２３０に表示するテンプレート画像を選択することができる。本実施形態では、テンプレート一覧表示領域２２０において、選択されたテンプレート画像の輪郭を太線表示することによって、選択状態を示している。この際、選択状態を示す方法は、選択されたテンプレート画像にマークを付けたり、色を変えたりするなどの他の方法を用いて、非選択のテンプレート画像と識別する形態であってもよい。

また、本例では、リボンマーク２２５が左上に付いているテンプレート画像については、背景にユーザ指定の画像を利用可能であることを示すものとする。具体的に、図２に示す例では、テンプレート画像２２３は、背景にユーザ指定の画像を利用できるが、テンプレート画像２２１、２２２及び２２４は、予め決められた色や模様の背景画像のみの利用になる。ここで利用できるテンプレート画像は、例えば、ＣＤ−ＲＯＭなどの外部記憶装置から読み込む方法や、ネットワーク先の専用サイトからダウンロードする方法など様々な方法で取得可能である。なお、このテンプレート画像の取得方法については、本発明の主眼ではないため、その詳しい説明は省略する。

画像編集領域２３０は、アルバムの各ページの編集を行う際に、その編集結果をプレビュー表示する領域である。画像編集領域２３０では、テンプレート一覧表示領域２２０の中から選択されたテンプレート画像が背景に表示される。また、サムネイル画像一覧表示領域２１０で選択されたサムネイル画像をテンプレート画像の所定領域にマウスを用いてドラッグ＆ドロップすることにより、テンプレート画像上に撮影画像を合成した合成画像を生成することができるように構成されている。

ＧＵＩ画面２００では、画像編集領域２３０の下方の両端にあるＢＡＣＫボタン２３８及びＮＥＸＴボタン２３９をクリックすることにより、それぞれ、前及び後のページのプレビュー・編集が可能に構成されている。

ここで、本例では、画像編集領域２３０の背景として、リボンマーク２２５が付された（即ちユーザ指定の画像が利用できる）、テンプレート画像２２３が選択された場合について説明する。

利用者（ユーザ）がテンプレート画像２２３を選択すると、ＣＰＵ１０１は、当該テンプレート画像２２３を、画像編集領域２３０の背景として表示する処理を行う。ここで、テンプレート画像２２３のみが選択されている時点では、撮影画像がまったく貼り付けられていない、ただの枠等のみの画像が表示される状態である。

そして、画像編集領域２３０に表示されたテンプレート画像２２３の背景領域部分に、サムネイル画像一覧表示領域２１０から選択された撮影画像（サムネイル画像）がドラック＆ドロップされると、ＣＰＵ１０１は、これを検知する。そして、ＣＰＵ１０１は、背景画像２３１として、当該撮影画像（及びテンプレート画像２２３も含む）を表示する。ここで、図２に示す例では、背景画像２３１として表示された撮影画像は、サムネイル画像一覧表示領域２１０に図示されていないが、サムネイル画像一覧表示領域２１０のスクロールバーを上下させることにより、背景として選択された撮影画像である。

また、画像編集領域２３０に表示されたテンプレート画像２２３のフレーム２３２、２３３及び２３４の枠内に、背景のときと同様に、それぞれ、選択された撮影画像がドラッグ＆ドロップされると、ＣＰＵ１０１は、当該フレームの枠内に撮影画像を貼り付ける。図２に示す例では、サムネイル画像２１１、２１３及び２１４が、それぞれ、フレーム２３２、２３３及び２３４に貼り付けられた様子を示している。

ここで、本実施形態において、背景画像２３１は、背景となる第１画像を構成し、当該背景画像２３１の上に配置され、複数のフレーム２３２、２３３及び２３４の枠内に貼り付けられるフレーム枠内画像は、第２画像を構成する。

本実施形態では、背景画像及びフレーム枠内画像の指定方法として、ドラッグ＆ドロップを用いる例を示したが、この形態に限定されるものではなく、例えば、背景画像選択モードとフレーム枠内画像選択モードを切り替える方法などの他の方法を用いてもよい。

本実施形態では、ＣＰＵ１０１は、撮影画像がテンプレート画像のフレーム（２３２〜２３４）の枠内に貼り付けられた時点でその背景に係る背景画像が既に選択されている場合、フレーム枠内画像に応じて当該背景画像の色変換処理を行う。そして、この場合、ＣＰＵ１０１は、画像編集領域２３０に色変換処理後の背景画像２３１を表示する。

また、ＣＰＵ１０１は、逆に、テンプレート画像のフレーム（２３２〜２３４）の枠内の撮影画像の選択後にその背景に係る背景画像が指定された場合、指定された時点でフレーム枠内画像に応じて当該背景画像の色変換処理を行う。そして、この場合、ＣＰＵ１０１は、画像編集領域２３０に色変換処理後の背景画像２３１を表示する。

メニュー一覧表示領域２４０は、ＧＵＩ画面２００における各種のメニューの一覧を表示する領域である。

図３は、本発明の第１の実施形態に係る画像処理装置による画像処理方法の処理手順の一例を示すフローチャートである。具体的に、図３には、背景画像の色変換処理（より詳細には、色変換済み背景画像の取得処理）における処理手順の一例が示されている。また、図３に示すフローチャートにおける処理は、ＣＰＵ１０１が、例えばＲＯＭ１０２或いは蓄積装置１０４に記憶されているプログラムを実行することにより実現される。

まず、ステップＳ３０１において、ＣＰＵ１０１は、テンプレート画像のフレーム枠内に貼り付ける画像として指定された撮影画像の枚数Ｎを取得する。ここで、枚数Ｎの取得方法としては、各フレームに関連付けられている画像があるか否かを確認し、関連付けられている画像の枚数を数えることにより取得する。図２に示す例の場合には、サムネイル画像２１１、２１３及び２１４の３枚がフレーム枠内に貼り付ける撮影画像として指定されているので、この場合は、枚数Ｎ＝３となる。

続いて、ステップＳ３０２において、ＣＰＵ１０１は、ステップＳ３０１で取得した枚数Ｎが、０よりも大きいか否か（即ち、フレーム枠内に貼り付ける撮影画像として画像が１枚以上指定されたか否か）を判断する。

ステップＳ３０２の判断の結果、ステップＳ３０１で取得した枚数Ｎが０よりも大きくない（即ち０である）場合には、フレーム枠内に貼り付ける画像がないため、背景画像が指定されているか否かに関わらず、何らの処理を行うことなく、図３の処理を終了する。

一方、ステップＳ３０２の判断の結果、ステップＳ３０１で取得した枚数Ｎが、０よりも大きい場合には、フレーム枠内に貼り付ける画像があると判定し、ステップＳ３０３に進む。

ステップＳ３０３に進むと、ＣＰＵ１０１は、背景画像が指定されているか否かを判断する。ここで、背景画像の指定の有無は、背景画像として関連付けられている画像の有無によって判定する。

ステップＳ３０３の判断の結果、背景画像が指定されていない場合には、図３の処理を終了する。

一方、ステップＳ３０３の判断の結果、背景画像が指定されている場合には、ステップＳ３０４に進む。

ステップＳ３０４に進むと、ＣＰＵ１０１は、フレーム枠内画像として指定されているＮ枚の画像を解析し、各画像について代表色相Ｈａ［ｎ］（ｎ＝０，１，…，Ｎ−１）を決定する処理を行う。ここで、このステップＳ３０４の処理を行うＣＰＵ１０１は、代表色相決定手段を構成する。このステップＳ３０４における代表色相Ｈａ［ｎ］の具体的な決定方法については、図４を用いて後述する。

続いて、ステップＳ３０５において、ＣＰＵ１０１は、背景画像の明度変換パラメータを算出する処理を行う。ここで、このステップＳ３０５の処理を行うＣＰＵ１０１は、明度変換パラメータ算出手段を構成する。このステップＳ３０５における背景画像の明度変換パラメータの具体的な算出方法については、図６を用いて後述する。

続いて、ステップＳ３０６において、ＣＰＵ１０１は、ステップＳ３０５の算出の結果得られた明度変換パラメータと、ステップＳ３０４で決定した代表色相Ｈａ［ｎ］に応じて、背景画像の色変換処理を行う。そして、ＣＰＵ１０１は、背景画像（例えば図２に示す２３１）と、当該背景画像の上に配置される複数のフレーム枠内画像（例えば図２に示す２３２〜２３４）とを合成する合成処理を行う。ここで、このステップＳ３０６の処理を行うＣＰＵ１０１は、画像処理手段を構成する。このステップＳ３０６における背景画像の具体的な色変換処理方法については、図７を用いて後述する。

ステップＳ３０６の処理が終了すると、図３のフローチャートにおける処理が終了する。

次に、図３のステップＳ３０４（各フレーム枠内画像の代表色相Ｈａ［ｎ］の決定方法）の具体的な処理について説明する。
図４は、図３のステップＳ３０４の具体的な処理手順の一例を示すフローチャートである。

図３のステップＳ３０４の処理が開始されると、まず、図４のステップＳ４０１において、ＣＰＵ１０１は、テンプレート画像の各フレームの枠内に指定された撮影画像のファイルＩ＿ｆ［ｎ］（ｎ＝０，１，…，Ｎ−１）を取得する。図２に示す例の場合には、例えば、以下の（１）式〜（３）式のように取得される。
I＿ｆ［０］＝画像２１１ ・・・（１）
I＿ｆ［１］＝画像２１３ ・・・（２）
I＿ｆ［２］＝画像２１４ ・・・（３）

続いて、ステップＳ４０２において、ＣＰＵ１０１は、ファイルカウンタｎに０を入れて初期化する。

続いて、ステップＳ４０３において、ＣＰＵ１０１は、画像Ｉ＿ｆ［ｎ］を解析し、平均彩度Ｓａ［ｎ］、平均明度Ｖａ［ｎ］、及び、最頻出色相範囲Ｈａ［ｎ］を算出する。このステップＳ４０３の具体的な算出方法については、図５を用いて後述する。

続いて、ステップＳ４０４において、ＣＰＵ１０１は、ファイルカウンタｎに１を足してファイルカウンタをインクリメントする。

続いて、ステップＳ４０５において、ＣＰＵ１０１は、ファイルカウンタｎと図３のステップＳ３０１で取得した撮影画像の枚数Ｎとを比較して、フレーム枠内に指定された全ての画像について解析を終了したか否かを判断する。ここで、フレーム枠内に指定された全ての画像について解析を終了したか否かの判断は、ｎ＝Ｎであるか否かに基づき行う。

ステップＳ４０５の判断の結果、フレーム枠内に指定された全ての画像については解析を終了していない（即ち、未解析の画像が存在する）場合には、ステップＳ４０３に戻り、ステップＳ４０３以降の処理を再度行う。

一方、ステップＳ４０５の判断の結果、フレーム枠内に指定された全ての画像について解析を終了した場合には、図４のフローチャートにおける処理を終了する。

次に、図４のステップＳ４０３（平均彩度、平均明度及び最頻出色相範囲の算出方法）の具体的な処理について説明する。
図５は、図４のステップＳ４０３の具体的な処理手順の一例を示すフローチャートである。

まず、図５のステップＳ５０１において、ＣＰＵ１０１は、ステップＳ４０１で取得した画像Ｉ＿ｆ［ｎ］をデコードし、ＲＧＢ画像データと、当該画像の幅に係る画素数Ｗ［ｐｉｘｅｌ］及びその高さに係る画素数Ｌ［ｐｉｘｅｌ］を取得する。

ここで、本実施形態の場合、画像Ｉ＿ｆ［ｎ］はＥｘｉｆファイルであるため、ＪＰＥＧデータである場合には、ＪＰＥＧのＳＯＦマーカを読むことにより、画像の幅Ｗと画像の高さＬを取得する。また、非圧縮データである場合には、ＩｍａｇｅＷｉｄｔｈタグ（タグ番号０ｘ１００）を検索し、このタグの値を読むことにより画像の幅Ｗを取得し、Ｉ
ｍａｇｅＬｅｎｇｔｈタグ（タグ番号０ｘ１０１）のタグの値を読むことにより画像の高
さＬを取得する。また、Ｅｘｉｆファイルの画像をデコードし、ＲＧＢ画像データを得る方法については、公知であるので、その説明は省略する。

続いて、ステップＳ５０２において、ＣＰＵ１０１は、色相のヒストグラムを作成する配列ｈｉｓｔ［ｃ］を初期化する。

ここで、本実施形態では、色相（０度〜３６０度）を０度から３０度ずつ区切り、１２個の色相範囲としてカウントするものとする。具体的に、ｈｉｓｔ［０］は０．０度〜３０．０度、ｈｉｓｔ［１］は３０．０度〜６０．０度、…、ｈｉｓｔ［１１］は３３０．０度〜３６０．０度の色相範囲に含まれる画素数に係るカウント値を保存するものとする。そのため、配列ｈｉｓｔ［ｃ］は要素数が１２であり、ステップＳ５０２では、ｈｉｓｔ［０］〜ｈｉｓｔ［１１］のカウント値を全て０にすることで初期化する。

続いて、ステップＳ５０３において、ＣＰＵ１０１は、画像の縦方向の画素数をカウントするカウンタｙに０を代入して初期化する。

続いて、ステップＳ５０４において、ＣＰＵ１０１は、画像の横方向の画素数をカウントするカウンタｘに０を代入して初期化する。

続いて、ステップＳ５０５において、ＣＰＵ１０１は、ステップＳ５０１で取得した画像Ｉ＿ｆ［ｎ］の画素Ｐ（ｘ，ｙ）のＲＧＢデータ（Ｒｘｙ，Ｇｘｙ，Ｂｘｙ）をＨＳＶ
データ（Ｈｘｙ，Ｓｘｙ，Ｖｘｙ）に変換する。

このＲＧＢデータからＨＳＶデータへの変換方法は、公知の方法を用いることができる。例えば、ＲＧＢデータが各８ｂｉｔであって、値の範囲が０〜２５５である場合には、以下のようになる。

この際、以下の（４）式〜（５）式を定義する。
Ｍａｘ＝Ｒｘｙ，Ｇｘｙ，Ｂｘｙの中の最大値 ・・・（４）
Ｍｉｎ＝Ｒｘｙ，Ｂｘｙ，Ｂｘｙの中の最小値 ・・・（５）

この場合、（４）式〜（５）式を用いて、以下の（６）式〜（１０）式のように示すことができる。
明度Ｖｘｙ＝Ｍａｘ／２５５．０ ・・・（６）
彩度Ｓｘｙ＝（Ｍａｘ−Ｍｉｎ）／Ｍａｘ ・・・（７）
Ｍａｘ＝Ｒｘｙ、かつ、Ｓｘｙ＞０．０である場合、
色相Ｈｘｙ＝６０×（Ｇｘｙ−Ｂｘｙ）／（Ｍａｘ−Ｍｉｎ） ・・・（８）
Ｍａｘ＝Ｇａｙ、かつ、Ｓｘｙ＞０．０である場合、
色相Ｈｘｙ＝１２０＋６０×（Ｂｘｙ−Ｒｘｙ）／（Ｍａｘ−Ｍｉｎ） ・・・（９）
Ｍａｘ＝Ｂｘｙ、かつ、Ｓｘｙ＞０．０である場合、
色相Ｈｘｙ＝２４０＋６０×（Ｒｘｙ−Ｇｘｙ）／（Ｍａｘ−Ｍｉｎ） ・・（１０）
また、Ｓｘｙ＝０．０である場合、色相Ｈｘｙは未定義となる。

したがって、明度Ｖｘｙ及び彩度Ｓｘｙの値の範囲は０．０〜１．０であり、色相Ｈｘｙの値の範囲は０．０度〜３６０．０度である。

続いて、ステップＳ５０６において、ＣＰＵ１０１は、ステップＳ５０５で取得したＨｘｙから、ヒストグラムｈｉｓｔ［ｃ］の値をカウントし、ヒストグラムｈｉｓｔ［ｃ］を作成する。具体的に、本実施形態では、色相を３０度ずつ区切ってヒストグラムを作成するので、Ｈｘｙの値を３０．０で割った商の番号ａを使って、ｈｉｓｔ［ａ］の値を１つカウントアップして処理をすればよい。例えば、Ｈｘｙの値が４０．０であれば、４０．０÷３０．０の商が１であるので、ｈｉｓｔ［１］の値を１つカウントアップすればよい。ただし、彩度Ｓｘｙが０．０の場合には、色相Ｈｘｙは未定義であるので、ｈｉｓｔ［ｃ］（ｃ＝０〜１１）のいずれのヒストグラムの値もカウントアップしない。

続いて、ステップＳ５０７において、ＣＰＵ１０１は、画像の横方向のカウンタｘに１を足して、カウンタｘと画像の幅の画素数Ｗとを比較することにより、１ライン分（ｙ行目）の画素に対してＲＧＢ→ＨＳＶ変換が終了したか否かを判断する。

ステップＳ５０７の判断の結果、１ライン分（ｙ行目）の画素に対してはＲＧＢ→ＨＳＶ変換が終了していない場合には、未だｙ行目の画素で変換処理が終了していない画素があると判定し、ステップＳ５０５に戻って、ステップＳ５０５以降の処理を再度行う。

一方、ステップＳ５０７の判断の結果、１ライン分（ｙ行目）の全ての画素に対してＲＧＢ→ＨＳＶ変換が終了した場合（即ち、ｘ＝Ｗである場合）には、ステップＳ５０８に進む。

ステップＳ５０８に進むと、ＣＰＵ１０１は、画像の縦方向のカウンタｙに１を足して、カウンタｙと画像の高さの画素数Ｌとを比較することにより、当該画像の全ての画素に対してＲＧＢ→ＨＳＶ変換が終了したか否かを判断する。

ステップＳ５０８の判断の結果、全ての画素に対してはＲＧＢ→ＨＳＶ変換が終了していない場合には、未だ変換処理が終了していない画素があると判定し、ステップＳ５０４に戻って、ステップＳ５０４以降の処理を再度行う。

一方、ステップＳ５０８の判断の結果、全ての画素に対してＲＧＢ→ＨＳＶ変換が終了した場合（即ち、ｙ＝Ｌである場合）には、ステップＳ５０９に進む。

ステップＳ５０９に進むと、ＣＰＵ１０１は、ステップＳ５０５で変換された全画素の彩度Ｓｘｙ及び明度Ｖｘｙと、ステップＳ５０１で取得した画像の幅Ｗ及び高さＬの画素数から、平均彩度Ｓａ［ｎ］と平均明度Ｖａ［ｎ］を算出する。ここで、具体的な算出式は下記の（のようになる。
平均彩度Ｓａ［ｎ］＝（全画素の彩度Ｓｘｙの総和）／（画像の画素数）
・・・（１１）
平均明度Ｖａ［ｎ］＝（全画素の明度Ｖｘｙの総和）／（画像の画素数）
・・・（１２）

続いて、ステップＳ５１０において、ＣＰＵ１０１は、ステップＳ５０６で作成した色相のヒストグラムｈｉｓｔ［ｃ］から、最頻出色相範囲Ｈａ［ｎ］を算出する。その後、図５のフローチャートにおける処理を終了する。

本実施形態の場合、最頻出色相範囲として、３０度ずつ区切った色相の番号が決定されるものとする。つまり、ｈｉｓｔ［０］〜ｈｉｓｔ［１１］のうち、ｈｉｓｔ［１］の値が最も大きい場合には、最頻出色相範囲Ｈａ［ｎ］＝１となり、これは、３０．０度〜６０．０度の色相角に入る画素が最も多かったことを表す。また、本実施形態では、Ｈａ［０］＝２、Ｈａ［１］＝１、Ｈａ［２］＝１として、最頻出色相範囲が算出されたものとする。

次に、図３のステップＳ３０５（背景画像の明度変換パラメータの算出方法）の具体的な処理について説明する。
図６は、図３のステップＳ３０５の具体的な処理手順の一例を示すフローチャートである。

基本的には、背景画像２３１上に貼り付けられる、フレーム枠内画像（２３２〜２３４等）の明度が全体的に明るければ、背景画像２３１の明度を暗くする明度変換パラメータの算出を行う。また、背景画像２３１上に貼り付けられる、フレーム枠内画像（２３２〜２３４等）の明度が全体的に暗ければ、背景画像２３１の明度を明るくする明度変換パラメータの算出を行う。

図３のステップＳ３０５の処理が開始されると、まず、図６のステップＳ６０１において、ＣＰＵ１０１は、ステップＳ５０９で算出された、各フレーム枠内画像Ｉ＿ｆ［ｎ］の平均明度Ｖａ［ｎ］の中から、最大値Ｖｍａｘと最小値Ｖｍｉｎを算出する。これにより、最大平均明度Ｖｍａｘと最小平均明度Ｖｍｉｎが算出される。

本実施形態の場合、３つのフレーム枠内画像（２３２〜２３４）の平均明度が、それぞれ、０．４２、０．５６、０．６０であったとすると、最大平均明度Ｖｍａｘ＝０．６０、最小平均明度Ｖｍｉｎ＝０．４２となる。

続いて、ステップＳ６０２において、ＣＰＵ１０１は、背景画像の明度の圧縮割合Ｖｒを、明度の可能な再現範囲の半分にするように、以下の（１３）式を用いて算出する。
Ｖｒ＝（明度の最大値−明度の最小値）／２ ・・・（１３）

本実施形態の場合には、明度Ｖは、最小値０．０〜最大値１．０の範囲の値であるので、Ｖｒ＝（１．０−０．０）／２＝０．５となる。

続いて、ステップＳ６０３では、ＣＰＵ１０１は、ステップＳ６０１で算出した最小平均明度Ｖｍｉｎと最大平均明度Ｖｍａｘとの和が、明度の最大値よりも大きいか否かを判断する。

ステップＳ６０３の判断の結果、ステップＳ６０１で算出した最小平均明度Ｖｍｉｎと最大平均明度Ｖｍａｘとの和が、明度の最大値よりも大きい場合には、全体的にフレーム枠内画像は明るいものと判定し、ステップＳ６０４へ進む。

本例の場合には、Ｖｍａｘ＋Ｖｍｉｎ＝０．６０＋０．４２＝１．０２＞明度の最大値＝１．０となるので、全体的にフレーム枠内画像は明るいもの（明るい画像が多い）と判定し、ステップＳ６０４へ進むことになる。即ち、本例では、最小平均明度Ｖｍｉｎと最大平均明度Ｖｍａｘとの和が明度の最大値となる場合を所定の基準とし、当該和が明度の最大値よりも大きい場合に、全体的にフレーム枠内画像における明度が所定の基準よりも明るいと判断される。逆に、当該和が明度の最大値よりも大きくない場合に、全体的にフレーム枠内画像における明度が所定の基準よりも暗いと判断される。

ステップＳ６０４に進むと、ＣＰＵ１０１は、フレーム枠内画像が明るいと判定しているので、背景画像の明度を暗くしてフレーム枠内画像を目立たせるべく、背景画像の明度のオフセット値Ｖｏを明度Ｖの最小値に設定する。ここで、背景画像の明度のオフセット値Ｖｏは、背景画像の明度変換パラメータを構成する。本実施形態の場合、明度Ｖの値は、０．０〜１．０の範囲の値であるので、ここでは、Ｖｏ＝０．０を設定する。

一方、ステップＳ６０３の判断の結果、ステップＳ６０１で算出した最小平均明度Ｖｍｉｎと最大平均明度Ｖｍａｘとの和が、明度の最大値よりも大きくない場合には、全体的にフレーム枠内画像は暗いものと判定し、ステップＳ６０５へ進む。

ステップＳ６０５に進むと、ＣＰＵ１０１は、フレーム枠内画像が暗いと判定しているので、背景画像の明度を明るくしてフレーム枠内画像を目立たせるべく、背景画像の明度のオフセット値Ｖｏを、以下の（１４）式のように設定する。
Ｖｏ＝（明度の最大値−最小値）／２ ・・・（１４）
本実施形態の場合、明度Ｖの値は、０．０〜１．０の範囲の値であるので、ここでは、Ｖｏ＝（１．０−０．０）／２＝０．５を設定する。

つまり、図６のフローチャートにおける処理により、本実施形態の場合、変換後の背景画像の明度は、０．０〜０．５、または、０．５〜１．０になる。

ステップＳ６０４又はＳ６０５の処理が終了すると、図６のフローチャートにおける処理を終了する。

次に、図３のステップＳ３０６（背景画像の色変換処理方法）の具体的な処理について説明する。
図７は、図３のステップＳ３０６の具体的な処理手順の一例を示すフローチャートである。

図３のステップＳ３０６の処理が開始されると、まず、図７のステップＳ７０１において、ＣＰＵ１０１は、背景画像Ｉｂを取得する。本実施形態の場合、図２の背景画像２３１として貼り付けられている画像を取得することになる。この図２に示す背景画像２３１は、図２のサムネイル画像一覧表示領域２１０には図示されていないが、サムネイル画像一覧表示領域２１０にあるスクロールバーでスクロールすることにより、そのサムネイル画像を確認し、取得することができる。

続いて、ステップＳ７０２において、ＣＰＵ１０１は、ステップＳ７０１で取得した背景画像Ｉｂをデコードし、ＲＧＢ画像データと、当該背景画像の幅に係る画素数Ｗｂ及びその高さに係る画素数Ｌｂを取得する。この取得方法については、図５のステップＳ５０１においてフレーム枠内画像をデコードしたときと同様の方法で取得可能であるため、その説明は省略する。本実施形態では、Ｗｂ＝１５００、Ｌｂ＝１００４であるものとする。

続いて、ステップＳ７０３において、ＣＰＵ１０１は、ステップＳ７０２で得られた背景画像ＩｂのＲＧＢ画像データをＨＳＶ画像データに変換する。ここで、このＲＧＢ画像データからＨＳＶ画像データへの変換方法については、図５のステップＳ５０５において説明した、フレーム枠内画像の画素のＲＧＢデータをＨＳＶデータに変換する変換方法と同様の方法で行うことが可能であるため、その説明は省略する。

続いて、ステップＳ７０４において、ＣＰＵ１０１は、ステップＳ３０４で決定されたＮ枚のフレーム枠内画像における各最頻出色相範囲（各代表色相）Ｈａ［ｎ］を取得する。本実施形態の場合、図５で説明したように、Ｈａ［０］＝２、Ｈａ［１］＝１、Ｈａ［２］＝１として、最頻出色相範囲Ｈａ［ｎ］が決定されたものとする。即ち、画像Ｉ＿ｆ［０］＝画像２１１は、６０．０度〜９０．０度の色相角に入る画素が最も多く、画像Ｉ＿ｆ［１］＝画像２１３、画像Ｉ＿ｆ［２］＝画像２１４は、３０．０度〜６０．０度の色相角に入る画素が最も多い。

続いて、ステップＳ７０５において、ＣＰＵ１０１は、ステップＳ７０４で取得した各フレーム枠内画像の各最頻出色相範囲Ｈａ［ｎ］を比較し、全てのフレーム枠内画像が同系色であるか否かを判断する。

ここで、同系色の定義として、本実施形態では、各最頻出色相範囲Ｈａ［ｎ］が６０度以内に入っていれば同系色であるものとする。つまり、本実施形態では、各色相範囲を３０度（所定の色相角）ずつ区切って番号（値）を振っているので、各最頻出色相範囲Ｈａ［ｎ］の値が同一の色相範囲または隣り合う２つの色相範囲の値であれば同系色であると判断する。ただし、色相は角度で表しているので、０．０度〜３０．０度を示す色相範囲０と、３３０．０度〜３６０．０度を示す色相範囲１１は、隣り合う色相範囲の値であると解釈される。本実施形態の場合、Ｈａ［０］＝２、Ｈａ［１］＝１、Ｈａ［２］＝１であり、３つの色相範囲の値は、同一の色相範囲または隣り合う２つの色相範囲の値で構成されているため、同系色であると判断されることになる。

ステップＳ７０５の判断の結果、全てのフレーム枠内画像が同系色である場合には、ステップＳ７０６に進む。

ステップＳ７０６に進むと、ＣＰＵ１０１は、背景画像に対して特定の色相を残す色変換処理を行う。このステップＳ７０６の具体的な色変換処理については、図８を用いて後述する。

一方、ステップＳ７０５の判断の結果、全てのフレーム枠内画像については同系色でない場合には、ステップＳ７０７に進む。

ステップＳ７０７に進むと、ＣＰＵ１０１は、背景画像に対してモノクロ処理を行う。このステップＳ７０７の具体的なモノクロ処理については、図１２を用いて後述する。

ステップＳ７０６又はＳ７０７の処理が終了すると、図７のフローチャートにおける処理が終了する。

次に、本実施形態における、図７のステップＳ７０６（背景画像に対して特定の色相を残す色変換処理方法）の具体的な処理について説明する。
図８は、本発明の第１の実施形態を示し、図７のステップＳ７０６の具体的な処理手順の一例を示すフローチャートである。

本実施形態では、背景画像に対して特定の色相を残す色変換処理方法として、「決められた色相の角度で反対色の色数を減らす」処理を行う。
具体的には、特定の色相を残すために、まず、同系色である各フレーム枠内画像の最頻出色相範囲に係る角度から、この全フレーム枠内画像を代表する色相を決定し、その色相に近い色相の画素の色はそのまま残して彩度と明度のみを変更する。一方、全フレーム枠内画像を代表する色相と反対に位置する色相（即ち、そのまま残す色相以外の色相）は、ある特定の色相に統一し、色相及び明度を変更する。これにより、フレーム枠内画像と同系色の色相は残し、残す色相以外の色相は減らす処理が行われる。以下、図８について、具体的に説明する。

図７のステップＳ７０６の処理が開始されると、まず、図８のステップＳ８０１において、ＣＰＵ１０１は、ステップＳ７０４で取得した各フレーム枠内画像の最頻出色相範囲Ｈａ［ｎ］（ｎ＝０，１，…，Ｎ−１）の中央の色相角を代表色相Ｈｐとして取得する。

本実施形態の場合、Ｈａ［０］＝２、Ｈａ［１］＝１、Ｈａ［２］＝１であり、これらの色相範囲は３０．０度〜９０．０度であるため、その中央値である色相角６０．０度が代表色相Ｈｐとなる。もし、全てのフレーム枠内画像の最頻出色相範囲に係る角度が同一の場合、つまり、Ｈａ［０］＝Ｈａ［１］＝Ｈａ［２］＝１のような場合には、最頻出色相範囲が３０．０度〜６０．０度であるため、代表色相Ｈｐ＝４５．０度となる。また、フレーム枠内画像の最頻出色相範囲が３３０．０度〜３０．０度のような場合には、代表色相Ｈｐ＝０．０度となる。

続いて、ステップＳ８０２において、ＣＰＵ１０１は、背景画像の彩度を圧縮し、コントラストを下げるための彩度圧縮パラメータのデフォルト値Ｓｈｄを算出する。このステップＳ８０２の具体的な算出方法については、図９を用いて後述する。

続いて、ステップＳ８０３において、ＣＰＵ１０１は、背景画像の縦方向の画素数をカウントするカウンタｙに０を代入して初期化する。

続いて、ステップＳ８０４において、ＣＰＵ１０１は、背景画像の横方向の画素数をカウントするカウンタｘに０を代入して初期化する。

続いて、ステップＳ８０５において、ＣＰＵ１０１は、ステップＳ７０３でＨＳＶ画像データに変換された背景画像の画素Ｐｂ（ｘ，ｙ）の値（Ｈｂ＿ｘｙ，Ｓｂ＿ｘｙ，Ｖｂ
＿ｘｙ）を取得する。

続いて、ステップＳ８０６において、ＣＰＵ１０１は、ステップＳ８０５で取得した画素Ｐｂ（ｘ，ｙ）の色相Ｈｂ＿ｘｙが、ステップＳ８０１で取得した代表色相Ｈｐと近い
色か否かを判断する。具体的に、ステップＳ８０６では、色相Ｈｂ＿ｘｙが、代表色相Ｈｐに対して予め決められた閾値の角度である±Ｒｎｇ度以内に入っていれば、Ｐｂ（ｘ，
ｙ）の色相Ｈｂ＿ｘｙは、代表色相Ｈｐに近い色だと判断する。

本実施形態の場合、Ｒｎｇ＝７５．０度とすると、代表色相Ｈｐ＝６０．０であるので、Ｈｐ−Ｒｎｇ＝６０．０−７５．０＝−１５．０＝３４５．０度、Ｈｐ＋Ｒｎｇ＝６０．０＋７５．０＝１３５．０度となる。したがって、３４５．０≦Ｈｂ＿ｘｙ≦３６０．０又は０．０≦Ｈｂ＿ｘｙ≦１３５．０であれば、Ｐｂ（ｘ，ｙ）の色相Ｈｂ＿ｘｙは代
表色相Ｈｐに近い色だと判断され、そうでなければ、色相Ｈｂ＿ｘｙは代表色相Ｈｐと異なる色であると判断される。

ステップＳ８０６の判断の結果、ステップＳ８０５で取得した画素Ｐｂ（ｘ，ｙ）の色
相Ｈｂ＿ｘｙが、ステップＳ８０１で取得した代表色相Ｈｐと近い色である場合には、ステップＳ８０７に進む。

ステップＳ８０７に進むと、ＣＰＵ１０１は、画素Ｐｂ（ｘ，ｙ）に関して、色相Ｈｂ
＿ｘｙは変えずに、彩度Ｓｂ＿ｘｙ、及び、明度Ｖｂ＿ｘｙのみを変更する。このステップＳ８０７の具体的な変更方法については、図１０を用いて後述する。

一方、ステップＳ８０６の判断の結果、ステップＳ８０５で取得した画素Ｐｂ（ｘ，ｙ
）の色相Ｈｂ＿ｘｙが、ステップＳ８０１で取得した代表色相Ｈｐと近い色でない（即ち、異なる色である）場合には、ステップＳ８０８に進む。

ステップＳ８０８に進むと、ＣＰＵ１０１は、色相Ｈｂ＿ｘｙ、彩度Ｓｂ＿ｘｙ、明度Ｖｂ＿ｘｙのいずれの値も変更して、色数を減らす処理を行う。このステップＳ８０８の具体的な変更方法については、図１１を用いて後述する。

ステップＳ８０７又はＳ８０８の処理が終了すると、ステップＳ８０９に進む。
ステップＳ８０９に進むと、ＣＰＵ１０１は、ステップＳ８０７又はＳ８０８で変更された画素Ｐｂ（ｘ，ｙ）のＨＳＶデータをＲＧＢデータに戻す処理を行う。このＨＳＶデ
ータのＲＧＢデータへの変換処理は、以下の（１５）式〜（２５）を用いて計算される。
Ｓ＝０．０であれば、Ｒ＝Ｇ＝Ｂ＝Ｖ×２５５．０ ・・・（１５）
Ｓ≠０．０であれば、
Ｈｉ＝（Ｈ／６０．０）以下の最大の整数値
ｆ＝Ｈ／６０．０−Ｈｉ ・・・（１６）
ｐ＝Ｖ×２５５．０×（１．０−Ｓ） ・・・（１７）
ｑ＝Ｖ×２５５．０×（１．０−Ｓ×ｆ） ・・・（１８）
ｔ＝Ｖ×２５５．０×（１．０−Ｓ×（１．０−ｆ）） ・・・（１９）
とすると、
Ｈｉが０なら、Ｒ＝Ｖ Ｇ＝ｔ Ｂ＝ｐ ・・・（２０）
Ｈｉが１なら、Ｒ＝ｑ Ｇ＝Ｖ Ｂ＝ｐ ・・・（２１）
Ｈｉが２なら、Ｒ＝ｐ Ｇ＝Ｖ Ｂ＝ｔ ・・・（２２）
Ｈｉが３なら、Ｒ＝ｐ Ｇ＝ｑ Ｂ＝Ｖ ・・・（２３）
Ｈｉが４なら、Ｒ＝ｔ Ｇ＝ｐ Ｂ＝Ｖ ・・・（２４）
Ｈｉが５なら、Ｒ＝Ｖ Ｇ＝ｐ Ｂ＝ｑ ・・・（２５）
となる。

続いて、ステップＳ８１０において、ＣＰＵ１０１は、背景画像の横方向のカウンタｘに１を足して、カウンタｘとステップＳ７０２で取得した背景画像の幅の画素数Ｗｂとを比較し、１ライン分（ｙ行目）の画素に対する色変換処理が終了したか否かを判断する。ここで、カウンタｘの値と背景画像の幅の画素数Ｗｂの値とが等しい場合には、１ライン分（ｙ行目）の画素に対する色変換処理が終了したと判断される。

ステップＳ８１０の判断の結果、１ライン分（ｙ行目）の画素に対しては色変換処理が終了していない場合には、未だｙ行目の画素で色変換処理が終了していない画素があると判定し、ステップＳ８０５に戻って、ステップＳ８０５以降の処理を再度行う。

一方、ステップＳ８１０の判断の結果、１ライン分（ｙ行目）の全ての画素に対して色変換処理が終了した場合（即ち、ｘ＝Ｗｂである場合）には、ステップＳ８１１に進む。

ステップＳ８１１に進むと、ＣＰＵ１０１は、背景画像の縦方向のカウンタｙに１を足して、カウンタｙとステップＳ７０２で取得した背景画像の高さの画素数Ｌｂとを比較し、当該背景画像の全ての画素に対して色変換処理が終了したか否かを判断する。ここで、カウンタｙの値と背景画像の高さの画素数Ｌｂの値とが等しい場合には、背景画像の全ての画素に対して色変換処理が終了したと判断される。

ステップＳ８１１の判断の結果、背景画像の全ての画素に対しては色変換処理が終了していない場合には、未だ色変換処理が終了していない画素があると判定し、ステップＳ８０４に戻って、ステップＳ８０４以降の処理を再度行う。

一方、ステップＳ８１１の判断の結果、背景画像の全ての画素に対して色変換処理が終了した場合（即ち、ｙ＝Ｌｂである場合）には、図８のフローチャートにおける処理を終了する。

次に、図８のステップＳ８０２（彩度圧縮パラメータのデフォルト値算出方法）の具体的な処理について説明する。
図９は、図８のステップＳ８０２の具体的な処理手順の一例を示すフローチャートである。

背景画像の彩度を圧縮することによりコントラストが低下し、フレーム枠内画像がより目立つことになる。また、背景画像の彩度にばらつきがあるよりも、ほぼ同じ彩度で合っている方が、背景画像の印象がおとなしいものになり、フレーム枠内画像がより目立つことになる。そこで、本実施形態では、このような考えの下に、彩度をどの程度圧縮するのかを決定する。以下、図９を用いて具体的に説明する。

図８のステップＳ８０２の処理が開始されると、まず、図９のステップＳ９０１において、ＣＰＵ１０１は、ステップＳ７０３で取得した、背景画像ＩｂのＨＳＶ画像データから、彩度のヒストグラムを作成する。この際、ヒストグラムの作成方法は、図５のステップＳ５０６で色相のヒストグラムを作成した場合と同様に、彩度Ｓｂ＿ｘｙの出現頻度を数えることで行うことができる。

本実施形態の場合、０．０〜１．０の範囲にある彩度を０．２ずつ刻んで、０．０〜０．２、０．２〜０．４、…、０．８〜１．０のそれぞれの範囲に含まれる画素数がいくつあるのかをカウントして、ヒストグラムを作成する。そして、本実施形態では、以下の（２６）式〜（３０）式に示す結果を得たものとする。
彩度０．０〜０．２の範囲＝８７２９１２画素 ・・・（２６）
彩度０．２〜０．４の範囲＝３０４２５６画素 ・・・（２７）
彩度０．４〜０．６の範囲＝１４８１８７画素 ・・・（２８）
彩度０．６〜０．８の範囲＝１３５８５１画素 ・・・（２９）
彩度０．８〜１．０の範囲＝ ４４７９４画素 ・・・（３０）

続いて、ステップＳ９０２において、ＣＰＵ１０１は、ステップＳ９０１で取得した彩度のヒストグラムから、最頻出の彩度の範囲（最頻出彩度範囲）に含まれる画素数Ｃｓを取得する。本実施形態の場合、上述した（２６）式に示されるＣｓ＝８７２９１２画素となる。

続いて、ステップＳ９０３において、ＣＰＵ１０１は、背景画像に彩度のばらつきがあるか否かを判断する。具体的に本実施形態では、背景画像全体の画素数のａ倍（０．０＜ａ＜１．０）を閾値とし、ステップＳ９０２で取得した画素数Ｃｓが当該閾値よりも小さい場合にばらつきがあると判断し、画素数Ｃｓが当該閾値よりも小さくない場合にばらつきがないと判断する。

ここで、本実施形態において例えばａ＝０．５とし、また、ステップＳ７０２において、背景画像の幅の画素数Ｗｂ＝１５００及びその高さの画素数Ｌｂ＝１００４の値を取得している。この場合、Ｃｓ＝８７２９１２と、Ｗｂ×Ｌｂ×ａ＝１５００×１００４×０．５＝７５３０００とを比較すると、Ｃｓの方が大きいので、彩度のばらつきがないと判断されることになる。

ステップＳ９０３の判断の結果、背景画像に彩度のばらつきがある（画素数Ｃｓが閾値よりも小さい）場合には、ステップＳ９０４に進む。

ステップＳ９０４に進むと、ＣＰＵ１０１は、彩度の圧縮割合を大きくするために、彩度圧縮パラメータのデフォルト値Ｓｈｄに０．４を設定する。この場合、デフォルト値Ｓｈｄを使うと、背景画像の彩度は、０．０〜０．４の再現範囲に圧縮されることになる。

一方、ステップＳ９０３の判断の結果、背景画像に彩度のばらつきがない（画素数Ｃｓが閾値以上である）場合には、ステップＳ９０５に進む。

ステップＳ９０５に進むと、ＣＰＵ１０１は、彩度の圧縮割合を小さくするために、彩度圧縮パラメータのデフォルト値Ｓｈｄに０．８を設定する。この場合、デフォルト値Ｓｈｄを使うと、背景画像の彩度は、０．０〜０．８の再現範囲に圧縮されることになる。

ステップＳ９０４又はＳ９０５の処理が終了すると、図９のフローチャートにおける処理が終了する。

なお、本実施形態では、ステップＳ９０３の処理で用いる定数ａとして０．５を用いたが、これは、彩度のヒストグラムを作成する際に、どのように彩度の再現範囲を分けたのかに依存する。本実施形態の場合、０．０〜１．０の範囲を０．２刻みの５つの範囲に分けてヒストグラムを計算したので、これらの範囲に平均的に分布した場合、画像の全画素の１／５ずつがカウントされることになる。したがって、少なくとも、この１／５＝０．２よりも大きな値を定数ａに適用すべきである。

また、本実施形態では、ステップＳ９０４及びＳ９０５の処理で用いる彩度圧縮パラメータのデフォルト値Ｓｈｄとして、それぞれ、０．４及び０．８を用いているが、この値に限定されるものではなく、０．０〜１．０の間の値であれば構わない。ただし、あまりに小さい値を入れると、ほとんど色が残らずに無彩色の画像になってしまう。逆に、あまりに大きい値を入れると、彩度が抑えられずにフレーム枠内画像が目立たなくなるので、程よい値を用いることが望まれる。

次に、図８のステップＳ８０７（背景画像の彩度と明度のみの変換処理方法）の具体的な処理について説明する。
図１０は、図８のステップＳ８０７の具体的な処理手順の一例を示すフローチャートである。

図８のステップＳ８０７の処理が開始されると、まず、図１０のステップＳ１００１において、ＣＰＵ１０１は、ステップＳ８０５で取得した背景画像Ｉｂの画素Ｐｂ（ｘ，ｙ
）の色相Ｈｂ＿ｘｙが、赤系の色（所定の色）か否かを判断する。具体的に、ここでは、Ｈｂ＿ｘｙの色相範囲の角度が０度以上６０度以下、または、３３０度以上３６０度以下であれば、赤系の色であると判断し、それ以外の色相範囲の角度であれば、赤系の色でないと判断する。

ステップＳ１００１の判断の結果、ステップＳ８０５で取得した背景画像Ｉｂの画素Ｐｂ（ｘ，ｙ）の色相Ｈｂ＿ｘｙが赤系の色である場合には、ステップＳ１００２に進む。

ステップＳ１００２に進むと、ＣＰＵ１０１は、画素Ｐｂ（ｘ，ｙ）に対する彩度圧縮
割合を示す彩度圧縮パラメータＳｈｒとして、ステップＳ８０２で取得した彩度圧縮パラメータのデフォルト値Ｓｈｄに０．８を掛けた値を設定する。

一方、ステップＳ１００１の判断の結果、ステップＳ８０５で取得した背景画像Ｉｂの画素Ｐｂ（ｘ，ｙ）の色相Ｈｂ＿ｘｙが赤系の色でない場合には、ステップＳ１００３に
進む。

ステップＳ１００３に進むと、ＣＰＵ１０１は、画素Ｐｂ（ｘ，ｙ）に対する彩度圧縮
割合を示す彩度圧縮パラメータＳｈｒとして、ステップＳ８０２で取得した彩度圧縮パラメータのデフォルト値Ｓｈｄを設定する。

ステップＳ１００２又はＳ１００３の処理が終了すると、ステップＳ１００４に進む。
ステップＳ１００４に進むと、ＣＰＵ１０１は、ステップＳ８０５で取得した背景画像Ｉｂの画素Ｐｂ（ｘ，ｙ）の色相Ｈｂ＿ｘｙは変更せずに、彩度Ｓｂ＿ｘｙ及び明度Ｖｂ
＿ｘｙを、それぞれ、以下の（３１）式及び（３２）式のように変更する。
Ｓｂ＿ｘｙ＝Ｓｂ＿ｘｙ×Ｓｈｒ ・・・（３１）
Ｖｂ＿ｘｙ＝Ｖｂ＿ｘｙ×Ｖｒ＋Ｖｏ ・・・（３２）

ここで、（３１）式のＳｈｒは、ステップＳ１００２又はＳ１００３で取得した画素Ｐｂ（ｘ，ｙ）に対する彩度圧縮パラメータである。また、（３２）式のＶｒは、ステップ
Ｓ６０２で算出した背景画像Ｉｂの明度の圧縮割合であり、Ｖｏは、ステップＳ６０４又はＳ６０５で算出した背景画像Ｉｂの明度のオフセット値である。

ステップＳ１００４の処理が終了すると、図１０に示すフローチャートにおける処理が終了する。

次に、図８のステップＳ８０８（背景画像の色相、彩度及び明度の変換処理方法）の具体的な処理について説明する。
図１１は、本発明の第１の実施形態を示し、図８のステップＳ８０８の具体的な処理手順の一例を示すフローチャートである。

図８のステップＳ８０８の処理が開始されると、まず、図１１のステップＳ１１０１において、ＣＰＵ１０１は、ステップＳ８０１で取得した色相角に係る代表色相Ｈｐの補色に係る色相（Ｈｐ＋１８０度）が、赤系の色（所定の色）か否かを判断する。ここで、赤系の色か否かの判断については、図１０のステップＳ１００１と同様の判断方法を用いることができる。

本実施形態の場合には、代表色相Ｈｐ＝６０．０度であるので、Ｈｐ＋１８０．０度＝６０．０度＋１８０．０度＝２４０．０度となり、赤系の色ではないと判断されることになる。

ステップＳ１１０１の判断の結果、ステップＳ８０１で取得した色相角に係る代表色相Ｈｐの補色に係る色相（Ｈｐ＋１８０度）が赤系の色である場合には、ステップＳ１１０２に進む。

ステップＳ１１０２に進むと、ＣＰＵ１０１は、画素Ｐｂ（ｘ，ｙ）に対する彩度圧縮
割合を示す彩度圧縮パラメータＳｈｒとして、ステップＳ８０２で取得した彩度圧縮パラメータのデフォルト値Ｓｈｄに０．５を掛けた値を設定する。

一方、ステップＳ１１０１の判断の結果、ステップＳ８０１で取得した色相角に係る代表色相Ｈｐの補色（Ｈｐ＋１８０度）が赤系の色でない場合には、ステップＳ１１０３に進む。

ステップＳ１１０３に進むと、ＣＰＵ１０１は、画素Ｐｂ（ｘ，ｙ）に対する彩度圧縮
割合を示す彩度圧縮パラメータＳｈｒとして、ステップＳ８０２で取得した彩度圧縮パラメータのデフォルト値Ｓｈｄを設定する。

ステップＳ１１０２又はＳ１１０３の処理が終了すると、ステップＳ１１０４に進む。
ステップＳ１１０４に進むと、ＣＰＵ１０１は、画素Ｐｂ（ｘ，ｙ）の色相Ｈｂ＿ｘｙ
を、ステップＳ８０１で取得した全フレーム枠内画像の代表色相Ｈｐの補色（Ｈｐ＋１８０）に変換し、明るさと彩度に関しては、ステップＳ１００４と同様の変更を行う。即ち、ステップＳ１１０４では、画素Ｐｂ（ｘ，ｙ）のＨｂ＿ｘｙ、Ｓｂ＿ｘｙ及びＶｂ＿ｘ
ｙを、それぞれ、以下の（３３）式、（３４）式及び（３５）式のように変更する。
Ｈｂ＿ｘｙ＝Ｈｐ＋１８０ ・・・（３３）
Ｓｂ＿ｘｙ＝Ｓｂ＿ｘｙ×Ｓｈｒ ・・・（３４）
Ｖｂ＿ｘｙ＝Ｖｂ＿ｘｙ×Ｖｒ＋Ｖｏ ・・・（３５）

ここで、（３４）式のＳｈｒは、ステップＳ１１０２又はＳ１１０３で取得した画素Ｐｂ（ｘ，ｙ）に対する彩度圧縮パラメータである。また、（３５）式のＶｒは、ステップ
Ｓ６０２で算出した背景画像Ｉｂの明度の圧縮割合であり、Ｖｏは、ステップＳ６０４又はＳ６０５で算出した背景画像Ｉｂの明度のオフセット値である。

ステップＳ１１０４の処理が終了すると、図１１に示すフローチャートにおける処理が終了する。

本実施形態では、図１０及び図１１で説明したように、赤い色の彩度を、他の色よりも更に落とすことにより、他の色よりも視覚に訴える赤の色を抑えるようにしている。これにより、背景画像の中に赤い色のオブジェクトがあっても、その上に重ねられたフレーム枠内画像を邪魔しないような効果が得られ、より見栄えの良い合成画像の生成が実現可能である。

次に、図７のステップＳ７０７（背景画像に対するモノクロ処理方法）の具体的な処理について説明する。
図１２は、図７のステップＳ７０７の具体的な処理手順の一例を示すフローチャートである。

図７のステップＳ７０７の処理が開始されると、まず、図１２のステップＳ１２０１において、ＣＰＵ１０１は、背景画像Ｉｂの縦方向の画素数をカウントするカウンタｙに０を代入して初期化する。

続いて、ステップＳ１２０２において、ＣＰＵ１０１は、背景画像Ｉｂの横方向の画素数をカウントするカウンタｘに０を代入して初期化する。

続いて、ステップＳ１２０３において、ＣＰＵ１０１は、背景画像Ｉｂの画素Ｐｂ（ｘ
，ｙ）の彩度Ｓｂ＿ｘを０に設定する。さらに、ＣＰＵ１０１は、ステップＳ６０２で算出した背景画像Ｉｂの明度の圧縮割合Ｖｒ、及び、ステップＳ６０４又はＳ６０５で算出した背景画像Ｉｂの明度のオフセット値Ｖｏを用いて、その明度Ｖｂ＿ｘｙをＶｂ＿ｘｙ×Ｖｒ＋Ｖｏに変換する。

続いて、ステップＳ１２０４において、ＣＰＵ１０１は、ステップＳ１２０３で変換された画素Ｐｂ（ｘ，ｙ）のＨＳＶデータをＲＧＢデータに戻す処理を行う。このＨＳＶデ
ータのＲＧＢへの変換処理については、図８のステップＳ８０９で説明した方法と同様の方法を用いることが可能であるため、ここでの説明は省略する。

続いて、ステップＳ１２０５において、ＣＰＵ１０１は、背景画像の横方向のカウンタｘに１を足して、ステップＳ７０２で取得した背景画像の幅の画素数Ｗｂと比較し、１ライン分（ｙ行目）の画素に対する処理が終了したか否かを判断する。ここで、カウンタｘの値と背景画像の幅の画素数Ｗｂの値とが等しい場合には、１ライン分（ｙ行目）の画素に対する色変換処理が終了したと判断される。

ステップＳ１２０５の判断の結果、１ライン分（ｙ行目）の画素に対しては処理が終了していない場合には、未だｙ行目の画素で処理が終了していない画素があると判定し、ステップＳ１２０３に戻って、ステップＳ１２０３以降の処理を再度行う。

一方、ステップＳ１２０５の判断の結果、１ライン分（ｙ行目）の全ての画素に対して処理が終了した場合（即ち、ｘ＝Ｗｂである場合）には、ステップＳ１２０６に進む。

ステップＳ１２０６に進むと、ＣＰＵ１０１は、背景画像の縦方向のカウンタｙに１を足して、ステップＳ７０２で取得した背景画像の高さの画素数Ｌｂを比較し、当該背景画像の全ての画素に対して処理が終了したか否かを判断する。ここで、カウンタｙの値と背景画像の高さの画素数Ｌｂの値とが等しい場合には、背景画像の全ての画素に対して処理が終了したと判断される。

ステップＳ１２０６の判断の結果、背景画像の全ての画素に対しては処理が終了していない場合には、未だ処理が終了していない画素があると判定し、ステップＳ１２０２に戻って、ステップＳ１２０２以降の処理を再度行う。

一方、ステップＳ１２０６の判断の結果、背景画像の全ての画素に対して処理が終了した場合（即ち、ｙ＝Ｌｂである場合）には、図１２のフローチャートにおける処理を終了する。

本実施形態の画像処理装置では、フレーム枠内画像の代表色相に応じて、どの色を減色するのかを自動的に決定し、当該色を減色するようにしている。したがって、背景画像にたくさんの色が使われて散漫になることを避けることができる。

さらに、本実施形態の画像処理装置では、フレーム枠内画像の代表色相が同系色であれば、それらから代表色を決定し、背景画像でもこの代表色と同系色に近い色を残すように処理を行うようにしている。これにより、背景画像とその上に貼り付けられたフレーム枠内画像とを同系色でまとまることができ、落ち着いた色合いのアルバムのページにすることができる。また、背景画像のうち、代表色とは反対に位置する色群を、代表色の補色に統一することにより、アクセントカラーのような効果を生み出すことができ、まとまりがあるだけでなく、メリハリ感のある仕上がり効果を生み出すことができる。

さらに、本実施形態の画像処理装置では、フレーム枠内画像の代表色が同系色ではない場合には、背景画像をモノクロ画像にするようにしている。これにより、色の傾向がばらばらなフレーム枠内画像だけでは散漫な印象になりがちなページを、落ち着いた印象に変える効果を生み出すことができる。

さらに、本実施形態の画像処理装置では、フレーム枠内画像の明度が全体に明るければ背景画像の明度を全体に暗くし、逆に、フレーム枠内画像の明度が全体に暗ければ、背景画像の明度を全体に明るくするようにしている。これにより、背景画像とフレーム枠内画像との差をつけることができ、背景画像の中にフレーム枠内画像が埋もれてしまうのを防ぐことができる。

さらに、本実施形態の画像処理装置では、背景画像の彩度を全体的に下げるようにしているため、背景画像の色がフレーム枠内画像の色よりも目立たなくなり、フレーム枠内画像の色が際立つという効果が得られる。さらに、本実施形態の画像処理装置では、背景画像の彩度の再現範囲を圧縮して背景画像のコントラストを全体に下げるようにしているため、フレーム枠内画像と背景画像とのコントラストの差、及び、フレーム枠内画像のコントラストが際立つ効果が得られる。さらに、本実施形態の画像処理装置では、背景画像の中にもともと目を引きやすい赤い色がある場合に、当該赤い色の彩度を他の色よりも低下させることにより、当該赤い色を目立ち難くし、フレーム枠内画像に目を行きやすくする効果を得ることができる。

さらに、本実施形態では、彩度の低下度合いは、赤い色の方を大きくしており、その中でも、残す色が赤い場合よりも、変更した色相が赤い場合（代表色相の補色が赤い場合）の方が、彩度低下の度合いを大きくしている。代表色と同系色と判定されない色相角にある色すべてを１つの色相に統一すると、その色の面積が大きくなる可能性があり、統一した赤の色相の彩度をより低下させて、背景画像中の赤い色が広い面積になった場合でも、背景画像を目立ち難くする効果が得られる。このような効果が得られれば、彩度低下の割合は、本実施形態で記載した値である必要はない。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

第１の実施形態では、図７のステップＳ７０６における色変換処理において、フレーム枠内画像が同系色であった場合、その代表色相によらずに予め定めた固定角を判定角度とし、この判定角度の範囲に入る色相を残す処理を行っていた。
この場合、予め定めた固定角が狭いと、代表色が青などの寒色系であれば、残る色が寒色のもののみになり、色が残っていても、無彩色に近いような印象を受け、背景画像として面白味のないものになる恐れがある。また、逆に、予め定めた固定角が広いと、代表色が紫や緑などの中間色であれば、残る色が寒色系の色と暖色系の色との双方になり、色数を減らしたとはいえ、背景画像の配色が散漫になる恐れがある。

そこで、第２の実施形態では、図７のステップＳ７０６における、背景画像に対して特定の色相を残す色変換処理方法として、「代表色相Ｈｐに応じて背景画像に残す色相範囲を変更する」処理を行う。

以下、第２の実施形態における説明として、第１の実施形態と異なる部分についてのみ説明を行う。

図１３は、本発明の第２の実施形態を示し、図７のステップＳ７０６の具体的な処理手順の一例を示すフローチャートである。ここで、図１３において、第１の実施形態における図８の処理と同様の処理については、同じ符号を付し、その詳細な説明は省略する。

まず、図１３のステップＳ８０１において、ＣＰＵ１０１は、図８のステップＳ８０１と同様に、ステップＳ７０４で取得した各フレーム枠内画像の最頻出色相範囲Ｈａ［ｎ］（ｎ＝０，１，…，Ｎ−１）の中央の色相角を代表色相Ｈｐとして取得する。

続いて、ステップＳ１３０１において、ＣＰＵ１０１は、図１３のステップＳ８０１で取得した代表色相Ｈｐに応じた色相範囲Ｒ（Ｈｐ）を取得する。具体的に、本実施形態では、以下の（３６）式に従って、色相範囲Ｒ（Ｈｐ）を取得する。
Ｒ（Ｈｐ）＝Ｈｐ×Ｈｐ／５４０．０＋３０．０ ・・・（３６）
したがって、本実施形態において、Ｈｐ＝６０．０であれば、Ｒ（６０）＝３６．６７となる。

続いて、第１の実施形態における図８のステップＳ８０２〜Ｓ８０５と同様の処理を経る。

続いて、ステップＳ１３０２において、ＣＰＵ１０１は、ステップＳ１３０１で取得したＲ（Ｈｐ）を用いて、ステップＳ８０５で取得した画素Ｐｂ（ｘ，ｙ）の色相Ｈｂ＿ｘ
ｙが、ステップＳ８０１で取得した代表色相Ｈｐと近い色か否かを判断する。具体的に、ステップＳ１３０２では、色相Ｈｂ＿ｘｙが、代表色相Ｈｐ±Ｒ（Ｈｐ）以内に入っていれば、Ｐｂ（ｘ，ｙ）の色相Ｈｂ＿ｘｙは、代表色相Ｈｐに近い色だと判断する。

本実施形態の場合、Ｈｐ−Ｒ（Ｈｐ）＝６０．０−３６．７＝２３．３、Ｈｐ＋Ｒ（Ｈｐ）＝６０．０＋３６．７＝９６．７となる。したがって、Ｈｂ＿ｘｙが、２３．３度以上９６．７度以下であれば、代表色相Ｈｐに近い色だと判断され、そうでなければ、代表色相Ｈｐと異なる色であると判断される。

ステップＳ１３０２の判断の結果、ステップＳ８０５で取得した画素Ｐｂ（ｘ，ｙ）の
色相Ｈｂ＿ｘｙが、ステップＳ８０１で取得した代表色相Ｈｐと近い色である場合には、ステップＳ８０７に進む。一方、ステップＳ１３０２の判断の結果、ステップＳ８０５で取得した画素Ｐｂ（ｘ，ｙ）の色相Ｈｂ＿ｘｙが、ステップＳ８０１で取得した代表色相
Ｈｐと近い色でない（即ち、異なる色である）場合には、ステップＳ８０８に進む。

図１３のステップＳ８０７の処理、及び、ステップＳ８０８の処理、並びに、それに続くステップＳ８０９〜Ｓ８１１の処理は、第１の実施形態における図８の処理と同様であるため、ここでの説明は省略する。

本実施形態の画像処理装置では、代表色相Ｈｐに応じて近い色として判定する色相角に係る色相範囲を変更する処理を行うようにしている。この処理を行うことは、やや煩雑ではあるが、背景画像に寒色系の色と暖色系の色との双方が残って散漫な印象を与えたり、寒色系の色のみが残って無彩色の印象を与えたりするといった事態を防止することができる。

なお、本実施形態では、（３６）式を用いて色相範囲Ｒ（Ｈｐ）を連続値として算出するようにしているが、もちろん、離散値を用いてもよい。例えば、図１４に示すテーブルを用いて色相範囲Ｒ（Ｈｐ）を離散的に取得することも適用可能である。図１４は、本発明の第２の実施形態を示し、図１３のステップＳ１３０１において色相範囲Ｒ（Ｈｐ）を取得する際に用いるテーブルの一例を示す模式図である。この図１４に示すテーブルを用いる場合、当該テーブルを蓄積装置１０４等に予め用意しておき、図１４に示すテーブルから、代表色相Ｈｐに対応した色相範囲Ｒ（Ｈｐ）を取得して、ステップＳ１３０１の処理を実施することも可能である。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

第１及び第２の実施形態では、図７のステップＳ７０６における色変換処理において、フレーム枠内画像の最頻出色相範囲が同系色である場合に、その同系色の色を背景画像の中でも残すようにして、背景画像の減色を行う色変換処理を行うものであった。
しかしながら、人によっては、フレーム枠内画像と同系色の背景画像を生成すると、メリハリがあまりなく、好ましくないと感じる場合もある。

そこで、第３の実施形態では、同系色のフレーム枠内画像から得られた代表色相Ｈｐとは逆の色を背景画像に残して、同系色の色は、１つの色相に変更することで色数を減らす処理を行う。具体的に、第３の実施形態では、図７のステップＳ７０６における、背景画像に対して特定の色相を残す色変換処理方法として、「決められた色相の角度で同系色の色数を減らす」処理を行う。

以下、第３の実施形態における説明として、第１の実施形態と異なる部分についてのみ説明を行う。

図１５は、本発明の第３の実施形態を示し、図７のステップＳ７０６の具体的な処理手順の一例を示すフローチャートである。ここで、図１５において、第１の実施形態における図８の処理と同様の処理については、同じ符号を付し、その詳細な説明は省略する。

まず、第３の実施形態における図７のステップＳ７０６の処理では、第１の実施形態における図８のステップＳ８０１〜Ｓ８０５の処理を経る。

続いて、ステップＳ１５０１において、ＣＰＵ１０１は、ステップＳ８０５で取得した画素Ｐｂ（ｘ，ｙ）の色相Ｈｂ＿ｘｙが、ステップＳ８０１で取得した代表色相Ｈｐと反
対の色か否かを判断する。具体的に、ステップＳ１５０１では、色相Ｈｂ＿ｘｙが、代表色相Ｈｐに対して予め決められた角度である±Ｒｖ度に含まれないか否かによって、色相Ｈｂ＿ｘｙが、代表色相Ｈｐと反対の色か否かを判断する。より詳細には、Ｈｂ＿ｘｙ≦（Ｈｐ−Ｒｖ）または（Ｈｐ＋Ｒｖ）≦Ｈｂ＿ｘｙであれば、色相Ｈｂ＿ｘｙが代表色相Ｈｐと反対色であると判断し、そうでなければ、色相Ｈｂ＿ｘｙが代表色相Ｈｐと反対色でないと判断する。

ステップＳ１５０１の判断の結果、ステップＳ８０５で取得した画素Ｐｂ（ｘ，ｙ）の
色相Ｈｂ＿ｘｙが、ステップＳ８０１で取得した代表色相Ｈｐと反対の色である場合には、ステップＳ８０７に進む。ここで、図１５のステップＳ８０７の処理は、第１の実施形態における図８に示すステップＳ８０７の処理と同様であるため、ここでの説明は省略する。

一方、ステップＳ１５０１の判断の結果、ステップＳ８０５で取得した画素Ｐｂ（ｘ，
ｙ）の色相Ｈｂ＿ｘｙが、ステップＳ８０１で取得した代表色相Ｈｐと反対の色でない場合には、ステップＳ１５０２に進む。

ステップＳ１５０２に進むと、ＣＰＵ１０１は、代表色に近い色相を全て代表色相Ｈｐに変換し、さらに、彩度及び明度の変換処理を行う。このステップＳ１５０２の具体的な処理については、図１６を用いて後述する。

ステップＳ８０７又はＳ１５０２の処理が終了すると、ステップＳ８０９に進む。そして、図１３のステップＳ８０９〜ステップＳ８１１の処理は、第１の実施形態における図８のステップＳ８０９〜Ｓ８１１の処理と同様であるため、ここでの説明は省略する。以上の処理により、図１５のフローチャートにおける処理が終了する。

次に、図１５のステップＳ１５０２の具体的な処理について説明する。
図１６は、図１５のステップＳ１５０２の具体的な処理手順の一例を示すフローチャートである。ここで、図１６において、第１の実施形態における図１１の処理と同様の処理については、同じ符号を付し、その詳細な説明は省略する。

図１５のステップＳ１５０２の処理が開始されると、まず、図１６のステップＳ１６０１において、ＣＰＵ１０１は、代表色相Ｈｐが赤系の色か否かを判断する。ここでは、Ｈｐ≦６０．０、または、３３０．０≦Ｈｐであれば、赤系の色であると判断する。

ステップＳ１６０１の判断の結果、代表色相Ｈｐが赤系の色である場合には、ステップＳ１１０２に進む。一方、ステップＳ１６０１の判断の結果、代表色相Ｈｐが赤系の色でない場合には、ステップＳ１１０３に進む。ここで、図１６のステップＳ１１０２及びＳ１１０３の処理は、第１の実施形態における図１１のステップＳ１１０２及びＳ１１０３の処理と同様であるため、その説明は省略する。

ステップＳ１１０２又はＳ１１０３の処理が終了すると、ステップＳ１６０２に進む。
ステップＳ１６０２に進むと、ＣＰＵ１０１は、画素Ｐｂ（ｘ，ｙ）の色相Ｈｂ＿ｘｙ
を代表色相Ｈｐに変換し、さらに、彩度と明るさに関しては、図１１のステップＳ１１０４と同様に変更する処理を行う。

ステップＳ１６０２の処理が終了すると、図１６に示すフローチャートにおける処理が終了する。

本実施形態の画像処理装置による画像処理では、フレーム枠内画像の代表色相と反対の色が背景画像に残るため、フレーム枠内画像と背景画像の色が、言わば補色の関係になり、フレーム枠内画像を目立たせることができる。さらに、背景画像の中の、代表色相と同系色の色を全て代表色相に統一し、背景画像の色数を減らす際に、代表色相が赤系の色であれば彩度をさらに抑えることで、背景画像における赤いオブジェクトを目立たなくすることができる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。

第３の実施形態では、フレーム枠内画像が同系色であった場合、その代表色相によらずに、予め決められた固定角を判定角度とし、この角度の範囲に入らない色相を残すような処理を行っていた。しかしながら、第２の実施形態と同様に、代表色相に応じて、この判定角度を連続的に、或いは、離散的に変える形態も適用可能である。即ち、第４の実施形態では、図７のステップＳ７０６における、背景画像に対して特定の色相を残す色変換処理方法として、「代表色相Ｈｐに応じて背景画像に残す反対色の色相範囲を変更する」処理を行う。

本実施形態の画像処理装置では、代表色相Ｈｐに応じて反対の色として判定する色相角に係る色相範囲を変更する処理を行うものである。この処理を行うことは、やや煩雑ではあるが、背景画像に寒色系の色と暖色系の色との双方が残って散漫な印象を与えたり、寒色系の色のみが残って無彩色の印象を与えたりするといった事態を防止することができる。

（第５の実施形態）
次に、本発明の第５の実施形態について説明する。

第１〜第５の実施形態では、背景画像において残す色相以外は、全て１つの色相（第１及び第２の実施形態の場合は代表色の補色、第３及び第４の実施形態の場合は代表色）に変換することにより、減色を行っていた。
しかしながら、この方法の場合、非常に広い色相角を１つの色相にするために、背景画像の色の不自然さが目立つことがある。例えば、色相角が３０．０度であるオレンジ色から、色相角が２１０．０度である青い色がすべて、色相角１２０度の緑色に変換されてしまうことがあり得る。

そこで、第５の実施形態では、第１の実施形態のように、フレーム枠内画像の代表色相と同系色の色相を残すとともに、それ以外の色相については２つの色相に統一する処理を行って、背景画像の不自然さを解消する。具体的に、本実施形態では、色相を減らす領域（Ｈｐ＋Ｒ）〜（Ｈｐ−Ｒ）の範囲を２つに分け、それぞれの領域に入る色相をその真ん中に位置する色相角に統一するものとする。即ち、本実施形態では、「背景画像において残す色相以外の色相について統一する色相を複数にする」処理を行うものである。

以下、第５の実施形態における説明として、第１の実施形態と異なる部分についてのみ説明を行う。

図１７は、本発明の第５の実施形態を示し、図８のステップＳ８０８の具体的な処理手順の一例を示すフローチャートである。ここで、図１７において、第１の実施形態における図１１の処理と同様の処理については、同じ符号を付し、その詳細な説明は省略する。

図８のステップＳ８０８の処理が開始されると、まず、図１７のステップＳ１７０１の処理を行う。ステップＳ１７０１において、ＣＰＵ１０１は、ステップＳ８０５で取得した画素Ｐｂ（ｘ，ｙ）の色相Ｈｂ＿ｘｙが、代表色相Ｈｐと反対の角度であるＨｐ＋１８
０．０よりも小さいか否かを判断する。

ステップＳ１７０１の判断の結果、ステップＳ８０５で取得した画素Ｐｂ（ｘ，ｙ）の
色相Ｈｂ＿ｘｙが、代表色相Ｈｐと反対の角度であるＨｐ＋１８０．０よりも小さい場合には、ステップＳ１７０２に進む。

ステップＳ１７０２に進むと、ＣＰＵ１０１は、ステップＳ８０６において代表色相と同系色の色相か否かの判断に用いた閾値の角度であるＲｎｇを使って、変換後の色相Ｈｂ′を、９０．０＋（Ｒｎｇ／２）＋Ｈｐの値に設定する。

一方、ステップＳ１７０１の判断の結果、ステップＳ８０５で取得した画素Ｐｂ（ｘ，
ｙ）の色相Ｈｂ＿ｘｙが、代表色相Ｈｐと反対の角度であるＨｐ＋１８０．０よりも小さくない場合には、ステップＳ１７０３に進む。

ステップＳ１７０３に進むと、ＣＰＵ１０１は、変換後の色相Ｈｂ′を、２７０．０−（Ｒｎｇ／２）＋Ｈｐの値に設定する。

本実施形態の場合、Ｈｐ＝６０．０、Ｒｎｇ＝７５．０であるとすると、Ｈｂ＿ｘｙが１３５．０〜２４０．０の間であれば、Ｈｂ′＝９０．０＋（７５．０／２）＋６０．０＝１８７．５度となる。また、Ｈｂ＿ｘｙが２４０．０〜３４５．０の間であれば、Ｈｂ′＝２７０．０−（７５．０／２）＋６０．０＝２９２．５度となる。

ステップＳ１７０２又はＳ１７０３の処理が終了すると、ステップＳ１７０４に進む。
ステップＳ１７０４に進むと、ＣＰＵ１０１は、ステップＳ１７０２又はＳ１７０３で取得した変換後のＨｂ′が、赤系の色であるか否かを判断する。具体的に、本実施形態では、Ｈｂ′≦６０．０、または、３３０．０≦Ｈｂ′であれば、赤系の色であると判断する。

ステップＳ１７０４の判断の結果、ステップＳ１７０２又はＳ１７０３で取得した変換後のＨｂ′が赤系の色である場合には、ステップＳ１１０２に進む。一方、ステップＳ１７０４の判断の結果、ステップＳ１７０２又はＳ１７０３で取得した変換後のＨｂ′が赤系の色でない場合には、ステップＳ１１０３に進む。この図１７のステップＳ１１０２及びＳ１１０３の処理は、それぞれ、第１の実施形態における図１１のステップＳ１１０２及びＳ１１０３の処理と同様であるため、ここでは説明を省略する。

ステップＳ１１０２又はＳ１１０３の処理が終了すると、ステップＳ１７０５に進む。
ステップＳ１７０５に進むと、ＣＰＵ１０１は、画素Ｐｂ（ｘ，ｙ）の色相ＨｂをＨｂ
′に変換し、さらに、彩度と明るさに関しては、図１１のステップＳ１１０４と同様に変更する処理を行う。

ステップＳ１７０５の処理が終了すると、図１７に示すフローチャートにおける処理が終了する。

本実施形態において、例えば、色相角が３０．０度であるオレンジ色から色相角が２１０．０度である青い色までを２つの色相に分けると、色相角３０．０度のオレンジ色から色相角１２０．０度の緑色までを色相角７５．０度の黄緑色に変換することになる。同様に、色相角１２０度の緑色から色相角２１０．０度の青い色までを色相角１６５．０度の青緑色に変換することになる。これにより、背景画像の色数が増えてしまうが、背景画像の不自然さを解消することができる効果がある。

なお、本実施形態では、背景画像において残す色相以外の色相について統一する色相を２つの色相に変換する例について示したが、３つ以上の数の色相に変換することで色数を減らす形態も適用可能である。ただし、背景画像の色数が増えすぎると、背景画像がうるさく感じるようになるため、６０．０度以下の色相角の色相範囲を２つ以上の色相角の色相にすることは好ましくない。また、本実施形態における処理を第１の実施形態のみならず、第２〜第４の実施形態に適宜適用するようにしてもよい。

以上の本発明の各実施形態によれば、背景画像上に複数の画像を合成する際に、当該複数の画像を引き立たせる画像処理を行うことができるため、利用者に過度の負担を強いることなく、より見栄えの良い合成画像の生成を実現することが可能となる。

（本発明の他の実施形態）
上述した各実施形態では、最頻出色相の数を算出する際に、３０度ずつ区切って１２個の色相を代表色相として算出するものであったが、区切る角度は、３０度に限定されるものではない。例えば、１度ずつに区切って算出して、その後の処理を行っても、本質的には同じことである。

また、上述した各実施形態では、背景画像における赤色の彩度を落とすために、赤の判定を色相角０．０〜６０．０または３３０．０〜３６０．０としたが、この範囲に限定されるものではなく、これよりも広くても、狭くても適用可能である。

また、上述した各実施形態では、アルバム作成を例に挙げて説明を行ったが、作成したアルバムは、印刷して紙媒体で鑑賞することを目的としてもよいし、オンラインフォトアルバムのように印刷せずにディスプレイ上に表示して鑑賞することを目的としてもよい。さらに、アルバム作成に限らず、スライドショーの作成など、画像を背景として、その上に別の画像を配置する合成画像を生成する場合にも、適用可能である。

また、上述した各実施形態に係る画像処理装置１００による画像処理方法を示す図３〜図１３及び図１５〜図１７の各ステップは、コンピュータのＣＰＵ（１０１）が記憶媒体（１０２、１０４）に記憶されているプログラムを実行することによって実現できる。このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、上述した各実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３〜図１３及び図１５〜図１７に示すフローチャートに対応したプログラム）を、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、上述した各実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても上述した各実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても上述した各実施形態の機能が実現される。

なお、上述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：画像処理装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：蓄積装置、１０５：入力装置、１０６：表示装置、１０７：バス

Claims (12)

1. 背景となる第１画像と、当該第１画像の上に配置される複数の第２画像とを合成する合成処理を行う画像処理装置であって、
   前記複数の第２画像における各第２画像について各代表色相を決定する代表色相決定手段と、
   前記第１画像の明度変換パラメータを算出する明度変換パラメータ算出手段と、
   前記明度変換パラメータと前記各代表色相とに応じて前記第１画像の色変換処理を行って、前記合成処理を行う画像処理手段と
   を有することを特徴とする画像処理装置。
2. 前記画像処理手段は、前記各代表色相に基づいてどの色相を減らして減色するのかを決定し、当該決定に基づいて前記第１画像の色数を減らして前記色変換処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記代表色相決定手段は、色相を所定の色相角ごとに区切った色相範囲のうち、前記第２画像における最頻出色相範囲を前記代表色相として決定するものであり、
   前記画像処理手段は、前記代表色相決定手段で決定された前記各第２画像における各最頻出色相範囲について、同一の色相範囲または隣り合う色相範囲でない場合には、前記色変換処理として前記第１画像のモノクロ処理を行うことを特徴とする特徴とする請求項１に記載の画像処理装置。
4. 前記代表色相決定手段は、色相を所定の色相角ごとに区切った色相範囲のうち、前記第２画像における最頻出色相範囲を前記代表色相として決定するものであり、
   前記画像処理手段は、前記代表色相決定手段で決定された前記各第２画像における各最頻出色相範囲について、同一の色相範囲または隣り合う色相範囲である場合には、当該各最頻出色相範囲に基づいて前記第１画像に残す色相を決定し、当該決定した色相以外の色相に係る色数を減らして前記色変換処理を行うことを特徴とする請求項１に記載の画像処理装置。
5. 前記画像処理手段は、前記色相以外の色相をどの色相に変更するのかを更に決定するものであり、前記色相以外の色相を当該決定に基づく色相に変更して、前記色相以外の色相に係る色数を減らした前記色変換処理を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記画像処理手段は、前記第１画像の色相または前記代表色相の補色に係る色相が所定の色であるか否かに応じて前記第１画像に対する彩度圧縮パラメータを設定し、前記彩度圧縮パラメータおよび前記明度変換パラメータに基づいて前記第１画像の彩度および明度を変更して前記色変換処理を行うことを特徴とする請求項１に記載の画像処理装置。
7. 前記所定の色は、赤の色であり、
   前記画像処理手段は、赤の彩度を他の色の彩度よりも低く抑える前記彩度圧縮パラメータを設定することを特徴とする請求項６に記載の画像処理装置。
8. 前記明度変換パラメータ算出手段は、前記各第２画像における各平均明度に基づいて、前記第１画像の前記明度変換パラメータを算出することを特徴とする請求項１に記載の画像処理装置。
9. 前記明度変換パラメータ算出手段は、前記各平均明度に基づき前記各第２画像における明度が所定の基準よりも暗い場合に、前記第１画像の明度を明るくする前記明度変換パラメータを算出し、前記各平均明度に基づき前記各第２画像における明度が所定の基準よりも明るい場合に、前記第１画像の明度を暗くする前記明度変換パラメータを算出することを特徴とする請求項８に記載の画像処理装置。
10. 背景となる第１画像と、当該第１画像の上に配置される複数の第２画像とを合成する合成処理を行う画像処理装置による画像処理方法であって、
    前記複数の第２画像における各第２画像について各代表色相を決定する代表色相決定ステップと、
    前記第１画像の明度変換パラメータを算出する明度変換パラメータ算出ステップと、
    前記明度変換パラメータと前記各代表色相とに応じて前記第１画像の色変換処理を行って、前記合成処理を行う画像処理ステップと
    を有することを特徴とする画像処理方法。
11. 背景となる第１画像と、当該第１画像の上に配置される複数の第２画像とを合成する合成処理を行う画像処理装置による画像処理方法をコンピュータに実行させるためのプログラムであって、
    前記複数の第２画像における各第２画像について各代表色相を決定する代表色相決定ステップと、
    前記第１画像の明度変換パラメータを算出する明度変換パラメータ算出ステップと、
    前記明度変換パラメータと前記各代表色相とに応じて前記第１画像の色変換処理を行って、前記合成処理を行う画像処理ステップと
    をコンピュータに実行させるためのプログラム。
12. 請求項１１に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images