JP2018128946A - 画像処理装置、画像処理システム及びプログラム - Google Patents

Abstract

【課題】境界上の画素値を基準に合成領域内の画素値を一律に補正する場合とは異なり、オリジナルの画像が有する陰影やテクスチャの残し具合を調整できるようにする。【解決手段】画像処理装置は、第１の画像に貼り付けられる第２の画像と、第２の画像が貼り付けられる領域部分との両方又は一方に含まれる明領域又は暗領域の合成結果への反映度合を設定する設定部と、設定された反映度合に応じて画素情報の補正量が調整された第２の画像を第１の画像に貼り付ける貼付部とを有する。【選択図】図３

Description

本発明は、画像処理装置、画像処理システム及びプログラムに関する。

特許文献１は、境界領域を違和感なく合成するために、ソース画像とターゲット画像の境界上の画素値が一致することを条件として境界領域においてコスト関数を定義し、最適化問題を解くことを提案している。

特許第４３１６５７１号公報

ところが、境界上の画素値を基準に合成領域内（ソース画像が貼り付けられる領域内）の画素値を一律に補正する手法では、オリジナルのソース画像やターゲット画像が有している陰影やテクスチャをどの程度残すかをユーザが調整できない。その結果、合成後の画像に違和感が生じることがある。

本発明は、境界上の画素値を基準に合成領域内の画素値を一律に補正する場合とは異なり、オリジナルの画像が有する陰影やテクスチャの残し具合を調整できるようにすることを目的とする。

請求項１に記載の発明は、第１の画像に貼り付けられる第２の画像と、当該第２の画像が貼り付けられる領域部分との両方又は一方に含まれる明領域又は暗領域の合成結果への反映度合を設定する設定部と、設定された前記反映度合に応じて画素情報の補正量が調整された前記第２の画像を前記第１の画像に貼り付ける貼付部とを有する画像処理装置である。
請求項２に記載の発明は、前記明領域が明るいほど又は前記暗領域が暗いほど、合成前の画素情報が保存されるように前記反映度合が設定されることを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記明領域が明るいほど又は前記暗領域が暗いほど、前記補正量がより小さい値に調整されることを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記第１の画像と前記第２の画像の間で、より明るい方又はより暗い方の画素情報に応じて前記反映度合が設定されることを特徴とする請求項１に記載の画像処理装置である。
請求項５に記載の発明は、前記反映度合はユーザの操作入力を通じて調整されることを特徴とする請求項１に記載の画像処理装置である。
請求項６に記載の発明は、前記補正量は、補正後の前記第２の画像が前記第１の画像と滑らかに接続されるように計算されることを特徴とする請求項１に記載の画像処理装置である。
請求項７に記載の発明は、前記補正量は、前記第１の画像との合成境界から前記第２の画像を構成する各画素までの距離と、前記第１の画像と前記第２の画像との合成境界における差分値とに応じて計算されることを特徴とする請求項６に記載の画像処理装置である。
請求項８に記載の発明は、第１の画像に貼り付けられる第２の画像と、当該第２の画像が貼り付けられる領域部分との両方又は一方に含まれる明領域又は暗領域の合成結果への反映度合を設定する設定部と、設定された前記反映度合に応じて画素情報の補正量が調整された前記第２の画像を前記第１の画像に貼り付ける貼付部とを有する画像処理装置と、前記第１の画像と前記第２の画像との合成作業に用いる作業画面を表示する表示装置とを有する画像処理システムである。
請求項９に記載の発明は、コンピュータに、第１の画像に貼り付けられる第２の画像と、当該第２の画像が貼り付けられる領域部分との両方又は一方に含まれる明領域又は暗領域の合成結果への反映度合を設定する機能と、設定された前記反映度合に応じて画素情報の補正量が調整された前記第２の画像を前記第１の画像に貼り付ける機能とを実行させるプログラムである。

請求項１記載の発明によれば、境界上の画素値を基準に合成領域内の画素値を一律に補正する場合とは異なり、オリジナルの画像が有する陰影やテクスチャの残し具合を調整できる。
請求項２記載の発明によれば、オリジナル画像内の明るい領域ほど又は暗い領域ほどオリジナル画像での陰影やテクスチャ感を残すことができる。
請求項３記載の発明によれば、オリジナル画像内の明るい領域ほど又は暗い領域ほどオリジナル画像での陰影やテクスチャ感を残すことができる。
請求項４記載の発明によれば、第１の画像と第２の画像のうちより明るい方又はより暗い方の陰影やテクスチャ感を残すことができる。
請求項５記載の発明によれば、オリジナル画像が有する陰影やテクスチャ感の残し具合をユーザが調整できる。
請求項６記載の発明によれば、オリジナルの画像が有する陰影やテクスチャの残し具合を調整しながら、境界部分で第１の画像と第２の画像を滑らかに接続できる。
請求項７記載の発明によれば、オリジナルの画像が有する陰影やテクスチャの残し具合を調整しながら、境界部分で第１の画像と第２の画像を滑らかに接続できる。
請求項８記載の発明によれば、境界上の画素値を基準に合成領域内の画素値を一律に補正する場合とは異なり、オリジナルの画像が有する陰影やテクスチャの残し具合を調整できる。
請求項９記載の発明によれば、境界上の画素値を基準に合成領域内の画素値を一律に補正する場合とは異なり、オリジナルの画像が有する陰影やテクスチャの残し具合を調整できる。

実施の形態に係る画像処理装置のハードウェア構成例を示すブロック図である。 貼り付け対象としてのソース画像Ｓと貼り付け先としてのターゲット画像Ｔとの関係を説明する図である。 本機能構成に係る制御部の機能構成１を示すブロック図である。 重みλ_ｉの計算で使用するｗ_ｉの算出過程を説明する図である。 合成領域ＣＲにおいて、陰影またはテクスチャを残す度合を調整（強調又は抑制）するために用意するユーザインターフェース画面の一例である。 ソース画像Ｓの合成領域ＣＲ内における画素値の分布と、ターゲット画像Ｔにおける画面全体の画素値の分布を説明する図である。 暗部重みＤ（ｉ，ｊ）を用いずにソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。 暗部重みＤ（ｉ，ｊ）を用いてソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。 ソース画像Ｓの合成領域ＣＲ内における画素値の分布と、ターゲット画像Ｔにおける画面全体の画素値の分布を説明する図である。 暗部重みＤ（ｉ，ｊ）を用いずにソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。 暗部重みＤ（ｉ，ｊ）を用いてソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。 本機能構成に係る制御部の機能構成２を示すブロック図である。 ソース画像Ｓの合成領域ＣＲ内における画素値の分布と、ターゲット画像Ｔにおける画面全体の画素値の分布を説明する図である。 暗部重みＤ（ｉ，ｊ）を用いずにソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。 暗部重みＤ（ｉ，ｊ）を用いてソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。 ソース画像Ｓの合成領域ＣＲ内における画素値の分布と、ターゲット画像Ｔにおける画面全体の画素値の分布を説明する図である。 暗部重みＤ（ｉ，ｊ）を用いずにソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。 暗部重みＤ（ｉ，ｊ）を用いてソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。 本機能構成に係る制御部の機能構成３を示すブロック図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理装置の構成＞
図１は、実施の形態に係る画像処理装置１のハードウェア構成例を示すブロック図である。
本実施の形態に係る画像処理装置１は、画像処理演算を実行すると共に装置を構成する各部の動作を制御する制御部１００と、画像データ等を記憶する記憶部２００と、処理対象とする画像や処理結果を表示する表示部３００と、装置に対するユーザの指示の受け付けに使用される操作部４００と、処理対象とする画像データの取得に用いられる画像取得部５００と、各部を接続するバス６００とを有している。
画像処理装置１は、特許請求の範囲における「画像処理システム」の一例である。また、表示部３００は、特許請求の範囲における「表示装置」の一例である。

制御部１００は、不図示のＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含む、いわゆるコンピュータとして構成される。
ＲＯＭは、ＣＰＵにより実行される制御プログラムを記憶している。ＣＰＵは、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭを作業エリアに使用してプログラムを実行する。

なお、ＣＰＵによって実行されるプログラムは、制御部１００内のＲＯＭではなく、記憶部２００等の他の記憶装置に記憶されていてもよい。プログラムは、例えば磁気記録媒体（磁気テープ、磁気ディスク等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリ等のコンピュータが読取可能な記録媒体に記憶される。なお、ＣＰＵによって実行されるプログラムは、インターネット等の通信手段を用いて、画像処理装置１にダウンロードされてもよい。

記憶部２００は、例えばハードディスク装置により構成され、貼り付け先となるターゲット画像Ｔや貼り付けられるソース画像Ｓに対応する画像データを含む各種のデータが記憶される。
表示部３００は、例えば液晶ディスプレイや有機ＥＬ（organic electroluminescence）ディスプレイ等により構成され、制御部１００による制御の下、貼り付け合成で扱うソース画像Ｓやターゲット画像Ｔを表示する。
これらの画像は、「操作画面」の一例としてのユーザインターフェース画面に表示される。ユーザが、ユーザインターフェース画面を通じてソース画像Ｓをターゲット画像Ｔに貼り付け合成する作業が「合成作業」の一例である。

操作部４００は、ユーザの操作を受け付ける入力装置であり、例えば液晶ディスプレイの表面側に配置されるタッチパネル、マウス、キーボード等により構成される。
画像取得部５００は、処理対象とする画像データの取得に用いられる装置であり、例えば外部機器との接続インターフェースにより構成される。画像取得部５００により取得された画像データは、記憶部２００に記憶される。

＜用語＞
図２は、貼り付け対象としてのソース画像Ｓと貼り付け先としてのターゲット画像Ｔとの関係を説明する図である。
図２の場合、ソース画像Ｓは、ｘ軸方向及びｙ軸方向のいずれに対しても、ターゲット画像Ｔより短く、ソース画像Ｓの全体がターゲット画像Ｔに含まれる。ここでのソース画像Ｓは、特許請求の範囲における「第２の画像」の一例であり、ターゲット画像Ｔは「第１の画像」の一例である。
なお、本実施の形態における制御部１００は、ソース画像Ｓをターゲット画像Ｔに貼り付け合成した際に、２つの画像の重複部分（合成領域ＣＲ）にオリジナル画像の陰影やテクスチャ感を残し、かつ、ソース画像Ｓとターゲット画像Ｔのつなぎ目が目立たないように合成処理できればよいので、ソース画像Ｓがターゲット画像Ｔより常に小さい必要はない。

ソース画像Ｓの外縁部分は、貼り付け合成後のソース画像側境界ＢＳを与える。一方、ソース画像Ｓの貼り付け先となるターゲット画像Ｔ側の部分領域（すなわち合成領域ＣＲ）の外縁部分は、貼り付け合成後のターゲット画像側境界ＢＴを与える。以下では、ソース画像側境界ＢＳとターゲット画像側境界ＢＴを合わせて合成境界ともいう。
貼り付け合成によって生成される合成画像において、ソース画像側境界ＢＳ上の画素とターゲット画像側境界ＢＴの画素は同じ画素となる。
合成領域ＣＲは、ソース画像Ｓの貼り付け作業中又は貼り付け作業の完了時点で、ソース画像Ｓと重なっているターゲット画像Ｔ側の部分領域をいう。

本実施の形態において、合成境界が目立たないとは、ソース画像側境界ＢＳとターゲット画像側境界ＢＴとを視覚的に判別できないほどに各境界に位置する画素の明るさ（輝度、明度等）や色差が小さいことをいう。より具体的には、合成境界における明るさの変化や色の変化が、ソース画像Ｓとターゲット画像Ｔの間で滑らか（連続的）であることをいう。

＜画像処理装置の機能構成＞
以下では、制御部１００によるプログラムの実行を通じて実現される機能構成について説明する。
プログラムの実行を通じて実現される機能構成は様々であるが、以下では、便宜的に機能構成１、機能構成２、機能構成３と呼ぶ。これらの機能構成では、画像内の暗い領域（以下「暗領域」という。）における陰影やテクスチャの保存を目的とする。

＜機能構成１＞
図３は、本機能構成に係る制御部１００の機能構成１を示すブロック図である。
本機能構成に係る制御部１００は、ソース画像Ｓとターゲット画像Ｔの合成境界上の画素情報の境界差分ｄ_Ｐを計算する合成境界上の差分計算部１１０と、合成境界からの距離に応じた重みλ_ｉを与える距離重み計算部１１１と、ソース画像Ｓの暗い領域ほどオリジナル画像の画素情報を残すように暗部重みＤ（ｉ、ｊ）を与える暗部重み計算部１１２と、合成領域ＣＲ内の各画素（ソース画像Ｓの各画素）に付与する差分値ΔＩ（ｉ、ｊ）を計算する合成領域内の差分計算部１１３と、算出された差分値ΔＩ（ｉ、ｊ）に基づいてターゲット画像Ｔとのつなぎ目が目立たないようにソース画像Ｓを補正してターゲット画像Ｔに合成する合成部１１４として機能する。合成部１１４は、合成結果画像Ｉ’（ｉ，ｊ）を出力する。
ここでの暗部重み計算部１１２は、特許請求の範囲における「設定部」の一例であり、合成境界上の差分計算部１１０、合成境界内の差分計算部１１３と、距離重み計算部１１１と、合成部１１４は、特許請求の範囲における「貼付部」の一例である。

＜各部の処理動作＞
まず、合成境界上の差分計算部１１０が実行する処理動作の内容を説明する。
合成境界上の差分計算部１１０は、ソース画像側境界ＢＳ（図２参照）上の画素値とターゲット画像側境界ＢＴ（図２参照）上の画素値との境界差分ｄ_Ｐを計算する機能部分である。
以下では、画素値がＲＧＢ色空間で表現されるものとする。ここで、ターゲット画像側境界ＢＴ上に位置する各画素の画素値をＲ_Ｔ、Ｇ_Ｔ、Ｂ_Ｔとし、ソース画像側境界ＢＳ上に位置する各画素の画素値をＲ_Ｓ、Ｇ_Ｓ、Ｂ_Ｓとすると、合成境界上で対応する画素位置における画素値の差分（以下、「境界差分」という。）ｄ_Ｐの色成分ｄＲ_ｉ、ｄＧ_ｉ、ｄＢ_ｉは、式１〜式３により求められる。
ｄＲ_ｉ＝Ｒ_Ｔ−Ｒ_Ｓ …式１
ｄＧ_ｉ＝Ｇ_Ｔ−Ｇ_Ｓ …式２
ｄＢ_ｉ＝Ｂ_Ｔ−Ｂ_Ｓ …式３

次に、距離重み計算部１１１が実行する処理動作の内容を説明する。距離重み計算部１１１は、ソース画像Ｓ内の各位置ｘ（ｉ，ｊ）に対する合成境界上の各画素からの距離重みλ_ｉを式４によって求める。

ここで、ｉはソース画像側境界ＢＳ上の画素位置を特定するためのインデックスである。インデックスは、ソース画像側境界ＢＳ上のある画素位置を０として一方向に（例えば時計回り又は反時計回りに）、ソース画像側境界ＢＳ上の全ての画素に対して付与される。式４では、ソース画像側境界ＢＳ上にｎ_ｂ個の画素が存在するものとして表している。なお、ｗ_ｉは、式５によって計算される値である。

図４は、重みλ_ｉの計算で使用するｗ_ｉの算出過程を説明する図である。図４において濃い網掛けを付した画素は、合成領域ＣＲに貼り付けられたソース画像側境界ＢＳ上にある画素であり、前述したインデックスｉが付与される。図４において薄い網掛けを付した画素は、合成領域ＣＲに貼り付けられたソース画像Ｓのうちソース画像側境界ＢＳを除く画素である。

図中、Ｐ_ｉは、インデックスｉで特定される合成境界上にある画素を与える位置を表しており、ｘは、ソース画像Ｓのうちソース画像側境界ＢＳを除く画素の位置を与えている。
α_ｉは、インデックスｉに対応する位置Ｐ_ｉから位置ｘへのベクトルと、インデックスｉ+１に対応する位置Ｐ_ｉ+１から位置ｘへのベクトルとがなす角度である。
なお、計算過程で、インデックスｉがｎ_ｂとなる場合には、インデックス０に置き換えて扱う。

式５より、位置ｘについてのｗ_ｉは、位置ｘで与えられる画素がソース画像Ｓの合成境界に近いほど急激に大きくなり、ソース画像Ｓの合成境界から遠ざかるほど急激に小さい値となる。
従って、式４における位置ｘに対するソース画像側境界ＢＳ上のｉ番目の画素からの距離重みλ_ｉは、ソース画像側境界ＢＳ上における全ての画素（インデックス０〜ｎ_ｂ−１）について計算されたｗ_ｊの合計値に対するｉ番目の画素について計算されたｗ_ｉの比率として与えられる。

次に、暗部重み計算部１１２が実行する処理動作の内容を説明する。
本実施の形態における暗部重み計算部１１２は、貼り付けられるソース画像Ｓに含まれる暗領域の情報が保存されやすくなるように暗部重みＤ（ｉ，ｊ）を計算する機能部分である。本実施の形態の場合、暗部重み計算部１１２は、暗部重みＤ（ｉ，ｊ）を式６により求める。
Ｄ（ｉ，ｊ）＝｛Ｖ（ｉ，ｊ）｝^γ …式６
ここでの暗部重みＤ（ｉ，ｊ）が、特許請求の範囲における「反映度合」に相当する。

本実施の形態の場合、Ｖ（ｉ，ｊ）は、ＨＳＶ色空間におけるソース画像Ｓの明度成分であり、γは、どの程度の明るさを暗部として扱うかを決定する固定パラメータである。
詳細については後述するが、本実施の形態の場合、ソース画像Ｓを構成する各画素に対する補正量は、合成境界上の各画素における境界差分ｄ_Ｐを基準に計算されるため、暗領域の情報を保存するためには、暗い領域ほど補正量が小さくなる必要がある。
そこで、暗部重み計算部１１２は、暗いほど暗部重みＤ（ｉ，ｊ）が小さくなるように固定パラメータγの値を定める。なお、暗領域以外の画素について用いられる暗部重みＤ（ｉ，ｊ）は、境界差分ｄ_Ｐと距離重みλ_ｉとで定まる補正量と同じか近い値になるものとする。

ところで、暗いほど暗部重みＤ（ｉ，ｊ）が小さい値となる関数であれば、式６に示す計算式である必要はない。
また、本実施の形態では、ＨＳＶ色空間における明度成分を利用する例を示しているが、ＣＩＥＬ^＊ａ^＊ｂ^＊におけるＬ^＊など、画素の明暗を示す値であれば他の値を用いても良い。

また、固定パラメータγの値はユーザが調整できることが望ましい。図５は、合成領域ＣＲにおいて、陰影またはテクスチャを残す度合いを調整（強調又は抑制）するために用意されるユーザインターフェース画面２００Ａの一例である。図５の例では、情報を残す画像としてソース画像ボタン２０１がポインタ２０５で選択された様子を表している。なお、ターゲット画像ボタン２０２は選択されていないためグレー表示されている。
また、ユーザインターフェース画面２００Ａには、陰影またはテクスチャを残す度合いを増やすためのプラスボタン２０３と反対に減らすためのマイナスボタン２０４が配置されている。前述した暗部重み計算部１１２は、プラスボタン２０３又はマイナスボタン２０４に対する操作入力に応じて固定パラメータγの値を調整する。

次に、合成領域内の差分計算部１１３が実行する処理動作の内容を説明する。
差分計算部１１３は、前述した各部によって計算された境界差分ｄ_Ｐ、距離重みλ_ｉ、暗部重みＤ（ｉ，ｊ）に基づいて、ソース画像Ｓ内の各画素についての合成領域差分ΔＩ（ｉ，ｊ）を計算する機能部分である。ここでの合成領域差分ΔＩ（ｉ，ｊ）が、特許請求の範囲における「画素情報の補正量」に相当する。

本実施の形態における差分計算部１１３は、式７〜式９により、ソース画像Ｓを構成する各画素についての合成領域差分ΔＩ（ｉ，ｊ）（具体的には、色成分ΔＲ、ΔＧ、ΔＢ）を計算する。

式７〜式９に示すように、ソース画像Ｓ内の各画素ｘ（ｉ，ｊ）に対する合成領域差分ΔＩの色成分は、ソース画像側境界ＢＳ上の各画素からの距離重みλ_ｉと対応する境界差分ｄ_Ｐ（ｄＲ_ｉ、ｄＧ_ｉ、ｄＢ_ｉ）との乗算結果の総和に、暗部重みＤ（ｉ，ｊ）を乗算した値となる。
暗部重みＤ（ｉ，ｊ）は、暗い領域ほど小さい値になるので、ソース画像Ｓのうち暗領域の画素の合成領域差分ΔＩは小さい値になる。このことは、ソース画像Ｓの画素情報が保存され易くなることを意味する。

次に、合成部１１４が実行する処理動作の内容を説明する。
合成部１１４は、合成領域差分ΔＩ（ｉ，ｊ）を用いて画素値を補正したソース画像Ｓをターゲット画像Ｔの合成領域ＣＲ上に貼り付ける合成処理を実行する機能部分である。
ここで、合成領域ＣＲ内の各画素（補正後のソース画像Ｓの各画素）に対応する色成分Ｒ、Ｇ、Ｂは、式１０〜式１２によって計算される。なお、Ｒ_Ｓ、Ｇ_Ｓ、Ｂ_Ｓは、オリジナルのソース画像Ｓの画素値である。
Ｒ＝Ｒ_Ｓ＋ΔＲ …式１０
Ｇ＝Ｇ_Ｓ＋ΔＧ …式１１
Ｂ＝Ｂ_Ｓ＋ΔＢ …式１２

前述したように、合成領域差分ΔＩ（ｉ，ｊ）の色成分ΔＲ、ΔＧ、ΔＢの値は、暗い領域ほど小さい値となる。結果的に、オリジナルのソース画像Ｓにおける暗領域の画素値が保存される。なお、合成領域ＣＲ以外の画素値には、ターゲット画像Ｔの画素値そのものが用いられる。この結果、合成部１１４から合成結果画像Ｉ’（ｉ，ｊ）が出力される。
本実施の形態では、各画素値がＲＧＢ色空間上の値として表現される場合について説明したが、他の色空間を利用しても良い。例えばＨＳＶ色空間におけるＶ値で与えられる明度値あるいは輝度値を利用しても良い。

以下では、図６〜図８を使用して、本機能構成１による貼り付け合成動作を説明する。図６は、ソース画像Ｓの合成領域ＣＲ内における画素値の分布と、ターゲット画像Ｔにおける画面全体の画素値の分布を説明する図である。図６に示すソース画像Ｓの場合、黒レベルに近い画素値を有する領域（暗領域）が含まれている。また、合成境界におけるターゲット画像Ｔの画素値は、ソース画像Ｓの画素値よりも高くなっている。この画素値の差分が境界差分ｄ_Ｐである。

図７は、暗部重み計算部１１２で計算される暗部重みＤ（ｉ，ｊ）を用いずに（すなわちＤ（ｉ，ｊ）＝１として）、ソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。図７に示すように、ソース画像Ｓ内の各画素には、暗領域か否かによらず、境界差分ｄ_Ｐと距離重みλ_ｉによって合成領域差分ΔＩ（ｉ，ｊ）が計算されるため、陰などの表現に用いられていた暗領域も黒レベルから浮き上がってしまっている。これでは、ソース画像Ｓが有していた陰影やテクスチャの情報が損なわれてしまう。

図８は、暗部重み計算部１１２で計算される暗部重みＤ（ｉ，ｊ）を用いて、ソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。図８に示すように、ソース画像Ｓ内の暗領域についての合成領域差分ΔＩ（ｉ，ｊ）は、境界差分ｄ_Ｐと距離重みλ_ｉによって計算される値よりも小さい値となるため、オリジナルのソース画像Ｓの画素値に近い値が保存されている。

すなわち、ソース画像Ｓにおいて陰などの表現に用いられていた暗領域の画素値についてはオリジナルの画素値又はオリジナルに近い値が使用される。結果的に、ソース画像Ｓが有していた陰影やテクスチャの情報が保存される。
また、合成領域ＣＲ内の他の画素における画素値は、境界差分ｄ_Ｐと距離重みλ_ｉによって計算される合成領域差分ΔＩ（ｉ，ｊ）が適用されるため、合成境界の付近におけるソース画像Ｓとターゲット画像Ｔの画素値の変化が滑らかになる。結果的に合成境界がユーザによって視認され難い、自然な合成画像が生成される。

前述の説明では、暗領域の情報を保存する場合、すなわちソース画像Ｓの暗い領域ほどオリジナルのソース画像Ｓの画素値が保存される場合について説明したが、明るい領域（以下、「明領域」という。）の情報を保存する処理手法を採用してもよい。
この場合には、暗部重み計算部１１２に代えて明部重み計算部を使用する。明部重みＢ（ｉ，ｊ）の計算には、式６における固定パラメータγとして、明るい領域ほど補正量が小さくなるパラメータを用いればよい。

以下では、図９〜図１１を使用して、ソース画像Ｓの明領域の情報を保存する場合の処理イメージを説明する。
図９は、ソース画像Ｓの合成領域ＣＲ内における画素値の分布と、ターゲット画像Ｔにおける画面全体の画素値の分布を説明する図である。図９に示すソース画像Ｓの場合、白レベルに近い画素値を有する領域（明領域）が含まれている。また、合成境界におけるターゲット画像Ｔの画素値は、ソース画像Ｓの画素値よりも低くなっている。この画素値の差分が境界差分ｄ_Ｐである。

図１０は、明部重み計算部で計算される明部重みＢ（ｉ，ｊ）を用いずに（すなわちＢ（ｉ，ｊ）＝１として）、ソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。図１０に示すように、ソース画像Ｓ内の各画素には、明領域か否かによらず、境界差分ｄ_Ｐと距離重みλ_ｉによって合成領域差分ΔＩ（ｉ，ｊ）が計算されるため、光が反射したような明るい領域も白レベルから沈み込んでしまっている。これでは、ソース画像Ｓが有していた陰影やテクスチャの情報が損なわれてしまう。

図１１は、暗部重み計算部１１２で計算される暗部重みＤ（ｉ，ｊ）を用いて、ソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。図１１に示すように、ソース画像Ｓ内の明領域についての合成領域差分ΔＩ（ｉ，ｊ）は、境界差分ｄ_Ｐと距離重みλ_ｉによって計算される値よりも小さい値となるため、ソース画像Ｓの画素値に近い値が保存されている。すなわち、光が反射したような明るい領域の画素値が元の値と同一又は元の値に近い値となり、結果的に、ソース画像Ｓが有していた陰影やテクスチャの情報が保存される。

また、合成領域ＣＲ内のうち特に明るい領域以外の画素の値は、境界差分ｄ_Ｐと距離重みλ_ｉによって計算される合成領域差分ΔＩ（ｉ，ｊ）が適用されるため、合成境界の付近におけるソース画像Ｓとターゲット画像Ｔの画素値の変化が滑らかになる。結果的に合成境界がユーザによって視認され難い、自然な合成画像が生成される。

＜機能構成２＞
図１２は、本機能構成に係る制御部１００の機能構成２を示すブロック図である。図１２には、図３との対応部分に同一の符号を付して表している。
本機能構成に係る制御部１００は、機能構成１とは異なり、ターゲット画像Ｔの暗領域の情報を貼り付け合成されるソース画像Ｓに保存する点で異なっている。
この機能の実現のため、図１２に示す制御部１００の機能構成では、ターゲット画像Ｔが合成境界上の差分計算部１１０と暗部重み計算部１１２Ａに入力され、ソース画像Ｓは合成境界上の差分計算部１１０と合成領域内の差分計算部１１３に入力されている。
ここで、暗部重み計算部１１２Ａは、ターゲット画像Ｔの暗い領域ほどオリジナルの画素情報を残すように暗部重みＤ（ｉ，ｊ）を与える機能である点で図３における暗部重み計算部１１２と異なる。

暗部重み計算部１１２Ａも、前述した式６を用いて暗部重みＤ（ｉ，ｊ）を計算する。ただし、本実施の形態の場合、Ｖ（ｉ，ｊ）は、ＨＳＶ色空間におけるターゲット画像Ｔの明度成分であり、γは、どの程度の明るさを暗部とするかを決定する固定パラメータである。本実施の形態の場合も、ターゲット画像Ｔにおける暗領域の情報を保存するためには、暗い領域ほど補正量が小さくなるように暗部重みＤ（ｉ，ｊ）が計算される。

以下では、図１３〜図１５を使用して、本機能構成２による合成効果を説明する。図１３は、ソース画像Ｓの合成領域ＣＲ内における画素値の分布と、ターゲット画像Ｔにおける画面全体の画素値の分布を説明する図である。
図１３に示すターゲット画像Ｔの場合、合成領域ＣＲを挟んで両側に黒レベルに近い画素値を有する領域（暗領域）が筋状に現れている。なお、合成境界におけるターゲット画像Ｔの画素値は、ソース画像Ｓの画素値よりも高くなっている。この画素値の差分が境界差分ｄ_Ｐである。

図１４は、暗部重み計算部１１２Ａで計算される暗部重みＤ（ｉ，ｊ）を用いずに（すなわちＤ（ｉ，ｊ）＝１として）、ソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。図１４に示すように、ソース画像Ｓ内の各画素には、ターゲット画像Ｔの暗領域に位置しているか否かによらず、境界差分ｄ_Ｐと距離重みλ_ｉによって合成領域差分ΔＩ（ｉ，ｊ）が計算されるため、ターゲット画像Ｔ側の合成領域ＣＲ内に存在した黒レベルに近い画素値の情報は全て失われてしまっている。

図１５は、暗部重み計算部１１２Ａで計算される暗部重みＤ（ｉ，ｊ）を用いて、ソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。図１５に示すように、ソース画像Ｓ内の暗領域についての合成領域差分ΔＩ（ｉ，ｊ）は、境界差分ｄ_Ｐと距離重みλ_ｉによって計算される値よりも小さい値となるため、ソース画像Ｓの画素値に近い値が保存される。

すなわち、ターゲット画像Ｔにおいて陰などの表現に用いられていた領域では、補正前のソース画像Ｓの画素値と同じ又は近い値となり、結果的に、ターゲット画像Ｔが有していた陰影やテクスチャの情報が保存されている。
また、合成領域ＣＲ内の他の画素の値は、境界差分ｄ_Ｐと距離重みλ_ｉによって計算される合成領域差分ΔＩ（ｉ，ｊ）が適用されるため、合成境界の付近におけるソース画像Ｓとターゲット画像Ｔの画素値の変化が滑らかになる。結果的に合成境界がユーザによって視認され難い、自然な合成画像が生成される。

前述の説明では、暗領域の情報を保存する場合、すなわちターゲット画像Ｔの暗い領域ほどソース画像Ｓの元の画素値が保存される場合について説明したが、ターゲット画像Ｔの明領域の情報を保存する処理手法を採用してもよい。この場合には、暗部重み計算部１１２Ａに代えて明部重み計算部を使用し、明部重みＢ（ｉ，ｊ）の計算には式６における固定パラメータγとして、明るい領域ほど補正量が小さくなるパラメータを用いればよい。

以下では、図１６〜図１８を使用して、ターゲット画像Ｔの明領域の情報を保存する場合の処理イメージを説明する。
図１６は、ソース画像Ｓの合成領域ＣＲ内における画素値の分布と、ターゲット画像Ｔにおける画面全体の画素値の分布を説明する図である。図１６に示すターゲット画像Ｔの場合、合成領域ＣＲ内に白レベルに近い画素値を有する領域（明領域）が含まれている。また、合成境界におけるターゲット画像Ｔの画素値は、ソース画像Ｓの画素値よりも低くなっている。この画素値の差分が境界差分ｄ_Ｐである。

図１７は、暗部重み計算部１１２Ａで計算される暗部重みＤ（ｉ，ｊ）を用いずに（すなわちＤ（ｉ，ｊ）＝１として）、ソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。図１７に示すように、ソース画像Ｓ内の各画素には、ターゲット画像Ｔの明領域に位置しているか否かによらず、境界差分ｄ_Ｐと距離重みλ_ｉによって合成領域差分ΔＩ（ｉ，ｊ）が計算されるため、ターゲット画像Ｔに光が反射したような明るい領域が含まれていても、補正後のソース画像Ｓでは白レベルから沈み込んでしまっている。これでは、ターゲット画像Ｔが有していた陰影やテクスチャの情報が損なわれてしまう。

図１８は、暗部重み計算部１１２Ａで計算される暗部重みＤ（ｉ，ｊ）を用いて、ソース画像Ｓの画素値を補正する場合の画素値の分布を説明する図である。図１８に示すように、ターゲット画像Ｔの明領域だった部分に当たる合成領域差分ΔＩ（ｉ，ｊ）は、境界差分ｄ_Ｐと距離重みλ_ｉによって計算される値よりも小さい値となるため、貼り付け合成前のソース画像Ｓの画素値に近い値が保存されている。
すなわち、光が反射したような明るい領域の画素値がオリジナルのソース画像Ｓの画素値又は近い値で表現され、結果的に、ターゲット画像Ｔが有していた陰影やテクスチャの情報が保存される。

また、合成領域ＣＲ内のうち特に明るい領域以外の画素の値は、境界差分ｄ_Ｐと距離重みλ_ｉによって計算される合成領域差分ΔＩ（ｉ，ｊ）が適用されるため、合成境界の付近におけるソース画像Ｓとターゲット画像Ｔの画素値の変化が滑らかになる。結果的に合成境界がユーザによって視認され難い、自然な合成画像が生成される。

＜機能構成３＞
図１９は、本機能構成に係る制御部１００の機能構成３を示すブロック図である。図１９には、図３との対応部分に同一の符号を付して表している。
本機能構成に係る制御部１００は、機能構成１や機能構成２とは異なり、ソース画像Ｓの暗領域の情報とターゲット画像Ｔの暗領域の情報のうちより暗い領域の情報が、貼り付け合成されるソース画像Ｓに保存される点で異なっている。
このため、図１９に示す制御部１００では、暗部重み計算部１１２Ｂに対してターゲット画像Ｔとソース画像Ｓの両方が入力され、ターゲット画像Ｔとソース画像Ｓのうち暗い領域ほど画素情報が残るように暗部重みＤ（ｉ，ｊ）が与えられる。

本実施の形態の場合、暗部重み計算部１１２Ｂは、式１３により暗部重みＤ（ｉ，ｊ）を計算する。

ここで、Ｖ_Ｔはターゲット画像ＴのＨＳＶ色空間における明度成分であり、γ_Ｔはターゲット画像Ｔ用の固定パラメータである。また、Ｖ_Ｓはソース画像ＳのＨＳＶ色空間における明度成分であり、γ_Ｓはソース画像Ｓ用の固定パラメータである。

ここでの固定パラメータγ_Ｔ及びγ_Ｓも、前述した機能構成と同じく、予め与えられてもよいし、ユーザがユーザインターフェース画面２００Ａを通じて個別に調整できてもよい。
勿論、色空間はＨＳＶ色空間に限らず、ＣＩＥＬ^＊ａ^＊ｂ^＊におけるＬ^＊など、画素の明暗を示す値であれば他の値を用いても良い。

また、暗部重みＤ（ｉ，ｊ）の計算式は、ターゲット画像Ｔとソース画像Ｓのうち暗い方の領域に応じた暗部重みＤ（ｉ，ｊ）が小さくなるのであれば、式１３以外の計算式を用いてもよい。
例えばターゲット画像Ｔとソース画像Ｓについて暗部重みＤ（ｉ，ｊ）を、式６を用いて個別に計算し、２つの暗部重みＤ（ｉ，ｊ）のうち小さい方の値を採用してもよい。

この機能構成３によれば、ソース画像Ｓとターゲット画像Ｔのいずれかに暗領域が含まれる場合には、対応する領域について貼り付け合成前のソース画像Ｓの画素値と同じ又は近い値が用いられ、貼り付け合成前の画像が有していた陰影やテクスチャの情報が合成領域ＣＲ内に保存されることになる。
勿論、この機能構成３の技術は、明領域の情報の保存にも使用できる。

＜他の実施の形態＞
前述の機能構成１〜３においては、暗領域又は明領域においてオリジナルのソース画像の画素値を用いているが、暗領域又は明領域においては保存したい画素情報を与える画像側の画素値を用いてもよい。

前述の説明においては、距離重みλ_ｉと対応する境界差分ｄ_Ｐ（ｄＲ_ｉ、ｄＧ_ｉ、ｄＢ_ｉ）との乗算結果の総和で与えられる合成領域差分ΔＩ（ｉ，ｊ）における色成分ΔＲ、ΔＧ、ΔＢを、ソース画像Ｓの画素値Ｒ_Ｓ、Ｇ_Ｓ、Ｂ_Ｓに加算して、貼り付け合成用のソース画像Ｓの画素値Ｒ、Ｇ、Ｂを計算しているが、他の手法を用いて貼り付け合成用のソース画像Ｓの画素値Ｒ、Ｇ、Ｂを計算してもよい。

例えば暗部重みＤ（ｉ，ｊ）を用いずに計算された合成領域差分ΔＩ（ｉ，ｊ）の色成分ΔＲ、ΔＧ、ΔＢを、ソース画像Ｓの画素値Ｒ_Ｓ、Ｇ_Ｓ、Ｂ_Ｓに加算して求めた画素値Ｒ、Ｇ、Ｂに対して暗部重みＤ（ｉ，ｊ）を乗算して、貼り付け合成用のソース画像Ｓの画素値Ｒ、Ｇ、Ｂを計算してもよい。
この場合、暗部重みＤ（ｉ，ｊ）として、例えば被乗数である画素値を数分の一の値に変換するパラメータを用いれば、対応する画素値を黒レベルに近づけることができる。なお、明領域の情報を保存する場合には、被乗数である画素値を数倍に変換するパラメータを用いればよい。

また、暗部重みＤ（ｉ，ｊ）の大きさによって処理内容を選択してもよい。例えば暗部重みＤ（ｉ，ｊ）が閾値より小さい画素については、ターゲット画像Ｔやソース画像Ｓにおける画素値をそのまま用い、閾値以上の画素については、距離重みλ_ｉと対応する境界差分ｄ_Ｐ（ｄＲ_ｉ、ｄＧ_ｉ、ｄＢ_ｉ）との乗算結果の総和で与えられる色成分毎の合成領域差分ΔＩ（ｉ，ｊ）の色成分ΔＲ、ΔＧ、ΔＢを、ソース画像Ｓの画素値Ｒ_Ｓ、Ｇ_Ｓ、Ｂ_Ｓに加算して求まる画素値を使用してもよい。

また、明領域の情報を保存する場合には、明部重みＢ^γが閾値より大きい画素については、ターゲット画像Ｔやソース画像Ｓにおける画素値をそのまま用い、閾値以下の画素については、距離重みλ_ｉと対応する境界差分ｄ_Ｐ（ｄＲ_ｉ、ｄＧ_ｉ、ｄＢ_ｉ）との乗算結果の総和で与えられる色成分毎の合成領域差分ΔＩ（ｉ，ｊ）の色成分ΔＲ、ΔＧ、ΔＢを、ソース画像Ｓの画素値Ｒ_Ｓ、Ｇ_Ｓ、Ｂ_Ｓに加算して求まる画素値を使用してもよい。

以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理装置、１００…制御部、１１０…合成境界上の差分計算部、１１１…距離重み計算部、１１２、１１２Ａ、１１２Ｂ…暗部重み計算部、１１３…合成領域内の差分計算部、１１４…合成部、２００…ユーザインターフェース画面、ＢＳ…ソース画像側境界（合成境界）、ＢＴ…ターゲット画像側境界（合成境界）、ＣＲ…合成領域、Ｓ…ソース画像、Ｔ…ターゲット画像

Claims (9)

1. 第１の画像に貼り付けられる第２の画像と、当該第２の画像が貼り付けられる領域部分との両方又は一方に含まれる明領域又は暗領域の合成結果への反映度合を設定する設定部と、
   設定された前記反映度合に応じて画素情報の補正量が調整された前記第２の画像を前記第１の画像に貼り付ける貼付部と
   を有する画像処理装置。
2. 前記明領域が明るいほど又は前記暗領域が暗いほど、合成前の画素情報が保存されるように前記反映度合が設定されること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記明領域が明るいほど又は前記暗領域が暗いほど、前記補正量がより小さい値に調整されること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記第１の画像と前記第２の画像の間で、より明るい方又はより暗い方の画素情報に応じて前記反映度合が設定されること
   を特徴とする請求項１に記載の画像処理装置。
5. 前記反映度合はユーザの操作入力を通じて調整されること
   を特徴とする請求項１に記載の画像処理装置。
6. 前記補正量は、補正後の前記第２の画像が前記第１の画像と滑らかに接続されるように計算されること
   を特徴とする請求項１に記載の画像処理装置。
7. 前記補正量は、前記第１の画像との合成境界から前記第２の画像を構成する各画素までの距離と、前記第１の画像と前記第２の画像との合成境界における差分値とに応じて計算されること
   を特徴とする請求項６に記載の画像処理装置。
8. 第１の画像に貼り付けられる第２の画像と、当該第２の画像が貼り付けられる領域部分との両方又は一方に含まれる明領域又は暗領域の合成結果への反映度合を設定する設定部と、設定された前記反映度合に応じて画素情報の補正量が調整された前記第２の画像を前記第１の画像に貼り付ける貼付部とを有する画像処理装置と、
   前記第１の画像と前記第２の画像との合成作業に用いる作業画面を表示する表示装置と
   を有する画像処理システム。
9. コンピュータに、
   第１の画像に貼り付けられる第２の画像と、当該第２の画像が貼り付けられる領域部分との両方又は一方に含まれる明領域又は暗領域の合成結果への反映度合を設定する機能と、
   設定された前記反映度合に応じて画素情報の補正量が調整された前記第２の画像を前記第１の画像に貼り付ける機能と
   を実行させるプログラム。

Images