JP2017059233A - 画像合成方法及び装置 - Google Patents

Abstract

【課題】異なる照明条件における二枚の画像を一つに合成し、さらに合成後の画像が自然な効果を示すようにする画像合成方法及び装置を提供する。
【解決手段】前景画像と背景画像を取得しＳ２１０、背景画像を背景照明画像と背景反射画像に分解しＳ２２０、背景照明画像に基づいて前景画像を背景画像の照明条件における画像に変換しＳ２３０、変換後の前景画像を前記背景画像内に合成するＳ２４０。
【選択図】図２

Description

本発明は、全体的にコンピュータ視覚分野に関し、具体的には画像合成方法及び装置に関する。

画像合成とは、複数枚の画像を一枚の新しい画像に合成し、さらに合成後の画像をできる限り自然でリアルに見えるようにすることを指す。例えば、一枚の画像内から前景対象画像（以下、前景画像と省略）を抽出し、それを別の一枚の背景画像に合成して一枚の新しい画像を形成することが、典型的な画像合成である。画像合成は画像と動画編集応用にて重要な意義を有し、ユーザーは一枚の画像内から抽出した対象を別の一枚の画像内に継ぎ目なく合成することができ、それによって例えば現実の増強、ビデオ会議など人またはその他対象とバーチャル背景を合成する必要のある多くの場面で広く応用されている。

画像合成に関しては、本分野でよく使われる方法はポアソン画像編集、カラートランスファーなどを含む。前者はポアソン方程式を利用して画像合成問題を補間問題として表すが、当該方法を利用して合成した画像には色ずれ問題が存在する可能性がある。後者はPhoto Shop（登録商標）のMatch Color機能に応用し、合成待ちの例えば前景画像と背景画像のカラーヒストグラムの平均値と等分散を通じて合成を行う。しかし、当該方法は画像の照明と反射性質を一つにまとめて処理するため、前景画像が背景画像の干渉を受け、合成後の結果が不自然な効果を示すことがある。別の面においては、通常、合成待ちの各画像は異なる時間、場所、場面で取得したものであるため、異なる照明条件を有している。そのため画像合成時に照明問題を考慮せずに直接一枚の画像を別の一枚の画像に追加すると、照明条件が異なるため、生成された合成画像に明らかな人工的な合成の痕跡が出て、不自然になり、リアルではなくなる。本分野では上記の二つのよく使われる合成方法ではこの問題をきちんと解決できない。

本発明の目的は、画像合成方法及び装置を提供することにある。

本発明の一つの面における実施例では、第一画像と第二画像を取得し、第一画像を第一照明画像と第一反射画像に分解し、第一照明画像に基づいて第二画像を第一画像の照明条件における画像に変換し、及び、変換後の第二画像を第一画像内に合成することを含む画像合成方法を提供する。

本公開の別の面における実施例では、第一画像と第二画像を取得するための取得部、第一画像を第一照明画像と第一反射画像に分解するための分解部、第一照明画像に基づいて第二画像を第一画像の照明条件における画像に変換するための変換部、及び、変換後の第二画像を前記第一画像内に合成するための合成部を含む画像合成装置を提供する。

本公開の別の面における実施例では、処理器、メモリ、及びコンピュータプログラムコマンドであって、前記処理器によって動かされているとき、第一画像と第二画像を取得し、第一画像を第一照明画像と第一反射画像に分解し、第一照明画像に基づいて第二画像を第一画像の照明条件における画像に変換し、及び変換後の第二画像を前記第一画像内に合成するというステップを実行するメモリ内に記憶したコンピュータプログラムコマンドを含む画像合成装置を提供する。

本発明の前記方面の画像合成方法及び装置を通じて、異なる照明条件における二枚の画像を一つに合成し、さらに合成後の画像が自然な効果を示すようにすることができる。

図面を組み合わせて本発明の実施例をより詳細に説明し、本発明の前記及びその他目的、特徴及び優位性をより明確にする。図面は本発明の実施例への更なる理解を供するのに用い、さらに明細書の一部をなし、本発明の実施例とともに本発明の説明に用いるが、本発明を制限するものではない。図面では、同じ参考記号は、通常同じ構成要素またはステップを表す。
例示的な本発明の実施例に係る画像合成技術の可能な応用場面である。 本発明の実施例に係る画像合成方法のプロ―チャートである。 例示的な背景画像及び当該背景画像から分解して得た背景照明画像及び背景反射画像である。 本発明の実施例に係る、背景照明画像に基づいて前景画像を背景画像の照明条件における画像に変換する処理のフローチャートである。 例示的な前景画像及び当該前景画像から分解して得た前景照明画像及び前景反射画像である。 本発明の実施例に係る、背景照明画像に基づいて前景照明画像を背景画像の照明条件における画像に変換する処理のフローチャートである。 例示的な変換後の前景照明画像と前景反射画像が合成して変換後の前景画像が得られる例示的状況である。 例示的な変換後の前景画像を背景画像内に合成する例示的状況である。 本発明の実施例に係る画像合成装置の機能配置ブロック図である。 本発明の実施例に係る例示的画像合成装置を実現するのに用いるコンピュータのブロック図である。

以下、本発明の実施例の図面を組み合わせて、本発明の実施例の技術案をはっきりと、完全に記述するが、言うまでもなく、記述する実施例は本発明の一部実施例に過ぎず、全ての実施例ではない。本発明の実施例に基づき、当業者が創造的労働をせずに取得したすべてのその他実施例は、すべて本発明の保護範囲に入る。

図1は例示的な本発明の実施例の画像合成技術の可能な応用場面である。図1に示すように、ユーザーはカメラ101の撮影範囲内に立ち、当該カメラ101がユーザーを撮影する。当該カメラ101は2Dまたは3Dカメラでよい。例えばコンピュータの処理装置102がカメラ101の撮影した画像を分析し、前景対象を抽出し、前景画像をある背景画像と合成し、新たな合成画像を生成する。プロジェクター103とプロジェクタースクリーン104は表示目的に用い、例えばディスプレイ、テレビなどその他表示装置もこの用途に用いることができる。説明すべきことは、図1は本発明の一つの可能な応用場面を図示しているに過ぎず、実際の状況に応じて、応用場面内の装置は合わせて増加または減少し、異なる配置を持つことができる。

前述したように、画像合成は複数の画像を一枚の新しい画像に合成するのに用いる。以下の文では、記述しやすくするため、一枚の画像内から抽出した前景対象の画像（以下、前景画像と省略）と一枚の背景画像の合成を例に、本発明の画像合成技術を記述する。前記前景画像を含む画像と前記背景画像は異なる時間、場所及び場面で取得したものであるため、異なる照明条件を有している。

以下、図2を参考に本発明の実施例の画像合成方法を記述する。図2は本発明の実施例の画像合成方法のプロ―チャートである。

図2に示すように、ステップS210では、前景画像と背景画像を取得する。

当該ステップでは、いずれかの方法で合成すべき前景画像と背景画像を取得することができる。例えば、外部から前記前景画像と背景画像を入力してもよいし、前記前景画像と背景画像を撮影してもよい。

ステップS220では、背景画像を背景照明画像と背景反射画像に分解する。

Edward Landが1986年に提起したRetinex色恒常性理論に基づいて、一枚の画像は式（1）に示すように照明（illumination）画像と反射（reflectance）画像に分解できる。

式中、S（x,y）は照明画像、R（x,y）は反射画像、（x,y）は画像内の画素の座標を表す。

現在、コンピュータ視覚分野では、画像分解の技術についてすでに多くの研究が行われ、多くの具体的な画像分解方法が提起されている。例えば、Arjan Gijsenijが2011年に発表した“Color constancy using Natural Image Statistics and Scene Semantics”、Nikola Banicが2013年に発表した“Using the random sprays retinex algorithm for global illumination
estimation”、Sean Bellが2014年に発表した“Intrinsic images in the wild”などの文章の中で具体的な画像分解方法が示されている。本発明では、例として、Sean Bellの提起した画像分解方法を採用する。以下は説明を完全なものにするためにのみ、当該画像分解方法について簡単に紹介する。

Sean Bellの提起した方法によると、画像分解は下記確率分布pに最も適合する反射画像Rと照明画像Sを探し求めることである。
を満たす。式中、
（外１）
はカラーチャンネル
（外２）
を表す。

具体的には、Sean Bellの提起した方法では、まず画素の色をK-meansクラスタリングすることで、反射画像Rの集合を初期化し、それから、各画素について反射画像Rの集合内から一つを選び取ってマーキングし、
（外３）
を最大化し、照明画像Sの中の不連続性を最小化することで、反射画像Rを調整する。

図3は、例示的な背景画像及び当該背景画像から分解して得た背景照明画像及び背景反射画像である。背景画像及びこれから分解して得た背景照明画像、背景反射画像が同じサイズを有していることがわかる。

前記画像分解方法は一つの例に過ぎず、当該ステップS220では、当業者であれば、いずれかの既知の画像分解方法を採用して背景画像を背景照明画像S_BG（x,y）と背景反射画像R_BG（x,y）に分解できる。

ステップS230では、背景照明画像に基づいて前景画像を背景画像の照明条件における画像に変換する。以下、図4を組み合わせて当該ステップ内の処理について詳細な記述を行う。図4は本発明の実施例の、背景照明画像に基づいて前景画像を背景画像の照明条件における画像に変換する処理のフローチャートである。

図4に示すように、ステップS2201では、前景画像を前景照明画像と前景反射画像に分解する。

背景画像の分解と同じく、当該ステップでは、本分野のいずれかの既知の画像分解方法を採用して前景画像を前景照明画像S_FG（x,y）と前景反射画像R_FG（x,y）に分解できるが、ここではこれ以上詳しくは述べない。図5は、例示的な前景画像及び当該前景画像から分解して得た前景照明画像及び前景反射画像である。

ステップS2202では、背景照明画像に基づいて前景照明画像を背景画像の照明条件における画像に変換する。

例として、当該ステップでは背景照明画像と前景照明画像のヒストグラムを利用して前景照明画像を変換する。別の面においては、前述したように、前景画像は一枚の画像内から抽出した前景対象の画像であり、それは通常画像全体の一部に過ぎず、また合成時、背景画像の一部領域を覆うだけである。つまり、合成される前景画像は背景画像の局部照明条件の影響を受けるに過ぎない。そのため、例として、当該ステップでは、背景照明画像内の局部領域のヒストグラムを利用して前景照明画像のヒストグラムを変換する。

以下、図6を組み合わせて当該ステップ内の処理について詳細な記述を行う。図6は、本発明の実施例の、背景照明画像に基づいて前景照明画像を背景画像の照明条件における画像に変換する処理のフローチャートである。

ステップS22021では、背景画像内の、前景画像が合成された領域を確定する。

当該ステップは背景画像内で前景画像が覆うべき領域を位置決めするのに用いる。例えば、図4と図5に示す前景画像と背景画像を例に、仮に前景画像の幅をw、高さをhとすると、当該ステップでは背景画像内で前景画像が合成される幅と高さがそれぞれwとhの領域を位置決めする。

ステップS22022では、背景照明画像内の前記領域に対応する局部ヒストグラムを計算する。

前述したように、背景画像及び分解して得た背景照明画像は同じサイズを有する。当該ステップでは、背景照明画像内の背景画像内で位置決めした領域に対応する領域の局部ヒストグラムを計算する。

画像のヒストグラムはよくつかわれる画像グレースケール分布を記述するのに用いる図であり、通常、横軸で画像のグレースケールを表し、縦軸で各グレースケールに含まれる画素数を表す。当該ステップでは、例として、式（3）に示すように背景照明画像内の背景画像内で位置決めした領域に対応する領域の局部ヒストグラムを計算する。

式中、r_kはk級グレースケール値、n_iは画像内のグレースケールがr_iの画素の個数、nは画像全体の画素の個数、P（r_k）はグレースケール値r_kが画像内で出現する確率を表している。

ステップS22023では、前景照明画像のヒストグラムを計算する。

当該ステップでは、ステップS23022と同じように前景照明画像のヒストグラムを計算するため、ここではこれ以上詳しくは述べない。

ステップS22024では、背景照明画像の局部ヒストグラムを目標ヒストグラムとして、前景照明画像のヒストグラムを規定化し、変換後の前景照明画像を取得する。

ヒストグラムの規定化は本分野では公知のよく使われる画像処理方法である。いわゆるヒストグラムの規定化とは、グレースケールマッピング関数を通じて、グレースケールヒストグラムを規定のヒストグラムの形状に改造することである。ヒストグラムの規定化は実際ではヒストグラムを代表とする画像への処理である。即ち入力画像にヒストグラム規定化処理を行うことで、出力画像に規定のヒストグラム形状を持たせる。このステップについて具体的には、式（4）に示すように、入力画像としての前景照明画像のヒストグラムに規定化処理を行うことで、背景照明画像の局部ヒストグラムの形状を持たせ、これによって出力画像としての変換後の前景照明画像を取得する。
式中

式中、Gはグレースケールマッピング関数、Z_kは出力希望画像の有する規定確率密度関数の離散化値、S_kは入力画像の確率密度関数の離散化値、P_r(r_j)は出力希望画像の有する指定確率密度関数、r_jはj級グレースケール値を表し、Lは離散グレースケールの数である。

前述のヒストグラム規定化処理を通じて、入力画像としての前景照明画像内の各画素に対して、その最初のグレースケール値を新しいグレースケール値にマッピングすることで、前景照明画像の変換を実現した。

以上、図6を組み合わせて、背景照明画像と前景照明画像のヒストグラムを利用して前景照明画像を背景画像の照明条件下に変換する例示的処理を記述した。選択的に、当該処理では、前景照明画像と背景照明画像を小ブロックに分け、さらに当該一つ一つの小ブロックにヒストグラム規定化を行い、前景照明画像の変換を実現できる。具体的には、図6に示すステップS22022で背景照明画像内の前記領域に対応する領域の局部ヒストグラムを計算するとき、まず背景照明画像内の前記領域に対応する領域をm×n個の小ブロックに分け、それから前記各小ブロックについてそのヒストグラムを計算する。同じように、図6に示すステップS22023で前景照明画像内のヒストグラムを計算するとき、前景照明画像を同じように前記のm×n個の小ブロックに分け、それから前記各小ブロックについてそのヒストグラムを計算する。続いて、図6に示すステップS22024でヒストグラム規定化処理を行うとき、前景照明画像の各小ブロックのヒストグラムについて、背景照明画像内の対応する小ブロックのヒストグラムを目標に、ヒストグラム規定化を行い、それによって前景照明画像の変換を実現する。前述のように各ブロックにヒストグラムの規定化を行うことで、照明変化の平滑性をきちんと保持でき、変換後の前景照明画像を背景照明画像の照明分布位置と関連させ、前景照明画像の背景画像の照明条件における効果をよりきちんと再現できる。

図4に戻り、ステップS2203では、合成後の前景照明画像S’_FG（x,y）と前景反射画像R_FG（x,y）を合成して変換後の前景画像を取得する。

前文で言及しているように、一枚の画像は式（1）に示すように照明画像と反射画像に分解できる。当該ステップでは、同様に当該式（1）を通じて、変換後の前景画像S’_FG（x,y）と前景反射画像R_FG（x,y）を合成し、変換後の前景画像を取得できる。図7は、例示的な変換後の前景照明画像と前景反射画像が合成して変換後の前景画像が得られる例示的状況である。

選択的に、上記ステップS2202で前景照明画像と背景照明画像を小ブロックに分け、一つ一つの小ブロックにヒストグラム規定化を行うことで前景照明画像の変換を実現する場合、当該ステップS2203では、合成処理を行う前に、まず変換後の前景照明画像に例えばガウシアンフィルタなどの平滑化フィルタリングを行い、可能な「ロッキング・アーティファクト」を除去し、その後平滑化フィルタリング後の前景照明画像と前景反射画像を合成して変換後の前景画像を取得できる。

図2に戻り、ステップS240では、変換後の前景画像を背景画像内に合成する。

当該ステップでは、変換後の前景画像が直接背景画像内の位置決めされた覆われるべき領域を覆うことで合成した画像を取得する。図8は、例示的な変換後の前景画像を背景画像内に合成する例示的状況である。

以上、図面を参考に本発明の実施例の画像合成方法を記述した。当該方法では、背景画像から分解して得た背景照明画像に基づいて前景画像を背景画像の照明条件における画像に変換し、それから変換後の前景画像を背景画像に合成し、それによって異なる照明条件下で取得した二枚の画像を一つに合成し、合成後の画像が自然な効果を示すようにすることができる。

説明すべきことは、以上の記述では前景画像と背景画像の合成を例に、本発明の画像合成技術を記述していることである。本発明は前景画像と背景画像の合成に限るものではなく、任意の二枚の画像の合成に用いることができることが理解できる。さらに明確に述べると、上記文章の記述した背景画像と前景画像はそれぞれ任意の第一画像と第二画像でよく、第二画像の大きさが（第一画像よりも）小さく、それによって合成時に第一画像全体を遮るように覆わなければよい。

以下、図9を参考に本発明の実施例の画像合成装置を記述する。図9は、本発明の実施例位の画像合成装置の機能配置ブロック図である。図9に示すように、画像合成装置900は、取得部910、分解部920、変換部930、及び合成部940を含むことができる。前記各部品の具体的な機能と操作は上記文章の図2−8について記述したものと基本的に同じであるため、重複を避け、以下では前記装置について簡単に記述し、細部の詳細な記述は省略する。

取得部910は第一画像と第二画像を取得するように配置している。前記取得部910は様々な適切な方式で合成すべき前景画像と背景画像を取得できる。例えば、当該取得部910が撮影ユニットで、合成すべき前景画像と背景画像を撮影したり、または当該取得部910が入力ユニットで、外部から前記前景画像と背景画像を入力してもよい。

分解部920は、第一画像を第一照明画像と第一反射画像に分解するように配置している。具体的には、分解部920はコンピュータ視覚分野のいずれかの既知の画像分解方法を採用して第一画像を第一照明画像S_BG（x,y）と第一反射画像R_BG（x,y）に分解できる。ここではこれ以上詳細には記述しない。

変換部930は、第一照明画像に基づいて第二画像を第一画像の照明条件における画像に変換するように配置している。例として、当該変換部930はサブ分解部9301、サブ変換部9302及びサブ合成部9303を含むことができる。

サブ分解部9301は第二画像を第二照明画像S_FG（x,y）と第二反射画像R_FG（x,y）に分解するように配置している。

サブ変換部9302は第一照明画像に基づいて第二照明画像を第一画像の照明条件における画像に変換する。例として、当該サブ変換部9302は第一照明画像と第二照明画像のヒストグラムを利用して第二照明画像を変換する。具体的には、サブ変換部9302が第一画像内の、第二画像が合成される領域を確定し、第一照明画像内の前記領域に対応する領域の局部ヒストグラムを計算し、さらに第二照明画像のヒストグラムを計算する。サブ変換部9302はさらに第一照明画像の局部ヒストグラムを目標ヒストグラムとし、第二照明画像のヒストグラムを規定化し、変換後の第二照明画像を取得するように配置している。ヒストグラムの規定化は本分野の公知のよく使われる画像処理方法である。いわゆるヒストグラムの規定化とは、グレースケールマッピング関数を通じて、グレースケールヒストグラムを規定のヒストグラムの形状に改造することである。ヒストグラムの規定化は実際にはヒストグラムを代表とする画像への処理である。ここでは、サブ変換部9302は前述の式（4）で入力画像としての第二照明画像のヒストグラムに規定化処理を行い、第一照明画像の局部ヒストグラム形状を持たせ、これによって出力画像としての変換後の第二照明画像を取得する。選択的に、サブ変換部9302は第二照明画像と第一照明画像を小ブロックに分け、さらに各小ブロックにヒストグラム規定化を行うことで第二照明画像の変換を実現できる。具体的には、サブ変換部9302は第一照明画像内の前記領域に対応する局部ヒストグラムを計算するとき、まず、第一照明画像内の前記領域に対応する領域をm×n個の小ブロックに分け、それから各前記ブロックについてそのヒストグラムを計算する。同じように、第二照明画像のヒストグラムを計算するとき、サブ変換部9302は第二照明画像を同じように前記のm×n個の小ブロックに分け、それから各前記小ブロックについてそのヒストグラムを計算する。続いて、ヒストグラム規定化処理を行うとき、サブ変換部9302は第二照明画像の各小ブロックのヒストグラムについて、第一照明画像内の対応する小ブロックのヒストグラムを目標に、ヒストグラムの規定化を行い、それによって第二照明画像の変換を実現する。前述のように一つ一つのブロックにヒストグラムの規定化を行うことで、照明変化の平滑性をきちんと保持でき、変換後の第二照明画像を第一照明画像の照明分布位置と関連させ、第二照明画像の第一画像の照明条件における効果をよりきちんと再現できる。

サブ合成部9303は、変換後の第二画像をと第二反射画像を合成して変換後の第二画像を取得するように配置している。具体的には、サブ合成部9303は上述の式（1）を通じて変換後の第二照明画像と第二反射画像を合成し、変換後の第二画像を取得できる。選択的に、サブ変換部9302が第二照明画像と第二照明画像を小ブロックに分け、一つ一つの小ブロックにヒストグラムの規定化を行い第二照明画像の変換を実現するように配置されている場合、サブ合成部9303は合成処理を行う前に、まず変換後の第二照明画像に例えばガウシアンフィルタなどの平滑化フィルタリングを行い、可能な「ロッキング・アーティファクト」を除去し、その後平滑化フィルタリング後の第二照明画像と第二反射画像を合成して変換後の第二画像を取得できる。

合成部940は、変換後の第二画像を前記第一画像内に合成するように配置している。具体的には、合成部940は変換後の第二画像を第一画像内の位置決めされた覆われるべき領域を覆うことで、合成した画像を取得する。

以上、図9を参考に本発明の実施例の画像合成装置900を記述した。当該画像合成装置900は第一画像から分解して得た第一照明画像に基づいて第二画像を第一画像の照明条件における画像に変換し、その後、変換後の第二画像を第一画像に合成し、それによって異なる照明条件下で取得した二枚の画像を一つに合成し、さらに合成後の画像が自然な効果を示すようにすることができる。

以下、図10を参考に本発明の実施例の例示的画像合成装置を実現するのに用いるコンピュータのブロック図を記述する。

図10に示すように、コンピュータ100は複数の処理器1002、記憶装置1004、カメラ1006及び出力装置1008を含み、これらのコンポーネントは通常バスシステム1010及び/またはその他形式の接続機構（未表示）を通じて互いに連結する。注意すべきことは、図10に示すコンピュータのコンポーネント及び構造は例に過ぎず、制限するものではなく、必要に応じてコンピュータ1000はその他コンピュータのコンポーネント及び構造を持つことができる。

処理器1002は中央処理装置（CPU）またはデータ処理能力及び/またはコマンド実行能力を有するその他形式の処理ユニットとすることができ、かつコンピュータ1000内のその他コンポーネントを制御して望む機能を実行できる。

記憶装置1004は一つまたは複数のコンピュータプログラム製品を含むことができ、前記コンピュータプログラム製品は例えば揮発性メモリ及び/または非揮発性メモリといった各種形式のコンピュータ可読記憶媒体を含むことができる。前記揮発性メモリはランダムアクセスメモリ（RAM）及び/またはキャッシュ（cache）などを含むことができる。前記非揮発性メモリは読取り専用メモリ（ROM）、ハードディスク、フラッシュメモリなどを含むことができる。前記コンピュータ可読記憶媒体には一つまたは複数のコンピュータプログラムコマンドを記憶でき、処理器1002が前記プログラムコマンドを実行し、前述の本発明の実施例の機能及び/またはその他望む機能を実現できる。前記コンピュータ可読記憶媒体にはさらに例えば前記第一照明画像、第一反射画像、第二照明画像、第二反射画像、各ヒストグラム、変換後の第二画像などの各種アプリケーションプログラムや各種データを記憶できる。

カメラ1006は前記第一画像と第二画像を撮影するのに用い、撮影された第一画像と第二画像は記憶装置1004に記憶され、その他コンポーネントの使用に供される。

出力装置1008は外部へ例えば合成した画像といった各種情報を出力することができ、ディスプレイ、プロジェクター、テレビなどの各種表示装置を含むことができる。

以上、具体的実施例を組み合わせて本発明の基本原理を記述したが、指摘すべきことは、本発明にて言及しているメリット、優位性、効果などは例に過ぎず、限定するものではなく、これらのメリット、優位性、効果などが本発明の各実施例が必ず備えていなければならないものであると考えることはできない。また、前述の開示の具体的細部は例示と理解しやすくするための役割しかなく、限定するものではなく、前記細部は本発明が前述の具体的な細部を採用して得実現しなければならないと制限しているわけではない。

本発明に関する部品、装置、システムのブロック図は例示的な例であるにすぎず、必ずブロック図の示す方式で接続、レイアウト、配置するように要求または暗示しているわけではない。当業者が認識している場合、任意の方式でこれら部品、装置、システムを接続、レイアウト、配置することができる。例えば「含める（包括）」「含む（包含）」「有する（具有）」などなどの単語は開放性語彙であり、「含むがこれに限らない」を指し、かつそれと互換使用できる。ここで使用している語彙「または」と「及び」は語彙「及び/または」を指し、かつそれと互換使用できるが、前後の文脈で明確に指示している場合はこの限りではない。ここで使用している語彙「例えば」は連句「例とするがこれに限らない」を指し、かつそれと互換使用できる。

本発明のステップフローチャート及び以上の方法説明は、例示的な例であるに過ぎず、必ず示した順序で各実施例のステップを行うように要求または暗示しているわけではなく、あるステップは並行、互いに独立、またはその他適切な順序で実行できる。例えば「その後」「それから」「続いて」等の語句は、ステップの順序を制限するものではない。これらは読者がこれらの方法の記述を通読するのを誘導するのに用いているだけである。

さらに指摘すべきことは、本発明の装置及び方法では、各部品または各ステップは分解及び/または新たに組み合わせることができる。これらの分解及び/または新たな組み合わせは本発明の等価案と見なす。

公開された方面の以上の説明を提供することで、当業者が本発明を実行または使用できるようにしている。これら方面の各種修正は、当業者にとって非常に自明であり、またここで定義している一般原理はその他方面に応用でき、本発明の範囲を逸脱しない。そのため、本発明はここに示した方面に限定される意図はなく、ここに公開している原理と新規性の特徴に一致する最も広い範囲に従う。以上、多くの例示方面と実施例を述べてきたが、当業者であれば、変形、修正、変更、追加及び副次的組み合わせが可能であることが認識できる。

Claims (11)

1. 第一画像と第二画像を取得するステップと、
   第一画像を第一照明画像と第一反射画像に分解するステップと、
   第一照明画像に基づいて第二画像を第一画像の照明条件における画像に変換するステップと、
   変換後の第二画像を前記第一画像内に合成するステップと、を含む、画像合成方法。
2. 第一照明画像に基づいて第二画像を第一画像の照明条件における画像に変換するステップは、
   第二画像を第二照明画像と第二反射画像に分解するステップと、
   第一照明画像に基づいて第二照明画像を第一画像の照明条件における画像に変換するステップと、
   変換後の第二照明画像と第二反射画像を合成して変換後の第二画像を取得するステップと、を含む、請求項1に記載の画像合成方法。
3. 第一照明画像に基づいて第二照明画像を第一画像の照明条件における画像に変換するステップは、さらに、
   第一画像内の、第二画像が合成された領域を確定するステップと、
   第一照明画像内の前記領域に対応する領域の局部ヒストグラムを計算するステップと、
   第二照明画像のヒストグラムを計算するステップと、
   第一照明画像の局部ヒストグラムを目標ヒストグラムとし、第二照明画像のヒストグラムを規定化し、変換後の第二照明画像を取得するステップと、を含む、請求項2に記載の画像合成方法。
4. 第一照明画像内の前記領域に対応する領域の局部ヒストグラムを計算するステップは、
   第一照明画像内の前記領域に対応する領域をm×n個の小ブロックに分けるステップと、
   各前記小ブロックについてヒストグラムを計算するステップと、を含む、請求項3に記載の画像合成方法。
5. 第二照明画像のヒストグラムを計算するステップは、
   第二照明画像を前記m×n個の小ブロックに分けるステップと、
   各前記小ブロックについてヒストグラムを計算するステップと、を含む、請求項4に記載の画像合成方法。
6. 第一照明画像の局部ヒストグラムを目標ヒストグラムとし、第二照明画像のヒストグラムを規定化するステップは、
   第二照明画像の各前記小ブロックのヒストグラムについて、第一照明画像内の対応する小ブロックのヒストグラムを目標ヒストグラムとして規定化するステップを含む、請求項5に記載の画像合成方法。
7. 変換後の第二照明画像と第二反射画像を合成して変換後の第二画像を取得するステップは、
   変換後の第二照明画像に平滑化フィルタリングを行うステップと、
   平滑化フィルタリング後の第二照明画像と第二反射画像を合成し、変換後の第二画像を取得するステップと、を含む、請求項6に記載の画像合成方法。
8. 第一画像と第二画像を取得するための取得部と、
   第一画像を第一照明画像と第一反射画像に分解するための分解部と、
   第一照明画像に基づいて第二画像を第一画像の照明条件における画像に変換するための変換部と、
   変換後の第二画像を前記第一画像内に合成するための合成部と、を含む、画像合成装置。
9. 処理器、
   メモリ、及び、
   前記メモリ内に記憶したコンピュータプログラムコマンドを含み、
   前記処理器による前記コンピュータプログラムコマンド実行時に、
   第一画像と第二画像を取得するステップと、
   第一画像を第一照明画像と第一反射画像に分解するステップと、
   第一照明画像に基づいて第二画像を第一画像の照明条件における画像に変換するステップと、
   変換後の第二画像を前記第一画像内に合成するステップと、を実行する、画像合成装置。
10. コンピュータに、請求項１〜７の任意の1項に記載の画像合成方法を実行させるためのプログラム。
11. 請求項10に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。