JP2004348362A

JP2004348362A - Image processing system and method, recording medium, and program

Info

Publication number: JP2004348362A
Application number: JP2003143596A
Authority: JP
Inventors: Hidenori Koyaizu; 秀紀小柳津
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-05-21
Filing date: 2003-05-21
Publication date: 2004-12-09

Abstract

<P>PROBLEM TO BE SOLVED: To provide a composite image without a sense of incongruity by determining the factors needed for the inverse white-balance conversion of an image of the real space, and applying the inverse white-balance conversion of the image to the composite image which achieves white balance, thereby adjusting a difference in the white-balance factor between the composite image and the image of the real space. <P>SOLUTION: A WB conversion factor calculating part 11 calculates a WB conversion factor of a background image I<SB>B</SB>based on a background image I<SB>B</SB>. A WB conversion factor calculating part 15 calculates a WB conversion factor for a foreground image I<SB>F</SB>. A WB conversion part 16 subjects the foreground image I<SB>F</SB>to WB conversion. An inverse WB conversion factor calculating part 12 calculates an inverse WB conversion factor based on the WB conversion factor of the background image supplied by the WB conversion factor calculating part 11. An inverse WB conversion part 16 subjects the foreground image I'<SB>F</SB>to inverse WB conversion on the basis of the inverse WB conversion factor. A synthesizing part 14 synthesizes the foreground image I''<SB>F</SB>subjected to inverse WB conversion with the background image I<SB>B</SB>and outputs the composite image created. Thus, the composite image with no sense of incongruity can be created. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像を合成する際、背景画像と合成画像のホワイトバランスの調整をとることにより違和感のない合成画像を生成できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
ＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）と実写画像を合成したり、実写画像同士を合成する技術は、映画やテレビジョン番組などの放送業界、広告、出版業界などで一般的な技術となりつつある。
【０００３】
また、ＡＲ（ＡｕｇｕｍｅｎｔｅｄＲｅａｌｉｔｙ）技術のように、ＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）のような人工的な画像と、実世界の画像とを合成して表示する技術の進歩により、それらを応用したゲームやシミュレーション装置が、民生用に開発されている。
【０００４】
例えば、画像を合成する方法としては、図１で示されるように、背景画像Ｉ_Ｂに前景画像Ｉ_Ｆを合成する場合、マスク画像Ｉ_Ｍ（背景画像の画素値がそのまま用いられる位置の画素は、画素値が０にされており、それ以外の位置の画素は０以外の値となっている画像）により前景画像となる部分以外の領域の色情報を除去して、背景画像Ｉ_Ｂの上に前景画像Ｉ_Ｆを重ね合わせることで、合成画像Ｉ_Ｏが生成される。
【０００５】
このように、複数の画像やＣＧを違和感なく合成するためには、それぞれの画像のホワイトバランスの整合性の取れた画像に変換して合成する必要がある。従来、複数の画像のホワイトバランスの整合を取るには、それぞれの画像毎に独立してホワイトバランスの整合をとった後に、それらを合成するか、ホワイトバランスに必要な係数を保存しておき、その係数を使って全ての画像のホワイトバランスを取る（例えば、特許文献１参照）か、或いは、ホワイトバランスの係数を固定して、同じカメラで撮像する、といった方法が知られている。
【０００６】
一方、撮影を行う際には、オートホワイトバランスを使わず、マニュアルホワイトバランスで色温度の違いによる撮影効果を狙う場合がある。例えば、夕焼けのシーンなど、オートホワイトバランス変換すると赤味が軽減してしまうため、マニュアルホワイトバランスによって赤味を強調するといった方法である。また、室内でろうそくの明かりを使って撮影する場合などでも、画像に、その雰囲気を残すために、オートホワイトバランスを使わないことがある。
【０００７】
【特許文献１】
特開平１０−１５０５８５号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、上述のようにホワイトバランスをマニュアル設定したシーンに対し、オートホワイトバランス変換された別の画像やＣＧを合成する場合、ホワイトバランスの違いにより、合成画像が不自然に見えてしまうことがあった。また、ホワイトバランスの係数を保存して全ての画像のホワイトバランスを取る方法の場合、ＣＧとの合成や、撮影したカメラが異なる時には、マニュアルホワイトバランスの情報が共用できず、違和感のある不自然な合成画像が生成されてしまうという課題があった。
【０００９】
さらに、現実空間が撮影された画像と合成される別の画像とで、異なるカメラによる異なるホワイトバランスの係数によってホワイトバランス変換がなされる場合、それらの画像を合成すると、異なるホワイトバランスにより調整された画像同士が合成されることにより、生成された合成画像の色合いに違和感が発生する恐れがあった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、現実空間が撮像された画像の逆ホワイトバランス変換に必要な係数を求め、ホワイトバランスが取れている合成画像に対し、撮影画像の逆ホワイトバランス変換を適用することで、合成画像と現実空間が撮像された画像とのホワイトバランスの係数のずれを調整することにより、違和感のない合成画像を生成できるようにするものである。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算手段と、第１の係数計算手段により計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像をホワイトバランス変換するホワイトバランス変換手段と、第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算手段と、第２の係数計算手段により計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算手段と、ホワイトバランス変換手段によりホワイトバランス変換された第１の画像を、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換手段と、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像を合成する画像合成手段とを備えることを特徴とする。
【００１２】
前記第１の画像は、前景画像とするようにすることができ、第２の画像は、背景画像とするようにすることができる。
【００１３】
本発明の画像処理方法は、第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算ステップと、第１の係数計算ステップの処理で計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像をホワイトバランス変換するホワイトバランス変換ステップと、第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算ステップと、第２の係数計算ステップの処理で計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算ステップと、ホワイトバランス変換ステップの処理でホワイトバランス変換された第１の画像を、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換ステップと、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像を合成する画像合成ステップとを含むことを特徴とする。
【００１４】
本発明の記録媒体のプログラムは、第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算ステップと、第１の係数計算ステップの処理で計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像をホワイトバランス変換するホワイトバランス変換ステップと、第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算ステップと、第２の係数計算ステップの処理で計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算ステップと、ホワイトバランス変換ステップの処理でホワイトバランス変換された第１の画像を、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換ステップと、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像を合成する画像合成ステップとを含むことを特徴とする。
【００１５】
本発明のプログラムは、第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算ステップと、第１の係数計算ステップの処理で計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像をホワイトバランス変換するホワイトバランス変換ステップと、第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算ステップと、第２の係数計算ステップの処理で計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算ステップと、ホワイトバランス変換ステップの処理でホワイトバランス変換された第１の画像を、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換ステップと、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像を合成する画像合成ステップとをコンピュータに実行させることを特徴とする。
【００１６】
本発明の画像処理装置および方法、並びにプログラムにおいては、第１の画像のホワイトバランス変換処理係数が計算され、計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像がホワイトバランス変換され、第２の画像のホワイトバランス変換処理係数が計算され、計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数が計算され、ホワイトバランス変換された第１の画像が、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換され、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像が合成される。
【００１７】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【００１８】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２０】
即ち、本発明の画像処理装置は、第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算手段（例えば、図２のホワイトバランス変換係数計算部１５）と、第１の係数計算手段により計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像をホワイトバランス変換するホワイトバランス変換手段（例えば、図２のホワイトバランス変換部１６）と、第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算手段（例えば、図２のホワイトバランス変換係数計算部１１）と、第２の係数計算手段により計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算手段（例えば、図２の逆ホワイトバランス変換係数計算部１２）と、ホワイトバランス変換手段によりホワイトバランス変換された第１の画像を、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換手段（例えば、図２の逆ホワイトバランス変換部１３）と、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像を合成する画像合成手段（例えば、図２の合成部１４）とを備えることを特徴とする。
【００２１】
前記第１の画像は、前景画像とするようにすることができ、第２の画像は、背景画像とするようにすることができる。
【００２２】
本発明の画像処理方法は、第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算ステップ（例えば、図３のフローチャートのステップＳ２の処理）と、第１の係数計算ステップの処理で計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像をホワイトバランス変換するホワイトバランス変換ステップ（例えば、図３のフローチャートのステップＳ３の処理）と、第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算ステップ（例えば、図３のフローチャートのステップＳ１の処理）と、第２の係数計算ステップの処理で計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算ステップ（例えば、図３のフローチャートのステップＳ４の処理）と、ホワイトバランス変換ステップの処理でホワイトバランス変換された第１の画像を、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換ステップ（例えば、図３のフローチャートのステップＳ５の処理）と、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像を合成する画像合成ステップ（例えば、図３のフローチャートのステップＳ６の処理）とを含むことを特徴とする。
【００２３】
図２は、本発明に係る前景画像と背景画像を合成し、合成画像を生成する画像処理装置１の一実施の形態の構成を示すブロック図である。
【００２４】
図２のＷＢ（ホワイトバランス）変換係数計算部１１は、入力される背景画像Ｉ_Ｂの各画素のＲＧＢ（ＲｅｄＧｒｅｅｎＢｌｕｅ）成分から、ホワイトバランスを調整するための変換に必要なＷＢ変換係数を求めて逆ＷＢ変換係数計算部１２に出力する。
【００２５】
逆ＷＢ変換係数計算部１２は、ＷＢ変換係数計算部１１より供給されてくるＷＢ変換係数に基づいて、逆ＷＢ変換処理に必要な逆ＷＢ変換係数を計算し、逆ＷＢ変換部１３に供給する。
【００２６】
ＷＢ変換係数計算部１５は、入力される前景画像Ｉ_Ｆの各画素のＲＧＢ（ＲｅｄＧｒｅｅｎＢｌｕｅ）成分から、ホワイトバランスを調整するための変換に必要なＷＢ変換係数を求めてＷＢ変換部１６に出力する。
【００２７】
ＷＢ変換部１６は、ＷＢ変換係数計算部１５より供給されるＷＢ変換係数を用いて、入力される前景画像Ｉ_ＦをＷＢ変換し、ＷＢ変換した前景画像Ｉ’_Ｆを逆ＷＢ変換部１３に出力する。
【００２８】
逆ＷＢ変換部１３は、逆ＷＢ変換係数計算部１２より供給された、背景画像に基づいて演算されている逆ＷＢ変換係数に基づいて、ＷＢ変換部１６より供給されるＷＢ変換された前景画像Ｉ’_Ｆに、逆ＷＢ変換を施し合成部１４に出力する。
【００２９】
合成部１４は、前景画像に対応したマスク画像Ｉ_Ｍを用いて、入力される背景画像と、自らの画像情報に基づいてＷＢ変換処理された後、逆ＷＢ変換処理された画像とを合成し、合成画像Ｉ_Ｏを生成して出力する。マスク画像Ｉ_Ｍは、合成画像のうち、背景画像の画素値を採用したい位置の画素の画素値を０として、それ以外の位置の画素の画素値を０以外の画素値とした画像であり、合成部１４は、このマスク画像Ｉ_Ｍの情報に基づいて、前景画像と背景画像を合成する。
【００３０】
次に、図３のフローチャートを参照して、図２の画像合成装置による画像合成処理について説明する。
【００３１】
ステップＳ１において、ＷＢ変換係数計算部１１は、入力される背景画像Ｉ_Ｂの各画素のＲＧＢ（ＲｅｄＧｒｅｅｎＢｌｕｅ）成分から、ホワイトバランスを調整するための変換に必要なＷＢ変換係数を求めて逆ＷＢ変換係数計算部１２に出力する。尚、詳細な処理については、図４のフローチャートを参照して、後述する。
【００３２】
ステップＳ２において、ＷＢ変換係数計算部１５は、入力される前景画像Ｉ_Ｆの各画素のＲＧＢ（ＲｅｄＧｒｅｅｎＢｌｕｅ）成分から、ホワイトバランスを調整するための変換に必要なＷＢ変換係数を求めてＷＢ変換部１６に出力する。尚、詳細な処理については、図５のフローチャートを参照して、後述する。
【００３３】
ステップＳ３において、ＷＢ変換部１６は、ＷＢ変換係数計算部１５より供給されるＷＢ変換係数を用いて、入力される前景画像をＷＢ変換し逆ＷＢ変換部１３に出力する。尚、詳細な処理については、図６のフローチャートを参照して、後述する。
【００３４】
ステップＳ４において、逆ＷＢ変換係数計算部１２は、ＷＢ変換係数計算部１１より供給されてくるＷＢ変換係数に基づいて、逆ＷＢ変換処理に必要な逆ＷＢ変換係数を計算し、逆ＷＢ変換部１３に供給する。尚、詳細な処理については、図７のフローチャートを参照して、後述する。
【００３５】
ステップＳ５において、逆ＷＢ変換部１３は、逆ＷＢ変換係数計算部１２より供給された、背景画像Ｉ_Ｂに基づいて演算されている逆ＷＢ変換係数に基づいて、ＷＢ変換部１６より供給されるＷＢ変換された前景画像に、逆ＷＢ変換を施し合成部１４に出力する。尚、詳細な処理については、図８のフローチャートを参照して、後述する。
【００３６】
ステップＳ６において、合成部１４は、前景画像に対応したマスク画像Ｉ_Ｍを用いて、入力される背景画像と、自らの画像に基づいてＷＢ変換処理された後、逆ＷＢ変換処理された画像とを合成し、合成画像Ｉ_Ｏを生成して出力する。尚、詳細な処理については、図９のフローチャートを参照して、後述する。
【００３７】
次に、図４のフローチャートを参照して、図３のフローチャートのステップＳ１の処理に対応する、背景画像のＷＢ変換係数計算処理について説明する。
【００３８】
ステップＳ２１において、ＷＢ変換係数計算部１１は、図示せぬカウンタＳ_ＢＲ，Ｓ_ＢＧ，Ｓ_ＢＢを０に初期化する。尚、このカウンタＳ_ＢＲ，Ｓ_ＢＧ，Ｓ_ＢＢは、それぞれ背景画像Ｉ_ＢのＷＢ変換係数のＲＧＢ成分の積算値を示すものである。
【００３９】
ステップＳ２２において、ＷＢ変換係数計算部１１は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、入力される背景画像Ｉ_Ｂの垂直方向の画素数をカウントするものである。
【００４０】
ステップＳ２３において、ＷＢ変換係数計算部１１は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、入力される背景画像Ｉ_Ｂの水平方向の画素数をカウントするものである。
【００４１】
ステップＳ２４において、ＷＢ変換係数計算部１１は、カウンタＳ_ＢＲ，Ｓ_ＢＧ，Ｓ_ＢＢのそれぞれに、入力された背景画像Ｉ_Ｂの（ｘ，ｙ）の座標上の画素のＲＧＢ成分であるＩ_ＢＲ（ｘ，ｙ），Ｉ_ＢＧ（ｘ，ｙ），Ｉ_ＢＢ（ｘ，ｙ）を加算する。
【００４２】
ステップＳ２５において、ＷＢ変換係数計算部１１は、カウンタｘを１インクリメントする。
【００４３】
ステップＳ２６において、ＷＢ変換係数計算部１１は、カウンタｘが入力された背景画像Ｉ_Ｂの水平方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ２４に戻る。すなわち、カウンタｘが入力された背景画像Ｉ_Ｂの水平方向の画素数を超えたと判定されるまで、ステップＳ２４乃至Ｓ２６の処理が繰り返される。
【００４４】
ステップＳ２６において、カウンタｘが入力された背景画像Ｉ_Ｂの水平方向の画素数を超えたと判定された場合、その処理は、ステップＳ２７に進む。
【００４５】
ステップＳ２７において、ＷＢ変換係数計算部１１は、カウンタｙを１インクリメントする。
【００４６】
ステップＳ２８において、ＷＢ変換係数計算部１１は、カウンタｙが入力された背景画像Ｉ_Ｂの垂直方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ２３に戻る。すなわち、カウンタｙが入力された背景画像Ｉ_Ｂの垂直方向の画素数を超えたと判定されるまで、ステップＳ２３乃至Ｓ２８の処理が繰り返される。
【００４７】
ステップＳ２８において、カウンタｙが入力された背景画像Ｉ_Ｂの垂直方向の画素数を超えたと判定された場合、その処理は、ステップＳ２９に進む。
【００４８】
ステップＳ２９において、ＷＢ変換係数計算部１１は、背景画像のＷＢ変換係数としてカウンタＳ_ＢＲ，Ｓ_ＢＧ，Ｓ_ＢＢの値を読み出して、逆ＷＢ変換係数計算部１３に供給する。
【００４９】
すなわち、ホワイトバランスの調整は、ＲＧＢ成分毎の画像内の総和からなるＷＢ変換係数に基づいてなされるものであるので、ＷＢ変換係数計算部１１は、図４のフローチャートのステップＳ２３乃至Ｓ２８の処理を繰り返すことにより、背景画像Ｉ_Ｂ内のＲＧＢ成分毎の総和を求め、これを背景画像のＷＢ変換係数として出力する。
【００５０】
より詳細には、背景画像Ｉ_Ｂの画素値をＩ_Ｂ＝（Ｉ_ＢＲ，Ｉ_ＢＧ，Ｉ_ＢＢ）^Ｔ、前景画像Ｉ_Ｆの画素値をＩ_Ｆ＝（Ｉ_ＦＲ，Ｉ_ＦＧ，Ｉ_ＦＢ）^Ｔ、合成画像Ｉ_Ｏの画素値をＩ_Ｏ＝（Ｉ_ＯＲ，Ｉ_ＯＧ，Ｉ_ＯＢ）^Ｔ、背景画像Ｉ_Ｂにホワイトバランスを掛けた背景画像をＩ’_Ｂ、その画素値をＩ’_Ｂ＝（Ｉ’_ＢＲ，Ｉ’_ＢＧ，Ｉ’_ＢＢ）^Ｔとそれぞれ表すものとすると、背景画像Ｉ_Ｂと、ホワイトバランスが掛けられた背景画像Ｉ_Ｂとの関係は、以下の式（１）で表される。
【００５１】
【数１】

【００５２】
ここで、Ｓ_ＢＲ，Ｓ_ＢＧ，Ｓ_ＢＢは、以下の式（２）で示されるように上述した図４のフローチャートを参照して説明した処理により求められる背景画像Ｉ_ＢのＷＢ変換係数である。また、Ｋ_Ｂは、背景画像Ｉ_ＢのＷＢ変換係数の正規化定数であり、背景画像Ｉ_Ｂとホワイトバランスが掛けられた背景画像Ｉ’_Ｂの輝度値の和を等しくするためのものである。
【００５３】
【数２】

【００５４】
尚、背景画像Ｉ_Ｂの輝度Ｌ_Ｂは、ＳＭＰＴＥ（ＳｏｃｉｅｔｙｏｆＭｏｔｉｏｎＰｉｃｔｕｒｅａｎｄＴｅｌｅｖｉｓｉｏｎＥｎｇｉｎｅｅｒｓ）１７０Ｍの定義により、ＲＧＢの値から次の式（３）で求められる。
【００５５】
Ｌ＝０．２９９×Ｉ_ＢＲ＋０．５８７×Ｉ_ＢＧ＋０．１４４×Ｉ_ＢＢ・・・（３）
【００５６】
ここで、背景画像Ｉ_Ｂの輝度値Ｌ_Ｂと、ホワイトバランスが掛けられた背景画像の輝度値Ｌ’_Ｂは、その総和が等しい。従って、以下の式（４）の関係が成立することになる。
【００５７】
【数３】

【００５８】
結果として、式（１）乃至（４）を展開することにより、背景画像Ｉ_ＢのＷＢ変換係数の正規化定数Ｋ_Ｂは、以下の式（５）で示されることになる。
【００５９】
【数４】

【００６０】
次に、図５のフローチャートを参照して、図３のフローチャートのステップＳ２の処理に対応する、前景画像のＷＢ変換係数計算処理について説明する。
【００６１】
ステップＳ４１において、ＷＢ変換係数計算部１５は、図示せぬカウンタＳ_ＦＲ，Ｓ_ＦＧ，Ｓ_ＦＢを０に初期化する。尚、このカウンタＳ_ＦＲ，Ｓ_ＦＧ，Ｓ_ＦＢは、それぞれ前景画像Ｉ_ＦのＷＢ変換係数のＲＧＢ成分の積算値を示すものである。
【００６２】
ステップＳ４２において、ＷＢ変換係数計算部１５は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、入力される前景画像Ｉ_Ｆの垂直方向の画素数をカウントするものである。
【００６３】
ステップＳ４３において、ＷＢ変換係数計算部１５は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、入力される前景画像Ｉ_Ｆの水平方向の画素数をカウントするものである。
【００６４】
ステップＳ４４において、ＷＢ変換係数計算部１５は、カウンタＳ_ＦＲ，Ｓ_ＦＧ，Ｓ_ＦＢのそれぞれに、入力された前景画像Ｉ_Ｆの（ｘ，ｙ）の座標上の画素のＲＧＢ成分であるＩ_ＦＲ（ｘ，ｙ），Ｉ_ＦＧ（ｘ，ｙ），Ｉ_ＦＢ（ｘ，ｙ）を加算する。
【００６５】
ステップＳ４５において、ＷＢ変換係数計算部１５は、カウンタｘを１インクリメントする。
【００６６】
ステップＳ４６において、ＷＢ変換係数計算部１５は、カウンタｘが入力された前景画像Ｉ_Ｆの水平方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ４４に戻る。すなわち、カウンタｘが入力された前景画像Ｉ_Ｆの水平方向の画素数を超えたと判定されるまで、ステップＳ４４乃至Ｓ４６の処理が繰り返される。
【００６７】
ステップＳ４６において、カウンタｘが入力された前景画像Ｉ_Ｆの水平方向の画素数を超えたと判定された場合、その処理は、ステップＳ４７に進む。
【００６８】
ステップＳ４７において、ＷＢ変換係数計算部１５は、カウンタｙを１インクリメントする。
【００６９】
ステップＳ４８において、ＷＢ変換係数計算部１５は、カウンタｙが入力された前景画像Ｉ_Ｆの垂直方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ４３に戻る。すなわち、カウンタｙが入力された前景画像Ｉ_Ｆの垂直方向の画素数を超えたと判定されるまで、ステップＳ４３乃至Ｓ４８の処理が繰り返される。
【００７０】
ステップＳ４８において、カウンタｙが入力された前景画像Ｉ_Ｆの垂直方向の画素数を超えたと判定された場合、その処理は、ステップＳ４９に進む。
【００７１】
ステップＳ４９において、ＷＢ変換係数計算部１５は、前景画像Ｉ_ＦのＷＢ変換係数としてカウンタＳ_ＦＲ，Ｓ_ＦＧ，Ｓ_ＦＢの値を読み出して、ＷＢ変換部１６に出力する。
【００７２】
すなわち、図４のフローチャートを参照して説明した背景画像のＷＢ変換係数を求めた処理と同様に、ホワイトバランスの調整は、ＲＧＢ成分毎の画像内の総和からなるＷＢ変換係数に基づいてなされるものであるので、ＷＢ変換係数計算部１５は、図５のフローチャートのステップＳ４３乃至Ｓ４８の処理を繰り返すことにより、背景画像Ｉ_Ｆ内のＲＧＢ成分毎の総和を求め、これを前景画像のＷＢ変換係数として出力する。
【００７３】
より詳細には、ホワイトバランスが掛けられた前景画像Ｉ’_Ｆの画素値をＩ’_Ｆ＝（Ｉ’_ＦＲ，Ｉ’_ＦＧ，Ｉ’_ＦＢ）^Ｔと表すものとすると、背景画像Ｉ_Ｆと、ホワイトバランスが掛けられた背景画像Ｉ’_Ｆとの関係は、以下の式（６）で表される。
【００７４】
【数５】

【００７５】
ここで、Ｓ_ＦＲ，Ｓ_ＦＧ，Ｓ_ＦＢは、以下の式（７）で示されるように上述した図５のフローチャートを参照して説明した処理により求められる前景画像Ｉ_ＦのＷＢ変換係数である。また、Ｋ_Ｆは、前景画像Ｉ_ＦのＷＢ変換係数の正規化定数であり、前景画像Ｉ_Ｆとホワイトバランスが掛けられた前景画像Ｉ’_Ｆの輝度値の和を等しくするためのものである。
【００７６】
【数６】

【００７７】
尚、前景画像Ｉ_Ｆの輝度値Ｌ_Ｆは、ＳＭＰＴＥ１７０Ｍの定義により、ＲＧＢの値から次の式（８）で求められる。
【００７８】
Ｌ＝０．２９９×Ｉ_ＦＲ＋０．５８７×Ｉ_ＦＧ＋０．１４４×Ｉ_ＦＢ・・・（８）
【００７９】
ここで、前景画像Ｉ_Ｆの輝度値Ｌ_Ｆと、ホワイトバランスが掛けられた前景画像の輝度値Ｌ’_Ｆは、その総和が等しい。
【００８０】
結果として、式（６）乃至（８）を展開することにより、前景画像Ｉ_ＦのＷＢ変換係数の正規化定数Ｋ_Ｆは、以下の式（９）で示されることになる。
【００８１】
【数７】

【００８２】
次に、図６のフローチャートを参照して、図３のフローチャートのステップＳ３の処理に対応する、前景画像のＷＢ変換処理について説明する。
【００８３】
ステップＳ６１において、ＷＢ変換部１６は、図示せぬカウンタＳ_ＦＲ，Ｓ_ＦＧ，Ｓ_ＦＢを読み出すことで、前景画像のＷＢ変換係数を読み出す。
【００８４】
ステップＳ６２において、ＷＢ変換部１６は、前景画像の正規化定数Ｋ_Ｆを計算する。より詳細には、カウンタＳ_ＦＲ，Ｓ_ＦＧ，Ｓ_ＦＢから読み出した前景画像のＷＢ変換係数に基づいて、上述した式（５）を計算することにより、前景画像の正規化定数Ｋ_Ｆを計算する。
【００８５】
ステップＳ６３において、ＷＢ変換部１６は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、入力される前景画像Ｉ_Ｆの垂直方向の画素数をカウントするものである。
【００８６】
ステップＳ６４において、ＷＢ変換部１６は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、入力される前景画像Ｉ_Ｆの水平方向の画素数をカウントするものである。
【００８７】
ステップＳ６５において、ＷＢ変換部１６は、読み出したカウンタＳ_ＦＲ，Ｓ_ＦＧ，Ｓ_ＦＢの値、ステップＳ６２の処理で演算された正規化定数Ｋ_Ｆ、および、それぞれに、入力された前景画像Ｉ_Ｆの（ｘ，ｙ）の座標上の画素のＲＧＢ成分であるＩ_ＦＲ（ｘ，ｙ），Ｉ_ＦＧ（ｘ，ｙ），Ｉ_ＦＢ（ｘ，ｙ）を用いて、上述した式（６）を演算することにより、各画素の画素値のＲＧＢ成分にＷＢ変換を掛けて、逆ＷＢ変換部１３に出力する。
【００８８】
ステップＳ６６において、ＷＢ変換部１６は、カウンタｘを１インクリメントする。
【００８９】
ステップＳ６７において、ＷＢ変換部１６は、カウンタｘが入力された前景画像Ｉ_Ｆの水平方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ６５に戻る。すなわち、カウンタｘが入力された前景画像Ｉ_Ｆの水平方向の画素数を超えたと判定されるまで、ステップＳ６５乃至Ｓ６７の処理が繰り返される。
【００９０】
ステップＳ６７において、カウンタｘが入力された前景画像Ｉ_Ｆの水平方向の画素数を超えたと判定された場合、その処理は、ステップＳ６８に進む。
【００９１】
ステップＳ６８において、ＷＢ変換部１６は、カウンタｙを１インクリメントする。
【００９２】
ステップＳ６９において、ＷＢ変換部１６は、カウンタｙが入力された前景画像Ｉ_Ｆの垂直方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ６４に戻る。すなわち、カウンタｙが入力された前景画像Ｉ_Ｆの垂直方向の画素数を超えたと判定されるまで、ステップＳ６４乃至Ｓ６９の処理が繰り返される。
【００９３】
ステップＳ６９において、カウンタｙが入力された前景画像Ｉ_Ｆの垂直方向の画素数を超えたと判定された場合、その処理は、終了する。
【００９４】
すなわち、ＷＢ変換部１６は、図６のフローチャートのステップＳ６４乃至Ｓ６９の処理を繰り返すことにより、前景画像Ｉ_ＦのＲＧＢ成分毎の各画素にＷＢ変換を施し、前景画像Ｉ_ＦにＷＢ変換を掛けた画素を逆ＷＢ変換部１３に出力する。
【００９５】
次に、図７のフローチャートを参照して、図３のフローチャートのステップＳ４の処理に対応する、背景画像の逆ＷＢ変換係数計算処理について説明する。
【００９６】
ステップＳ８１において、逆ＷＢ変換係数計算部１２は、図示せぬカウンタＳ_ＢＲ，Ｓ_ＢＧ，Ｓ_ＢＢを読み出す。
【００９７】
ステップＳ８２において、逆ＷＢ変換係数計算部１２は、図示せぬカウンタＳ’_ＦＲ，Ｓ’_ＦＧ，Ｓ’_ＦＢを０に初期化する。尚、このカウンタＳ’_ＦＲ，Ｓ’_ＦＧ，Ｓ’_ＦＢは、それぞれ背景画像Ｉ_ＢのＷＢ変換係数を用いた、ホワイトバランスが掛けられた前景画像Ｉ’_Ｆを逆ＷＢ変換するための逆ＷＢ変換係数のＲＧＢ成分にの積算値を示すものである。
【００９８】
ステップＳ８３において、逆ＷＢ変換係数計算部１２は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、入力されるＷＢが掛けられた前景画像Ｉ’_Ｆの垂直方向の画素数をカウントするものである。
【００９９】
ステップＳ８４において、逆ＷＢ変換係数計算部１２は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、入力されるＷＢが掛けられた前景画像Ｉ’_Ｆの水平方向の画素数をカウントするものである。
【０１００】
ステップＳ８５において、逆ＷＢ変換係数計算部１２は、カウンタＳ’_ＦＲ，Ｓ’_ＦＧ，Ｓ’_ＦＢのそれぞれに、入力されたＷＢ変換が掛けられた前景画像Ｉ’_Ｆの（ｘ，ｙ）の座標上の画素のＲＧＢ成分であるＩ’_ＦＲ（ｘ，ｙ），Ｉ’_ＦＧ（ｘ，ｙ），Ｉ’_ＦＢ（ｘ，ｙ）を加算する。
【０１０１】
ステップＳ８６において、逆ＷＢ変換係数計算部１２は、カウンタｘを１インクリメントする。
【０１０２】
ステップＳ８７において、逆ＷＢ変換係数計算部１２は、カウンタｘが入力されたＷＢが掛けられた前景画像Ｉ’_Ｆの水平方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ８５に戻る。すなわち、カウンタｘが入力されたＷＢが掛けられた前景画像Ｉ’_Ｆの水平方向の画素数を超えたと判定されるまで、ステップＳ８５乃至Ｓ８７の処理が繰り返される。
【０１０３】
ステップＳ８７において、カウンタｘが入力されたＷＢが掛けられた前景画像Ｉ’_Ｆの水平方向の画素数を超えたと判定された場合、その処理は、ステップＳ８８に進む。
【０１０４】
ステップＳ８８において、逆ＷＢ変換係数計算部１２は、カウンタｙを１インクリメントする。
【０１０５】
ステップＳ８９において、逆ＷＢ変換係数計算部１２は、カウンタｙが入力されたＷＢが掛けられている前景画像Ｉ’_Ｆの垂直方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ８４に戻る。すなわち、カウンタｙが入力されたＷＢが掛けられている前景画像Ｉ’_Ｆの垂直方向の画素数を超えたと判定されるまで、ステップＳ８４乃至Ｓ８９の処理が繰り返される。
【０１０６】
ステップＳ８９において、カウンタｙが入力されたＷＢが掛けられた前景画像Ｉ’_Ｆの垂直方向の画素数を超えたと判定された場合、その処理は、ステップＳ９０に進む。
【０１０７】
ステップＳ９０において、逆ＷＢ変換係数計算部１２は、背景画像Ｉ_ＢのＷＢ変換係数を用いた、前景画像Ｉ_Ｆの逆ＷＢ変換正規化係数Ｋ’_Ｆを演算し、逆ＷＢ変換部１３に出力する。
【０１０８】
すなわち、背景画像の逆ＷＢ変換は、以下に示す式（１０）で示される関係となる。
【０１０９】
【数８】

【０１１０】
上述の式（１０）で示される逆ＷＢ変換に用いられる逆ＷＢ変換係数を用いて、ＷＢ変換された前景画像Ｉ_Ｆを逆ＷＢ変換するためには、以下の式（１１）で示される演算がなされることになる。
【０１１１】
【数９】

【０１１２】
ここで、Ｉ’’_ＦＲ，Ｉ’’_ＦＧ，Ｉ’’_ＦＢは、背景画像Ｉ_ＢのＷＢ変換係数を用いて、ＷＢ変換された前景画像Ｉ’_Ｆが、逆ＷＢ変換された画素値のＲＧＢ成分を示している。また、逆ＷＢ変換の正規化係数Ｋ’_Ｆは、以下に示される式（１２）で示されるように、背景画像Ｉ_ＢのＷＢ変換係数を用いて、ＷＢ変換された前景画像Ｉ’_Ｆの輝度値Ｌ’’_Ｆと、ＷＢ変換が掛けられた前景画像の輝度値Ｌ’_Ｆが、同一となる関係から、以下の式（１３）のように導き出される。
【０１１３】
【数１０】

【０１１４】
【数１１】

【０１１５】
結果として、逆ＷＢ変換係数計算部１２は、上述した式（１３）を演算することにより、逆ＷＢ変換正規化係数Ｋ’_Ｆを求めて、逆ＷＢ変換部１３に出力する。
【０１１６】
次に、図８のフローチャートを参照して、逆ＷＢ変換部１３による、ＷＢ変換された前景画像の、背景画像のＷＢ変換係数を用いた、逆ＷＢ変換処理について説明する。
【０１１７】
ステップＳ１０１において、逆ＷＢ変換部１３は、図示せぬカウンタＳ_ＢＲ，Ｓ_ＢＧ，Ｓ_ＢＢと、逆ＷＢ正規化変換定数Ｋ’_Ｆを読み出す。
【０１１８】
ステップＳ１０２において、逆ＷＢ変換部１３は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、入力されるＷＢが掛けられた前景画像Ｉ’_Ｆの垂直方向の画素数をカウントするものである。
【０１１９】
ステップＳ１０３において、逆ＷＢ変換部１３は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、入力されるＷＢが掛けられた前景画像Ｉ’_Ｆの水平方向の画素数をカウントするものである。
【０１２０】
ステップＳ１０４において、逆ＷＢ変換部１３は、読み出したカウンタＳ_ＢＲ，Ｓ_ＢＧ，Ｓ_ＢＢと、逆ＷＢ変換正規化定数Ｋ’_Ｆを用いて、入力されたＷＢ変換が掛けられている前景画像Ｉ’_Ｆの（ｘ，ｙ）の座標上の画素のＲＧＢ成分であるＩ’_ＦＲ（ｘ，ｙ），Ｉ’_ＦＧ（ｘ，ｙ），Ｉ’_ＦＢ（ｘ，ｙ）に逆ＷＢ変換を掛け、これらの処理が施された画像Ｉ’’_ＦＲ（ｘ，ｙ），Ｉ’’_ＦＧ（ｘ，ｙ），Ｉ’’_ＦＢ（ｘ，ｙ）を合成部１４に出力する。より詳細には、逆ＷＢ変換部１３は、上述した式（１１）の演算を実行することにより、ＷＢが掛けられた前景画像Ｉ’_Ｆに逆ＷＢ変換をかける。
【０１２１】
ステップＳ１０５において、逆ＷＢ変換部１３は、カウンタｘを１インクリメントする。
【０１２２】
ステップＳ１０６において、逆ＷＢ変換部１３は、カウンタｘが入力されたＷＢが掛けられている前景画像Ｉ’_Ｆの水平方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ１０４に戻る。すなわち、カウンタｘが入力されたＷＢが掛けられた前景画像Ｉ’_Ｆの水平方向の画素数を超えたと判定されるまで、ステップＳ１０４乃至Ｓ１０６の処理が繰り返される。
【０１２３】
ステップＳ１０６において、カウンタｘが入力されたＷＢが掛けられた前景画像Ｉ’_Ｆの水平方向の画素数を超えたと判定された場合、その処理は、ステップＳ１０７に進む。
【０１２４】
ステップＳ１０７において、逆ＷＢ変換部１３は、カウンタｙを１インクリメントする。
【０１２５】
ステップＳ１０８において、逆ＷＢ変換部１３は、カウンタｙが入力されたＷＢが掛けられている前景画像Ｉ’_Ｆの垂直方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ１０３に戻る。すなわち、カウンタｙが入力されたＷＢが掛けられた前景画像Ｉ’_Ｆの垂直方向の画素数を超えたと判定されるまで、ステップＳ１０３乃至Ｓ１０８の処理が繰り返される。
【０１２６】
ステップＳ１０８において、カウンタｙが入力されたＷＢが掛けられた前景画像Ｉ’_Ｆの垂直方向の画素数を超えたと判定された場合、その処理は、終了する。
【０１２７】
すなわち、逆ＷＢ変換部１３は、ステップＳ１０３乃至Ｓ１０８の処理を繰り返すことにより、ＷＢ変換部１６より供給されたＷＢ変換された前景画像Ｉ’_Ｆに、上述した式（１１）で示される演算をすることで、逆ＷＢ変換を掛けて、合成しようとする前景画像Ｉ_Ｆを背景画像Ｉ_ＢのＷＢ変換係数に適合するように逆ＷＢ変換する。
【０１２８】
次に、図９のフローチャートを参照して、合成部１４による合成処理について説明する。
【０１２９】
ステップＳ１２１において、合成部１４は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、入力される背景画像Ｉ_Ｂの垂直方向の画素数をカウントするものである。
【０１３０】
ステップＳ１２２において、合成部１４は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、入力される背景画像Ｉ_Ｂの水平方向の画素数をカウントするものである。
【０１３１】
ステップＳ１２３において、合成部１４は、今の座標（ｘ，ｙ）に対応するマスク画像Ｉ_Ｍの画素Ｉ_Ｍ（ｘ，ｙ）が、０以外の値となっているか否かを判定する。すなわち、マスク画像Ｉ_Ｍは、背景画像をそのまま残す領域に０が設定され、それ以外の画素に０以外の値（例えば、１）が設定されることにより、合成する前景画像をマスキングするもの（前景画像と背景画像を区別するもの）である。従って、マスク画像Ｉ_Ｍの画素Ｉ_Ｍ（ｘ，ｙ）が、０であるということは、その位置の画素の画素値は、背景画像がそのまま用いられ、０以外の値であると言うことは、その位置の画素の画素値は、逆ＷＢ変換されている前景画像の画素値が用いられることになる。
【０１３２】
ステップＳ１２３において、今の座標（ｘ，ｙ）に対応するマスク画像Ｉ_Ｍの画素Ｉ_Ｍ（ｘ，ｙ）が、０以外の値となっていると判定された場合、ステップＳ１２４において、合成部１４は、合成画像Ｉ_Ｏの画素値Ｉ_Ｏ（ｘ，ｙ）が、ＷＢが掛けられた後、背景画像のＷＢ変換係数に基づいて逆ＷＢ変換された前景画像Ｉ’’_Ｆ（ｘ，ｙ）の画素値であるとものとみなし、ＲＧＢの各成分の画素値Ｉ_ＯＲ（ｘ，ｙ），Ｉ_ＯＧ（ｘ，ｙ），Ｉ_ＯＢ（ｘ，ｙ）を、Ｉ’’_ＦＲ（ｘ，ｙ），Ｉ’’_ＦＧ（ｘ，ｙ），Ｉ’’_ＦＢ（ｘ，ｙ）に設定し、その処理は、ステップＳ１２６に進む。
【０１３３】
一方、ステップＳ１２３において、今の座標（ｘ，ｙ）に対応するマスク画像Ｉ_Ｍの画素Ｉ_Ｍ（ｘ，ｙ）が、０以外の値となっていない、すなわち、０であると判定された場合、ステップＳ１２５において、合成部１４は、合成画像Ｉ_Ｏの画素値Ｉ_Ｏ（ｘ，ｙ）が、背景画像Ｉ_Ｂ（ｘ，ｙ）の画素値であるとものとみなし、ＲＧＢの各成分の画素値Ｉ_ＯＲ（ｘ，ｙ），Ｉ_ＯＧ（ｘ，ｙ），Ｉ_ＯＢ（ｘ，ｙ）を、Ｉ_ＢＲ（ｘ，ｙ），Ｉ_ＢＧ（ｘ，ｙ），Ｉ_ＢＢ（ｘ，ｙ）に設定し、その処理は、ステップＳ１２６に進む。
【０１３４】
ステップＳ１２６において、合成部１４は、カウンタｘを１インクリメントする。
【０１３５】
ステップＳ１２７において、合成部１４は、カウンタｘが入力された背景画像Ｉ_Ｂの水平方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ１２３に戻る。すなわち、カウンタｘが入力された背景画像Ｉ_Ｂの水平方向の画素数を超えたと判定されるまで、ステップＳ１２３乃至Ｓ１２７の処理が繰り返される。
【０１３６】
ステップＳ１２７において、カウンタｘが入力された背景画像Ｉ_Ｂの水平方向の画素数を超えたと判定された場合、その処理は、ステップＳ１２８に進む。
【０１３７】
ステップＳ１２８において、合成部１４は、カウンタｙを１インクリメントする。
【０１３８】
ステップＳ１２９において、合成部１４は、カウンタｙが入力された背景画像Ｉ_Ｂの垂直方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ１２２に戻る。すなわち、カウンタｙが入力された背景画像Ｉ_Ｂの垂直方向の画素数を超えたと判定されるまで、ステップＳ１２２乃至Ｓ１２９の処理が繰り返される。
【０１３９】
ステップＳ１２９において、カウンタｙが入力された背景画像Ｉ_Ｂの垂直方向の画素数を超えたと判定された場合、その処理は、終了する。同時に、図３のフローチャートの処理が終了する。
【０１４０】
すなわち、合成部１４は、マスク画像Ｉ_Ｍ上の画素値、より詳細には、前景画像であるか、背景画像であるかを識別する値に基づいて、前景画像Ｉ_Ｆの画素値であるか、または、背景画像Ｉ_Ｂの画素値であるかを識別し、識別された画素値を、合成画像Ｉ_Ｏの各画素値に置き換えることにより、背景画像と、ＷＢ調整された後、背景画像のＷＢ変換係数に基づいて逆ＷＢ変換された前景画像を合成する。
【０１４１】
以上の処理をまとめると、図１０で示されるようになる。
【０１４２】
すなわち、図３のステップＳ１の処理、すなわち、図４のフローチャートを参照して説明した処理により、ＷＢ変換係数計算部１１が、背景画像Ｉ_Ｂに基づいて、背景画像Ｉ_ＢのＷＢ変換係数を計算し、逆ＷＢ変換係数計算部１２に出力する。
【０１４３】
図３のステップＳ２の処理、すなわち、図５のフローチャートを参照して説明した処理により、ＷＢ変換係数計算部１５が、前景画像Ｉ_Ｆに基づいて、前景画像Ｉ_ＦのＷＢ変換係数を計算し、ＷＢ変換部１６に出力する。
【０１４４】
図３のステップＳ３の処理、すなわち、図６のフローチャートを参照して説明した処理により、ＷＢ変換部１６が、前景画像Ｉ_ＦをＷＢ変換し、ＷＢ変換した前景画像Ｉ’_Ｆを逆ＷＢ変換部１３に出力する。
【０１４５】
図３のステップＳ４の処理、すなわち、図７のフローチャートを参照して説明した処理により、逆ＷＢ変換係数計算部１２が、ＷＢ変換係数計算部１１より供給された背景画像のＷＢ変換係数に基づいて、逆ＷＢ変換係数を計算し、逆ＷＢ変換部１３に出力する。
【０１４６】
図３のステップＳ５の処理、すなわち、図８のフローチャートを参照して説明した処理により、逆ＷＢ変換部１６が、逆ＷＢ変換係数計算部１３より供給された背景画像Ｉ_Ｂの変換係数に基づいて計算されている逆ＷＢ変換係数に基づいて、ＷＢ変換部１６より供給されたＷＢ変換された前景画像Ｉ’_Ｆを逆ＷＢ変換し、逆ＷＢ変換した前景画像Ｉ’’_Ｆを合成部１４に出力する。
【０１４７】
図３のステップＳ６の処理、すなわち、図９のフローチャートを参照して説明した処理により、合成部１４が、逆ＷＢ変換部１３より供給された、背景画像のＷＢ変換係数から計算された逆ＷＢ変換係数に基づいて、逆ＷＢ変換されている前景画像Ｉ’’_Ｆと、背景画像Ｉ_Ｂを、マスク画像Ｉ_Ｍの情報に基づいて合成し、生成した合成画像を出力する。
【０１４８】
このような処理により、合成される前景画像は、背景画像のＷＢ変換係数から計算された逆ＷＢ変換係数に基づいて、逆ＷＢ変換された後に背景画像と合成されるため、前景画像が背景画像とよく馴染んだ色合いとなり、違和感のない自然な合成画像を生成することが可能となる。
【０１４９】
尚、以上においては、前景画像が、背景画像のＷＢ変換係数から計算された逆ＷＢ変換係数に基づいて、逆ＷＢ変換された後に背景画像と合成される場合について説明してきたが、前景画像と背景画像の関係が逆となるように処理しても、上述の処理と同様であることは言うまでもないが、この場合、前景画像の色合いに基づいて、背景画像のＷＢが調整されることになる。結果として、上述したように、背景画像が前景画像とよく馴染んだ色合いとなり、違和感のない自然な色合いの合成画像を生成することが可能となる。
【０１５０】
さらに、以上においては、前景画像と背景画像の２枚の画像を合成する場合について説明してきたが、２枚以上の画像を合成する場合に適用してもよく、この場合、いずれかＷＢの基準となる画像を決めて、その基準となる画像のＷＢ変換係数に基づいて、逆ＷＢ変換係数を求めて、その他の画像を、その逆ＷＢ変換係数を用いて逆ＷＢ変換した後、合成することで、上述と同様の効果が得られる。
【０１５１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１５２】
図１１は、画像処理装置１をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのＣＰＵ１０１は、パーソナルコンピュータの動作の全体を制御する。また、ＣＰＵ１０１は、バス１０４および入出力インタフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１０２に格納されているプログラムを実行する。あるいはまた、ＣＰＵ１０１は、ドライブ１１０に接続された磁気ディスク１１１、光ディスク１１２、光磁気ディスク１１３、または半導体メモリ１１４から読み出され、記憶部１０８にインストールされたプログラムを、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０３にロードして実行し、出力部１０７が実行結果を出力する。さらに、ＣＰＵ１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【０１５３】
プログラムが記録されている記録媒体は、図１１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１１１（フレキシブルディスクを含む）、光ディスク１１２（ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ），ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）を含む）、光磁気ディスク１１３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）を含む）、もしくは半導体メモリ１１４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１５４】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１５５】
【発明の効果】
本発明によれば、違和感のない自然な色合いの画像として複数の画像を合成することが可能となる。
【図面の簡単な説明】
【図１】従来の画像合成を説明する図である。
【図２】本発明を適用した画像合成装置の一実施の形態の構成を示す図である。
【図３】図２の画像合成装置による画像合成処理を説明するフローチャートである。
【図４】図３のステップＳ１の処理である、背景画像のＷＢ変換係数計算処理を説明するフローチャートである。
【図５】図３のステップＳ２の処理である、前景画像のＷＢ変換係数計算処理を説明するフローチャートである。
【図６】図３のステップＳ３の処理である、前景画像のＷＢ変換処理を説明するフローチャートである。
【図７】図３のステップＳ４の処理である、逆ＷＢ変換係数計算処理を説明するフローチャートである。
【図８】図３のステップＳ５の処理である、前景画像の逆ＷＢ変換処理を説明するフローチャートである。
【図９】図３のステップＳ６の処理である、合成処理を説明するフローチャートである。
【図１０】図３のフローチャートの処理を説明する図である。
【図１１】記録媒体を説明する図である。
【符号の説明】
１画像処理装置１１ＷＢ変換係数計算部，１２逆変換係数計算部，１３逆ＷＢ変換部，１４合成部，１５ＷＢ変換係数計算部，１６ＷＢ変換部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus and method, a recording medium, and a program. In particular, when combining images, it is possible to generate a combined image without a sense of incongruity by adjusting the white balance between the background image and the combined image. The present invention relates to an image processing apparatus and method, a recording medium, and a program.
[0002]
[Prior art]
2. Description of the Related Art Techniques for combining a CG (Computer Graphics) with an actual photographed image or combining actual photographed images are becoming general techniques in the broadcasting industry such as a movie or a television program, an advertisement, a publishing industry, and the like.
[0003]
In addition, due to the progress of technology for combining and displaying an artificial image such as CG (Computer Graphics) and an image of the real world, such as an AR (Augmented Reality) technology, games and simulation devices using these technologies have been developed. Is being developed for consumer use.
[0004]
For example, as a method of synthesizing an image, as shown in FIG. _B Foreground image I _F Are combined, the mask image I _M (The pixel at the position where the pixel value of the background image is used as it is is an image in which the pixel value is set to 0, and the pixel at other positions is a value other than 0.) Of the background image I _B On the foreground image I _F Is superimposed on the composite image I _O Is generated.
[0005]
As described above, in order to combine a plurality of images and CGs without a sense of incongruity, it is necessary to convert each of the images into an image having a consistent white balance and combine the images. Conventionally, in order to match the white balance of a plurality of images, after adjusting the white balance independently for each image, combine them, or store the coefficients necessary for white balance, A method is known in which the white balance of all images is obtained using the coefficient (for example, see Patent Document 1), or an image is captured by the same camera with the coefficient of white balance fixed.
[0006]
On the other hand, when photographing, there is a case where a photographing effect due to a difference in color temperature is aimed at with a manual white balance without using an auto white balance. For example, a method of emphasizing redness with a manual white balance since redness is reduced when performing auto white balance conversion in a sunset scene or the like. In addition, even when photographing indoors using candlelight, the auto white balance may not be used in order to leave the atmosphere in the image.
[0007]
[Patent Document 1]
JP-A-10-150585
[0008]
[Problems to be solved by the invention]
However, when a different image or CG subjected to auto white balance conversion is combined with a scene in which white balance is manually set as described above, the combined image may look unnatural due to a difference in white balance. Was. In the case of a method of storing the white balance coefficient and taking the white balance of all images, manual white balance information cannot be shared when combining with a CG or when a different camera is used, which makes the image unnatural. There is a problem that a complicated composite image is generated.
[0009]
Further, when white balance conversion is performed by an image captured in the real space and another image to be synthesized by different white balance coefficients from different cameras, when those images are synthesized, the images are adjusted by different white balances. When the images are combined with each other, there is a possibility that the color tone of the generated combined image may cause a sense of incongruity.
[0010]
The present invention has been made in view of such a situation, and obtains a coefficient necessary for inverse white balance conversion of an image obtained by imaging a real space, and performs an inverse operation of a captured image on a composite image having a white balance. By applying the white balance conversion, it is possible to adjust the deviation of the white balance coefficient between the synthesized image and the image obtained by capturing the real space, thereby generating a synthesized image without a sense of incongruity.
[0011]
[Means for Solving the Problems]
An image processing apparatus according to an embodiment of the present invention includes a first coefficient calculation unit that calculates a white balance conversion processing coefficient of a first image, and a white balance conversion processing coefficient of the first image calculated by the first coefficient calculation unit. , A white balance conversion means for white balance conversion of the first image, a second coefficient calculation means for calculating a white balance conversion processing coefficient of the second image, and a second coefficient calculation means. A third coefficient calculating means for calculating an inverse white balance conversion coefficient based on the white balance conversion processing coefficient of the second image, and a first image which has been white balance converted by the white balance conversion means. Reverse white balance conversion means for performing reverse white balance conversion based on the balance conversion processing coefficient; Based on, characterized in that it comprises a first image which is the inverse white balance conversion process, and an image synthesizing means for synthesizing the second image.
[0012]
The first image may be a foreground image, and the second image may be a background image.
[0013]
An image processing method according to the present invention includes a first coefficient calculating step of calculating a white balance conversion processing coefficient of a first image, and a white balance conversion of the first image calculated in the processing of the first coefficient calculating step. Processing of a white balance conversion step for white balance conversion of a first image based on a processing coefficient, a second coefficient calculation step of calculating a white balance conversion processing coefficient of a second image, and a second coefficient calculation step A third coefficient calculation step of calculating an inverse white balance conversion processing coefficient based on the white balance conversion processing coefficient of the second image calculated in step (a), and a first coefficient white balance converted in the processing of the white balance conversion step. Inverse white balance conversion, which performs an inverse white balance conversion of the image based on the inverse white balance conversion processing coefficient And-up, based on the inverse white balance conversion coefficients, characterized by comprising a first image which is the inverse white balance conversion process, and an image synthesizing step of synthesizing the second image.
[0014]
The program of the recording medium according to the present invention includes a first coefficient calculating step of calculating a white balance conversion processing coefficient of the first image, and a white balance of the first image calculated in the processing of the first coefficient calculating step. A white balance conversion step of performing white balance conversion on the first image based on the conversion processing coefficient, a second coefficient calculation step of calculating a white balance conversion processing coefficient of the second image, and a second coefficient calculation step A third coefficient calculation step of calculating an inverse white balance conversion processing coefficient based on the white balance conversion processing coefficient of the second image calculated in the processing, and a third coefficient white balance conversion processing performed in the white balance conversion step. 1 is an inverse white balance that performs inverse white balance conversion on the basis of the inverse white balance conversion processing coefficient. A conversion step, based on the inverse white balance conversion coefficients, characterized by comprising a first image which is the inverse white balance conversion process, and an image synthesizing step of synthesizing the second image.
[0015]
A program according to the present invention includes a first coefficient calculation step of calculating a white balance conversion processing coefficient of a first image, and a white balance conversion processing coefficient of the first image calculated in the processing of the first coefficient calculation step. , A white balance conversion step of white balance conversion of the first image, a second coefficient calculation step of calculating a white balance conversion processing coefficient of the second image, and a second coefficient calculation step. A third coefficient calculating step of calculating an inverse white balance conversion processing coefficient based on the white balance conversion processing coefficient of the second image, and a first image subjected to white balance conversion in the processing of the white balance conversion step To the inverse white balance conversion coefficient based on the inverse white balance conversion processing coefficient. And flop, based on the inverse white balance conversion coefficients, and wherein the first image that has been inverse white balance conversion processing that is executed and an image synthesizing step of synthesizing the second image to the computer.
[0016]
In the image processing apparatus, method, and program according to the present invention, a white balance conversion processing coefficient of a first image is calculated, and a first image is calculated based on the calculated white balance conversion processing coefficient of the first image. Is subjected to white balance conversion, a white balance conversion processing coefficient of the second image is calculated, and an inverse white balance conversion processing coefficient is calculated based on the calculated white balance conversion processing coefficient of the second image. The converted first image is subjected to inverse white balance conversion based on the inverse white balance conversion processing coefficient, and the first image subjected to inverse white balance conversion processing based on the inverse white balance conversion processing coefficient, and the second image. Are synthesized.
[0017]
The image processing device of the present invention may be an independent device or a block that performs image processing.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiments of the present invention will be described below. The correspondence between constituent elements described in the claims and specific examples in the embodiments of the present invention is as follows. This description is for confirming that a specific example supporting the invention described in the claims is described in the embodiment of the invention. Therefore, even if there is a specific example which is described in the embodiment of the invention but is not described here as corresponding to the configuration requirement, the fact that the specific example is It does not mean that it does not correspond to the requirement. Conversely, even if a specific example is described here as corresponding to a configuration requirement, this means that the specific example does not correspond to a configuration requirement other than the configuration requirement. not.
[0019]
Furthermore, this description does not mean that the invention corresponding to the specific examples described in the embodiments of the invention is all described in the claims. In other words, this description is an invention corresponding to the specific example described in the embodiment of the invention, and the existence of the invention not described in the claims of this application, that is, It does not deny the existence of the invention added by the amendment.
[0020]
That is, the image processing apparatus of the present invention includes a first coefficient calculating unit (for example, a white balance conversion coefficient calculation unit 15 in FIG. 2) for calculating a white balance conversion processing coefficient of a first image, and a first coefficient calculation unit. Means for white balance conversion of the first image based on the white balance conversion processing coefficient of the first image calculated by the means; Second coefficient calculation means (for example, white balance conversion coefficient calculation unit 11 in FIG. 2) for calculating a white balance conversion processing coefficient of an image, and white balance of the second image calculated by the second coefficient calculation means Third coefficient calculating means for calculating an inverse white balance conversion processing coefficient based on the conversion processing coefficient (for example, the inverse white balance conversion coefficient calculation in FIG. 2) 12) and inverse white balance conversion means (for example, the inverse white balance conversion in FIG. 2) for performing an inverse white balance conversion of the first image white-balanced by the white balance conversion means based on an inverse white balance conversion processing coefficient. Unit 13) and an image synthesizing unit (for example, the synthesizing unit 14 in FIG. 2) that synthesizes the first image subjected to the inverse white balance conversion processing and the second image based on the inverse white balance conversion processing coefficient. It is characterized by having.
[0021]
The first image may be a foreground image, and the second image may be a background image.
[0022]
The image processing method according to the present invention includes a first coefficient calculation step of calculating a white balance conversion processing coefficient of a first image (for example, the processing of step S2 in the flowchart of FIG. 3) and a processing of the first coefficient calculation step. A white balance conversion step for white balance conversion of the first image based on the white balance conversion processing coefficient of the first image calculated in step (e.g., the processing of step S3 in the flowchart of FIG. 3); A second coefficient calculation step for calculating a white balance conversion processing coefficient of the image (for example, the processing of step S1 in the flowchart of FIG. 3) and a white coefficient of the second image calculated in the processing of the second coefficient calculation step A third coefficient calculation step for calculating an inverse white balance conversion processing coefficient based on the balance conversion processing coefficient (for example, FIG. An inverse white balance conversion step (for example, the processing of step S4 in the flowchart) and an inverse white balance conversion step of performing an inverse white balance conversion of the first image that has been subjected to the white balance conversion in the processing of the white balance conversion step, based on the inverse white balance conversion processing coefficient. 3, an image synthesizing step of synthesizing the first image subjected to the inverse white balance conversion processing and the second image based on the inverse white balance conversion processing coefficient (for example, FIG. 3 of the flowchart of step S6).
[0023]
FIG. 2 is a block diagram showing the configuration of an embodiment of the image processing apparatus 1 according to the present invention that combines a foreground image and a background image and generates a combined image.
[0024]
The WB (white balance) conversion coefficient calculation unit 11 in FIG. _B From the RGB (Red Green Blue) components of each pixel, obtains a WB conversion coefficient necessary for conversion for adjusting white balance, and outputs it to the inverse WB conversion coefficient calculation unit 12.
[0025]
The inverse WB conversion coefficient calculation unit 12 calculates an inverse WB conversion coefficient required for the inverse WB conversion process based on the WB conversion coefficient supplied from the WB conversion coefficient calculation unit 11 and supplies the calculated inverse WB conversion coefficient to the inverse WB conversion unit 13. .
[0026]
The WB conversion coefficient calculator 15 receives the input foreground image I _F From the RGB (Red Green Blue) components of each pixel, a WB conversion coefficient required for conversion for adjusting white balance is obtained and output to the WB conversion unit 16.
[0027]
The WB conversion unit 16 uses the WB conversion coefficients supplied from the WB conversion coefficient calculation unit 15 to input the foreground image I _F Is subjected to WB conversion, and the WB-converted foreground image I ′ _F To the inverse WB conversion unit 13.
[0028]
The inverse WB conversion unit 13 performs a WB-converted foreground image supplied from the WB conversion unit 16 based on the inverse WB conversion coefficient calculated based on the background image and supplied from the inverse WB conversion coefficient calculation unit 12. I ' _F Is subjected to inverse WB conversion and output to the synthesizing unit 14.
[0029]
The combining unit 14 generates a mask image I corresponding to the foreground image. _M Is used to combine an input background image with an image that has been subjected to WB conversion processing based on its own image information and then subjected to inverse WB conversion processing, and a combined image I _O Is generated and output. Mask image I _M Is an image in which the pixel value of the pixel at the position where the pixel value of the background image is to be adopted is 0 and the pixel value of the pixel at the other position is a pixel value other than 0 in the composite image. , This mask image I _M On the basis of this information, the foreground image and the background image are synthesized.
[0030]
Next, an image combining process performed by the image combining apparatus of FIG. 2 will be described with reference to a flowchart of FIG.
[0031]
In step S1, the WB conversion coefficient calculator 11 outputs the input background image I _B From the RGB (Red Green Blue) components of each pixel, obtains a WB conversion coefficient necessary for conversion for adjusting white balance, and outputs it to the inverse WB conversion coefficient calculation unit 12. The detailed process will be described later with reference to the flowchart of FIG.
[0032]
In step S2, the WB transform coefficient calculator 15 outputs the input foreground image I _F From the RGB (Red Green Blue) components of each pixel, a WB conversion coefficient required for conversion for adjusting white balance is obtained and output to the WB conversion unit 16. The detailed process will be described later with reference to the flowchart of FIG.
[0033]
In step S <b> 3, the WB conversion unit 16 uses the WB conversion coefficients supplied from the WB conversion coefficient calculation unit 15 to perform WB conversion on the input foreground image and outputs the same to the inverse WB conversion unit 13. The detailed processing will be described later with reference to the flowchart of FIG.
[0034]
In step S4, the inverse WB conversion coefficient calculation unit 12 calculates an inverse WB conversion coefficient required for the inverse WB conversion process based on the WB conversion coefficient supplied from the WB conversion

coefficient calculation unit

11, 13. The detailed process will be described later with reference to the flowchart of FIG.
[0035]
In step S5, the inverse WB conversion unit 13 outputs the background image I supplied from the inverse WB conversion coefficient calculation unit 12. _B Based on the inverse WB conversion coefficient calculated based on the foreground image, the WB-converted foreground image supplied from the WB conversion unit 16 is subjected to inverse WB conversion and output to the synthesizing unit 14. Note that the detailed processing will be described later with reference to the flowchart in FIG.
[0036]
In step S6, the synthesizing unit 14 generates the mask image I corresponding to the foreground image. _M Is used to synthesize an input background image with an image that has been subjected to WB conversion processing based on its own image and then subjected to inverse WB conversion processing, and a synthesized image I _O Is generated and output. The detailed processing will be described later with reference to the flowchart in FIG.
[0037]
Next, with reference to the flowchart of FIG. 4, a description will be given of the WB conversion coefficient calculation processing of the background image corresponding to the processing of step S1 of the flowchart of FIG.
[0038]
In step S21, the WB conversion coefficient calculator 11 sets a counter S (not shown). _BR , S _BG , S _BB Is initialized to 0. This counter S _BR , S _BG , S _BB Is the background image I _B 3 shows the integrated value of the RGB components of the WB conversion coefficient of FIG.
[0039]
In step S22, the WB conversion coefficient calculator 11 initializes a counter y (not shown) to zero. Note that the counter y is used for inputting the background image I. _B Is counted in the vertical direction.
[0040]
In step S23, the WB conversion coefficient calculator 11 initializes a counter x (not shown) to zero. Note that this counter x is used for inputting the background image I. _B The number of pixels in the horizontal direction is counted.
[0041]
In step S24, the WB conversion coefficient calculator 11 sets the counter S _BR , S _BG , S _BB , The input background image I _B I, which is the RGB component of the pixel on the (x, y) coordinate of _BR (X, y), I _BG (X, y), I _BB (X, y) is added.
[0042]
In step S25, the WB conversion coefficient calculator 11 increments the counter x by one.
[0043]
In step S26, the WB conversion coefficient calculator 11 sets the background image I to which the counter x has been input. _B It is determined whether or not the number of pixels in the horizontal direction is exceeded. If it is determined that the number is not exceeded, the process returns to step S24. That is, the background image I to which the counter x is input _B Until it is determined that the number of pixels in the horizontal direction has been exceeded, the processing of steps S24 to S26 is repeated.
[0044]
In step S26, the background image I to which the counter x has been input _B Is determined to have exceeded the number of pixels in the horizontal direction, the process proceeds to step S27.
[0045]
In step S27, the WB conversion coefficient calculator 11 increments the counter y by one.
[0046]
In step S28, the WB conversion coefficient calculator 11 sets the background image I to which the counter y has been input. _B It is determined whether or not the number of pixels in the vertical direction is exceeded. If it is determined that the number is not exceeded, the process returns to step S23. That is, the background image I to which the counter y is input _B Until it is determined that the number of pixels in the vertical direction has been exceeded, the processing of steps S23 to S28 is repeated.
[0047]
In step S28, the background image I to which the counter y has been input _B Is determined to have exceeded the number of pixels in the vertical direction, the process proceeds to step S29.
[0048]
In step S29, the WB conversion coefficient calculator 11 sets the counter S as the WB conversion coefficient of the background image. _BR , S _BG , S _BB Is read and supplied to the inverse WB conversion coefficient calculation unit 13.
[0049]
That is, since the adjustment of the white balance is performed based on the WB conversion coefficient composed of the sum in the image for each of the RGB components, the WB conversion coefficient calculation unit 11 performs the processing in steps S23 to S28 in the flowchart of FIG. Is repeated to obtain the background image I _B Is obtained for each of the RGB components, and this is output as the WB conversion coefficient of the background image.
[0050]
More specifically, the background image I _B Pixel value of I _B = (I _BR , I _BG , I _BB ) ^T , Foreground image I _F Pixel value of I _F = (I _FR , I _FG , I _FB ) ^T , Composite image I _O Pixel value of I _O = (I _OR , I _OG , I _OB ) ^T , Background image I _B I 'with a background image with white balance applied _B , And its pixel value is I ′ _B = (I ' _BR , I ' _BG , I ' _BB ) ^T Respectively, the background image I _B And the background image I with the white balance applied _B Is expressed by the following equation (1).
[0051]
(Equation 1)

[0052]
Where S _BR , S _BG , S _BB Is a background image I obtained by the processing described with reference to the flowchart of FIG. 4 described above as shown by the following equation (2). _B Are WB conversion coefficients. Also, K _B Is the background image I _B Is a normalized constant of the WB conversion coefficient of the background image I _B And background image I 'with white balance applied _B This is to make the sum of the luminance values equal.
[0053]
(Equation 2)

[0054]
The background image I _B Brightness L _B Is determined by the following equation (3) from RGB values according to the definition of SMPTE (Society of Motion Picture and Television Engineers) 170M.
[0055]
L = 0.299 × I _BR + 0.587 × I _BG + 0.144 × I _BB ... (3)
[0056]
Here, the background image I _B Brightness value L _B And the luminance value L 'of the background image to which white balance has been applied. _B Are equal in their sum. Therefore, the following equation (4) holds.
[0057]
[Equation 3]

[0058]
As a result, by developing Expressions (1) to (4), the background image I _B Constant K of the WB conversion coefficient of _B Is represented by the following equation (5).
[0059]
(Equation 4)

[0060]
Next, with reference to the flowchart of FIG. 5, a description will be given of the WB conversion coefficient calculation processing of the foreground image corresponding to the processing of step S2 of the flowchart of FIG.
[0061]
In step S41, the WB conversion coefficient calculator 15 sets a counter S (not shown). _FR , S _FG , S _FB Is initialized to 0. This counter S _FR , S _FG , S _FB Is the foreground image I _F 3 shows the integrated value of the RGB components of the WB conversion coefficient of FIG.
[0062]
In step S42, the WB conversion coefficient calculation unit 15 initializes a counter y (not shown) to zero. Note that this counter y is used for the input foreground image I. _F Is counted in the vertical direction.
[0063]
In step S43, the WB conversion coefficient calculator 15 initializes a counter x (not shown) to zero. Note that this counter x indicates the input foreground image I _F The number of pixels in the horizontal direction is counted.
[0064]
In step S44, the WB conversion coefficient calculator 15 sets the counter S _FR , S _FG , S _FB , The input foreground image I _F I, which is the RGB component of the pixel on the (x, y) coordinate of _FR (X, y), I _FG (X, y), I _FB (X, y) is added.
[0065]
In step S45, the WB conversion coefficient calculator 15 increments the counter x by one.
[0066]
In step S46, the WB conversion coefficient calculation unit 15 outputs the foreground image I to which the counter x has been input. _F It is determined whether or not the number of pixels in the horizontal direction is exceeded. If it is determined that the number is not exceeded, the process returns to step S44. That is, the foreground image I to which the counter x is input _F Until it is determined that the number of pixels in the horizontal direction has been exceeded, the processing of steps S44 to S46 is repeated.
[0067]
In step S46, the foreground image I to which the counter x has been input _F Is determined to have exceeded the number of pixels in the horizontal direction, the process proceeds to step S47.
[0068]
In step S47, the WB conversion coefficient calculator 15 increments the counter y by one.
[0069]
In step S48, the WB conversion coefficient calculation unit 15 outputs the foreground image I to which the counter y has been input. _F It is determined whether or not the number of pixels in the vertical direction is exceeded. If it is determined that the number is not exceeded, the process returns to step S43. That is, the foreground image I to which the counter y is input _F Until it is determined that the number of pixels in the vertical direction has been exceeded, the processing of steps S43 to S48 is repeated.
[0070]
In step S48, the foreground image I for which the counter y has been input _F Is determined to have exceeded the number of pixels in the vertical direction, the process proceeds to step S49.
[0071]
In step S49, the WB transform coefficient calculator 15 sets the foreground image I _F Counter S as the WB conversion coefficient of _FR , S _FG , S _FB Is read out and output to the WB conversion unit 16.
[0072]
That is, similarly to the process of obtaining the WB conversion coefficient of the background image described with reference to the flowchart of FIG. 4, the adjustment of the white balance is performed based on the WB conversion coefficient made up of the sum of the RGB components in the image. Therefore, the WB conversion coefficient calculation unit 15 repeats the processing of steps S43 to S48 of the flowchart of FIG. _F Is obtained for each of the RGB components, and this is output as the WB conversion coefficient of the foreground image.
[0073]
More specifically, the foreground image I ′ with the white balance applied _F Pixel value of I ′ _F = (I ' _FR , I ' _FG , I ' _FB ) ^T If the background image I _F And the background image I 'with the white balance applied _F Is expressed by the following equation (6).
[0074]
(Equation 5)

[0075]
Where S _FR , S _FG , S _FB Is the foreground image I obtained by the processing described with reference to the above-described flowchart of FIG. _F Are WB conversion coefficients. Also, K _F Is the foreground image I _F Is a normalization constant of the WB conversion coefficient of the foreground image I _F And foreground image I 'with white balance applied _F This is to make the sum of the luminance values equal.
[0076]
(Equation 6)

[0077]
The foreground image I _F Brightness value L _F Is determined by the following equation (8) from RGB values according to the definition of SMPTE 170M.
[0078]
L = 0.299 × I _FR + 0.587 × I _FG + 0.144 × I _FB ... (8)
[0079]
Here, foreground image I _F Brightness value L _F And the luminance value L ′ of the foreground image to which the white balance has been applied. _F Are equal in their sum.
[0080]
As a result, by developing equations (6) to (8), the foreground image I _F Constant K of the WB conversion coefficient of _F Is represented by the following equation (9).
[0081]
(Equation 7)

[0082]
Next, the WB conversion process of the foreground image, which corresponds to the process in step S3 of the flowchart of FIG. 3, will be described with reference to the flowchart of FIG.
[0083]
In step S61, the WB conversion unit 16 sets a counter S (not shown). _FR , S _FG , S _FB Is read, the WB conversion coefficient of the foreground image is read.
[0084]
In step S62, the WB conversion unit 16 calculates the normalization constant K of the foreground image. _F Is calculated. More specifically, the counter S _FR , S _FG , S _FB The above equation (5) is calculated based on the WB conversion coefficient of the foreground image read from _F Is calculated.
[0085]
In step S63, the WB conversion unit 16 initializes a counter y (not shown) to zero. Note that this counter y is used for the input foreground image I. _F Is counted in the vertical direction.
[0086]
In step S64, the WB conversion unit 16 initializes a counter x (not shown) to zero. Note that this counter x indicates the input foreground image I _F The number of pixels in the horizontal direction is counted.
[0087]
In step S65, the WB conversion unit 16 reads the read counter S _FR , S _FG , S _FB , The normalized constant K calculated in step S62 _F , And respectively, the input foreground image I _F I, which is the RGB component of the pixel on the (x, y) coordinate of _FR (X, y), I _FG (X, y), I _FB By calculating the above equation (6) using (x, y), the RGB components of the pixel values of each pixel are subjected to WB conversion and output to the inverse WB conversion unit 13.
[0088]
In step S66, the WB conversion unit 16 increments the counter x by one.
[0089]
In step S67, the WB conversion unit 16 sets the foreground image I to which the counter x has been input. _F It is determined whether or not the number of pixels in the horizontal direction is exceeded. If it is determined that the number is not exceeded, the process returns to step S65. That is, the foreground image I to which the counter x is input _F Until it is determined that the number of pixels in the horizontal direction has been exceeded, the processing of steps S65 to S67 is repeated.
[0090]
In step S67, the foreground image I to which the counter x has been input _F Is determined to have exceeded the number of pixels in the horizontal direction, the process proceeds to step S68.
[0091]
In step S68, the WB conversion unit 16 increments the counter y by one.
[0092]
In step S69, the WB conversion unit 16 sets the foreground image I to which the counter y has been input. _F It is determined whether or not the number of pixels in the vertical direction is exceeded. If it is determined that the number is not exceeded, the process returns to step S64. That is, the foreground image I to which the counter y is input _F Steps S64 to S69 are repeated until it is determined that the number of pixels in the vertical direction has been exceeded.
[0093]
In step S69, the foreground image I for which the counter y has been input _F Is determined to have exceeded the number of pixels in the vertical direction, the process ends.
[0094]
That is, the WB conversion unit 16 repeats the processing of steps S64 to S69 of the flowchart of FIG. _F Is subjected to WB conversion for each pixel of each RGB component of the foreground image I _F Are output to the inverse WB conversion unit 13.
[0095]
Next, with reference to the flowchart of FIG. 7, a description will be given of the process of calculating the inverse WB conversion coefficient of the background image, which corresponds to the process of step S4 of the flowchart of FIG.
[0096]
In step S81, the inverse WB conversion coefficient calculation unit 12 outputs a counter S (not shown). _BR , S _BG , S _BB Is read.
[0097]
In step S82, the inverse WB conversion coefficient calculation unit 12 outputs a counter S ′ (not shown). _FR , S ' _FG , S ' _FB Is initialized to 0. This counter S ' _FR , S ' _FG , S ' _FB Is the background image I _B White balance foreground image I ′ using the WB conversion coefficients of _F Shows the integrated value of the inverse WB conversion coefficient to the RGB component for performing the inverse WB conversion.
[0098]
In step S83, the inverse WB conversion coefficient calculation unit 12 initializes a counter y (not shown) to zero. Note that the counter y is a foreground image I ′ multiplied by the input WB. _F Is counted in the vertical direction.
[0099]
In step S84, the inverse WB conversion coefficient calculator 12 initializes a counter x (not shown) to zero. Note that the counter x is set to the foreground image I ′ multiplied by the input WB. _F The number of pixels in the horizontal direction is counted.
[0100]
In step S85, the inverse WB conversion coefficient calculator 12 sets the counter S ′ _FR , S ' _FG , S ' _FB Are subjected to the input WB conversion, foreground image I ′ _F I ′, which is the RGB component of the pixel on the (x, y) coordinate of _FR (X, y), I ' _FG (X, y), I ' _FB (X, y) is added.
[0101]
In step S86, the inverse WB conversion coefficient calculation unit 12 increments the counter x by one.
[0102]
In step S87, the inverse WB transform coefficient calculation unit 12 calculates the foreground image I ′ multiplied by the WB input with the counter x. _F It is determined whether or not the number of pixels in the horizontal direction is exceeded. If it is determined that the number is not exceeded, the process returns to step S85. That is, the foreground image I ′ multiplied by the WB to which the counter x has been input is multiplied. _F Until it is determined that the number of pixels in the horizontal direction has been exceeded, the processing of steps S85 to S87 is repeated.
[0103]
In step S87, the foreground image I ′ multiplied by the WB input with the counter x is multiplied. _F Is determined to have exceeded the number of pixels in the horizontal direction, the process proceeds to step S88.
[0104]
In step S88, the inverse WB conversion coefficient calculator 12 increments the counter y by one.
[0105]
In step S89, the inverse WB conversion coefficient calculator 12 calculates the foreground image I ′ multiplied by the WB input with the counter y. _F It is determined whether or not the number of pixels in the vertical direction is exceeded. If it is determined that the number is not exceeded, the process returns to step S84. That is, the foreground image I ′ to which the counter y is input and the WB is multiplied. _F Until it is determined that the number of pixels in the vertical direction has been exceeded, the processing of steps S84 to S89 is repeated.
[0106]
In step S89, the foreground image I ′ multiplied by the WB input with the counter y is multiplied. _F If it is determined that the number of pixels in the vertical direction has been exceeded, the process proceeds to step S90.
[0107]
In step S90, the inverse WB transform coefficient calculation unit 12 outputs the background image I _B Foreground image I using WB conversion coefficients of _F Inverse WB conversion normalization coefficient K ' _F And outputs the result to the inverse WB conversion unit 13.
[0108]
That is, the inverse WB conversion of the background image has a relationship represented by the following equation (10).
[0109]
(Equation 8)

[0110]
The WB-converted foreground image I is obtained by using the inverse WB conversion coefficient used for the inverse WB conversion expressed by the above equation (10). _F In order to perform the inverse WB conversion, the operation represented by the following equation (11) is performed.
[0111]
(Equation 9)

[0112]
Where I '' _FR , I '' _FG , I '' _FB Is the background image I _B WB-converted foreground image I ′ using the WB conversion coefficients _F Shows the RGB components of the pixel value subjected to the inverse WB conversion. Also, the normalization coefficient K ′ for the inverse WB conversion _F Is the background image I as shown in the following equation (12). _B WB-converted foreground image I ′ using the WB conversion coefficients _F Brightness value L '' _F And the luminance value L ′ of the foreground image subjected to the WB conversion _F Are derived from the same relationship as in the following equation (13).
[0113]
(Equation 10)

[0114]
(Equation 11)

[0115]
As a result, the inverse WB conversion coefficient calculating unit 12 calculates the inverse WB conversion normalization coefficient K ′ by calculating the above equation (13). _F And outputs it to the inverse WB conversion unit 13.
[0116]
Next, an inverse WB conversion process performed by the inverse WB conversion unit 13 using the WB conversion coefficients of the background image of the WB-converted foreground image will be described with reference to the flowchart of FIG.
[0117]
In step S101, the inverse WB conversion unit 13 outputs a counter S (not shown). _BR , S _BG , S _BB And the inverse WB normalized conversion constant K ' _F Is read.
[0118]
In step S102, the inverse WB conversion unit 13 initializes a counter y (not shown) to zero. Note that the counter y is a foreground image I ′ multiplied by the input WB. _F Is counted in the vertical direction.
[0119]
In step S103, the inverse WB conversion unit 13 initializes a counter x (not shown) to zero. Note that the counter x is set to the foreground image I ′ multiplied by the input WB. _F The number of pixels in the horizontal direction is counted.
[0120]
In step S104, the inverse WB conversion unit 13 reads the read counter S _BR , S _BG , S _BB And the inverse WB conversion normalization constant K ' _F Is used to input the foreground image I ′ to which the WB conversion has been applied. _F I ′, which is the RGB component of the pixel on the (x, y) coordinate of _FR (X, y), I ' _FG (X, y), I ' _FB (X, y) is subjected to inverse WB conversion, and an image I ″ that has been subjected to these processes is applied. _FR (X, y), I '' _FG (X, y), I '' _FB (X, y) is output to the synthesis unit 14. More specifically, the inverse WB conversion unit 13 performs the operation of the above-described equation (11), thereby obtaining the foreground image I ′ multiplied by the WB. _F Is subjected to inverse WB conversion.
[0121]
In step S105, the inverse WB conversion unit 13 increments the counter x by one.
[0122]
In step S106, the inverse WB conversion unit 13 outputs the counter x to the foreground image I ′ multiplied by the input WB. _F It is determined whether or not the number of pixels in the horizontal direction is exceeded. If it is determined that the number is not exceeded, the process returns to step S104. That is, the foreground image I ′ multiplied by the WB to which the counter x has been input is multiplied. _F Until it is determined that the number of pixels in the horizontal direction has been exceeded, the processing of steps S104 to S106 is repeated.
[0123]
In step S106, the foreground image I ′ multiplied by the WB to which the counter x has been input is multiplied. _F If it is determined that the number of pixels in the horizontal direction has been exceeded, the process proceeds to step S107.
[0124]
In step S107, the inverse WB conversion unit 13 increments the counter y by one.
[0125]
In step S108, the inverse WB conversion unit 13 outputs the counter y to the foreground image I ′ multiplied by the input WB. _F It is determined whether or not the number of pixels in the vertical direction is exceeded. If it is determined that the number is not exceeded, the process returns to step S103. That is, the foreground image I ′ multiplied by the WB to which the counter y is input is multiplied. _F Steps S103 to S108 are repeated until it is determined that the number of pixels in the vertical direction has been exceeded.
[0126]
In step S108, the foreground image I ′ multiplied by the WB input with the counter y is multiplied. _F Is determined to have exceeded the number of pixels in the vertical direction, the process ends.
[0127]
In other words, the inverse WB conversion unit 13 repeats the processes of steps S103 to S108, thereby obtaining the WB-converted foreground image I ′ supplied from the WB conversion unit 16. _F Is subjected to the inverse WB conversion by performing the operation represented by the above equation (11), and the foreground image I to be synthesized is obtained. _F To the background image I _B Inverse WB conversion so as to conform to the WB conversion coefficient of
[0128]
Next, the combining process by the combining unit 14 will be described with reference to the flowchart in FIG.
[0129]
In step S121, the synthesizing unit 14 initializes a counter y (not shown) to zero. Note that the counter y is used for inputting the background image I. _B Is counted in the vertical direction.
[0130]
In step S122, the synthesizing unit 14 initializes a counter x (not shown) to zero. Note that this counter x is used for inputting the background image I. _B The number of pixels in the horizontal direction is counted.
[0131]
In step S123, the synthesizing unit 14 sets the mask image I corresponding to the current coordinates (x, y). _M Pixel I _M It is determined whether (x, y) is a value other than 0. That is, the mask image I _M Is to mask a foreground image to be synthesized by setting a value other than 0 (for example, 1) to a region where the background image is left as it is and setting a value other than 0 (for example, 1) to the other pixels. Distinguishing). Therefore, the mask image I _M Pixel I _M If (x, y) is 0, the pixel value of the pixel at that position is the background image used as it is, and if it is a value other than 0, the pixel value of the pixel at that position is The pixel value of the foreground image subjected to the inverse WB conversion is used.
[0132]
In step S123, the mask image I corresponding to the current coordinates (x, y) _M Pixel I _M When it is determined that (x, y) is a value other than 0, in step S124, the combining unit 14 sets the combined image I _O Pixel value I _O (X, y) is multiplied by WB, and then foreground image I ″ that is inverse WB transformed based on the WB transformation coefficient of the background image _F It is assumed that the pixel value is (x, y), and the pixel value I _OR (X, y), I _OG (X, y), I _OB (X, y) is I '' _FR (X, y), I '' _FG (X, y), I '' _FB (X, y), and the process proceeds to step S126.
[0133]
On the other hand, in step S123, the mask image I corresponding to the current coordinates (x, y) _M Pixel I _M When it is determined that (x, y) is not a value other than 0, that is, it is 0, in step S125, the combining unit 14 sets the combined image I _O Pixel value I _O (X, y) is the background image I _B It is assumed that the pixel value is (x, y), and the pixel value I _OR (X, y), I _OG (X, y), I _OB (X, y) is _BR (X, y), I _BG (X, y), I _BB (X, y), and the process proceeds to step S126.
[0134]
In step S126, the synthesizing unit 14 increments the counter x by one.
[0135]
In step S127, the synthesizing unit 14 determines whether the background image I _B It is determined whether or not the number of pixels in the horizontal direction is exceeded. If it is determined that the number is not exceeded, the process returns to step S123. That is, the background image I to which the counter x is input _B Until it is determined that the number of pixels in the horizontal direction has been exceeded, the processing of steps S123 to S127 is repeated.
[0136]
In step S127, the background image I to which the counter x has been input _B Is determined to have exceeded the number of pixels in the horizontal direction, the process proceeds to step S128.
[0137]
In step S128, the combining unit 14 increments the counter y by one.
[0138]
In step S129, the synthesizing unit 14 determines whether the background image I _B It is determined whether or not the number of pixels in the vertical direction is exceeded. If it is determined that the number is not exceeded, the process returns to step S122. That is, the background image I to which the counter y is input _B Steps S122 to S129 are repeated until it is determined that the number of pixels in the vertical direction has been exceeded.
[0139]
In step S129, the background image I to which the counter y has been input _B Is determined to have exceeded the number of pixels in the vertical direction, the process ends. At the same time, the processing of the flowchart in FIG. 3 ends.
[0140]
That is, the combining unit 14 outputs the mask image I _M Based on the upper pixel value, more specifically, a value identifying whether the image is a foreground image or a background image, the foreground image I _F Or the background image I _B Of the composite image I _O By synthesizing the background image and the foreground image that has been subjected to WB adjustment and then subjected to inverse WB conversion based on the WB conversion coefficient of the background image by replacing each pixel value with the pixel value of the background image.
[0141]
The above processing is summarized as shown in FIG.
[0142]
That is, the WB conversion coefficient calculation unit 11 performs the processing of step S1 in FIG. 3, that is, the processing described with reference to the flowchart in FIG. _B Based on the background image I _B Is calculated and output to the inverse WB conversion coefficient calculation unit 12.
[0143]
By the process of step S2 of FIG. 3, that is, the process described with reference to the flowchart of FIG. _F Based on the foreground image I _F Is calculated and output to the WB conversion unit 16.
[0144]
By the process of step S3 of FIG. 3, that is, the process described with reference to the flowchart of FIG. _F Is subjected to WB conversion, and the WB-converted foreground image I ′ _F To the inverse WB conversion unit 13.
[0145]
According to the processing of step S4 in FIG. 3, that is, the processing described with reference to the flowchart of FIG. Then, an inverse WB conversion coefficient is calculated and output to the inverse WB conversion unit 13.
[0146]
By the processing in step S5 in FIG. 3, that is, the processing described with reference to the flowchart in FIG. 8, the inverse WB conversion unit 16 sets the background image I _B WB-converted foreground image I ′ supplied from the WB conversion unit 16 based on the inverse WB conversion coefficient calculated based on the conversion coefficient _F Is inversely WB-transformed, and the inversely WB-transformed foreground image I ″ _F Is output to the synthesis unit 14.
[0147]
By the process of step S6 in FIG. 3, that is, the process described with reference to the flowchart of FIG. Foreground image I ″ that has been subjected to inverse WB conversion based on the conversion coefficient _F And the background image I _B To the mask image I _M And outputs the generated composite image.
[0148]
By such processing, the foreground image to be synthesized is synthesized with the background image after being subjected to inverse WB conversion based on the inverse WB conversion coefficient calculated from the WB conversion coefficient of the background image. This makes it possible to generate a natural composite image without discomfort.
[0149]
In the above description, a case has been described in which the foreground image is synthesized with the background image after the inverse WB conversion based on the inverse WB conversion coefficient calculated from the WB conversion coefficient of the background image. It goes without saying that even if the processing is performed so that the relationship between the background images is reversed, the processing is the same as that described above. In this case, the WB of the background image is adjusted based on the hue of the foreground image. . As a result, as described above, the background image has a hue that has become familiar with the foreground image, and it is possible to generate a composite image having a natural hue without a sense of discomfort.
[0150]
Further, in the above description, the case where two images of the foreground image and the background image are combined has been described. However, the present invention may be applied to the case where two or more images are combined. Is determined, an inverse WB conversion coefficient is determined based on the WB conversion coefficient of the reference image, and the other images are inverse WB-transformed using the inverse WB conversion coefficient and then combined. Thus, the same effect as described above can be obtained.
[0151]
The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may be executed by a computer built into dedicated hardware or by installing various programs to execute various functions. It is installed from a recording medium into a possible general-purpose personal computer or the like.
[0152]
FIG. 11 shows a configuration of an embodiment of a personal computer when the image processing apparatus 1 is realized by software. The CPU 101 of the personal computer controls the entire operation of the personal computer. When a user inputs a command from an input unit 106 including a keyboard, a mouse, and the like via a bus 104 and an input / output interface 105, the CPU 101 stores the command in a ROM (Read Only Memory) 102 in response to the command. Execute the program. Alternatively, the CPU 101 reads a program read from the magnetic disk 111, the optical disk 112, the magneto-optical disk 113, or the semiconductor memory 114 connected to the drive 110 and installed in the storage unit 108, and stores the program in a RAM (Random Access Memory) 103. And the output unit 107 outputs the execution result. Further, the CPU 101 controls the communication unit 109 to communicate with the outside and exchange data.
[0153]
As shown in FIG. 11, the recording medium on which the program is recorded is a magnetic disk 111 (including a flexible disk) on which the program is recorded, which is distributed separately from the computer to provide the user with the program, An optical disk 112 (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)), a magneto-optical disk 113 (including an MD (Mini-Disc)), or a package medium including a semiconductor memory 114 or the like. In addition to the configuration, the storage unit 108 is provided with a program stored in the ROM 102 or a hard disk included in the storage unit 108, which is provided to the user in a state of being incorporated in the computer in advance.
[0154]
In this specification, a step of describing a program recorded on a recording medium is performed in a time-series manner in the order described. Alternatively, the processing includes individually executed processing.
[0155]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to synthesize | combine several images as an image of a natural hue without a sense of incongruity.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining conventional image synthesis.
FIG. 2 is a diagram showing a configuration of an embodiment of an image synthesizing apparatus to which the present invention is applied.
FIG. 3 is a flowchart illustrating an image combining process performed by the image combining device of FIG. 2;
FIG. 4 is a flowchart illustrating a WB conversion coefficient calculation process of a background image, which is a process of step S1 in FIG. 3;
FIG. 5 is a flowchart illustrating a WB conversion coefficient calculation process of a foreground image, which is a process of step S2 in FIG. 3;
FIG. 6 is a flowchart illustrating a WB conversion process of a foreground image, which is a process of step S3 in FIG. 3;
FIG. 7 is a flowchart illustrating an inverse WB conversion coefficient calculation process, which is a process of step S4 in FIG. 3;
FIG. 8 is a flowchart illustrating an inverse WB conversion process of a foreground image, which is a process of step S5 in FIG. 3;
FIG. 9 is a flowchart illustrating a combining process, which is the process of step S6 in FIG. 3;
FIG. 10 is a diagram for explaining the processing of the flowchart in FIG. 3;
FIG. 11 is a diagram illustrating a recording medium.
[Explanation of symbols]
Reference Signs List 1 image processing device 11 WB conversion coefficient calculation unit, 12 inverse conversion coefficient calculation unit, 13 inverse WB conversion unit, 14 synthesis unit, 15 WB conversion coefficient calculation unit, 16 WB conversion unit

Claims

First coefficient calculating means for calculating a white balance conversion processing coefficient of the first image;
A white balance conversion unit configured to white balance the first image based on a white balance conversion processing coefficient of the first image calculated by the first coefficient calculation unit;
Second coefficient calculating means for calculating a white balance conversion processing coefficient of the second image;
Third coefficient calculating means for calculating an inverse white balance conversion processing coefficient based on the white balance conversion processing coefficient of the second image calculated by the second coefficient calculating means;
An inverse white balance conversion unit that performs an inverse white balance conversion on the first image that has been white balance converted by the white balance conversion unit, based on the inverse white balance conversion processing coefficient;
An image processing apparatus comprising: an image synthesizing unit that synthesizes the first image subjected to the inverse white balance conversion processing based on the inverse white balance conversion processing coefficient and the second image.

The image processing apparatus according to claim 1, wherein the first image is a foreground image, and the second image is a background image.

A first coefficient calculating step of calculating a white balance conversion processing coefficient of the first image;
A white balance conversion step of performing white balance conversion of the first image based on a white balance conversion processing coefficient of the first image calculated in the processing of the first coefficient calculation step;
A second coefficient calculating step of calculating a white balance conversion processing coefficient of the second image;
A third coefficient calculation step of calculating an inverse white balance conversion processing coefficient based on the white balance conversion processing coefficient of the second image calculated in the processing of the second coefficient calculation step;
An inverse white balance conversion step of performing an inverse white balance conversion on the first image subjected to the white balance conversion in the processing of the white balance conversion step, based on the inverse white balance conversion processing coefficient;
An image processing method, comprising: an image synthesizing step of synthesizing the first image subjected to inverse white balance conversion processing based on the inverse white balance conversion processing coefficient and the second image.

A first coefficient calculating step of calculating a white balance conversion processing coefficient of the first image;
A white balance conversion step of performing white balance conversion of the first image based on a white balance conversion processing coefficient of the first image calculated in the processing of the first coefficient calculation step;
A second coefficient calculating step of calculating a white balance conversion processing coefficient of the second image;
A third coefficient calculation step of calculating an inverse white balance conversion processing coefficient based on the white balance conversion processing coefficient of the second image calculated in the processing of the second coefficient calculation step;
An inverse white balance conversion step of performing an inverse white balance conversion on the first image subjected to the white balance conversion in the processing of the white balance conversion step, based on the inverse white balance conversion processing coefficient;
A computer-readable program comprising an image synthesizing step of synthesizing the first image subjected to the inverse white balance conversion processing based on the inverse white balance conversion processing coefficient and the second image. Recording medium on which is recorded.

A first coefficient calculating step of calculating a white balance conversion processing coefficient of the first image;
A white balance conversion step of performing white balance conversion of the first image based on a white balance conversion processing coefficient of the first image calculated in the processing of the first coefficient calculation step;
A second coefficient calculating step of calculating a white balance conversion processing coefficient of the second image;
A third coefficient calculation step of calculating an inverse white balance conversion processing coefficient based on the white balance conversion processing coefficient of the second image calculated in the processing of the second coefficient calculation step;
An inverse white balance conversion step of performing an inverse white balance conversion on the first image subjected to the white balance conversion in the processing of the white balance conversion step, based on the inverse white balance conversion processing coefficient;
A program for causing a computer to execute an image synthesizing step of synthesizing the first image subjected to inverse white balance conversion processing and the second image based on the inverse white balance conversion processing coefficient.