JP2017016463A - 画像処理方法、画像処理装置、及び、プログラム - Google Patents

Abstract

【課題】合成元の画像と合成先の画像における合成領域の輝度勾配が平坦ではない場合にも自然な画像合成を行う。
【解決手段】画像処理装置１００の幾何補正部１０４は、合成元の画像から抽出した合成領域に対し、合成先の画像に合わせて幾何的に補正を行い、幾何的に補正した合成領域を、合成先の画像における合成位置に合成して合成画像を作成する。色補正部１０５１は、合成画像に、合成領域の境界周辺に違和感がないよう色補正を行う。輝度補正部１０５２は、色補正された合成画像から光源領域を抽出し、合成画像における合成領域内の画素の輝度を、その画素の光源領域からの距離に応じて補正する。
【選択図】図１

Description

本発明は、画像処理方法、画像処理装置、及び、プログラムに関する。

複数枚の動画像を合成する際に、勾配情報を用いて境界周辺に違和感のない合成を行う手法が広く用いられている（例えば、非特許文献１参照）。この手法は、合成元の画像（Ａ）の内部の勾配と、合成先の画像（Ｂ）の境界条件を導入したポアソン方程式を解くものである。非特許文献１の手法では計算量が膨大なため、ＧＰＵ（Graphics Processing Unit）を用いた並列化や領域の階層化（例えば、非特許文献２参照）、さらには近似（例えば、非特許文献３参照）などによる高速化手法も数多く提案され、十分に実用可能な技術となっている。

Patrick Perez，外２名，"Poisson Image Editing"，ACM Transactions on Graphics (TOG)，ACM，2003年，Vol. 22，No. 3，p. 313-318 Aseem Agarwala，"Efficient Gradient-Domain Compositing Using Quadtrees"，ACM Transactions on Graphics (TOG)，ACM，2007年，Vol. 26，No. 3，p.1-5 Zeev Farbman，外４名，"Coordinates for Instant Image Cloning"，ACM Transactions on Graphics (TOG)，ACM，2009年，Vol. 28，No. 3

上述した手法では、合成元の画像と合成先の画像における合成領域の輝度勾配が平坦であることが望ましいとされている。例えば、光源などの影響により合成領域の輝度勾配に偏りがある場合、合成精度が低下する問題がある。

上記事情に鑑み、本発明は、合成元の画像と合成先の画像における合成領域の輝度勾配が平坦ではない場合にも自然な画像合成を行うことができる画像処理方法、画像処理装置、及び、プログラムを提供することを目的としている。

本発明の一態様は、合成元の画像から抽出された合成領域を合成先の画像に合成した合成画像から光源領域を抽出する光源領域抽出ステップと、前記合成画像における前記合成領域内の各画素の輝度を、前記画素の前記光源領域からの距離に応じて補正する輝度補正処理を行う輝度補正ステップと、を有する画像処理方法である。

本発明の一態様は、上述の画像処理方法であって、前記合成先の画像における光源領域からの距離と輝度値との対応から、前記画素の前記光源領域からの距離に応じた輝度値を取得し、前記画素の輝度を、取得した前記輝度値により補正する。

本発明の一態様は、上述の画像処理方法であって、前記輝度補正ステップにおいては、動画の各フレームから生成された前記合成画像それぞれに対して前記輝度補正処理を行い、前記輝度補正処理を行って補正された前記画素の輝度を、前後のフレームから生成された前記合成画像に前記輝度補正処理を行って補正された前記画素の輝度に基づいて補正する。

本発明の一態様は、上述の画像処理方法であって、前記光源領域抽出ステップにおいては、色補正された前記合成画像から光源領域を抽出する。

本発明の一態様は、合成元の画像から抽出された合成領域を合成先の画像に合成した合成画像から光源領域を抽出し、前記合成画像における前記合成領域内の各画素の輝度を、前記画素の前記光源領域からの距離に応じて補正する輝度補正処理を行う輝度補正部、を備える画像処理装置である。

本発明の一態様は、コンピュータに、上述したいずれかの画像処理方法を実行させるプログラムである。

本発明により、合成元の画像と合成先の画像における合成領域の輝度勾配が平坦ではない場合にも自然な画像合成を行うことが可能となる。

本発明の実施形態による画像処理装置の構成を示す機能ブロック図である。 同実施形態による複数画像合成の概念を説明するための図である。 同実施形態による画像処理装置の処理を示すフロー図である。 同実施形態による合成画像補正部の画像補正処理を示すフロー図である。 同実施形態による光源からの距離の算出方法の概念図である。 同実施形態による輝度補正処理を示すフロー図である。 同実施形態による光源領域からの距離と輝度値の関係を表す勾配を示す図である。

以下、本発明の一実施形態について、図面を参照して説明する。
本実施形態では、例えば、広角カメラや魚眼カメラ、全天球カメラなどで光源の映り込みが生じるようなシーンを撮影し、複数カメラ間で撮影した動画や静止画の自然な合成を行う。そこで、合成シーンから光源の領域を検出し、従来の色補正に加えて、光源領域からの距離に応じた輝度補正を行う。

図１は、画像処理装置１００の基本的な構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。画像処理装置１００は、例えば、コンピュータ装置により実現でき、画像入力部１０１、光源領域抽出部１０２、合成領域抽出部１０３、幾何補正部１０４、合成画像補正部１０５、及び、合成画像出力部１０６を備える。
また、図２は、画像処理装置１００による複数画像合成の概念図を示す図である。

図１に示す画像入力部１０１は、合成を行いたい画像データ群をカメラなどの画像入力装置から受け取り、画像データを次の処理へ振り分ける。画像データ群は、１つの合成先の画像データ（以下、「合成先画像」という。）と、１つ以上の合成元の画像データ（以下、「合成元画像」という。）とから構成される。合成先画像は、例えば、図２に示す画像Ｂであり、合成元画像は、例えば、図２に示す画像Ａである。合成先画像と合成元画像は入力時に指定済み、または、手動で指定するものとする。画像入力部１０１は、２台以上のカメラから画像データ群を入力する。一例として、画像データ群は、ＲＧＢカメラや広角カメラ、魚眼カメラ、全天球カメラなどにより撮像した画像データで構成することができる。また、画像入力部１０１は、カメラ入力だけではなく、動画像ファイルも受付可能である。画像入力部１０１は、受け取った合成先画像を光源領域抽出部１０２に出力し、合成元画像を合成領域抽出部１０３に出力する。

光源領域抽出部１０２は、合成先画像（画像Ｂ）における光源領域Ｌを抽出する。これは、合成先画像から領域を手動で選択することも可能であるし、一例として、合成先画像のＲＧＢ画像データを、輝度値を含むデータに変換し、輝度値が上限値Hmaxを超える画素の領域を選択することでも可能である。なお、上限値Hmaxは任意に定めることができる。
合成領域抽出部１０３は、合成元画像（画像Ａ）における合成領域Ｓを抽出する。これは、領域を手動で選択することにより可能である。また、領域分割や物体検出などの既存の手法を用いることで、合成領域抽出部１０３が自動的に合成領域Ｓを選択することも可能である。

幾何補正部１０４は、合成領域抽出部１０３が抽出した合成領域Ｓに対し、合成先画像（画像Ｂ）に合わせて幾何的に補正を行うことで、合成領域Ｓ’を作成する。さらに、幾何補正部１０４は、合成先画像（画像Ｂ）における合成領域Ｓ’の合成位置を決定し、決定した合成位置に合成領域Ｓ’を合成して合成画像（図２に示す画像Ｂ’）を作成する。これは、合成元画像（画像Ａ）と合成先画像（画像Ｂ）の対応点を３点以上選択することにより、アフィン変換や射影変換を行うことで可能である。対応点の選択は、手動でも可能であるし、一般的な画像特徴量を用いることも可能である。なお、合成元画像が２枚以上ある場合には、各合成元画像の合成領域Ｓ’を合成先画像に合成する際に重複が生じることがある。このような場合は、重なりの順番を決定することが必要である。この順番は、例えば、処理の順番にすることも可能であるし、人手で指定することも可能である。

合成画像補正部１０５は、色補正部１０５１及び輝度補正部１０５２を備える。色補正部１０５１は、合成画像（画像Ｂ’）に対して既存の色補正処理を行う。輝度補正部１０５２は、色補正後の合成画像（画像Ｂ’）に対して、輝度補正処理を行う。輝度補正処理のため、まず、輝度補正部１０５２は、合成画像（画像Ｂ’）から光源領域Ｌ’を抽出する。輝度補正部１０５２は、合成領域Ｓ’内の各画素の輝度を、合成画像（画像Ｂ’）におけるそれら各画素の光源領域Ｌ’からの距離に応じて補正する。
合成画像出力部１０６は、合成画像（画像Ｂ’）に対して色補正処理及び輝度補正処理を行った結果得られた画像データを任意の形式で出力する。

次に、画像処理装置１００の動作について説明する。
図３は、画像処理装置１００の処理の一例を示すフロー図である。
画像入力部１０１は、画像データ群をカメラから受け取り、画像データ群の画像データのうち、合成先画像（画像Ｂ）を光源領域抽出部１０２に出力し、合成元画像（画像Ａ）を合成領域抽出部１０３に出力する（ステップＳ１１０）。光源領域抽出部１０２は、合成先画像（画像Ｂ）における光源領域Ｌを抽出する（ステップＳ１２０）。合成領域抽出部１０３は、合成元画像（画像Ａ）における合成領域Ｓを抽出する（ステップＳ１３０）。幾何補正部１０４は、合成元画像（画像Ａ）における合成領域Ｓを、合成先画像（画像Ｂ）に合わせて幾何的に補正し、合成領域Ｓ’を作成する（ステップＳ１４０）。幾何補正部１０４は、合成先画像（画像Ｂ）における合成位置を決定すると、決定した合成位置に、幾何的に補正した合成領域Ｓ’を合成し、合成画像（画像Ｂ’）を作成する（ステップＳ１５０）。合成画像補正部１０５は、作成された合成画像（画像Ｂ’）の色補正及び輝度補正を行う（ステップＳ１６０）。合成画像出力部１０６は、色補正及び輝度補正を行った合成画像（画像Ｂ’）を出力する（ステップＳ１７０）。

図４は、ステップＳ１６０における合成画像補正部１０５の画像補正処理の一例を示すフロー図である。
合成画像補正部１０５は、合成画像（画像Ｂ’）における合成領域Ｓ’内の画素のうち、未処理の画素を処理対象として１つ選択する（ステップＳ３１０）。選択した処理対象の画素を対象画素と記載する。色補正部１０５１は、合成画像（画像Ｂ’）の対象画素に対し、合成領域Ｓ’の境界周辺に違和感がないように、勾配情報を用いた色補正を行う（ステップＳ３２０）。色補正には、例えば、非特許文献１の技術を用いることができる。

輝度補正部１０５２は、合成先画像（画像Ｂ）の全ての画素の輝度値と、ステップＳ３２０において色補正を行って得られた合成画像（画像Ｂ’）における対象画素の輝度値を算出する（ステップＳ３３０）。なお、２回目以降の繰り返し処理であり、合成先画像（画像Ｂ）の輝度値が算出済みである場合、合成先画像（画像Ｂ）については輝度値の算出処理を省略することができる。例えば、ＲＧＢ値から輝度値（Ｙ）への変換は、下記の式（１）により計算可能である。（Ｒ）は赤の値、（Ｇ）は緑の値、（Ｂ）は青の値である。

輝度（Ｙ）
＝０．２９９×（Ｒ）＋０．５８６４×（Ｇ）＋０．１１４６×（Ｂ） …（１）

輝度補正部１０５２は、ステップＳ３３０において算出した輝度値を用いて、合成画像（画像Ｂ’）における光源領域Ｌ’と、対象画素の光源領域Ｌ’からの画像上の距離を算出する（ステップＳ３４０）。なお、２回目以降の繰り返し処理であり、合成画像（画像Ｂ’）における光源領域Ｌ’を算出済みである場合、光源領域の算出処理を省略することができる。光源領域Ｌ’は、例えば、合成先画像（画像Ｂ）における光源領域Ｌの輝度の最大値Ｙｍａｘを用いて定義することが可能であるし、また、輝度の閾値を規定することで定義可能である。輝度補正部１０５２は、合成先画像（画像Ｂ）の光源領域Ｌと同じ合成画像（画像Ｂ’）上の領域を、合成画像（画像Ｂ’）の光源領域Ｌ’としてもよい。輝度補正部１０５２は、合成画像（画像Ｂ’）における対象画素の光源領域Ｌ’からの画像上の距離を算出する。この距離はユークリッド距離など任意の距離指標を用いることが可能である。一例として、図５に示すように、光源領域Ｌ’からの距離の範囲を段階的に定義することも可能である。

図５は、合成画像（画像Ｂ’）における光源領域Ｌ’からの距離を示す図である。同図では、合成画像（画像Ｂ’）に示すように、光源領域Ｌ’からの画素の距離を、距離ｄの範囲、距離ｄ２の範囲、…のように段階的に定義している。

図４に戻り、処理を説明する。
輝度補正部１０５２は、ステップＳ３４０によって算出した対象画素の光源領域Ｌ’からの距離に応じて、合成画像（画像Ｂ’）における対象画素の輝度補正を行う。輝度補正の手順の一例を後述する図５に示す。

輝度補正部１０５２は、処理済みの画素数（対象画素数）が、合成画像（画像Ｂ’）における合成領域Ｓ’内の画素数に達したか否かを判断する（ステップＳ３６０）。輝度補正部１０５２は、処理済みの画素数が合成領域Ｓ’内の画素数に達していないと判断した場合（ステップＳ３６０：ＹＥＳ）、ステップＳ３１０からの処理を繰り返す。そして、輝度補正部１０５２は、処理済みの画素数が合成領域Ｓ’内の画素数に達したと判断した場合（ステップＳ３６０：ＮＯ）、処理済みの合成画像（画像Ｂ’）を出力する。

図６は、ステップＳ３５０における輝度補正の処理の一例を示す処理フローである。
輝度補正部１０５２は、合成領域Ｓ’内の対象画素の画素値の情報を入力する（ステップＳ５１０）。輝度補正部１０５２は、対象画素が光源領域Ｌ’に含まれるかどうかの判定を行う。輝度補正部１０５２は、対象画素が光源領域Ｌ’に含まれると判定した場合（ステップＳ５２０：ＹＥＳ）、後述する輝度補正処理ａを行う（ステップＳ５３０）。

輝度補正部１０５２は、対象画素が光源領域Ｌ’に含まれないと判定した場合（ステップＳ５２０：ＮＯ）、対象画素が光源領域Ｌ’からの距離ｄ内に含まれるかどうかの判定を行う（ステップＳ５４０）。輝度補正部１０５２は、対象画素が光源領域Ｌ’からの距離ｄ内に含まれると判定した場合（ステップＳ５４０：ＹＥＳ）、後述する輝度補正処理ｂを行う（ステップＳ５５０）。

輝度補正部１０５２は、対象画素が光源領域Ｌからの距離ｄ内に含まれないと判定した場合（ステップＳ５４０：ＮＯ）、対象画素が光源領域Ｌからの距離ｄ２内に含まれるかどうかの判定を行う（ステップＳ５６０）。輝度補正部１０５２は、対象画素が光源領域Ｌからの距離ｄ２内に含まれると判定した場合（ステップＳ５６０：ＹＥＳ）、後述する輝度補正処理ｃを行う（ステップＳ５７０）。

ステップＳ５３０、ステップＳ５５０、又は、ステップＳ５７０の処理の後、あるいは、対象画素が光源領域Ｌからの距離ｄ２内に含まれないと判定した場合（ステップＳ５６０：ＮＯ）、輝度補正部１０５２は、ステップＳ５８０の処理を行う。すなわち、輝度補正部１０５２は、処理済みの画素数（対象画素数）が、合成画像（画像Ｂ’）における合成領域Ｓ’内の画素数に達したか否かを判断する（ステップＳ５８０）。輝度補正部１０５２は、処理済みの画素数が合成領域Ｓ’内の画素数に達していないと判断した場合（ステップＳ５８０：ＹＥＳ）、ステップＳ５１０からの処理を繰り返す。そして、輝度補正部１０５２は、処理済みの画素数が合成領域Ｓ’内の画素数に達したと判断した場合（ステップＳ５８０：ＮＯ）、処理を終了する。

輝度補正処理ａ〜ｃは、例えば、合成先画像（画像Ｂ）における光源領域Ｌからの画素の距離と、その画素の輝度値とから、光源からの距離に対する輝度の勾配を算出し、その算出結果を対象画素の輝度値の補正に用いることにより行われる。

図７は、合成先画像（画像Ｂ）における光源領域Ｌからの画素の距離と、その距離の画素の輝度値との関係を表す勾配を示す図である。同図に示すように輝度値が算出された場合、輝度補正処理ａにおいて、輝度補正部１０５２は、対象画素の輝度値を、光源領域Ｌにおける輝度値の最大値Ｙｍａｘとする。また、輝度補正処理ｂにおいて、輝度補正部１０５２は、対象画素の輝度値を光源領域Ｌからの距離ｄに対応した輝度値Ｙｄとする。輝度補正処理ｃにおいて、輝度補正部１０５２は、対象画素の輝度値を光源領域Ｌからの距離ｄ２に対応した輝度値Ｙｄ２とする。また、これらの処理は、輝度値が滑らかに変化するように連続的に実施することも可能である。すなわち、対象画素の光源領域Ｌ’からの距離に対応した輝度値を図７に示す勾配から読み出し、対象画素の輝度値を読み出した輝度値とする。

以上の説明は、静止画を前提として行ったが、これを動画に適用することも可能である。動画の場合、各処理をその動画のフレーム毎に行ってもよいが、図３のステップＳ１２０〜ステップＳ１４０までの処理を初期フレームのみについて行い、その情報を全フレームに適用することも可能である。また、輝度補正部１０５２は、隣接フレーム間では、急激な色の変化が生じないという前提を導入することもできる。この場合、輝度補正部１０５２は、動画の各フレームを合成元画像又は合成先画像として用いた合成画像における合成領域の補正結果を比較する。輝度補正部１０５２は、比較の結果、隣接フレーム間で補正結果の輝度値の差が所定よりも大きいと判断した画素については、合成領域のその画素の輝度値を、前後のフレームから生成した合成画像におけるその画素の輝度値の平均値で置き換える。この処理により、動画全体の補正結果を向上することも可能である。

本実施形態によれば、光源が映り込んでいるようなシーンにおける画像の合成を自然に行うことが可能となる。

上述した実施形態における画像処理装置１００の機能をコンピュータで実現するようにしてもよい。その場合、この画像処理装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

光源が映り込んだ画像に他の画像を合成する際に利用可能である。

１００ 画像処理装置
１０１ 画像入力部
１０２ 光源領域抽出部
１０３ 合成領域抽出部
１０４ 幾何補正部
１０５ 合成画像補正部
１０５１ 色補正部
１０５２ 輝度補正部
１０６ 合成画像出力部

Claims (6)

1. 合成元の画像から抽出された合成領域を合成先の画像に合成した合成画像から光源領域を抽出する光源領域抽出ステップと、
   前記合成画像における前記合成領域内の各画素の輝度を、前記画素の前記光源領域からの距離に応じて補正する輝度補正処理を行う輝度補正ステップと、
   を有することを特徴とする画像処理方法。
2. 前記輝度補正ステップにおいては、前記合成先の画像における光源領域からの距離と輝度値との対応から、前記画素の前記光源領域からの距離に応じた輝度値を取得し、前記画素の輝度を、取得した前記輝度値により補正する、
   ことを特徴とする請求項１に記載の画像処理方法。
3. 前記輝度補正ステップにおいては、動画の各フレームから生成された前記合成画像それぞれに対して前記輝度補正処理を行い、前記輝度補正処理を行って補正された前記画素の輝度を、前後のフレームから生成された前記合成画像に前記輝度補正処理を行って補正された前記画素の輝度に基づいて補正する、
   ことを特徴とする請求項１又は請求項２に記載の画像処理方法。
4. 前記光源領域抽出ステップにおいては、色補正された前記合成画像から光源領域を抽出する、
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理方法。
5. 合成元の画像から抽出された合成領域を合成先の画像に合成した合成画像から光源領域を抽出し、前記合成画像における前記合成領域内の各画素の輝度を、前記画素の前記光源領域からの距離に応じて補正する輝度補正処理を行う輝度補正部、
   を備えることを特徴とする画像処理装置。
6. コンピュータに、
   請求項１から請求項４のいずれか一項に記載の画像処理方法を実行させる、
   ことを特徴とするプログラム。

Images