JP2005141527A - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 画素値変換により高品質なモザイク画像を生成することを可能とした画像処理装置、および方法を提供する。
【解決手段】 モザイク画像の構成画像である補正対象画像と基準画像の各々から同一画素値設定点として画素値調整代表点を選択し、選択した代表点を構成する補正対象画像側の画素値と、基準画像側の画素値をそれぞれ入出力値として設定した画素値変換座標点を通過するラインを、例えばスプライン曲線によって生成し、生成したラインを入力画素値に対する出力画素値を規定するトーンカーブとして設定し、設定したトーンカーブに基づいて、補正対象画像の画素値変換処理を実行する。
【選択図】 図２

Description

本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、異なる視点位置からの複数撮影画像をつなぎ合わせて得られるモザイク画像（多視点画像）の画像間の色ずれ補正を行なう画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。

異なる視点位置からのカメラ撮影画像をつなぎ合わせてパノラマ画像や全天球画像などを取得する手法がある。被写体に対する異なる視点位置からの撮影画像を取得する方法としては、１台のカメラを用いる方法と、複数台のカメラを用いる方法がある。

１台のカメラを用いる方法は、カメラの方向を手動もしくは自動で切り替えることによって、被写体に対する複数方向の画像を撮影し、それをつなぎ合わせる方法である。この手法では、同時に複数の方向を撮影できないという問題がある。従って、１台のカメラを用いる場合、被写体は基本的に静止していることが条件である。

ただし、静止被写体であっても、撮影中に照明条件などの撮影環境の変化が発生した場合には、各撮影画像の色味が変化してしまい、撮影画像をつなぎ合わせて１枚の画像、例えばパノラマ画像を生成すると、各撮影画像のつなぎ合わせの部分が目立ってしまうという問題がある。

複数台のカメラを用いる方法は、異なる方向の画像を撮影する複数台のカメラで同時に複数方向の画像を撮影して、複数の撮影画像をつなぎ合わせる方法である。この方式は１台のカメラを用いる場合の欠点である動く被写体を撮影できないという問題は解消されるものの、カメラの個体差に由来する色ずれが発生するという問題がある。

つまり、各カメラの持つレンズ、データ取得部、メモリ等の特性や、画像処理パラメータの差異などによって、同じ物を撮影しても同じ色データとして記憶されない。これらの複数画像を貼り合わせると、各画像の色みの差異が際立つことになる。

この結果、画像のつなぎ目部分に不自然な不連続色領域が現れてしまい、複数画像のつなぎ目が目立ち、高品質なパノラマ画像等のモザイク画像が得られないという問題が発生する。特に、このような色ずれは、特性の異なる複数のカメラを用いた場合に影響が大きく、１台のカメラを使用した場合に生じる環境の時間変化による色味の変化と比べてとても大きなものになる。

複数の撮影画像を連結して生成するモザイク画像における色ずれ問題を解決する手法として「重複領域の重ね合わせ平均化」がよく知られている。この手法について図１を参照して説明する。

例えば、異なる視点からの撮影画像（ａ），（ｂ）があり、これらの２枚の画像に基づいてパノラマ画像（ｃ）を生成する。異なる視点からの撮影画像（ａ），（ｂ）は、同一の被写体領、すなわち「重複領域」を含むように被写体の撮影を行なう。

図１に示すように、画像（ａ）（ｂ）にそれぞれ同一被写体部分の撮影領域としての重複領域１１，１２を含ませて各画像の撮影を行なう。

これらの撮影画像（ａ），（ｂ）に基づくモザイク画像としてパノラマ画像（ｃ）を生成する際、パノラマ画像（ｃ）における重複領域２１の色を、各撮影画像（ａ），（ｂ）の重複領域１１，１２の平均値とする補正を行う。この補正により、パノラマ画像（ｃ）において、隣接画像の境界を目立たなくすることができる。さらに、単純な画素値平均化による補正ではなく、図に示す各画像からの距離３１，３２を考慮し、画素値補正量を距離３１，３２によって異ならせる重みづけ平均などを適用した補正手法も知られている。

「重複領域」を利用した画像処理について、複数の特許文献に具体的手法が示されている。例えば特許文献１には、重複領域を利用して２枚のカラー画像間の重複領域内の色ヒストグラムを一致させるように色変換を実行することで２枚の画像の色味を合わせる方法が開示されている。

また、特許文献２は、境界部分が重複するよう撮影された２枚のＣＣＤ画像について、２枚の画像の重複領域の画素データのヒストグラムの平均値のずれに基づくオフセット量を各画像に加算して、各画像つなぎ目の色ずれを低減させる方法を開示している。

さらに、特許文献３は、単一のカメラで重複領域が存在するよう撮影された複数枚の画像をつなぎ合わせる際に、つなぎ目の色合い、明るさなどを調整してつなぎ目を目立たなくする方法を開示している。

しかし、これらの「重複領域」を利用した補正方法は、隣接画像間に、同一の被写体領域、すなわち「重複領域」が存在することが適用条件である。従って「重複領域」が存在しない場合には補正が不可能となる。また、隣接画像間の色ずれが大きければ大きいほど重複領域も広く必要とされ、「重複領域」が小さい場合には、正しい補正が困難となるという問題もある。
特開平５−３４２３４４号公報 特開２０００−９２３０６号公報 特開２００１−１６９１５１号公報

本発明は、上記問題点に鑑みてなされたものであり、隣接画像間に同一の被写体領域、すなわち「重複領域」が存在しない場合であっても、各撮影画像の的確な色補正を実行し、高品質なモザイク画像を生成することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
複数の画像を連結したモザイク画像を生成する画像処理装置であり、
モザイク画像の構成画像である基準画像に基づいて、モザイク画像の他の構成画像である補正対象画像の画素値補正処理を実行する画像処理部を有し、
前記画像処理部は、
入力画素値に対する出力画素値を規定するトーンカーブを設定し、該トーンカーブを適用して前記補正対象画像の画素値変換処理を実行する構成であり、
前記補正対象画像と基準画像の各々から同一画素値設定点として選択された画素値調整代表点を構成する補正対象画像画素値と、基準画像画素値をそれぞれ入出力値として設定した画素値変換座標点を通過するトーンカーブを生成し、該生成したトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行する構成であることを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理部は、前記画素値変換座標点を制御点として通過するスプライン曲線を設定し、該スプライン曲線をトーンカーブとして前記補正対象画像の画素値変換処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理部は、複数の画素値変換座標点の各々を個別に通過するスプライン曲線を複数設定し、該複数のスプライン曲線を接続してトーンカーブを生成し、該生成したトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理部は、複数の画素値変換座標点の各々を直線で接続してトーンカーブを生成し、該生成したトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理部は、複数の画素値変換座標点の各々を結ぶ画素値変換座標点接続ラインを、各画素値変換座標点からの距離に基づく重み付け平均化を行なって生成し、生成した画素値変換座標点接続ラインを含むトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理部は、前記補正対象画像における前記基準画像との接続部からの距離に応じた補正重み係数を生成し、該補正重み係数に応じて、前記トーンカーブに基づく画素値変換の処理量を変更する構成であり、前記補正対象画像における前記基準画像との接続部からの距離が大となるに従って前記トーンカーブに基づく画素値変換の処理量を少なくする画素値変換処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理部は、
前記補正対象画像の入力画素値をＦ（ｘ_α、ｙ_α）、
前記補正対象画像の各画素対応の補正重み係数をｗ（ｘ_α，ｙ_α）、
前記トーンカーブによる画素値変換関数をＴとしたとき、
前記補正対象画像の出力画素値Ｇ（ｘ_α、ｙ_α）を下式、
Ｇ（ｘ_α、ｙ_α）＝［ｗ（ｘ_α，ｙ_α）×Ｔ（Ｆ（ｘ_α、ｙ_α））］＋［（１−ｗ（ｘ_α，ｙ_α））×Ｆ（ｘ_α、ｙ_α）］
によって算出する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理部は、前記基準画像と前記補正対象画像の連結画像に対応するエッジ画像に基づいて、前記補正対象画像と基準画像の各画像における同一画素値設定可能領域を検出し、該検出領域から前記画素値調整代表点を選択する処理を実行する構成であることを特徴とする。

さらに、本発明の第２の側面は、
複数の画像を連結したモザイク画像を生成する画像処理方法であり、
各々モザイク画像の構成画像である補正対象画像と基準画像の各々から同一画素値設定点として選択された画素値調整代表点を構成する補正対象画像画素値と、基準画像画素値をそれぞれ入出力値として設定した画素値変換座標点を通過するラインを生成し、該ラインを入力画素値に対する出力画素値を規定するトーンカーブとして設定するトーンカーブ設定ステップと、
前記トーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行する画素値変換処理ステップと、
を有することを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記トーンカーブ設定ステップは、前記画素値変換座標点を制御点として通過するスプライン曲線を設定するステップであり、前記画素値変換処理ステップは、前記スプライン曲線をトーンカーブとして前記補正対象画像の画素値変換処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記トーンカーブ設定ステップは、複数の画素値変換座標点の各々を個別に通過するスプライン曲線を複数設定するステップであり、前記画素値変換処理ステップは、複数のスプライン曲線を接続してトーンカーブを生成し、該生成したトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記トーンカーブ設定ステップは、複数の画素値変換座標点の各々を直線で接続してトーンカーブを生成するステップであり、前記画素値変換処理ステップは、生成したトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記トーンカーブ設定ステップは、複数の画素値変換座標点の各々を結ぶ画素値変換座標点接続ラインを、各画素値変換座標点からの距離に基づく重み付け平均化を行なって生成し、生成した画素値変換座標点接続ラインを含むトーンカーブを生成するステップであり、前記画素値変換処理ステップは、生成したトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記補正対象画像における前記基準画像との接続部からの距離に応じた補正重み係数を生成し、該補正重み係数に応じて、前記トーンカーブに基づく画素値変換の処理量を変更するステップを有し、前記補正対象画像における前記基準画像との接続部からの距離が大となるに従って前記トーンカーブに基づく画素値変換の処理量を少なくする画素値変換処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、
前記補正対象画像の入力画素値をＦ（ｘ_α、ｙ_α）、
前記補正対象画像の各画素対応の補正重み係数をｗ（ｘ_α，ｙ_α）、
前記トーンカーブによる画素値変換関数をＴとしたとき、
前記補正対象画像の出力画素値Ｇ（ｘ_α、ｙ_α）を下式、
Ｇ（ｘ_α、ｙ_α）＝［ｗ（ｘ_α，ｙ_α）×Ｔ（Ｆ（ｘ_α、ｙ_α））］＋［（１−ｗ（ｘ_α，ｙ_α））×Ｆ（ｘ_α、ｙ_α）］
によって算出するステップを有することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記基準画像と前記補正対象画像の連結画像に対応するエッジ画像に基づいて、前記補正対象画像と基準画像の各画像における同一画素値設定可能領域を検出するステップと、該検出領域から前記画素値調整代表点を選択する処理を実行するステップとを有することを特徴とする。

さらに、本発明の第３の側面は、
複数の画像を連結したモザイク画像を生成するコンピュータ・プログラムであって、
各々モザイク画像の構成画像である補正対象画像と基準画像の各々から同一画素値設定点として選択された画素値調整代表点を構成する補正対象画像画素値と、基準画像画素値をそれぞれ入出力値として設定した画素値変換座標点を通過するラインを生成し、該ラインを入力画素値に対する出力画素値を規定するトーンカーブとして設定するトーンカーブ設定ステップと、
前記トーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行する画素値変換処理ステップと、
を有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、複数の画像を連結したモザイク画像を生成する画像処理装置および方法において、モザイク画像の構成画像である補正対象画像と基準画像の各々から同一画素値設定点として選択された画素値調整代表点を構成する補正対象画像画素値と、基準画像画素値をそれぞれ入出力値として設定した画素値変換座標点を通過するラインを生成し、該ラインを入力画素値に対する出力画素値を規定するトーンカーブとして設定し、設定したトーンカーブに基づいて、補正対象画像の画素値変換処理を実行する構成としたので、重複する撮影画像領域がない場合であっても的確な画素値補正が可能となり、高品質なモザイク画像の生成が可能となる。

さらに、本発明の構成によれば、モザイク画像の構成画像である補正対象画像と基準画像の各々から同一画素値設定点として選択された画素値調整代表点を構成する補正対象画像画素値と、基準画像画素値をそれぞれ入出力値として設定した画素値変換座標点を通過するラインを、例えばスプライン曲線によって構成したので、あらゆる画素値に対応する変換が滑らかに実行され、不自然な補正画像となることが防止され、高品質なモザイク画像の生成が可能となる。

さらに、本発明の構成によれば、補正対象画像における基準画像との接続部からの距離に応じた補正重み係数を生成し、該補正重み係数に応じて、トーンカーブに基づく画素値変換の処理量を変更し、補正対象画像における基準画像との接続部からの距離が大となるに従ってトーンカーブに基づく画素値変換の処理量を少なくする画素値変換処理を実行する構成としたので、基準画像と補正対象画像の境界においては、接続部の目立たない補正が可能となり、基準画像から離れた補正対象画像領域では元の画素値が生かされたモザイク画像が生成可能となる。

さらに、本発明の構成によれば、モザイク画像の構成画像である補正対象画像と基準画像の各々から同一画素値設定点として選択する画素値調整代表点の選択処理を、エッジ画像を適用した自動選択処理によって可能としたので、オペレータの処理を介在させることなく、高品質のモザイク画像生成が可能となる。

以下、本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムについて、図面を参照しながら詳細に説明する。

図２は、本発明の画像処理装置の構成、および、本発明の画像処理装置に対する撮影画像の撮りこみ処理構成について説明する図である。

複数のカメラ１０１〜１０３により、被写体１００をそれぞれ撮影する。各カメラ１０１〜１０３は、異なる被写体領域を撮影する。例えば同期信号発生部１０５から出力される同期信号を各カメラ１０１〜１０３が入力し、撮影タイミングが制御される。なお、図では、３台のカメラ構成を示しているが、本発明は複数の異なる視点からの撮影画像の処理に対して適用可能であり、任意数のカメラの撮影画像に対応することが可能である。また、１台のカメラを適用して、順次視点を変更して撮影した複数画像に対する処理にも適用可能である。ここでは一例として、複数の異なるカメラによって撮影した画像に対する処理例を説明する。

画像処理装置１２０は、複数の異なる視点からの撮影画像データを入力して、複数の撮影画像の接合処理を実行し、モザイク画像、例えばパノラマ画像を生成する。

なお、カメラ１０１〜１０３は、静止画像を撮影するスチルカメラであっても、映像データを撮影する例えばデジタルビデオカメラであってもよい。画像処理装置１２０は、スチルカメラの撮影画像の接合によりパノラマ静止画像を生成し、また、デジタルビデオカメラから入力された映像に基づいて、各同期フレームの画像を接合してパノラマ映像を生成する。

カメラ１０１〜１０３は、それぞれ個体差があり同一の被写体を撮影した場合であっても同じ色として撮影されない。つまり、各カメラの持つレンズ、データ取得部、メモリ等の特性や、画像処理パラメータの差異などによって、同じ物を撮影しても同じ色として撮像されない。例えば各カメラが、ＲＧＢ各々８ビットデータ（０〜２５５）を各画素に対応付けて記録する場合、各カメラは同一の物体を撮影した場合であっても、各カメラにおいて記録データとするＲＧＢの値が異なってしまうことが多い。

本発明の画像処理装置１２０は、これらの異なる画像データに対する補正処理を行い、画像接合部の目立たない高品質なモザイク画像を生成する。

本発明の画像処理装置１２０は、各カメラ１０１〜１０３の撮影画像に重複撮影領域が存在しない場合においても、的確な画像補正により高品質なモザイク画像を生成する。

画像処理装置１２０は、各カメラ１０１〜１０３の撮影画像データをメモリ１２１〜１２３に格納し、画像処理部１２４において所定の画像補正処理シーケンスに従った画像処理を実行し、複数画像を連結したモザイク画像を生成する。このモザイク画像の処理過程において、接合する画像の特性を解析し、画素値補正処理を行なう。

画像処理部１２４は、画像処理を実行する制御部としてのＣＰＵを有し、例えば記憶部１２７に格納された画像処理シーケンス実行用のコンピュータ・プログラムに従って画素値補正処理を含む画像処理を実行して画像の接続部の目立たない高品質なモザイク画像を生成する。

画像処理装置１２０は、さらに、キーボード、マウスなどによって構成される入力部１２５と、ディスプレイなどによって構成される出力部１２６を有する。

図３に本発明の画像処理装置において実行する画像処理手順を説明するフローチャートを示す。

以下、フローチャートに示す各ステップの処理の詳細について、順次、説明する。まず、ステップＳ１０１において、接合処理を実行する２枚の画像データを入力する。入力画像は、重複撮影領域のない隣接する画像データであり、静止画像データ、あるいは映像データの場合は、同期フレーム画像データである。

なお、本発明の画像処理装置において実行する画像処理対象は、カメラの撮影画像に限らず、スキャナの取り込み画像などであってもよい。

ステップＳ１０２において、入力した隣接画像データを表示する。なお、図３に示す処理フローにおいて、各表示ステップ（Ｓ１０２，Ｓ１０４）は省略可能なステップであり、オペレータの確認のために実行可能なステップとして示してある。

ステップＳ１０２における画像データの表示例を図４に示す。図４（ａ）と（ｂ）が２つのカメラによって撮影された画像データであり、これを補正することなく接合した連結画像データ、すなわちモザイク画像が（ｃ）に示す画像である。

図４（ａ）の撮影画像と、図４（ｂ）の撮影画像は、撮影したカメラの特性、あるいは撮影環境が異なるため、その色あいがことなっている。例えば（ａ）の画像は、（ｂ）の画像に比較して全体に赤みがかっている。この結果、これを補正することなく接合した連結画像データ（ｃ）は、接合境界部がはっきりと認識可能となり、複数の画像のつなぎ合わせであることが認識されてしまう。

図３に示すフローチャートのステップＳ１０３以下において、画像データの補正処理を行う。

ステップＳ１０３においては、補正処理対象画像データ領域の判別情報として、ブレンド情報を算出する。ブレンド情報について図５を参照して説明する。

補正対象領域画像データを図５（ｃ）の連結画像データの左側の画像データ２０１として設定し、これを注目カメラ画像とする。すなわち、右側の画像データ２０２の特性に合わせて、左側の画像データ２０１（注目カメラ画像）を補正する。右側の画像データ２０２を基準画像とする。

この場合、ブレンド情報は、図５（ｄ）に示すものとなる。ブレンド情報は例えば輝度値０〜２５５のグレイスケール情報として設定する。最小輝度値０（ブラック）は、画素値補正を行なわない画像データ領域に対して設定され、図５の例では右側の画像データ２０２に対応するブレンド情報値が最小輝度値０（ブラック）を持つ。一方、画素値補正対象領域、すなわち、図５（ｃ）の連結画像データの左側の画像データ２０１（注目カメラ画像）に対応するブレンド情報値は輝度値２５５（ホワイト）を持つ。

例えば、図６に示すように、隣接部を撮影した画像データ２５１，２５２に、重複撮影領域が含まれ、連結画像データ２５３を生成する際に、重複領域の画素値を、左側の撮影画像データ（注目カメラ画像）２５１の画素値：Ｘ％、左側の撮影画像データ２５１の画素値：Ｙ％のブレンド値として設定した場合のブレンド情報は、図６に示すような構成となる。すなわち、重複領域については２５５×Ｘ％のブレンド情報値が設定される。

ブレンド情報は、各画像データ領域の画素値に含まれる注目カメラ画像、すなわち補正対象画像データの割り合い（重み：Ｗ０）を示す係数に対応する。

図５に示す右側の画像データ２０２は、注目カメラ画像データの割り合い（重み）：Ｗ０＝０である。また、左側の画像データ２０１は、注目カメラ画像データの割り合い（重み）：Ｗ０＝１である。

図６のように重複領域を有し、重複領域においてブレンド処理が実行されている場合には、重複領域の注目カメラ画像データの割り合い（重み）：Ｗ０＝０〜１の値となる。

ブレンド情報を０〜２５５としたグレイスケールとして設定する場合、
注目カメラ画像データの割り合い（重み）：Ｗ０＝０のブレンド情報値＝０（ブラック）
注目カメラ画像データの割り合い（重み）：Ｗ０＝１のブレンド情報値＝２５５（ホワイト）
として設定されることになる。

図３に戻り、画像処理シーケンスについての説明を続ける。ステップＳ１０３において、上述したブレンド情報の算出が実行され、ステップＳ１０４において、生成されたブレンド情報が表示される。表示データは、例えば図５（ｄ）に示すブレンド情報、あるいは図６に示すブレンド情報２５４などの構成を持つブレンド情報である。

なお、ステップＳ１０４における表示処理は、オペレータに対する確認を可能とする処理であり、省略可能である。

また、上述した例において、ブレンド情報は画像データの領域に対応するグレイスケール情報を持つ画像データとして設定した例を示したが、このような画像データ構成を持つことは必須ではなく、連結画像データを構成する各画素に対してブレンド情報値、あるいは重み情報（Ｗ０）値が対応付けられていればよい。

次に、ステップＳ１０５において、色補正処理に必要とする画素値情報を取得するための画素値調整代表点を基準画像データと、補正対象画像（注目カメラ画像）データから選択する。

画素値調整代表点の選択例について、図７を参照して説明する。図７に示すように、連結画像データを構成する補正対象画像（注目カメラ画像）２０１と、基準画像２０２とから、同じ色に設定すべき点を画素値調整代表点として、それぞれ選択する。

図７に示す例では、同じ色に設定すべき点として、空を撮影した領域から画素値調整代表点を選択した例を示している。

補正対象画像（注目カメラ画像）２０１において注目カメラ画像画素値調整代表点３０１（Ｘ_１，Ｙ_１）を選択し、基準画像２０２から、基準画像画素値調整代表点３０２（Ｘ_２，Ｙ_２）を選択している。図において横軸Ｘ、縦軸Ｙとした座標位置によって各代表点が特定される。

この画素値調整代表点の選択処理は、連結画像データをディスプレイに表示し、オペレータが実行するか、あるいは自動実行する。自動実行処理例については後述する。なお、画素値調整代表点は、複数組選択してもよい。

次に、ステップＳ１０６において、補正対象画像（注目カメラ画像）２０１の画素値補正処理に適用するトーンカーブの変形処理を実行する。

トーンカーブとは、画像全体を色変換するための変換テーブルのことである。図８を参照して、ステップＳ１０６において実行する画素値補正処理に適用するトーンカーブの変形処理について説明する。

図８（１）に示すトーンカーブ設定グラフ中に示すトーンカーブＴ_０（ｉ）は、デフォルトのトーンカーブ（Ｉｎｐｕｔ＝Ｏｕｔｐｕｔ）である。横軸が原画像の画素値（入力画素値：Ｉｎｐｕｔ）、縦軸が変換後画像の画素値（出力画素値：Ｏｕｔｐｕｔ）を表している。直線ｙ＝ｘが無変換（原画像そのまま）を表し、この直線をデフォルトのトーンカーブＴ_０（ｉ）とする。デフォルトのトーンカーブＴ_０（ｉ）を適用した場合、入力画素値＝出力画素値であり、画素値変換は実行されない。

ステップＳ１０５において選択した画素値調整代表点の画素値をそれぞれ以下のように示す。
補正対象画像（注目カメラ画像）２０１の画素値調整代表点（ｘ_１、ｙ_１）の画素値をＦ（ｘ_１、ｙ_１）
基準画像２０２の画素値調整代表点（ｘ_２、ｙ_２）の画素値をＦ（ｘ_２、ｙ_２）
とする。

この２点の画素値調整代表点の画素値を合わせるためには、補正対象画像（注目カメラ画像）２０１の画素値調整代表点（ｘ_１、ｙ_１）の画素値、すなわち、Ｆ（ｘ_１、ｙ_１）を、基準画像２０２の画素値調整代表点（ｘ_２、ｙ_２）の画素値、すなわちＦ（ｘ_２、ｙ_２）に補正する画素値補正を行なえばよい。

すなわち、入力画素値（Ｉｎｐｕｔ）に対する出力画素値（Ｏｕｔｐｕｔ）を決定するトーンカーブＴ（ｉ）が、画素値調整代表点の入力画素値Ｆ（ｘ_１、ｙ_１）を出力画素値Ｆ（ｘ_２、ｙ_２）に設定する、トーンカーブ設定グラフにおける座標点（Ｆ（ｘ_１、ｙ_１），Ｆ（ｘ_２、ｙ_２））を通過するトーンカーブとして変形し、変形したトーンカーブに従って画素値変換を実行すればよい。

トーンカーブによる画素値変換関数をＴとした場合、変形トーンカーブは、Ｔ（Ｆ（ｘ_１、ｙ_１））＝Ｆ（ｘ_２、ｙ_２）を満足するトーンカーブとなる。

この条件を満足するトーンカーブは、図８（１）に示すデフォルトのトーンカーブＴ_０（ｉ）を、補正対象画像（注目カメラ画像）２０１の画素値調整代表点（ｘ_１、ｙ_１）の出力値をＦ（ｘ_２、ｙ_２）と設定するトーンカーブ設定グラフにおける座標点（Ｉｎｐｕｔ，Ｏｕｔｐｕｔ）＝（Ｆ（ｘ_１、ｙ_１），Ｆ（ｘ_２、ｙ_２））、すなわち、図８（１）に示す座標点３５１を通るように変形したトーンカーブである。

この変形トーンカーブを適用した画素値変換を実行すれば、少なくとも選択した画素値調整代表点に関しての色ずれは解消される。

しかし１つの画素値調整代表点のみが一致するような色補正を行なっても、まわりの領域と色が合わなくなってしまうので、図８（１）に示すデフォルトのトーンカーブＴ_０（ｉ）［Ｉｎｐｕｔ＝Ｏｕｔｐｕｔ］を、図８（２）に示すように、画素値調整代表点に対応する画素値変換座標点３５１（Ｆ（ｘ_１、ｙ_１），Ｆ（ｘ_２、ｙ_２））を通る滑らかな曲線状のトーンカーブＴ（ｉ）に変形する。

なお、トーンカーブは、カラー画像の場合には各色ごとに独立して用意する。たとえばカラー画像の色をＹＵＶで表すならばＹ用・Ｕ用・Ｖ用と３本、ＲＧＢで表すならばＲ用・Ｇ用・Ｂ用と３本、それぞれ独立したトーンカーブを生成し、各色ごとに画素値調整代表点に対応する画素値変換座標点を通過する滑らかな変形トーンカーブを設定する。

図８（２）に示すような、画素値調整代表点に対応する画素値変換座標点３５１（Ｆ（ｘ_１、ｙ_１），Ｆ（ｘ_２、ｙ_２））を通る滑らかな曲線状のトーンカーブＴ（ｉ）に基づいて、補正対象画像（注目カメラ画像）データの各画素値が変換される。すなわち、各画素の入力画素値（Ｉｎｐｕｔ）に基づいて、トーンカーブＴ（ｉ）によって設定される出力画素値（Ｏｕｔｐｕｔ）が決定される。

例えば、図８（２）に示すように、補正対象画像（注目カメラ画像）データのある画素の画素値（Ｉｎｐｕｔ）がＦ（ｘ_ａ、ｙ_ａ）である場合、その補正された出力画素値（Ｏｕｔｐｕ）はＧ（ｘ_ａ、ｙ_ａ）となる。

次に、デフォルトのトーンカーブＴ_０（ｉ）［Ｉｎｐｕｔ＝Ｏｕｔｐｕｔ］、すなわち図８（１）に示すｘ＝ｙの直線を、図８（２）に示すような画素値調整代表点に対応する画素値変換座標点を通過する滑らかなトーンカーブに変形させるための変形処理の具体的な処理態様について説明する。

変形したトーンカーブによる色補正を実行した場合に満足すべき画像条件としては、下記の条件がある。
条件１．複数画像の接続部の両側の色があっていること
条件２．色が連続的な部分は連続的になるように設定されること
条件３．原画像からの変化はなるべく少なくなること

上記条件中、条件１は、トーンカーブが指定された画素値調整代表点に対応する画素値変換座標点を通ることと同義である。補正の目的が色ずれを無くすことであるので、この条件は必須である。条件２、３は補正後の画像が画として不自然にならないために必要な要素である。

条件２を満足させるためには、変形トーンカーブが滑らかな曲線であることが必要である。変形トーンカーブが滑らかな曲線でなく、例えば直線の組み合わせなどのような折れ線状のトーンカーフとすると、原画像でグラデーション状に連続的に色変化しているような部分が不連続な色変化領域に変換される。

条件３は、元画像の持つ画素値から大きく変化させた画素値に設定することは、例えば、空が黄色かったり本来白い壁が黒くなったりしてしまう原因になる。条件３を満足させるためには、デフォルトのトーンカーブとしての直線ｙ＝ｘから大きく外れないトーンカーブを設定すればよい。

以下、変形トーンカーブの複数の生成例について説明する。
（１）スプライン補間による変形
まず、スプライン曲線を適用したトーンカーブの変形処理例について、図９を参照して説明する。

スプライン曲線とは、「指定された制御点を通り、それらを滑らかな曲線でつないだ曲線」、として定義されている。上記の条件のうち、条件１および２を満たすような変形方法を考えると、スプライン曲線による制御点間の補間が、トーンカーブの変形処理に適用可能であると考えられる。

図９は、連結画像データを構成する補正対象画像データ（注目カメラ画像）と、隣接する基準画像からそれぞれ選択した２組の画素値調整代表点に対応する画素値変換座標点を制御点Ｐ１（１００，１００），Ｐ２（１５０，１４０）として設定し、端点（０，０）（２５５，２５５）と、制御点Ｐ１（１００，１００），Ｐ２（１５０，１４０）を通るスプライン曲線を描き、これを変形トーンカーブとして設定した例である。

このように、画素値調整代表点に対応する画素値変換座標点を制御点として設定し、制御点を通過するスプライン曲線によって設定される変形トーンカーブは、少なくとも上述した条件１，２を満足するトーンカーブとなる。

（２）複数のスプライン曲線の組み合わせ
上述した（１）のトーンカーブの変形処理では、１つのスプライン曲線を適用した処理例である。しかし、スプライン曲線は、制御点の数が増えると振動しやすいという欠点がある。

例えば、図１０は、点Ｐ３（１２０、１５０）、Ｐ４（１２８、１４０）が、画素値調整代表点に対応する画素値変換座標点であり、この２つの点を制御点とし、これら２点と端点（０，０）（２５５，２５５）とを通過する多点通過スプライン曲線（図中点線）を描いた例である。

この多点通過スプライン曲線は、デフォルトのトーンカーブであるｙ＝ｘのラインをまたがり、大きく湾曲した曲線として設定される。

このような多点通過スプライン曲線を変形トーンカーブとして設定し、この変形トーンカーブを用いて変換された画像は、明らかに誤った変換画素値が設定された不自然な画像となる。

そこで、端点（０，０）（２５５，２５５）以外に複数の制御点を持つ場合、複数の制御点のすべてを通過する１つのスプライン曲線を用いることなく、端点（０，０）（２５５，２５５）以外、１つのみの制御点を通過する複数のスプライン曲線を描き、これらの複数のスプライン曲線を接続して１つの変形トーンカーブを生成する。

図１０の例では、制御点Ｐ３（１２０、１５０）と端点（０，０）（２５５，２５５）を結ぶＰ３通過スプライン曲線と、制御点Ｐ４（１２８、１４０）と端点（０，０）（２５５，２５５）を結ぶＰ４通過スプライン曲線とを描き、これらの２つのスプライン曲線を接続して変形トーンカーブを設定した例を示している。

まず、原点（０，０）から右方向へ見ていき１つ目に出会う制御点Ｐ３（１２０、１５０）までの間は、その制御点Ｐ３（１２０、１５０）と端点（０，０）（２５５，２５５）を通るスプライン曲線（Ｐ３通過スプライン曲線）をそのまま利用する。一方、端点（２５５，２５５）から左方向へ見ていき、１つ目に出会う制御点Ｐ４（１２８、１４０）までの間は、その制御点Ｐ４（１２８、１４０）を通るスプライン曲線（Ｐ４通過スプライン曲線）をそのまま利用する。

各制御点間はそれぞれのスプライン曲線を制御点からの距離で重み付け平均化して接続する。すなわち、複数の制御点（画素値変換座標点）の各々を結ぶ接続ラインを、各制御点（画素値変換座標点）からの距離に基づく重み付け平均化を行なって生成する。

例えば、制御点Ｐ３（１２０、１５０）と、制御点Ｐ４（１２８、１４０）との間の距離がＬである場合、制御点Ｐ３からの距離ａの地点での座標を、
（ｘａ，Ｙａ）＝（（１２０×（Ｌ−ａ）／Ｌ）＋１２８×ａ／Ｌ，（１５０×（Ｌ−ａ）／Ｌ）＋１４０×ａ／Ｌ））として設定して、制御点Ｐ３（１２０、１５０）と、制御点Ｐ４（１２８、１４０）との間を接続する。

あるいは、簡易処理として、制御点Ｐ３（１２０、１５０）と、制御点Ｐ４（１２８、１４０）との間を直線で接続する処理構成としてもよい。

このように複数のスプライン曲線の組み合わせで変形トーンカーブを形成することにより、トーンカーブ全体としての滑らかさはある程度損なわれてしまうが、前述の条件３に挙げた原画像からの変化は少なくなり、結果として、より自然な画素値補正が実現される。

なお、端点以外の制御点が複数ある場合であっても、１つのスプライン曲線で振動しない場合があるが、そのような場合であっても、端点以外の１つの制御点を通過するスプライン曲線を描いて、これらを接続する処理によって、変形トーンカーブを設定した場合、複数の制御点を通る１つのスプライン曲線を描いた場合と、類似するラインが設定されることになり、この複数のスプライン曲線の組み合わせによるトーンカーブ変形方法はこのような場合でも有効であると言うことができる。

図１１に、端点以外の制御点が複数ある場合であっても、１つのスプライン曲線で振動しない例を示す。このような場合であっても、端点以外の１つの制御点、例えば図１１に示すＰ５を通過するスプライン曲線と、Ｐ６を通過するスプライン曲線とをそれぞれ描き、これらを接続する処理によって、変形トーンカーブを設定した場合、複数の制御点Ｐ５，Ｐ６を通る１つのスプライン曲線を描いた場合と、類似するラインが設定される。

このような場合には、２つの制御点（Ｐ５およびＰ６）を通過する１つのスプライン曲線をそのまま適用して変形トーンカーブとして設定してもよく、また、各制御点（Ｐ５またはＰ６）を通過する複数のスプライン曲線を接続する上述の処理を適用した変形トーンカーブの生成を行ってもよい。

（３）直線組み合わせによる処理
次に、簡易的なトーンカーブの変形処理例として、単純に各制御点間を直線で結んだものを変形トーンカーブとする処理例について図１２を参照して説明する。

図１２に示すように、連結画像データを構成する補正対象画像データ（注目カメラ画像）と、隣接する基準画像からそれぞれ選択した２組の画素値調整代表点に対応する２つの画素値変換座標点Ｐ７、Ｐ８が設定された場合、端点（０，０）と座標点Ｐ７とを直線で接続し、さらに、座標点Ｐ７、Ｐ８を直線で接続し、さらに、座標点Ｐ８と端点（２５５，２５５）とを直線で接続する。この直線を変形トーンカーブとして設定する。

このような変形トーンカーブの設定によれば、トーンカーブ設定グラフにおいて設定される画素値変換座標点の位置で、変換処理の滑らかさが損なわれるという問題があるが、前述の条件１と条件３は、この手法を適用した場合でも、ほぼ満足するという結果が得られる。

図３に示すステップＳ１０６では、上述した処理のいずれかを適用して、入力画素値に対する出力画素値を決定する変形トーンカーブを設定する。

次に、図３の処理ステップＳ１０７において、補正対象画像（注目カメラ画像）２０１（図５、図７参照）の構成画素の画素値を変形トーンカーブに基づいて変換して出力画素値を算出する。

具体的には、補正対象画像（注目カメラ画像）２０１の構成画素の画素値を、各々取得し、これを図９〜図１２に示すトーンカーブ設定グラフのＸ軸に対応させ、そのＸ軸の画素値が、変形トーンカーブによって変換される値を算出する。

補正対象画像（注目カメラ画像）２０１の構成画素（ｘ_α、ｙ_α）の画素値をＦ（ｘ_α、ｙ_α）、変形トーンカーブによる画素値変換関数をＴとした場合、変形トーンカーブに基づく変換によって算出される出力画素値Ｇ（ｘ_α、ｙ_α）は、
Ｇ（ｘ_α、ｙ_α）＝Ｔ（Ｆ（ｘ_α、ｙ_α））
となる。

補正対象画像（注目カメラ画像）２０１の構成画素の出力画素値を、変形トーンカーブに基づいて算出し、画素値変換が終了すると、ステップＳ１０８において、補正対象画像（注目カメラ画像）２０１の構成画素の変換画素値を出力画素値とした変換画像を出力する。この出力画像は、補正対象画像（注目カメラ画像）２０１の構成画素の出力画素値が、基準画像２０２の画素値に対応する画素値に変換された画像データとなり、各画像の境界部が目立つことのない高品質な画像が得られる。

次に、本発明の画像処理装置の実施例２について説明する。実施例１においては、補正対象画像（注目カメラ画像）２０１の構成画素の出力画素値を、変形トーンカーブに基づいて一様に補正を行なう処理例を説明した。

実施例２は、補正対象画像（注目カメラ画像）２０１の構成画素の出力画素値を、変形トーンカーブに基づいて補正を行なう際、基準画像２０２からの距離に応じて補正の度合いを変更する処理例である。

なお、本実施例においても、画像処理装置構成は実施例１において、図２を参照して説明した構成と同様の構成が適用される。

本実施例における画像処理シーケンスについて、図１３を参照して説明する。図１３の処理シーケンスにおいて、ステップＳ２０１〜Ｓ２０６までのトーンカーブの変形処理までは実施例１の図３に示すフローチャートのステップＳ１０１〜Ｓ１０６と同様の処理であり、説明を省略する。

本実施例においては、ステップＳ２０７において、補正対象画像（注目カメラ画像）２０１と基準画像２０２との接合部からの距離に基づく補正重み係数の設定処理を実行し、ステップＳ２０８において、変形トーンカーブと、設定した補正重み係数に基づいて、連結画像の補正対象画像（注目カメラ画像）領域の画素値変換処理を実行する。

まず、ステップＳ２０７の処理、すなわち、補正対象画像（注目カメラ画像）２０１と基準画像２０２との接合部からの距離に基づく補正重み係数の設定処理の詳細について、図１４を参照して説明する。

図１４に示すように、連結画像における補正対象画像（注目カメラ画像）２０１領域において、基準画像２０２領域との接合部を補正重み係数＝最大値（１）とし、基準画像２０２領域との接合部から離れた最大距離を持つ端部を補正重み係数＝最小値（０）として設定する。

ステップＳ２０８においては、補正重み係数を考慮した変形トーンカーブに基づく補正を行なう。

連結画像における補正対象画像（注目カメラ画像）２０１領域の各画素の座標を（ｘ_α，ｙ_α）として、これらの各画素における補正重み係数をｗ（ｘ_α，ｙ_α）とする。補正重み係数をｗ（ｘ_α，ｙ_α）は、座標を（ｘ_α，ｙ_α）と、基準画像２０２領域接合部との距離に応じて０〜１の範囲に設定される。
基準画像との接合部では、補正重み係数ｗ（ｘ_α，ｙ_α）＝１
基準画像接合部から最も離間した部分では、補正重み係数ｗ（ｘ_α，ｙ_α）＝０
である。

変形トーンカーブは、実施例１と同様の手法により設定され、例えば図９〜図１２に示すような変形トーンカーブが、ステップＳ２０６において設定されているものとする。

ステップＳ２０６において設定された変形トーンカーブによる画素値変換関数をＴとし、連結画像における補正対象画像（注目カメラ画像）２０１領域の各画素の入力画素値Ｆ（ｘ_α、ｙ_α）を補正重み係数ｗ（ｘ_α，ｙ_α）と変形トーンカーブによる画素値変換関数Ｔに基づいて変換し、出力画素値Ｇ（ｘ_α、ｙ_α）を算出する。

出力画素値Ｇ（ｘ_α、ｙ_α）は、以下の式によって算出される画素値となる。
Ｇ（ｘ_α、ｙ_α）＝［ｗ（ｘ_α，ｙ_α）×Ｔ（Ｆ（ｘ_α、ｙ_α））］＋［（１−ｗ（ｘ_α，ｙ_α））×Ｆ（ｘ_α、ｙ_α）］

すなわち、変形トーンカーブによる画素値変換処理を、基準画像２０２領域接合部では１００％実行し、基準画像２０２領域接合部から離れるに従って補正度合いを減少させて、基準画像２０２領域接合部から最も遠い画素領域では、変形トーンカーブによる画素値変換処理を行なわず、補正対象画像（注目カメラ画像）２０１のオリジナルの画素値をそのまま出力画素値として設定する。

画素値変換が終了すると、ステップＳ２０９において、補正対象画像（注目カメラ画像）２０１の構成画素の変換画素値を出力画素値とした変換画像を出力する。この出力画像は、補正対象画像（注目カメラ画像）２０１の構成画素の出力画素値が、基準画像２０２領域接合部では、基準画像２０２の画素値に対応する画素値と同一値に変換され、基準画像２０２領域接合部から離れるに従って、補正対象画像（注目カメラ画像）２０１のオリジナルの画素値に近づくように設定された画像データとなり、各画像の境界部が目立つことのない高品質な画像となる。

上述した実施例１、２において、画素値調整代表点の選択処理は、先に、図７を参照して説明したようにオペレータによる処理として実行するものとしていた。すなわち、ディスプレイに補正対象画像（注目カメラ画像）２０１と、基準画像２０２とからなる連結画像を表示し、連結画像データを構成する補正対象画像（注目カメラ画像）２０１と、基準画像２０２とから、同じ色に設定すべき点を選択する処理として実行していた。

図７に示す例では、同じ色に設定すべき点として、空を撮影した領域から画素値調整代表点を選択している。すなわち、補正対象画像（注目カメラ画像）２０１において注目カメラ画像画素値調整代表点３０１（Ｘ_１，Ｙ_１）を選択し、基準画像２０２から、基準画像画素値調整代表点３０２（Ｘ_２，Ｙ_２）を選択している。

この画素値調整代表点選択処理を自動実行する処理例を実施例３として説明する。画素値調整代表点選択処理を実行するために、補正対象画像（注目カメラ画像）２０１と基準画像２０２との連結画像に対応するエッジ画像を生成する。

エッジ画像の生成例を図１５を参照して説明する。図１５（Ａ）は、実施例１、２と同様の、補正対象画像（注目カメラ画像）２０１と基準画像２０２との連結画像である。図１５（Ｂ）は、図１５（Ａ）に示す連結画像に対応するエッジ画像５０１を示している。

エッジ画像５０１は、画素値の変化の激しい画素領域（エッジ領域）が明るく、画素値の変化の緩やかな部分、すなわちエッジのないテクスチャレスの部分は、暗く表現される画像データである。なお、図１５（Ｂ）に示すエッジ画像５０１は、模式的に示した図である。

図１５（Ｂ）に示すエッジ画像例では、例えば樹木と空の部分の境界は、画素値の変化の激しい部分、すなわちエッジとして識別され、白く表現される。空は全般に一様な画素値を持つため、黒く表現される。

画素値調整代表点は、補正対象画像（注目カメラ画像）２０１領域と基準画像２０２領域から、それぞれ同一画素値として設定すべき点として選択する点である。この画素値調整代表点選択処理を自動的に実行するためには、補正対象画像（注目カメラ画像）２０１領域と基準画像２０２領域とにおいて同一画素値を有すると推定される点をそれぞれ選択することが必要となる。

この条件を満足する可能性が高い領域をエッジ画像５０１に基づいて決定する。すなわち、補正対象画像（注目カメラ画像）２０１領域と基準画像２０２領域とをまたいでエッジの発生していない領域を選択し、この選択領域から画素値調整代表点を選択する。

図１６を参照して、画素値調整代表点選択領域の決定処理の詳細について説明する。補正対象画像（注目カメラ画像）２０１領域と基準画像２０２領域の境界については、前述したブレンド情報に基づいて取得できる。図１６（Ｃ）にブレンド情報５０２を示す。

ブレンド情報は、先に図５を参照して説明したように、例えば輝度値０〜２５５のグレイスケール情報として設定される。基準画像領域に対して最小輝度値０（ブラック）が設定され、補正対象となる注目カメラ画像に対しては、最大輝度値２５５（ホワイト）が設定される。この図１６（Ｃ）に示すブレンド情報５０２に基づいて、補正対象画像（注目カメラ画像）２０１領域と基準画像２０２領域の境界を検出する。

図１６（Ｂ）に示すように、境界近傍おいて、補正対象画像（注目カメラ画像）２０１領域と基準画像２０２領域とをまたいでエッジの発生していない領域を選択し、この選択領域を画素値調整代表点選択領域５５１として設定し、設定領域から画素値調整代表点を選択する。境界近傍とは、例えば各画像の画像幅の１０％程度の領域として設定可能である。

具体的には、例えば、補正対象画像（注目カメラ画像）と基準画像が各々２５０画素幅であるとき、境界から２５画素幅以内の領域を画素値調整代表点選択領域の選定領域とするなどの設定が可能である。

ただし、処理対象画像がテクスチャが多い画像であるか、または少ない画像であるかに応じて、最適な画素値調整代表点選択領域の選定領域をあらかじめ決定し、その選定領域内で画素値調整代表点選択領域を決定する構成とすることが好ましい。

この画素値調整代表点選択手法を適用することにより、オペレータによる画素値調整代表点選択処理を行なうことなく、自動的に、補正対象画像（注目カメラ画像）２０１領域と基準画像２０２領域とにおいて同一画素値を有すると推定される点を画素値調整代表点としてそれぞれ選択することが可能となる。

画素値調整代表点の自動選択処理を伴う画像処理シーケンスについて、図１７を参照して説明する。図１７の処理シーケンスにおいて、ステップＳ３０１〜Ｓ３０２の処理、およびステップＳ３０６〜Ｓ３０９の各処理は、実施例１または実施例２と共通の処理として実行可能な処理であるので、説明を省略する。

ステップＳ３０３〜Ｓ３０５の処理が、画素値調整代表点の自動選択処理の実行ステップである。

まず、ステップＳ３０３において、補正対象画像（注目カメラ画像）と基準画像を含む連結画像（図１５（Ａ）参照）に対応するエッジ画像を生成する。例えば図１５（Ｂ）に示すエッジ画像５０１である。

次に、ステップＳ３０４において、ステップＳ３０２において生成しているブレンド情報（図１６（Ｃ）参照）に基づいて画像境界を検出し、エッジ画像に基づいて、画像境界近傍から、エッジの出現していない領域を代表点選択領域として決定する。この処理は、図１６を参照して説明した処理であり、この処理ステップにおいて、図１６（Ｂ）に示す画素値調整代表点選択領域５５１が決定される。

ステップＳ３０５では、画素値調整代表点選択領域内から、画素値調整代表点を選択する。補正対象画像（注目カメラ画像）と基準画像から各々１点を選択する。

なお、ステップＳ３０４において、複数の画素値調整代表点選択領域を選択し、ステップＳ３０５において、複数の画素値調整代表点選択領域に対応する複数の画素値調整代表点を選択してもよい。

以下のステップＳ３０６〜Ｓ３０９は、実施例１または実施例２と同様の処理として実行可能であり、説明を省略する。

自動的に画素値調整代表点の選択処理を実行するシーケンスとしては、さらに、ブレンド情報（図１６（Ｃ）参照）に基づいて、画像境界を検出し、画像境界近傍の点を、一定間隔で選択し、各点が画素値調整代表点として適切か否かを順次検証していく方法がある。

図１８を参照してこの処理について説明する。まず、ブレンド情報（図１６（Ｃ）参照）に基づいて、補正対象画像（注目カメラ画像）２０１領域と基準画像２０２領域との境界を検出する。

その後、補正対象画像（注目カメラ画像）２０１領域と基準画像２０２領域において、それぞれ画像境界から一定距離、離間したラインを上から順に所定画素間隔で、それぞれ代表点として選択可能か否かを判別していく。

図１８の例では、補正対象画像（注目カメラ画像）２０１と基準画像は、それぞれ２５０ピクセル幅の画像データであり、画像境界から５ピクセル離間したラインを上から順に２０ピクセル間隔で取得し、それぞれ代表点として選択可能か否かを判別していく。代表点として選択可能か否かは、補正対象画像（注目カメラ画像）２０１領域と基準画像２０２領域においてそれぞれ選択された点が、エッジ画像において、エッジをまたいでない領域に含まれるか否かによって判定する。この処理によって、複数の画素値調整代表点が自動選択される。

本実施例の処理に従うことにより、全ての処理がオペレータを介することなく自動実行することが可能となり、複数の画像の連結画像の自動補正処理が実現される。

すなわち、オペレータの処理を介在させることなく各画像の境界部が目立つことのない高品質なモザイク画像の自動生成処理が可能となる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上説明してきたように、本発明の構成によれば、モザイク画像の構成画像である補正対象画像と基準画像の各々から同一画素値設定点として選択された画素値調整代表点を構成する補正対象画像画素値と、基準画像画素値をそれぞれ入出力値として設定した画素値変換座標点を通過するラインを生成し、該ラインを入力画素値に対する出力画素値を規定するトーンカーブとして設定し、設定したトーンカーブに基づいて、補正対象画像の画素値変換処理を実行する構成としたので、重複する撮影画像領域がない場合であっても的確な画素値補正が可能となり、高品質なモザイク画像の生成が可能となり、例えばパノラマ画像、あるいは全天球画像などの複数の視点からの画像を連結した画像を生成する装置において適用することで、高品質な画像生成を実現することができる。

さらに、本発明の構成によれば、モザイク画像の構成画像である補正対象画像と基準画像の各々から同一画素値設定点として選択された画素値調整代表点を構成する補正対象画像画素値と、基準画像画素値をそれぞれ入出力値として設定した画素値変換座標点を通過するラインを、例えばスプライン曲線によって構成したので、あらゆる画素値に対応する変換が滑らかに実行され、不自然な補正画像となることが防止され、高品質なモザイク画像の生成が可能となり、例えばパノラマ画像、あるいは全天球画像などの複数の視点からの画像を連結した画像を生成する装置において適用することで、高品質な画像生成を実現することができる。

さらに、本発明の構成によれば、補正対象画像における基準画像との接続部からの距離に応じた補正重み係数を生成し、該補正重み係数に応じて、トーンカーブに基づく画素値変換の処理量を変更し、補正対象画像における基準画像との接続部からの距離が大となるに従ってトーンカーブに基づく画素値変換の処理量を少なくする画素値変換処理を実行する構成としたので、基準画像と補正対象画像の境界においては、接続部の目立たない補正が可能となり、基準画像から離れた補正対象画像領域では元の画素値が生かされたモザイク画像が生成可能となり、例えばパノラマ画像、あるいは全天球画像などの複数の視点からの画像を連結した画像を生成する装置において適用することで、高品質な画像生成を実現することができる。

さらに、本発明の構成によれば、モザイク画像の構成画像である補正対象画像と基準画像の各々から同一画素値設定点として選択する画素値調整代表点の選択処理を、エッジ画像を適用した自動選択処理によって可能としたので、オペレータの処理を介在させることなく、高品質のモザイク画像生成が可能となり、例えばパノラマ画像、あるいは全天球画像などの複数の視点からの画像を連結した画像を生成する装置において適用することで、効率的に高品質な画像生成を行なうことが可能となる。

重複領域の重ね合わせ平均化手法について説明する図である。 本発明の画像処理装置の構成、および、本発明の画像処理装置に対する撮影画像の撮りこみ処理構成について説明する図である。 本発明の画像処理装置において実行する画像処理手順を説明するフローチャートを示す図である。 連結画像データの表示例を示す図である。 ブレンド情報について説明する図である。 ブレンド情報について説明する図である。 画素値調整代表点の選択例について説明する図である。 画素値補正処理に適用するトーンカーブの変形処理について説明する図である。 スプライン曲線を適用したトーンカーブの変形処理例について説明する図である。 複数のスプライン曲線を適用したトーンカーブの変形処理例について説明する図である。 複数のスプライン曲線を適用したトーンカーブの変形処理例について説明する図である。 複数の点を結ぶ直線を適用したトーンカーブの変形処理例について説明する図である。 本発明の画像処理装置において実行する画像処理手順を説明するフローチャート（実施例２）を示す図である。 接合部からの距離に基づく補正重み係数の設定処理の詳細について説明する図である。 エッジ画像について説明する図である。 画素値調整代表点選択領域の決定処理の詳細について説明する図である。 本発明の画像処理装置において実行する画像処理手順を説明するフローチャート（実施例３）を示す図である。 画像境界から一定距離、離間したラインを上から順に所定画素間隔で、それぞれ代表点として選択可能か否かを判別していく処理について説明する図である。

符号の説明

１１ 重複領域
１２ 重複領域
２１ 重複領域
１００ 被写体
１０１〜１０３ カメラ
１０５ 同期信号発生部
１２１〜１２３ メモリ
１２４ 画像処理部
１２５ 入力部
１２６ 出力部
１２７ 記憶部
２０１ 補正対象画像（注目カメラ画像）
２０２ 基準画像
２５１ 補正対象画像（注目カメラ画像）
２５２ 基準画像
２５３ 連結画像
２５４ ブレンド情報
３０１ 注目カメラ画像画素値補正代表点
３０２ 基準画像画素値補正代表点
５０１ エッジ画像
５０２ ブレンド情報

Claims (17)

1. 複数の画像を連結したモザイク画像を生成する画像処理装置であり、
   モザイク画像の構成画像である基準画像に基づいて、モザイク画像の他の構成画像である補正対象画像の画素値補正処理を実行する画像処理部を有し、
   前記画像処理部は、
   入力画素値に対する出力画素値を規定するトーンカーブを設定し、該トーンカーブを適用して前記補正対象画像の画素値変換処理を実行する構成であり、
   前記補正対象画像と基準画像の各々から同一画素値設定点として選択された画素値調整代表点を構成する補正対象画像画素値と、基準画像画素値をそれぞれ入出力値として設定した画素値変換座標点を通過するトーンカーブを生成し、該生成したトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行する構成であることを特徴とする画像処理装置。
2. 前記画像処理部は、
   前記画素値変換座標点を制御点として通過するスプライン曲線を設定し、該スプライン曲線をトーンカーブとして前記補正対象画像の画素値変換処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理部は、
   複数の画素値変換座標点の各々を個別に通過するスプライン曲線を複数設定し、該複数のスプライン曲線を接続してトーンカーブを生成し、該生成したトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
4. 前記画像処理部は、
   複数の画素値変換座標点の各々を直線で接続してトーンカーブを生成し、該生成したトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
5. 前記画像処理部は、
   複数の画素値変換座標点の各々を結ぶ画素値変換座標点接続ラインを、各画素値変換座標点からの距離に基づく重み付け平均化を行なって生成し、生成した画素値変換座標点接続ラインを含むトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
6. 前記画像処理部は、
   前記補正対象画像における前記基準画像との接続部からの距離に応じた補正重み係数を生成し、該補正重み係数に応じて、前記トーンカーブに基づく画素値変換の処理量を変更する構成であり、
   前記補正対象画像における前記基準画像との接続部からの距離が大となるに従って前記トーンカーブに基づく画素値変換の処理量を少なくする画素値変換処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
7. 前記画像処理部は、
   前記補正対象画像の入力画素値をＦ（ｘ_α、ｙ_α）、
   前記補正対象画像の各画素対応の補正重み係数をｗ（ｘ_α，ｙ_α）、
   前記トーンカーブによる画素値変換関数をＴとしたとき、
   前記補正対象画像の出力画素値Ｇ（ｘ_α、ｙ_α）を下式、
   Ｇ（ｘ_α、ｙ_α）＝［ｗ（ｘ_α，ｙ_α）×Ｔ（Ｆ（ｘ_α、ｙ_α））］＋［（１−ｗ（ｘ_α，ｙ_α））×Ｆ（ｘ_α、ｙ_α）］
   によって算出する構成であることを特徴とする請求項６に記載の画像処理装置。
8. 前記画像処理部は、
   前記基準画像と前記補正対象画像の連結画像に対応するエッジ画像に基づいて、前記補正対象画像と基準画像の各画像における同一画素値設定可能領域を検出し、該検出領域から前記画素値調整代表点を選択する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
9. 複数の画像を連結したモザイク画像を生成する画像処理方法であり、
   各々モザイク画像の構成画像である補正対象画像と基準画像の各々から同一画素値設定点として選択された画素値調整代表点を構成する補正対象画像画素値と、基準画像画素値をそれぞれ入出力値として設定した画素値変換座標点を通過するラインを生成し、該ラインを入力画素値に対する出力画素値を規定するトーンカーブとして設定するトーンカーブ設定ステップと、
   前記トーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行する画素値変換処理ステップと、
   を有することを特徴とする画像処理方法。
10. 前記トーンカーブ設定ステップは、
    前記画素値変換座標点を制御点として通過するスプライン曲線を設定するステップであり、
    前記画素値変換処理ステップは、
    前記スプライン曲線をトーンカーブとして前記補正対象画像の画素値変換処理を実行するステップであることを特徴とする請求項９に記載の画像処理方法。
11. 前記トーンカーブ設定ステップは、
    複数の画素値変換座標点の各々を個別に通過するスプライン曲線を複数設定するステップであり、
    前記画素値変換処理ステップは、
    複数のスプライン曲線を接続してトーンカーブを生成し、該生成したトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行するステップであることを特徴とする請求項９に記載の画像処理方法。
12. 前記トーンカーブ設定ステップは、
    複数の画素値変換座標点の各々を直線で接続してトーンカーブを生成するステップであり、
    前記画素値変換処理ステップは、
    生成したトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行するステップであることを特徴とする請求項９に記載の画像処理方法。
13. 前記トーンカーブ設定ステップは、
    複数の画素値変換座標点の各々を結ぶ画素値変換座標点接続ラインを、各画素値変換座標点からの距離に基づく重み付け平均化を行なって生成し、生成した画素値変換座標点接続ラインを含むトーンカーブを生成するステップであり、
    前記画素値変換処理ステップは、
    生成したトーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行するステップであることを特徴とする請求項９に記載の画像処理方法。
14. 前記画像処理方法は、さらに、
    前記補正対象画像における前記基準画像との接続部からの距離に応じた補正重み係数を生成し、該補正重み係数に応じて、前記トーンカーブに基づく画素値変換の処理量を変更するステップを有し、
    前記補正対象画像における前記基準画像との接続部からの距離が大となるに従って前記トーンカーブに基づく画素値変換の処理量を少なくする画素値変換処理を実行することを特徴とする請求項９に記載の画像処理方法。
15. 前記画像処理方法は、
    前記補正対象画像の入力画素値をＦ（ｘ_α、ｙ_α）、
    前記補正対象画像の各画素対応の補正重み係数をｗ（ｘ_α，ｙ_α）、
    前記トーンカーブによる画素値変換関数をＴとしたとき、
    前記補正対象画像の出力画素値Ｇ（ｘ_α、ｙ_α）を下式、
    Ｇ（ｘ_α、ｙ_α）＝［ｗ（ｘ_α，ｙ_α）×Ｔ（Ｆ（ｘ_α、ｙ_α））］＋［（１−ｗ（ｘ_α，ｙ_α））×Ｆ（ｘ_α、ｙ_α）］
    によって算出するステップを有することを特徴とする請求項１４に記載の画像処理方法。
16. 前記画像処理方法は、さらに、
    前記基準画像と前記補正対象画像の連結画像に対応するエッジ画像に基づいて、前記補正対象画像と基準画像の各画像における同一画素値設定可能領域を検出するステップと、
    該検出領域から前記画素値調整代表点を選択する処理を実行するステップと、
    を有することを特徴とする請求項９に記載の画像処理方法。
17. 複数の画像を連結したモザイク画像を生成するコンピュータ・プログラムであって、
    各々モザイク画像の構成画像である補正対象画像と基準画像の各々から同一画素値設定点として選択された画素値調整代表点を構成する補正対象画像画素値と、基準画像画素値をそれぞれ入出力値として設定した画素値変換座標点を通過するラインを生成し、該ラインを入力画素値に対する出力画素値を規定するトーンカーブとして設定するトーンカーブ設定ステップと、
    前記トーンカーブに基づいて、前記補正対象画像の画素値変換処理を実行する画素値変換処理ステップと、
    を有することを特徴とするコンピュータ・プログラム。

Images