JP2022077221A - 画像処理装置、画像処理システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】入力画像の一部を幾何変形することで得られた幾何変形画像に対して、適切にフィルタ処理を実行する。【解決手段】入力画像内の一部を幾何変形して出力画像を生成するための画像処理装置は、出力画像の画像サイズを取得する第１の取得手段と、入力画像の一部を幾何変形して得られる幾何変形画像に対して実行されるフィルタ処理のフィルタのサイズを取得する第２の取得手段と、幾何変形画像の画像サイズとして、フィルタのサイズに応じた画像サイズであって出力画像の画像サイズより大きい画像サイズに決定する決定手段と、決定された画像サイズの幾何変形画像のそれぞれの画素の位置に対応する入力画像の位置を示すパラメータを生成する生成手段と、を有する。【選択図】図７

Description

本開示の技術は、撮像画像に基づき出力画像を生成する技術に関する。

高解像度画像の一部を分割して得られた複数の分割画像に対して、異なる装置がそれぞれフィルタ処理を行い、フィルタ処理された分割画像を合成することで高解像度画像を並列処理でフィルタ処理する方法がある。

特許文献１には、分割画像の端部の画素を処理対象の画素とした場合でも適切にフィルタ処理するために、分割画像に隣接する画素が付加された分割画像に対してフィルタ処理を行う方法が記載されている。

特開２０１５-１３８４１７号公報

入力画像から切り出された画像を幾何変形して、幾何変形後の画像に対してフィルタ処理を行うことがある。この場合、幾何変形後の画像の端部の周囲の一部には隣接する画素が無いため、幾何変形後の画像の端部の画素を処理対象とした場合、フィルタ処理が適切に行われないことがある。このため、特許文献１の方法のように、入力画像から切り出された画像に隣接する画素を、入力画像から切り出された画像に付加することが考えられる。

しかしながら、入力画像から切り出された画像は幾何変形されるため、特許文献１の方法で付加された画素は、幾何変形後の画像の端部の周囲に隣接する画素に対応するとは限らない。よって、特許文献１の方法では、幾何変形後の画像に対してフィルタ処理を適切に行うことができない。

本開示の技術は、入力画像の一部を幾何変形することで得られた幾何変形画像に対して、適切にフィルタ処理を実行することを目的とする。

本開示の画像処理装置は、入力画像内の一部を幾何変形して出力画像を生成するための画像処理装置であって、前記出力画像の画像サイズを取得する第１の取得手段と、前記入力画像の一部を幾何変形して得られる幾何変形画像に対して実行されるフィルタ処理のフィルタのサイズを取得する第２の取得手段と、前記幾何変形画像の画像サイズとして、前記フィルタのサイズに応じた画像サイズであって前記出力画像の画像サイズより大きい画像サイズに決定する決定手段と、前記決定された画像サイズの前記幾何変形画像のそれぞれの画素の位置に対応する前記入力画像の位置を示すパラメータを生成する生成手段と、
を有することを特徴とする。

本開示の技術によれば、入力画像の一部を幾何変形することで得られた幾何変形画像に対して、適切にフィルタ処理を実行することができる。

画像処理システムの構成を示す図。 入力画像、出力画像、および表示画像の一例を示す図。 比較例の画像処理を説明するための図。 画像処理装置および情報処理装置のハードウエア構成を示す図。 情報処理装置の機能構成を示すブロック図。 フィルタカーネルのパラメータの例を示す図。 幾何変形パラメータの算出処理の流れを示すフローチャート。 幾何変形画像の画像サイズを示す図。 幾何変形パラメータの一例を示す図。 幾何変形パラメータとサンプリング範囲との関係を示す図。 画像処理装置の機能構成を示すブロック図。 出力画像の生成処理の流れを示すフローチャート。 フィルタ処理を説明するための図。

以下、本開示の技術の実施形態について、図面を参照して説明する。なお、以下の実施形態は本開示の技術を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。以下の実施形態の説明では、参照符号において番号の後ろに付与したアルファベットのみが異なる用語については、それぞれ同一機能を持つ装置（デバイス）を示すものとして説明する。

＜実施形態１＞
本実施形態では、出力画像の画像サイズおよびフィルタパラメータに基づいて幾何変形画像の画像サイズを算出する。そして幾何変形画像の画像サイズに基づいて幾何変形画像上の座標と、入力画像上の座標との対応関係を示す幾何変形パラメータを生成する処理について説明する。

［システム構成］
図１は、本実施形態における画像処理システム１の構成を示す図である。本実施形態の画像処理システム１は、撮像画像の部分領域を示す分割画像を入力画像として、この入力画像に対して幾何変形処理とフィルタ処理を適用することで出力画像を生成するためのシステムである。画像処理システム１は、撮像装置１０１、画像処理装置１０２ａ～ｃ、情報処理装置１０４、および表示装置１０３を有する。

撮像装置１０１は、被写体を撮像して、撮像に基づく静止画像及び動画等の撮像画像を取得可能なデバイスである。また、撮像装置１０１は動画を撮像するビデオカメラであるものとして説明し、撮像装置１０１が撮像することによって得られた動画の各フレームが撮像画像であるものとして説明する。

画像処理装置１０２ａ～ｃは、３台の画像処理装置であり、特に断りがない限り画像処理装置１０２ａ～ｄのうちのいずれかであるかを区別せず画像処理装置１０２と記載することがある。画像処理装置１０２に入力される画像を入力画像とよび、画像処理装置１０２は、入力画像に対して幾何変形処理およびフィルタ処理等の画像処理を順次行うことで出力画像を生成する。また、入力画像は、撮像画像の所定の領域を分割して得られる分割画像であるもとして説明する。本実施形態では、撮像画像から分割された３枚の入力画像を、３台の画像処理装置１０２ａ～ｃの入出力に同期をかけた状態で並列動作させることで、出力画像を３枚生成する。そして、画像処理装置１０２ａ～ｃは出力画像を表示装置１０３に出力する。

情報処理装置１０４は、幾何変形パラメータを生成する画像処理装置等の装置である。幾何変形パラメータについては後述する。

表示装置１０３は、視聴者１０７の視野を覆うように設置された３台のディスプレイ１０５ａ～ｃで構成される装置である。表示装置１０３は、例えば、アミューズメントパーク、博物館等に設置され、１台のディスプレイで構成される表示装置よりも視聴者１０７に臨場感を与える映像表現を可能とする装置である。なお、表示装置１０３を見る人を便宜的に視聴者と記載するが、表示装置１０３には音声を出力しない装置も含まれる。

ディスプレイ１０５ａ～ｃは例えば液晶ディスプレイやＬＥＤディスプレイなどの自発光デバイスであるものとして説明する。表示装置１０３に表示される画像を表示画像とよぶ。１台のディスプレイ１０５の表示解像度は４０９６×２１６０であるものとし、表示装置１０３全体での表示解像度は１２２８８×２１６０であるものとして説明する。１台のディスプレイ１０５に１枚の出力画像が表示され、表示装置１０３には出力画像３枚が見かけ上結合された表示画像が表示される。表示装置１０３は、ディスプレイ１０５ａ～ｃは自発光デバイスに限らず、プロジェクタとスクリーンの組み合わせた構成でもよい。

［画像サイズについて］
図２は、本実施形態における入力画像、出力画像、および表示画像を説明するための図である。撮像画像２０１は撮像装置１０１が撮像することによって得られた撮像画像である。本実施形態では、撮像画像２０１の解像度（画像サイズ）は、８１９２×４３２０として説明する。このように画像サイズは、幅の画素数×高さの画素数、で表す。

１枚の撮像画像２０１から領域分割されて得られた３枚の分割画像が本実施形態の入力画像２０２ａ～ｃである。１枚の入力画像の解像度（画像サイズ）は４０９６×２１６０であるものとして説明する。入力画像３枚から画像サイズが４０９６×２１６０の出力画像が３枚生成される。

例えば、画像処理装置１０２ａには入力画像２０２ａが入力され、画像処理装置１０２ａは、入力画像２０２ａ内の切出し領域を幾何変形して幾何変形画像を生成する。さらに画像処理装置１０２ａは、幾何変形画像に対してフィルタ処理を行い、４０９６×２１６０の画像サイズの出力画像２０３ａを生成する。この処理が他の画像処理装置１０２ｂ、１０２ｃでも入力画像２０２ｂ、入力画像２０２ｃに対して行われて、出力画像２０３ｂ、出力画像２０３ｃが生成される。

そして、３枚の出力画像２０３ａ～ｃがディスプレイ１０５ａ～ｃにそれぞれ表示されることで３枚の出力画像２０３ａ～ｃが見かけ上結合された画像が、１２２８８×２１６０の画像サイズの表示画像２０４になる。

［比較例について］
図３は画像処理の比較例を説明するための図である。図３の入力画像は、撮像画像から領域分割された分割画像のうちの１枚の画像である。この入力画像に対する画像処理の比較例を説明する。

表示装置１０３に表示するための出力画像を生成するために、はじめに、入力画像内の一部である切り出し範囲が幾何変形された画像である幾何変形画像が生成される。幾何変形処理を行うことで、視聴者１０７を囲むような表示装置に出力画像を表示させる場合でも、視聴者１０７が違和感なく視ることが可能な出力画像を生成することができる。

比較例では、幾何変形画像と出力画像の画像サイズは同じ場合の例であり、この幾何変形画像のそれぞれの画素を処理対象としてフィルタ処理を行うことによって得られた画素値を、出力画像における同じ位置の画素の画素値とする。この場合、幾何変形画像の端部では、フィルタ処理を行うために参照する画素が無いことがあり、幾何変形画像の端部の画素を処理対象とした場合、適切にフィルタ処理が実行されない。

入力画像を撮像画像から領域分割する際に、入力画像にのりしろ画素を付加することも考えられるが、入力画像の一部の領域である切り出し範囲にはのりしろ画素が含まれない。また、切り出し範囲に隣接する画素を切り出し範囲に付加することも考えられるが、切り出し範囲は幾何変形されるため、付加された画素が、幾何変形画像の端部に隣接する画素に対応するとは限らない。

この画像処理が他の入力画像に対しても行われ、画像処理された結果生成された出力画像を見かけ上結合して表示画像とすると、表示画像における出力画像のつなぎ目３０１でギャップのような画像劣化が発生してしまう。

そこで本実施形態では、幾何変形画像にのりしろ画素（マージン）が含まれるように幾何変形画像の画像サイズを算出する。そして算出された画像サイズの幾何変形画像の夫々の画素の位置に対応する入力画像内の位置を決定するためのパラメータを生成する方法を説明する。

［ハードウエア構成］
図４は、画像処理装置１０２および情報処理装置１０４のハードウエア構成の一例を示す図である。図４（ａ）は、画像処理装置１０２のハードウエア構成の一例を示す図である。本実施形態の画像処理装置１０２は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、ＨＤＤＩ／Ｆ４０４、ＨＤＤ４０５、システムバス４０６、入力Ｉ／Ｆ４０７、映像出力Ｉ／Ｆ４０８、映像入力Ｉ／Ｆ４０９、および通信Ｉ／Ｆ４１０を有する。

ＣＰＵ４０１は、ＲＡＭ４０２をワークメモリとして、ＲＯＭ４０３及びＨＤＤ４０５に格納されたプログラムを実行し、システムバス４０６を介して後述する各構成を制御する。これにより前述した画像処理が実行される。

ＨＤＤ４０５は、ハードディスク、光ディスクドライブなどで構成される二次記憶装置である。ＨＤＤＩ／Ｆ４０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、ＨＤＤ４０５を接続する。ＣＰＵ４０１は、ＨＤＤＩ／Ｆ４０４を介して、ＨＤＤ４０５からのデータ読み出し、およびＨＤＤ４０５へのデータ書き込みの実行が可能である。さらにＣＰＵ４０１は、ＨＤＤ４０５に格納されたデータをＲＡＭ４０２に展開し、同様にＲＡＭ３０４に展開されたデータをＨＤＤ４０５に記憶することが可能である。そしてＣＰＵ４０１は、ＲＡＭ４０２に展開したデータをプログラムとみなし、実行することができる。

入力Ｉ／Ｆ４０７は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスであり、キーボードやマウスなどの入力装置１０６を接続する。ＣＰＵ４０１は、入力Ｉ／Ｆ４０７を介して入力装置１０６からデータを読み込むことが可能である。

映像出力Ｉ／Ｆ４０８は、例えばＳＤＩ、ＤＶＩ、あるいはＨＤＭＩ（登録商標）等の映像出力インタフェイスであり、表示装置１０３に接続する。ＣＰＵ３０１は、映像出力Ｉ／Ｆを介して表示装置１０３に対して静止画データや動画データなどの出力画像データを出力し、表示装置に出力画像を表示することが可能である。

映像入力Ｉ／Ｆ４０９は、例えばＳＤＩ等の映像入力Ｉ／Ｆであり、デジタルカメラやビデオカメラなどの撮像装置１０１を接続する。ＣＰＵ４０１は、映像入力Ｉ／Ｆ４０９を介して撮像装置１０１から静止画データや動画データなどの撮像画像データを取得することが可能である。

通信Ｉ／Ｆ４１０は、情報処理装置１０４等の外部の装置との通信に用いられる。例えば、画像処理装置１０２が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ４１０に接続される。画像処理装置１０２が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ４１０はアンテナを備える。

図４（ｂ）は、情報処理装置１０４のハードウエア構成の一例を示す図である。本実施形態の情報処理装置１０４は、ＣＰＵ４１１、ＲＡＭ４１２、ＲＯＭ４１３、ＨＤＤＩ／Ｆ４１４、ＨＤＤ４１５、システムバス４１６、表示部４１８、操作部４１７、通信Ｉ／Ｆ４２０を有する。ＣＰＵ４１１、ＲＡＭ４１２、ＲＯＭ４１３、ＨＤＤＩ／Ｆ４１４、ＨＤＤ４１５、システムバス４１６、それぞれＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、ＨＤＤＩ／Ｆ４０４、ＨＤＤ４０５、システムバス４０６と同様であるため説明を省略する。通信Ｉ／Ｆ４２０は通信Ｉ／Ｆ４１０と同様であるため説明を省略する。

表示部４１８は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置１０４を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部４１７は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ４１１に入力する。ＣＰＵ４１１は、表示部４１８を制御する表示制御部、及び操作部４１７を制御する操作制御部として動作する。

［情報処理装置の機能構成］
図５は、情報処理装置１０４の機能構成を示すブロック図である。情報処理装置１０４は、情報取得部５０１、出力画像サイズ取得部５０２、フィルタ取得部５０３、幾何変形画像サイズ決定部５０４、幾何変形パラメータ生成部５０５を有する。

情報取得部５０１は、視聴者１０７の視点位置情報、表示装置１０３の形状や大きさなどの表示装置情報、撮像装置１０１の撮像パラメータおよび撮像画像の画像サイズなどの撮像装置に関する情報を取得する。撮像パラメータは、撮像装置のセンササイズやレンズの射影方式、焦点距離などである。また、情報取得部５０１は入力画像の画像サイズを取得する。情報取得部５０１は、取得した情報を幾何変形パラメータ生成部５０５に出力する。

出力画像サイズ取得部５０２は、画像処理装置１０２から出力される出力画像の画像サイズを取得し、出力画像の画像サイズを幾何変形画像サイズ決定部５０４に出力する。

情報取得部５０１および出力画像サイズ取得部５０２は、例えば、ユーザが操作部４１７を介して入力した入力情報に基づき、画像サイズ、撮像パラメータ等の情報を取得する。または、情報取得部５０１および出力画像サイズ取得部５０２は、画像処理装置１０２からそれぞれの情報（データ）を取得してもよい。情報取得部５０１および出力画像サイズ取得部５０２は、それぞれ撮像画像および出力画像を取得することでそれぞれの画像サイズを導出してもよい。

フィルタ取得部５０３は、幾何変形画像に対して画像処理装置１０２がフィルタ処理を行う際に用いられるフィルタパラメータを取得する。そして、フィルタパラメータを幾何変形画像サイズ決定部５０４に出力する。フィルタパラメータとは、フィルタカーネル（単にフィルタとも記す）のカーネルサイズと、フィルタ係数を示す。フィルタパラメータは、例えば、ユーザが操作部４１７を介して入力した情報に基づき取得される。または画像処理装置１０２のＨＤＤ４０５にフィルタパラメータが記録されている場合は、画像処理装置１０２からフィルタパラメータを取得してもよい。フィルタ取得部５０３は、フィルタのカーネルサイズのみを取得して幾何変形画像サイズ決定部５０４に出力してもよい。

図６は、フィルタパラメータを説明するための図である。図６に示すフィルタは、カーネルサイズが３×３で、フィルタ内に保持されているフィルタ係数は画像鮮鋭化処理を行うための係数である。本実施形態では、図６に示すようなカーネルサイズが３×３のフィルタパラメータが取得されるものとして説明する。なお、画像処理装置１０２において、カーネルサイズおよびフィルタ係数は画像処理の内容に応じて自由に設定することが可能である。例えば、画像処理装置１０２がノイズを低減するために平滑化処理を行う場合は、画像処理装置１０２において平滑化フィルタのためのフィルタ係数が設定されてもよい。

幾何変形画像サイズ決定部５０４は、画像処理装置１０２が幾何変形処理を実行することによって得られる幾何変形画像の画像サイズを決定する。本実施形態では、幾何変形画像の画像サイズは、出力画像の画像サイズとフィルタのカーネルサイズに基づき、マージンの画素が含まれるようなサイズが算出されて決定される。幾何変形画像サイズ決定部５０４は、決定した幾何変形画像の画像サイズを幾何変形パラメータ生成部５０５に出力する。

幾何変形パラメータ生成部５０５は、情報取得部５０１によって取得された情報に基づき、幾何変形パラメータを生成する。幾何変形パラメータ生成部５０５は、生成した幾何変形パラメータを画像処理装置１０２に出力する。

幾何変形パラメータは、幾何変形画像上の座標と、入力画像上の座標との対応関係を示すパラメータである。画像処理装置１０２は、情報処理装置１０４が生成した幾何変形パラメータに基づき、マージンが含まれる幾何変形画像に対応する入力画像内の位置を決定することができる。

図５の各部の機能は、情報処理装置１０４のＣＰＵ４１１がＲＯＭ４１３またはＨＤＤ４１５に記憶されているプログラムコードをＲＡＭ４１２に展開し実行することにより実現される。または、図５の各部の一部または全部の機能をＡＳＩＣや電子回路等のハードウエアで実現してもよい。

［幾何変形パラメータの決定処理］
図７は、情報処理装置１０４によって実行される幾何変形パラメータを生成するための本実施形態の処理の一例を説明するためのフローチャートである。図７のフローチャートで示される一連の処理は、情報処理装置１０４のＣＰＵ４１１がＲＯＭ４１３またはＨＤＤ４１５に記憶されているプログラムコードをＲＡＭ４１２に展開し実行することにより行われる。また、図７におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウエアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以降のフローチャートでも同様とする。

Ｓ７０１において情報取得部５０１は、画像処理装置１０２の画像処理の対象となる入力画像の画像サイズを取得する。本実施形態では入力画像の画像サイズとして４０９６×２１６０が取得される。さらに情報取得部５０１は、視聴者１０７の視点位置情報、表示装置１０３の形状や大きさなどの表示装置情報、撮像装置１０１の撮像パラメータ等の撮像装置に関する情報を取得する。

Ｓ７０２において出力画像サイズ取得部５０２は、画像処理装置１０２が入力画像に対して幾何変形処理とフィルタ処理を順次行うことで生成する出力画像の画像サイズを取得する。本実施形態では、出力画像の画像サイズとして４０９６×２１６０が取得される。

Ｓ７０３においてフィルタ取得部５０３は、画像処理装置１０２が幾何変形画像に対してフィルタ処理を行う際のフィルタパラメータを取得する。本実施形態では、カーネルサイズが３×３のフィルタパラメータが取得される。

Ｓ７０４おいて幾何変形画像サイズ決定部５０４は、Ｓ７０２で取得された出力画像の画像サイズと、Ｓ７０３で取得されたフィルタパラメータに基づき、画像処理装置１０２が生成する幾何変形画像の画像サイズの算出を行う。

出力画像の画像サイズをＷ_O×Ｈ_O、フィルタのカーネルサイズをＮ×Ｎとすると、幾何変形画像の画像サイズＷ_T×Ｈ_Tにおける、幅のサイズを表すＷ_T、および高さサイズを表すＨ_Tは、式（１）、式（２）によりそれぞれ算出される。
Ｗ_T＝Ｗ_O＋Ｎ－１ 式（１）
Ｈ_T＝Ｈ_O＋Ｎ－１ 式（２）
式（１）、式（２）におけるＮ－１は、幾何変形画像にマージン（のりしろ画素）を付加するための項である。本実施形態では、出力画像の画像サイズは４０９６×２１６０、フィルタのカーネルサイズは３×３として説明するため、Ｗ_Oは４０９６、Ｈ_Tは２１６０、Ｎは３である。この場合、幾何変形画像の幅のサイズＷ_Tは４０９６＋３－１＝４０９８として算出される。幾何変形画像の高さのサイズＨ_Tは２１６０＋３－１＝２１６２として算出される。

図８は、算出された幾何変形画像の画像サイズを説明するための図である。図８のディスプレイ１０５は表示装置１０３を構成する１台のディスプレイの画面を表し、１台のディスプレイ１０５には４０９６×２１６０の解像度の１枚の出力画像２０３が表示される。このディスプレイ１０５に、本ステップで算出された画像サイズの幾何変形画像８０１の中央とディスプレイの中央を合わせて配置すると、幾何変形画像８０１は、ディスプレイに周囲１画素ずつマージンがはみ出して配置されることとなる。本実施形態では、出力画像の画像サイズに比べて、周囲に（Ｎ－１）／２画素ずつマージンを持つように幾何変形画像の画像サイズが決定されたためである。

Ｓ７０５において幾何変形パラメータ生成部５０５は、Ｓ７０１で取得された情報とＳ７０４で決定された幾何変形画像の画像サイズに基づいて、幾何変形パラメータを生成する。生成された幾何変形パラメータは、フィルタパラメータおよび出力画像の画像サイズと対応付けて画像処理装置１０２に送信される。画像処理装置１０２のＣＰＵ４０１は、幾何変形パラメータをフィルタパラメータおよび出力画像の画像サイズと対応付けてそれぞれのＨＤＤ４０５に記憶させて管理する。

幾何変形パラメータは、幾何変形画像の各画素の位置（座標）が入力画像のどの位置（座標）に対応するかを示すための情報である。画像の位置は、夫々の画像の左上を原点とする２次元座標の位置であるものとして説明する。

幾何変形パラメータの具体的な算出方法について説明する。まず、表示装置１０３が配置されている空間において、表示装置１０３を見る視聴者１０７の視点位置を原点に設定する。そして、表示装置１０３を構成する各ディスプレイ１０５に対して仮想的に幾何変形画像を中央合わせで配置する。図８のように、それぞれの中央に合わせて幾何変形画像をディスプレイ１０５に仮想的に配置すると、ディスプレイの周囲にマージンの画素がはみ出すように、幾何変形画像はディスプレイに仮想的に配置される。

そして、原点から、ディスプレイ１０５に配置された幾何変形画像上の各画素への、ベクトルを算出する。ベクトルはディスプレイ１０５に配置された幾何変形画像上の各画素の３次元座標を示すベクトルである。そして算出されたベクトルに応じて、原点から幾何変形画像上の各画素の方向を示す仰俯角θ_sと方位角φ_sとを算出する。

次に、ディスプレイ上の幾何変形画像の各画素を示す仰俯角θ_sおよび方位角φ_sが、撮像画像の左上を原点とする２次元座標においてどの位置に対応するかを、撮像パラメータと撮像画像のサイズに基づいて算出する。

まず、仰俯角θ_sおよび方位角φ_sから、式（１）に従い入射角θを求める。

さらに、偏角φのcosφおよびsinφを式（２）から求める。

入射角θは、仰俯角θ_sおよび方位角φ_sに対応する単位ベクトルと撮影時の光軸とのなす角度である。偏角φは、仰俯角θ_sおよび方位角φ_sに対応する単位ベクトルをｘｙ平面に射影したベクトルとｘ軸とのなす角度に対応する角度である。

次に、入射角θと、偏角φのcosφおよびsinφと、撮像画像の水平方向の画像サイズＷおよび垂直方向の画像サイズＨと、に基づいて、幾何変形画像の各画素を示す仰俯角θ_sと方位角φ_sに対応する撮像画像の位置を式（３）に従って算出する。撮像画像上の位置は、左上を原点とする２次元座標（ｉ_s、ｊ_s）で表す。ｉ_sは撮像画像の水平方向の画素位置を示す値であり、ｊ_sは撮像画像の垂直方向の画素位置を示す値である。

式（３）において、sensorHは撮像センサの水平サイズ、sensorVは撮像センサの垂直サイズを示す。また、ｒは撮像画像上の像高を示す。本実施形態では、撮像画像のサイズを８１９２×４３２０として説明するため、水平方向の画像サイズＷは８１９２、垂直方向の画像サイズＨは４３２０である。

撮像装置のレンズの射影方式が魚眼レンズのような等立体角射影である場合、等立体角射影における像高ｒは入射角θおよび焦点距離ｆから式（４）に基づき算出される。

あるいは、撮像装置のレンズの射影方式が中心射影の場合、像高ｒは式（５）から算出される。
r=ftanθ 式（５）

最後に、算出された撮像画像上の座標（ｉ_s，ｊ_s）を、入力画像の左上を原点とする座標（ｉ_c，ｊ_c）に変換する。ｉ_cは水平方向の画素位置を示す値であり、ｊ_cは垂直方向の画素位置を示す値である。ｉ_c、ｊ_cは式（６）、式（７）から求める。
i_c=i_s+offsetX 式（６）
j_c=j_s+offsetY 式（７）
式（６）、式（７）にそれぞれ含まれるoffsetX、offsetYは、幾何変形画像を配置するディスプレイ（出力画像が表示されるディスプレイ）に応じて異なる値である。それぞれのディスプレイに対応するoffsetX、offsetYは、本実施形態の場合、次の通りである。
左側ディスプレイ：offsetX=0、offsetY=-H/4
中央ディスプレイ：offsetX=-W/4、offsetY=-H/4
右側ディスプレイ：offsetX=-W/2、offsetY=-H/4

本実施形態の場合、中央ディスプレイは、ディスプレイ１０５ｂを示し、左側ディスプレイはディスプレイ１０５ａ、右側ディスプレイはディスプレイ１０５ｃを示す。

以上の計算を、表示装置１０３を構成する３台のディスプレイ１０５ａ～ｃに対応させてそれぞれ行うことで、各ディスプレイ上に配置される幾何変形画像の各画素の位置と入力画像上の位置との対応関係を示す幾何変形パラメータを決定することができる。算出される撮像画像の位置は整数値になるとは限らず小数となる場合もあるため、同様に入力画像の位置も小数となる場合がある。

図９は、幾何変形パラメータの一例を示すテーブルである。列９０１の「ディスプレイ」には、幾何変形パラメータを算出するために幾何変形画像が配置されたディスプレイが、ディスプレイ１０５ａ～ｃのいずれかであるかを示す文字列が保持されている。列９０１に保持されている文字列のうち、「中央」は、ディスプレイ１０５ｂを示し、「左」は、ディスプレイ１０５ａ、「右」はディスプレイ１０５ｃを示す。

列９０２および列９０３は、幾何変形画像の各画素の画素位置を示す値である。「ｉ_d」は水平方向の画素位置を示す値であり、「ｊ_d」は垂直方向の画素位置を示す値である。幾何変形画像の左上を原点とすると、左上端の画素８１１（図８参照）の位置は「ｉ_d」は０、「ｊ_d」は０、で表す。Ｓ７０４で幾何変形画像の画像サイズが４０９８×２１６２と算出されたものとすると、「ｉ_d」の値域は０から４０９７、「ｊ_d」の値域は０から２１６１となる。

列９０３および列９０４は、列９０１が示すディスプレイに配置された幾何変形画像の画素位置「ｉ_d」、「ｊ_d」に対応する入力画像の各画素の画素位置を示す値が保持されている。「ｉ_c」には水平方向の画素位置を示す値は保持されており、「ｊ_c」は垂直方向の画素位置を示す値が保持されている。「ｉ_c」、「ｊ_c」は前述したように小数が含まれる場合もあり、小数は画素と画素の間の位置を示すことになる。入力画像の画像サイズが４０９６×２１６０の場合、「ｉ_c」に保持される値の値域は０から４０９５、「ｊ_c」に保持される値の値域は０から２０５９となる。

この幾何変形パラメータに基づき、Ｓ７０４で算出された画像サイズの幾何変形画像の各画素の位置に対応する入力画像の位置（サンプリング位置ともいう）を決定できる。

例えば、画像処理装置１０２ａが左のディスプレイ１０５ａに表示させる出力画像を生成するための幾何変形画像を生成するものとする。この場合、図９の行９１１が示すように、幾何変形画像の左上端の水平方向ｉ_dが０、垂直方向ｊ_dが０の位置の画素に対応する入力画像上のサンプリング位置は、水平方向の位置ｉ_cが３２６．４、垂直方向の位置ｊ_cが１６９．９であることが決定できる。このため、画像処理装置１０２ａは、幾何変形画像の各画素の画素値を、対応するサンプリング位置に基づく入力画像の画素値に決定して、幾何変形画像を生成することができる。

図１０は、幾何変形パラメータと幾何変形パラメータが示すサンプリング位置が含まれる入力画像内の領域であるサンプリング範囲を説明するための図である。入力画像２０２ａ内の実線で区切られた領域であるサンプリング範囲１００２は、マージンを含む幾何変形画像を生成するための入力画像２０２ａ内の切出し範囲を示す領域である。入力画像２０２ａ内の点線で区切られたサンプリング範囲１００１は、マージンを含まない画像サイズの幾何変形画像を生成する場合のサンプリング範囲である。

図１０のテーブルが示す幾何変形パラメータの行１０１１のｉ_dおよびｊ_dの値は、幾何変形画像の左端の一番上の画素８１１（図８参照）の位置を示し、その画素に対応する入力画像の位置は、行１０１１のｉ_cおよびｊ_cの値が示す位置である。行１０１２のｉ_dおよびｊ_dの値は、幾何変形画像の左端の上から２番目の画素８１２（図８参照）の位置を示し、その画素に対応する入力画像の位置は行１０１２のｉ_cおよびｊ_cの値が示す位置である。幾何変形画像のマージンの画素８１１とマージンの画素８１２との垂直方向の位置の差は、入力画像では行１０１１のｊ_cと行１０１２のｊ_cとの差から０．８となるように幾何変形パラメータが決定されている。

一方、図１０の幾何変形パラメータの行１０１３のｉ_dおよびｊ_dの値は、幾何変形画像の右端の一番上の画素８２１（図８参照）の位置を示し、その画素に対応する入力画像の位置は、行１０１３のｉ_cおよびｊ_cの値が示す位置である。行１０１４のｉ_dおよびｊ_dの値は、幾何変形画像の右端の上から２番目の画素８２２（図８参照）の位置を示し、その画素に対応する入力画像の位置は行１０１４のｉ_cおよびｊ_cの値が示す位置である。このため、幾何変形画像のマージンの画素８２１とマージンの画素８２２との垂直方向の位置の差は、入力画像では行１０１３のｊ_cと行１０１４のｊ_cとの差から０．７となるように幾何変形パラメータが決定されている。このように、幾何変形画像に含まれる１画素に対応する入力画像内の領域の大きさは、幾何変形画像の位置に応じて異なる大きさになるように、幾何変形パラメータが決定される。

図１０の入力画像２０２ａに含まれる点は、幾何変形画像内のある１画素に相当する入力画像内の領域の中央を示す。なお、図１０の入力画像２０２ａ内の点は、幾何変形画像の全ての画素について示したものではなく、説明のために省略して模式的に記載している。幾何変形画像に含まれる隣り合う画素のそれぞれに相当する点の間隔が広がると、入力画像における幾何変形画像の１画素に相当する領域も大きくなることを意味する。１画素分のマージンを幾何変形画像に付加する場合でも、入力画像に含まれるマージンの１画素に相当する領域の大きさは均一ではなく画素位置に応じた大きさになるように幾何変形パラメータは決定される。

以上説明したように本実施形態では、幾何変形画像のマージンに対応する入力画像内の位置が決定できるように幾何変形パラメータが決定される。画像処理装置１０２では、上述した方法で決定された幾何変形パラメータを用いて幾何変形画像を生成すると、図８に示すようにマージンが含まれる幾何変形画像を生成することができる。このため本実施形態によれば、画像処理装置１０２では、適切にフィルタ処理を行うことができるため、出力画像のつなぎ目における画像劣化を抑制できる。

なお、幾何変形画像の各画素に対応する入力画像上の座標の決定方法は、上述した方法に限られない。他にも例えば、表示装置がプロジェクタとスクリーンとで構成されるような場合においては、プロジェクタとスクリーンの位置関係で生じる歪みを補正するワーピング処理が行われるのが一般的である。このような構成においては、ワーピングも考慮して入力画像上の座標を計算してもよい。

なお、本実施形態では、情報処理装置１０４が幾何変形パラメータを決定するものとして説明したが、図５の機能を有する画像処理装置１０２が幾何変形パラメータを決定してもよい。その場合、図５の機能を有する画像処理装置は、画像処理装置１０２ａ～ｃのうちの少なくとも１台でもよいし、画像処理装置１０２ａ～ｃの全てが図５の機能を有していてもよい。画像処理装置１０２ａ～ｃの全てが図５の機能を有している場合は、幾何変形パラメータについても並列処理して生成してもよい。

＜実施形態２＞
実施形態１では、幾何変形画像の画像サイズを算出し、幾何変形画像上の座標と、入力画像上の座標との対応関係を示す幾何変形パラメータを生成する方法を説明した。本実施形態では、この幾何変形パラメータを用いて入力画像から幾何変形画像を生成し、さらに幾何変形画像に対してフィルタ処理を行うことで表示画像を生成する方法を説明する。本実施形態は、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。

［画像処理装置の機能構成］
図１１は、本実施形態における画像処理装置１０２の機能構成を示すブロック図である。画像処理装置１０２は、パラメータ設定部１１０１、画像取得部１１０２、幾何変形画像生成部１１０３、フィルタ処理部１１０４、表示制御部１１０５を有する。

パラメータ設定部１１０１は、幾何変形処理において使用される幾何変形パラメータ、フィルタ処理において使用される各種パラメータの設定を行う。幾何変形パラメータを設定する場合、パラメータ設定部１１０１は、ユーザが入力装置１０６を介して入力した情報に基づき出力画像の画像サイズおよびフィルタのカーネルサイズを取得する。そして、パラメータ設定部１１０１は、画像サイズおよびカーネルサイズに対応する幾何変形パラメータを取得して、幾何変形パラメータを設定する。

画像取得部１１０２は、撮像画像内の部分領域を示す分割画像を入力画像として、映像入力Ｉ／Ｆ３１０を介して、取得する。

入力画像は、例えば、不図示の制御装置が撮像装置１０１から撮像画像２０１を取得して、その制御装置が、撮像画像を領域分割して、夫々の画像処理装置１０２ａ～ｃに対応する入力画像を出力することで、各画像処理装置に入力される。または、撮像装置１０１が撮像画像を分割する機能を有し、撮像装置１０１が夫々の画像処理装置１０２ａ～ｃに、対応する入力画像を出力してもよい。

幾何変形画像生成部１１０３は、設定された幾何変形パラメータに基づいて、入力画像から幾何変形画像を生成する。フィルタ処理部１１０４は、設定されたフィルタパラメータに基づいて、幾何変形画像に対してフィルタ処理を行い、出力画像を生成する。表示制御部１１０５は、映像出力Ｉ／Ｆ４０８を介して表示装置１０３に対して出力画像を出力し、表示画像を表示させる。

図１１の各部の機能は、画像処理装置１０２のＣＰＵ４０１がＲＯＭ４０３またはＨＤＤ４０５に記憶されているプログラムコードをＲＡＭ４０２に展開し実行することにより実現される。または、図１１の各部の一部または全部の機能をＡＳＩＣや電子回路等のハードウエアで実現してもよい。

［表示画像の生成処理］
図１２は、画像処理装置１０２によって実行される画像処理の一例を説明するためのフローチャートである。図１２のフローチャートで示される一連の処理は、画像処理装置１０２のＣＰＵ４０１がＲＯＭ４０３またはＨＤＤ４０５に記憶されているプログラムコードをＲＡＭ４０２に展開し実行することにより行われる。また、図１２におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウエアで実現してもよい。

Ｓ１２０１においてパラメータ設定部１１０１は、出力画像の画像サイズを取得する。本実施形態では、出力画像の画像サイズとして４０９６×２１６０の画像サイズが取得される。

Ｓ１２０２においてパラメータ設定部１１０１は、フィルタ処理に用いられるフィルタパラメータを設定する。例えば、パラメータ設定部１１０１は、ユーザが入力装置１０６を介して入力した情報に基づくフィルタパラメータを取得して、フィルタパラメータをＲＡＭ４０２に読み出すことでフィルタパラメータの設定を行う。本実施形態では、カーネルサイズが３×３の画像鮮鋭化処理を行うための図６に示すフィルタパラメータを設定するものとして説明する。

Ｓ１２０３においてパラメータ設定部１１０１は、幾何変形処理に用いられる幾何変形パラメータの設定を行う。パラメータ設定部１１０１は、情報処理装置１０４によって図７の処理を行うことで生成された幾何変形パラメータを、出力画像の画像サイズおよびフィルタパラメータに対応付けてＨＤＤ４０５に記憶することで管理している。本ステップでパラメータ設定部１１０１は、Ｓ１２０１で取得された出力画像の画像サイズと、Ｓ１２０２で設定されたフィルタパラメータに対応する幾何変形パラメータを取得する。本実施形態では、４０９６×２１６０の画像サイズの出力画像と３×３のカーネルサイズとに対応する幾何変形パラメータが取得される。

次に、パラメータ設定部１１０１は、取得した幾何変形パラメータをＲＡＭ４０２に読み出すことで幾何変形パラメータの設定を行う。このため、本実施形態では、出力画像の画像サイズの周囲に１画素のマージンが付加された画像サイズである４０９８×２１６２の幾何変形画像を生成するための幾何変形パラメータが読み出される。

Ｓ１２０４において画像取得部１１０２は、撮像装置１０１が撮像することによって得られた撮像画像の分割画像を入力画像として取得する。なお、撮像装置１０１がビデオカメラの場合、撮像される動画の各フレーム画像に対応する分割画像が入力画像として取得される。本実施形態においては、画像サイズが４０９６×２１６０の入力画像が取得される。

Ｓ１２０５において幾何変形画像生成部１１０３は、Ｓ１２０３で設定された幾何変形パラメータに基づいて、入力画像から幾何変形画像を生成する幾何変形処理を行う。幾何変形パラメータは、実施形態１でも説明したように、幾何変形画像の各画素位置に対応する入力画像内のサンプリング位置を示すパラメータである。このため、幾何変形画像生成部１１０３は、幾何変形パラメータに基づいて、幾何変形画像の各画素の値を、幾何変形画像の各画素の位置に対応する入力画像のサンプリング位置の画素の値に基づき決定することができる。この結果、幾何変形画像生成部１１０３は、入力画像から、出力画像の画像サイズにマージンが付加された、画像サイズの幾何変形画像を生成することができる。

Ｓ１２０６においてフィルタ処理部１１０４は、Ｓ１２０２で設定されたフィルタパラメータを用いて、Ｓ１２０５で生成された幾何変形画像に対して畳み込み演算することによるフィルタ処理を行い、出力画像を生成する。

図１３は幾何変形画像に対するフィルタ処理を説明するための図である。Ｓ１２０５で生成された幾何変形画像は出力画像に対してＮ×Ｎのフィルタカーネルサイズに対応する（Ｎ－１）／２画素のマージンを周囲に持っている。本実施形態の場合、図１３に示すように、実線の矩形で示す幾何変形画像は、点線の矩形で示す出力画像に対して、３×３のフィルタカーネルサイズに対応する１画素のマージンを周囲に持っている。このため、出力画像の端部の画素の画素値を算出する際でも、図３で説明した比較例の場合とは異なり、参照する画素があるためフィルタ処理を適切に実行して、出力画像の端部の画素の画素値を決定することが可能となる。本ステップでは、４０９８×２１６２の画像サイズの幾何変形画像から、マージンが除かれた画像サイズである４０９６×２１６０の出力画像が生成される。

Ｓ１２０７において表示制御部１１０５は、Ｓ１２０６において生成された出力画像を表示装置１０３へ出力して、画像処理装置１０２に対応するディスプレイ１０５に出力画像を表示するための制御を行う。

Ｓ１２０８では、処理を終了するかの判定処理を行う。処理を終了しない場合は、Ｓ１２０９に進む。例えば、画像処理装置１０２に次フレームの撮像画像が入力される場合、処理は終了しないと判定する。または、処理の終了命令が入力装置１０６を介してユーザによって入力された場合は処理を終了すると判定し、終了命令が入力されない場合、処理は終了しないと判定する。処理を終了すると判定した場合（Ｓ１２０８がＹＥＳ）、本フローチャートの処理は終了する。

処理を終了しない場合（Ｓ１２０８がＮＯ）、Ｓ１２０９ではパラメータが変更されたかどうかが判定される。例えば、出力画像の画像サイズ、またはフィルタパラメータがユーザの指示などにより変更された場合、パラメータが変更されたと判定される。

パラメータが変更された場合（Ｓ１２０９がＹＥＳ）、Ｓ１２０１へ戻り、Ｓ１２０２～Ｓ１２０３で各パラメータの設定を行い、Ｓ１２０４で新たに入力画像を取得してＳ１２０５～Ｓ１２０７の処理を繰り返す。

パラメータが変更されていない場合（Ｓ１２０９がＮＯ）、Ｓ１２０４へ戻り、Ｓ１２０４で新たに入力画像を取得して、これまでと同様の設定でＳ１２０５～Ｓ１２０７の処理を繰り返す。撮像装置１０１がビデオカメラの場合、撮像される動画の各フレームの分割画像が入力画像として画像処理装置１０２ａ～ｃに入力される。よって、Ｓ１２０８で処理を終了しないと判定された場合、次のＳ１２０４で取得される入力画像は、次フレームから分割された画像となる。

幾何変形処理とフィルタ処理が適切に実行された出力画像を、表示装置１０３を構成する１つのディスプレイ１０５に表示する図１２のフローの動作を、３台の画像処理装置１０２ａ～ｃが並列して実行する。３台の画像処理装置１０２ａ～ｃが並列動作することにより、表示装置１０３全体には、画像サイズが１２２８８×２１６０の表示画像を表示させることができる。

また、それぞれの画像処理装置１０２ａ～ｃでは出力画像の画素値をフィルタ処理して算出する際に、比較例のように参照する画素が存在しないとことはない。このため、本実施形態によれば各ディスプレイ１０５ａ～ｃ間のつなぎ目部分で画質弊害が生じることなく、表示画像を表示させることができる。

＜その他の実施形態＞
上述の実施形態では、画像処理装置１０２と表示装置１０３とを直接接続するシステム構成について説明したが、画像処理システム１の構成は上述の実施形態で説明した構成に限られない。他にも、画像処理装置１０２と表示装置１０３との間にエンコーダ、デコーダを挟んで、例えば４Ｋ２Ｋの光映像伝送技術を用いて映像伝送を行うような構成でもよい。

また、画像処理装置１０２において、フィルタ処理、または表示装置１０３へ出力画像を表示する表示制御処理は行わないで、フィルタ処理および表示制御処理の少なくとも一方は別装置で行うシステム構成でもよい。例えば、画像処理装置１０２では、幾何変形画像に対してフィルタ処理を実行しないで、幾何変形画像を、フィルタ処理を行う他の装置に送信するシステム構成が考えられる。または、画像処理装置１０２とは異なる他の装置が、画像処理装置１０２から出力画像を取得して表示装置へ出力画像を表示する制御を行うシステム構成が考えられる。この場合、画像処理装置１０２では、例えば、図１２のフローチャートにおいて、表示装置に出力画像を表示する表示制御処理に代えて、ＨＤＤ４０５などの記憶装置へ生成した出力画像をファイル保存してもよい。

また、画像処理装置１０２は、フィルタ処理に用いられたフィルタパラメータ、フィルタ処理を行ったかどうかを示すフラグなどのフィルタ処理情報を、ファイルのメタデータとして出力画像に付加してもよい。

画像処理装置１０２が出力画像にフィルタ処理情報を付加することで、当該他の装置で出力画像に別途フィルタ処理を行うときでも、当該他の装置では出力画像のフィルタ処理情報を参照することができる。このため当該他の装置において幾何変形画像または出力画像にフィルタ処理を行う場合、フィルタパラメータを適切に調整することができる。または、出力画像にファイル処理情報を付加することで、当該他の装置において出力画像に２重に同じフィルタ処理を実行してしまうことを防止することができる。

また、画像処理装置１０２で生成された出力画像をＨＤＤ４０５などの記憶装置へファイル保存する場合、１台の画像処理装置で１枚の撮像画像に対応する３枚の出力画像を生成してもよい。この場合、１台の画像処理装置に入力される画像は、分割画像ではなく撮像画像でもよく、画像処理装置は、撮像画像から夫々のディスプレイに対応する幾何変形画像を生成して、出力画像を生成してもよい。画像処理装置に入力画像として撮像画像が入力される場合、幾何変形パラメータは、幾何変形画像の位置に対応する撮像画像の位置を示すパラメータとして生成される。そして、画像処理装置では、幾何変形画像の画素値を、幾何変形パラメータを用いて、撮像画像から決定してもよい。

上述した実施形態においては、３台の平面のディスプレイで構成される表示装置を例に説明を行ったが、上述した実施形態における表示装置は、複数の表示部で１つの表示画像を表示させる表示装置であればよい。例えば、視野を覆うような曲面ディスプレイで構成された表示装置、またはプロジェクタとスクリーンを用いた表示装置でも上述した実施形態の効果と同様の効果を得ることができる。

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４ 情報処理装置
５０２ 出力画像サイズ取得部
５０３ フィルタ取得部
５０４ 幾何変形画像サイズ決定部
５０５ 幾何変形パラメータ生成部

Claims (18)

1. 入力画像内の一部を幾何変形して出力画像を生成するための画像処理装置であって、
   前記出力画像の画像サイズを取得する第１の取得手段と、
   前記入力画像の一部を幾何変形して得られる幾何変形画像に対して実行されるフィルタ処理のフィルタのサイズを取得する第２の取得手段と、
   前記幾何変形画像の画像サイズとして、前記フィルタのサイズに応じた画像サイズであって前記出力画像の画像サイズより大きい画像サイズに決定する決定手段と、
   前記決定された画像サイズの前記幾何変形画像のそれぞれの画素の位置に対応する前記入力画像の位置を示すパラメータを生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記入力画像は、撮像画像の少なくとも一部を含む画像であり、
   前記出力画像が表示される表示部に関する情報、視聴者の位置情報、および前記撮像画像の撮像に関する情報、を取得する情報取得手段をさらに有し、
   前記生成手段は、
   前記表示部に前記決定手段が決定した画像サイズの画像を配置した場合の前記画像内のそれぞれの画素の位置に対応する前記撮像画像の位置を前記情報に基づき決定して、前記パラメータを生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 入力画像内の一部を幾何変形して出力画像を生成するための画像処理装置であって、
   前記入力画像を取得する第１の取得手段と、
   パラメータを取得する第２の取得手段と、
   前記取得されたパラメータに基づき、フィルタ処理のフィルタのサイズに応じた画像サイズであって前記出力画像の画像サイズより大きいサイズに決定された画像サイズの幾何変形画像を、前記入力画像から生成する生成手段と、
   前記生成手段によって生成された前記幾何変形画像に対して前記フィルタ処理を行うことにより、前記出力画像を生成する処理手段と、を有し、
   前記パラメータは、前記決定された画像サイズの前記幾何変形画像のそれぞれの画素の位置に対応する前記入力画像の位置を示すパラメータである
   ことを特徴とする画像処理装置。
4. 前記パラメータを、前記出力画像の画像サイズと前記フィルタのサイズとに対応付けて記憶させる管理手段をさらに有し、
   前記第２の取得手段は、前記処理手段によって生成される前記出力画像の画像サイズと、前記処理手段による前記フィルタ処理に用いられるフィルタのサイズと、に対応する前記パラメータを取得する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記出力画像を生成する際に行われた前記フィルタ処理に関する処理情報を前記出力画像に付加する付加手段をさらに有する
   ことを特徴とする請求項３または４に記載の画像処理装置。
6. 前記処理情報は、前記出力画像を生成する際に前記フィルタ処理が行われたかを示すフラグを含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記処理情報は、前記出力画像を生成する際に実行された前記フィルタ処理に用いられたフィルタパラメータを含むことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記入力画像は、撮像画像の少なくとも一部を含む画像である
   ことを特徴とする請求項３から７のいずれか１項に記載の画像処理装置。
9. 前記パラメータは、前記幾何変形画像の夫々の画素に対応する前記入力画像内の夫々の領域の位置を示すパラメータであり、
   前記夫々の領域の大きさは、該領域に対応付けられた前記幾何変形画像の画素の位置に応じて異なる大きさである
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記決定された画像サイズは、前記幾何変形画像に対して実行される前記フィルタ処理のフィルタのサイズに応じた所定の画素数を、前記出力画像の画像サイズの幅および高さにそれぞれ付加して得られる画像サイズである
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記所定の画素数は、前記フィルタの幅または高さを示す画素数から１を引いた数であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記出力画像は、複数の表示部を繋げて構成された表示装置における前記複数の表示部のうちの１つの表示部に表示される画像である
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記パラメータは、前記出力画像が表示される表示部に前記決定された画像サイズの画像を配置した場合の、該画像の夫々の画素の位置に対応する前記入力画像内の位置を示すパラメータである
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記フィルタ処理は鮮鋭化処理である
    ことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 複数の表示部を繋げて構成された表示装置と、
    前記表示装置における夫々の表示部に表示される出力画像を並列処理して生成する複数の画像処理装置と、を有し、
    前記複数の画像処理装置のそれぞれの画像処理装置は、請求項３から８のいずれか１項に記載の画像処理装置の各手段を有する
    ことを特徴とする画像処理システム。
16. 入力画像内の一部を幾何変形して出力画像を生成するための画像処理方法であって、
    前記出力画像の画像サイズを取得する第１の取得ステップと、
    前記入力画像の一部を幾何変形して得られる幾何変形画像に対して実行されるフィルタ処理のフィルタのサイズを取得する第２の取得ステップと、
    前記幾何変形画像の画像サイズとして、前記フィルタのサイズに応じた画像サイズであって前記出力画像の画像サイズより大きい画像サイズに決定する決定ステップと、
    前記決定された画像サイズの前記幾何変形画像のそれぞれの画素の位置に対応する前記入力画像の位置を示すパラメータを生成する生成ステップと、
    を有することを特徴とする画像処理方法。
17. 入力画像内の一部を幾何変形して出力画像を生成するための画像処理方法であって、
    前記入力画像を取得する第１の取得ステップと、
    パラメータを取得する第２の取得ステップと、
    前記取得されたパラメータに基づき、フィルタ処理のフィルタのサイズに応じた画像サイズであって前記出力画像の画像サイズより大きいサイズに決定された画像サイズの幾何変形画像を、前記入力画像から生成する生成ステップと、
    前記生成ステップによって生成された前記幾何変形画像に対して前記フィルタ処理を行うことにより、前記出力画像を生成する処理ステップと、を有し、
    前記パラメータは、前記決定された画像サイズの前記幾何変形画像のそれぞれの画素の位置に対応する前記入力画像の位置を示すパラメータである
    ことを特徴とする画像処理方法。
18. コンピュータを、請求項１から１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images