JP2017216634A - 映像合成装置、映像合成方法、及びプログラム - Google Patents

Abstract

【課題】映像編集者からの位置合わせ情報に基づいて、好適なフレームレート合成を行う映像合成装置、映像合成方法、及びプログラムを提供する。【解決手段】映像合成装置１０は、１対の撮像装置によりそれぞれ撮像された、同一のフレームレートで一方が他方に対してフレーム周期の半分だけ時間的にずれた１対の映像のデータを受信する処理部１２を備え、処理部１２は、一方の映像と他方の映像とを位置合わせして、フレーム周期の半分ごとに交互に出力し、フレームレートの２倍のフレームレートの映像を生成する。【選択図】図３

Description

本発明は、１対の撮像装置によりそれぞれ撮像された１対の映像を、映像処理によりフレームレート合成するための、映像合成装置、映像合成方法、及びプログラムに関する。

近年、高解像度や高フレームレートの品質の高い映像が求められており、例えば、８Ｋ等と呼ばれる超高精細度テレビジョンでは、画素数水平７６８０×垂直４３２０、フレーム周波数１２０Ｈｚが一つの規格となっている（非特許文献１）。

これらの規格に対応する撮像装置の開発も進められているが、一方、様々な分野において、複数の映像を合成して、１つのまとまった合成映像を製作する技術が知られており、複数の映像を合成して、品質の高い映像を製作する試みもなされている。

例えば、特許文献１には、複数の車載カメラにより撮像された複数の映像を合成して、合成映像の視点に応じた空間を生成し、走行状況の見え方を改善できる、映像表示システムなどが開示されている。特許文献１では、２つの映像を合成する境界にブレンド領域を設定し、２つの映像を連続的につなぎ合わせている。

特開２０１５−０１５５２７

「超高精細度テレビジョン方式スタジオ規格」、標準規格ＡＲＩＢ ＳＴＤ−Ｂ５６ １．１版、一般社団法人電波産業会、平成２６年３月１８日改定

これまで、２つの映像を合成して高フレームレートの映像を生成する方法は、具体的な手法が確立していない。また、従来、映像合成を行う際に、２つの映像の特徴点を判別して映像の位置合わせを自動的に行うが、特徴点の抽出を誤った場合には、映像が乱れたりノイズが生じるという課題があった。また、従来は、映像編集者からの位置合わせ情報に基づいて、フレームレート合成を行う点は考慮されていない。

かかる観点に鑑みてなされた本発明の目的は、映像編集者からの位置合わせ情報に基づいて、好適なフレームレート合成を行う映像合成装置、映像合成方法、及びプログラムを提供することにある。

上記課題を解決する第１の観点に係る映像合成装置は、
１対の撮像装置によりそれぞれ撮像された、同一のフレームレートで一方が他方に対してフレーム周期の半分だけ時間的にずれた１対の映像のデータを受信する処理部を備え、
前記処理部は、前記一方の映像と他方の映像とを位置合わせして、前記フレーム周期の半分ごとに交互に出力し、前記フレームレートの２倍のフレームレートの映像を生成する。

また、第２の観点に係る映像合成装置は、
映像編集者からの位置合わせ情報を受け付ける入力部をさらに備え、
前記処理部は、
前記位置合わせ情報に基づく前記入力部からの出力信号を受信し、
前記出力信号に基づいて、連続して出力する前記１対の映像の少なくとも一方に、マッチングポイントを設定する。

また、第３の観点に係る映像合成装置では、
前記処理部は、
前記マッチングポイントを含む近傍エリアのＲＧＢ値の総和を導出し、
前記マッチングポイントに対応する、他方の映像のピクセル位置を含む近傍エリアのＲＧＢ値の総和を導出し、
前記１対の映像間でそれぞれ導出した前記ＲＧＢ値の総和の差分を導出し、
前記差分が最小になるピクセルを前記他方の映像におけるマッチングポイントに設定する。

また、第４の観点に係る映像合成装置は、
前記処理部は、前記１対の映像の１対のマッチングポイントの色情報を互いに一致させることで、前記１対の映像の他のピクセルの色情報を互いに一致させる。

また、第５の観点に係る映像合成装置は、
前記処理部は、複数対のマッチングポイントを設定し、前記１対の映像の少なくとも一方を圧縮又は伸長させることで、マッチングポイントの間隔を前記１対の映像で互いに一致させる。

本発明は、上述した映像合成装置に実質的に相当する映像合成方法としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

上記課題を解決する第６の観点に係る映像合成方法は、
１対の撮像装置によりそれぞれ撮像された、同一のフレームレートで一方が他方に対してフレーム周期の半分だけ時間的にずれた１対の映像のデータを受信するステップと、
前記一方の映像と他方の映像とを位置合わせして、前記フレーム周期の半分ごとに交互に出力し、前記フレームレートの２倍のフレームレートの映像を生成するステップと、を含む。

また、第７の観点に係る映像合成方法は、
映像編集者からの位置合わせ情報を受け付ける入力部からの出力信号に基づいて、連続して出力する前記１対の映像の少なくとも一方に、マッチングポイントを設定するステップをさらに含む。

また、第８の観点に係る映像合成方法は、
前記マッチングポイントを含む近傍エリアのＲＧＢ値の総和を導出するステップと、
前記マッチングポイントに対応する、他方の映像のピクセル位置を含む近傍エリアのＲＧＢ値の総和を導出するステップと、
前記１対の映像間でそれぞれ導出した前記ＲＧＢ値の総和の差分を導出するステップと、
前記差分が最小になるピクセルを前記他方の映像におけるマッチングポイントに設定するステップと、
をさらに含む。

また、第９の観点に係る映像合成方法は、
前記１対の映像の１対のマッチングポイントの色情報を互いに一致させることで、前記１対の映像の他のピクセルの色情報を互いに一致させるステップをさらに含む。

また、第１０の観点に係る映像合成方法は、
複数対のマッチングポイントを設定し、前記１対の映像の少なくとも一方を圧縮又は伸長させることで、マッチングポイントの間隔を前記１対の映像で互いに一致させるステップをさらに含む。

また、第１１の観点に係るプログラムは、
コンピュータに上記のいずれかの方法を実行させる。

本発明に係る映像合成装置、映像合成方法、及びプログラムによれば、映像編集者からの位置合わせ情報に基づいて、好適なフレームレート合成を行うことができる。

本実施形態に係る映像合成装置の概略構成と撮像システムとを示す模式図である。 ２つの映像のマッチングポイントを設定する映像処理を示した模式図である。 設定された複数対のマッチングポイントに基づく位置合わせを示した模式図である。 ＵＰ映像及びＤＯＷＮ映像間でピクセルの色情報を合わせる映像処理を示す模式図である。 映像合成装置の動作の一例を示すフローチャートである。 左映像及び右映像を合成して、１つのまとまった合成映像を生成する映像処理を示した模式図である。

以降、諸図面を参照しながら、本発明の実施形態について詳細に説明する。

図１は、本実施形態に係る映像合成装置１０の概略構成と撮像システムとを示す模式図である。図１（ａ）は、撮像装置を含む撮像システムと、映像合成装置１０との関係を示す。図１（ｂ）は、図１（ａ）の撮像システムによって撮像された１対の映像をフレームレート合成した後のフレームの様子を示す。映像合成装置１０は、入力部１１と、処理部１２と、を有する。

映像合成装置１０は、例えば図１（ａ）に示すとおり、１対の撮像装置によりそれぞれ撮像された１対の映像を、映像処理によりフレームレート合成する。１対の撮像装置とは、例えば、ハーフミラーを挟んで対称的な位置に配置された１組の撮像装置である。撮像装置は、スチールカメラ及びビデオカメラなどの任意のカメラにより構成されてもよく、それぞれの撮像装置は、例えば、２台のカメラを有する。すなわち、ハーフミラーで反射された像を撮像するＵＰ側の撮像装置は、カメラＬ、Ｒを有し、ハーフミラーを透過した像を撮像するＤＯＷＮ側の撮像装置は、同様にカメラＬ、Ｒを有する。なお、図１（ａ）では、ＵＰ側撮像装置は単に反射された像を撮像するように描かれているが、反転像とならないよう、もう一度ミラーで反射させて撮像するか、或いは電子的に像の反転を行う。

２台のカメラＬ、Ｒは、１つの画面上に表示する合成映像のうち、視聴者から見て左側の領域に表示される左映像、及び、右側の領域に表示される右映像をそれぞれ撮像する。２つのカメラＬ、Ｒは、同期装置により同期されており、左映像及び右映像は、それぞれ同時刻における任意の被写体を撮像したものである。図１（ａ）に左右合成映像として示すとおり、左映像（Ｌ）は右端に、右映像（Ｒ）は左端に、共通する重畳領域（図で中央の領域）をそれぞれ有し、当該重畳領域において互いの一部が重畳するようにして合成される。

ＵＰ側及びＤＯＷＮ側のそれぞれの撮像装置が有するカメラの台数は２台に限定されず、任意の数であってよい。例えば、撮像装置は、１台のカメラにより映像を撮像してもよいし、３台以上のカメラで合成映像を生成してもよい。

１対の撮像装置は、同一のフレームレートで一方が他方に対してフレーム周期の半分だけ時間的にずれた１対の映像を撮像する。図１（ａ）では一例として、ディレー装置は、ＤＯＷＮ側の撮像装置に入力する同期装置からの制御信号を、フレーム周期の半分だけ時間的に遅延させる。一方で、ＵＰ側の撮像装置に入力する同期装置からの制御信号は、直接ＵＰ側の撮像装置に入力される。すなわち、１対の撮像装置は、同一のフレームレートで一方が他方に対してフレーム周期の半分だけ時間的にずれた１対の制御信号を受信することで、上記の１対の映像を撮像することが可能である。

図１（ｂ）は、一例として、６０フレーム／秒（６０Ｐ）のカメラを用いて、１対の映像を撮像又は生成した場合を示している。この場合、ＤＯＷＮ側で撮像又は生成された映像は、ＵＰ側で撮像又は生成された映像に対して、フレーム周期の半分、すなわち１／１２０秒だけ遅延する。映像合成装置１０は、ＵＰ側の映像とＤＯＷＮ側の映像とを位置合わせして、フレーム周期の半分ごとに交互に出力し、元のフレームレートの２倍のフレームレートの映像を生成する。図１（ｂ）の場合、映像合成装置１０は、１対の６０Ｐの映像から、１２０Ｐの映像を生成する。

入力部１１は、映像編集者からの位置合わせ情報を受け付ける。入力部１１は、例えば、キーボード、マウス、タッチペン、及びタッチパネルなどの、任意の情報入力媒体である。位置合わせとは、任意のモニター上に表示されたＵＰ側及びＤＯＷＮ側の映像の所定のピクセル位置を各映像間で合わせることであり、位置合わせ情報とは、位置合わせのために選択されたピクセル情報である。映像編集者は、ＵＰ側及びＤＯＷＮ側の撮像装置によって撮像されたＵＰ映像及びＤＯＷＮ映像の少なくとも一方を任意のモニター上で確認しながら、映像間の位置合わせのために最適なピクセルを選択する。

処理部１２は、映像合成装置１０の機能ブロックをはじめとして、映像合成装置１０の全体を制御及び管理するプロセッサである。処理部１２は、後述する映像処理を規定したプログラムを実行するＣＰＵ（Central Processing Unit）等のプロセッサで構成され、かかるプログラムは、例えば所定の記憶媒体に格納される。処理部１２は、上記のＵＰ映像及びＤＯＷＮ映像のデータ、並びに上記の位置合わせ情報に基づく入力部１１からの出力信号を受信し、映像のフレームレート合成処理を行う。なお、後述のように、処理部１２は、さらに左映像及び右映像を平面的に合成して、ＵＰ映像、ＤＯＷＮ映像となる合成映像を生成してもよい。

以下では、図２乃至図５を参照して、処理部１２が行う映像処理について詳細に説明する。処理部１２は、ＵＰ側及びＤＯＷＮ側の撮像装置より取得した映像データに基づいて、フレームレート合成のための種々の映像処理を行う。

図２は、２つの映像のマッチングポイント１５を設定する映像処理を示した模式図である。図２（ａ）は、ＵＰ映像１３を示し、図２（ｂ）は、ＤＯＷＮ映像１４を示す。ここで、ＵＰ映像１３はＵＰ側の撮像装置で撮像された映像のあるフレームであり、ＤＯＷＮ映像１４はＤＯＷＮ側の撮像装置で撮像された映像であって、ＵＰ映像１３に連続して（１／１２０秒後に）出力されるフレームである。以下では、映像編集者は、ＵＰ映像１３を任意のモニター上で確認しながら、位置合わせのための最適なピクセルを手動で選択するものとして説明するが、これに限定されず、ＤＯＷＮ映像１４のピクセルを手動で選択してもよい。また、映像編集者は、ＵＰ映像１３及びＤＯＷＮ映像１４のピクセルを手動で選択してもよい。なお、２つの映像でピクセルを選択する場合は、映像編集者は、各映像間で映像情報が共通している（同一の被写体を表示している）ピクセルを、位置合わせのための最適なピクセルとして選択する。

初めに、処理部１２は、上記のＵＰ映像１３及びＤＯＷＮ映像１４の幾何学的カメラ歪み（台形歪み）を除去する。これは、２台の撮像装置の視野がずれていることに基づく処理であるが、幾何学的カメラ歪みが無視できる程度であれば、必須の処理ではない。その後、映像編集者は、ＵＰ映像１３内の任意の最適なピクセルを、マッチングポイント１５として選択する。選択されたピクセルの情報が、位置合わせ情報となる。処理部１２は、当該位置合わせ情報に基づく入力部１１からの出力信号を受信し、出力信号に基づいて、連続して出力する１対の映像（連続するフレーム）の少なくとも一方、すなわちＵＰ映像１３に、マッチングポイント１５を設定する。

例えば、図２では、処理部１２は、９つのマッチングポイント１５を設定する。図２では、処理部１２は、９つのマッチングポイント１５が格子点上にそれぞれ位置するように設定しているが、これに限定されない。処理部１２は、位置合わせを行うために最適な任意の数及び配置でマッチングポイント１５を設定してもよい。なお、マッチングポイント１５を格子点上に配置することは、その後の演算処理が効率的になるので好ましい。

また、処理部１２は、以下の手順により、ＵＰ映像１３に設定された各マッチングポイント１５に対応するマッチングポイント１５を、ＤＯＷＮ映像１４に設定する。

すなわち、処理部１２は、ＵＰ映像１３のマッチングポイント１５を含む近傍エリアのピクセルのＲＧＢ値の総和をそれぞれ導出する。また、処理部１２は、ＵＰ映像１３の各マッチングポイント１５の座標に対応する、他方の映像、すなわちＤＯＷＮ映像１４のピクセル位置を仮のマッチングポイントとし、当該ポイントのピクセルを含む近傍エリアのピクセルのＲＧＢ値の総和をそれぞれ導出する。処理部１２は、ＵＰ映像１３及びＤＯＷＮ映像１４の対応するポイントでそれぞれ導出したＲＧＢ値の総和の差分を導出する。その後、処理部１２は、ＤＯＷＮ映像１４の上記仮のマッチングポイントの位置をその近傍で少しずつ移動させながらＲＧＢ値の総和の差分を算出し、差分が最小になる位置のピクセルをＤＯＷＮ映像１４におけるマッチングポイント１５に設定する。

近傍エリアとは、例えば、図２に示すとおり、マッチングポイント１５を含む任意のピクセルのエリアである。近傍エリアは、例えば１００ピクセル×１００ピクセルから２００ピクセル×２００ピクセル程度の広さのエリアを含むのが好適であるが、これに限定されず、任意の広さのエリアを含んでもよい。ＲＧＢ値の総和を利用するのは、１ピクセルだけを選択した場合、ＲＧＢ情報の特異な点を選択してしまう場合があるので、自然な色となるよう、近傍領域の総和を利用するのが好適である。

図３は、設定された複数対のマッチングポイント１５に基づく位置合わせを示した模式図である。図３（ａ）は、ＵＰ映像１３を示し、図３（ｂ）は、ＤＯＷＮ映像１４を示す。図３（ｃ）は、マッチングポイント１５を一致させる様子を示した模式図である。

上述したとおり、処理部１２は、一例として９つのマッチングポイント１５を格子点上にそれぞれ設定しているが、上記の処理により設定されたＤＯＷＮ映像１４の対応するマッチングポイント１５は、必ずしも格子点状に設定されるとは限らない。図３（ｂ）に示すとおり、ＤＯＷＮ映像１４のマッチングポイント１５は、ＵＰ映像１３のマッチングポイント１５に対応するＤＯＷＮ映像１４のピクセル位置からわずかにずれるのが通常である。

すなわち、図３（ａ）に示すとおり、ＵＰ映像１３の４つのマッチングポイント１５により形成される最小単位の格子形状Ｒｕは、矩形状であるが、図３（ｂ）に示すとおり、ＤＯＷＮ映像１４の４つのマッチングポイント１５により形成される最小単位の格子形状Ｒｄは、任意の四角形状である。

処理部１２は、設定された複数対のマッチングポイント１５に基づいて、１対の映像の少なくとも一方を圧縮又は伸長させる。すなわち、図３では、処理部１２は、ＤＯＷＮ映像１４を圧縮又は伸長させる。より具体的には、処理部１２は、ＤＯＷＮ映像１４の４つのマッチングポイント１５により形成される任意の格子形状を、対応するＵＰ映像１３の格子形状と一致させる。

図３（ｃ）では、一例として、ＤＯＷＮ映像１４の左上に位置する最小単位の格子形状Ｒｄが変形する様子を示している。ＵＰ映像１３の対応する格子形状Ｒｕは、横幅Ｗ、縦幅Ｈの矩形状であるとする。一方、ＤＯＷＮ映像１４の格子形状Ｒｄは、矩形状からずれており、処理部１２は、ＤＯＷＮ映像１４の格子形状Ｒｄを、対応する横幅Ｗ、縦幅Ｈの矩形状に合わせる図形補正を行う。処理部１２は、同様の図形補正を各格子形状に対して行うことで、ＤＯＷＮ映像１４を圧縮又は伸長させる。これにより、処理部１２は、マッチングポイント１５の間隔を１対の映像で互いに一致させる。

すなわち、処理部１２は、ＤＯＷＮ映像１４のマッチングポイント１５間のピクセル数を、対応するＵＰ映像１３のピクセル数に合わせる。すなわち、処理部１２は、ＵＰ映像１３のピクセル位置に対応する仮想ピクセルを、位置合わせされたピクセルの画素情報から補間処理等により生成する。そして、処理部１２は、所定のマッチングポイント１５によって囲まれる格子形状内にあるピクセルを位置合わせした後に、ＵＰ映像１３のピクセル位置に対応する仮想ピクセルを、位置合わせされたＤＯＷＮ映像１４のピクセルの画素情報から補間処理等により同様に生成する。

図４は、ＵＰ映像１３及びＤＯＷＮ映像１４間でピクセルの色情報を合わせる映像処理を示す模式図である。以下では、処理部１２は、ＵＰ映像１３のピクセルの色情報を固定して、ＤＯＷＮ映像１４のピクセルの色情報を調整するものとして説明するが、これに限定されない。処理部１２は、ＤＯＷＮ映像１４のピクセルの色情報を固定して、ＵＰ映像１３のピクセルの色情報を調整してもよい。

処理部１２は、１対のマッチングポイント１５の色情報を互いに一致させることで、２つの映像の他のピクセルの色情報を互いに一致させる。ここで、色情報とは、ピクセルの輝度、彩度（Ｃｈｒｏｍａ）、及び色相（Ｈｕｅ）を含む。なお、色情報の表示方法としては、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各信号を利用してもよい。処理部１２は、１対のマッチングポイント１５を含む任意の近傍エリアの色情報の平均を導出し、１対のマッチングポイント１５それぞれにおける色情報を決定する。上述したとおり、近傍エリアとは、例えば、図４に示すような、マッチングポイント１５を含む任意のピクセルのエリアである。色情報を平均値で利用するのは、１ピクセルだけを選択した場合、色情報の特異な点を選択してしまう場合があるので、自然な色となるよう、近傍領域の平均的な値を利用するのがよい。

処理部１２は、各マッチングポイント１５において色情報を決定すると、対応する１対のマッチングポイント１５間で色情報の比を算定する。ここで、色情報に含まれる輝度、彩度、及び色相をそれぞれＹ、Ｃ、及びＨで表し、例えば、ＵＰ映像１３のマッチングポイントｍｐ１の色情報を（Ｙｕ１、Ｃｕ１、Ｈｕ１）で、ＤＯＷＮ映像１４のマッチングポイントｍｐ１の色情報を（Ｙｄ１、Ｃｄ１、Ｈｄ１）で表す。この時、処理部１２は、色情報の比（Ｙｕ１／Ｙｄ１、Ｃｕ１／Ｃｄ１、Ｈｕ１／Ｈｄ１）を算定する。なお、色相（Ｈ）については、角度であるので、比ではなく差分をとって補正値としてもよい。

処理部１２は、同様の処理を、その他のマッチングポイントｍｐ２乃至ｍｐ９に対しても行う。一方で、４つのマッチングポイント１５によって囲まれる格子形状内にあるピクセルでは、処理部１２は、当該エリアを囲む４つのマッチングポイント１５で算定した比の補完を行う。補完は、例えば、線形補完など、任意の補完方法を含む。ここでは、ＤＯＷＮ映像１４の全体（全ピクセル）に対して、映像の色補正を行い、ＵＰ及びＤＯＷＮの映像の色合わせを行う。

図５は、映像合成装置１０の動作の一例を示すフローチャートである。

処理部１２は、初めに、１対の撮像装置により撮像された１対の映像の幾何学的カメラ歪み（台形歪み）を除去する（ステップＳ１０）。

続いて、処理部１２は、１対の映像の一方にマッチングポイント１５を設定する（ステップＳ１１）。

次に、処理部１２は、１対の映像間でそれぞれ導出したＲＧＢ値の総和の差分に基づき、他方の映像にマッチングポイント１５を設定する（ステップＳ１２）。

次に、処理部１２は、各マッチングポイント１５の色情報を決定する。（ステップＳ１３）。

次に、処理部１２は、マッチングポイント１５の間隔及びピクセルの色情報を、ＵＰ映像１３及びＤＯＷＮ映像１４間で一致させる（ステップＳ１４）。

その後、処理部１２は、ＵＰ映像１３及びＤＯＷＮ映像１４に基づいて、フレームレート合成を行う（ステップＳ１５）。

その後、フローは終了する。

以上により、映像合成装置１０は、映像編集者からの位置合わせ情報に基づいて、最適なフレームレート合成を行うことができる。すなわち、映像合成装置１０は、自動的に映像合成を行う従来の装置と比べて、映像編集者の経験則を生かしたより最適なフレームレート合成を行うことができる。また、映像合成装置１０は、ピクセルの間隔及び色情報を互いに一致させることで、同一サイズで映像トーンの合った、倍のフレームレート映像を生成できる。

なお、映像の場合は、全てのフレームで位置合わせ情報を入力する必要はなく、連続した映像であれば、ある場面で位置合わせ情報を入力すれば、映像の連続性や運動ベクトル等から位置合わせ情報を他のフレームにも展開して、フレームレート合成を行うことができる。映像が大きく変化した時のみ位置合わせ情報を再入力すればよい。

これまで、ＵＰ映像１３及びＤＯＷＮ映像１４を単一の映像として説明してきたが、ＵＰ映像１３及びＤＯＷＮ映像１４を複数の映像から合成して生成してもよい。例えば、ＵＰ映像１３及びＤＯＷＮ映像１４は、それぞれ、図１で説明したような左映像（Ｌ）及び右映像（Ｒ）による合成映像であってもよい。

図６は、左映像１６及び右映像１７を合成して、１つのまとまった合成映像１８を生成する映像処理を示した模式図である。図６（ａ）は、図２で説明した手法により、左映像１６及び右映像１７のマッチングポイント１５を設定する映像処理を示した模式図である。図６（ｂ）は、設定された複数対のマッチングポイント１５に基づいて、２つの映像の一部の領域を重畳させる様子を示す。図６（ｃ）は、重畳させた２つの映像の少なくとも一方を圧縮又は伸長させて、合成映像１８を生成する様子を示した模式図である。

処理部１２は、図２で説明した手法をそのまま左映像１６及び右映像１７に適用し、少なくとも１対のマッチングポイント１５を設定する。ここで、「１対」とは、２つの映像のそれぞれに設定された、合成映像１８において重ね合わされるマッチングポイント１５の対をいう。例えば、図６（ａ）は、対応する２対のマッチングポイント１５を、代表的に示している。

処理部１２は、左映像１６及び右映像１７を強制的に任意の１対のマッチングポイント１５で位置合わせする。例えば、図６（ｂ）では、処理部１２は、１対のマッチングポイントｍｐ１で強制的に位置合わせする。ここで、上記の手法により設定された複数対のマッチングポイント１５は、上記の１対のマッチングポイントｍｐ１の位置合わせによって、通常は互いのピクセル位置がずれる。例えば、図６（ｂ）では、１対のマッチングポイントｍｐ２のピクセル位置が互いにずれている。

処理部１２は、互いにずれたマッチングポイント１５を合わせるために、例えば、右映像１７の重畳領域Ｒ１にｘ軸方向の圧縮又は伸長を施す。例えば、ｍｐ２のｘ軸方向の位置が両映像で一致するように、右映像１７のｍｐ２の位置の右側と左側の画素数を増減し、補間法等により映像を調整する。また、ｍｐ１とｍｐ２の間の領域等についても歪が生じないように同様に補間法等によりｘ軸方向の映像を圧縮又は伸長し、右映像１７を左映像１６に合わせ込む。これにより、右映像１７は、重畳領域Ｒ１のみｘ軸方向に圧縮又は伸長する。また、処理部１２は、ｍｐ２のｙ軸方向の位置が両映像で一致するように、右映像１７にｙ軸方向の圧縮又は伸長を施す。これにより、右映像１７は、映像全体がｙ軸方向に圧縮又は伸長する。

処理部１２は、重畳領域Ｒ１の合成映像を、左映像１６及び右映像１７の２つの映像に基づいて生成する。例えば、重畳領域Ｒ１の画素値を、左映像１６の画素値と右映像１７の画素値を位置に応じた所定の比率で合成して生成する。なお、図６から明らかなように、左映像１６及び右映像１７のｙ軸方向にはみ出した部分は、合成映像１８としては利用されない。合成映像１８のｙ軸方向の幅は、両映像の重畳領域Ｒ１の縦幅Ｈであり、合成映像１８のｘ軸方向の幅は、両映像の視野幅を合わせたＷとなる。

本発明は、その精神又はその本質的な特徴から離れることなく、上述した実施形態以外の他の所定の形態で実現できることは当業者にとって明白である。従って、先の記述は例示的なものであり、これに限定されるものではない。発明の範囲は、先の記述によってではなく、付加した請求項によって定義される。あらゆる変更のうちその均等の範囲内にあるいくつかの変更は、その中に包含されるものとする。

上記では、本発明を実施するための形態として、映像合成装置１０を主に説明したが、本発明は、上述した映像合成装置１０に実質的に相当する映像合成方法としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。また、本発明は、コンピュータに、上述した映像合成方法を実行させるためのプログラムとしても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

１０ 映像合成装置
１１ 入力部
１２ 処理部
１３ ＵＰ映像
１４ ＤＯＷＮ映像
１５、ｍｐ１、ｍｐ２、ｍｐ３、ｍｐ４、ｍｐ５、ｍｐ６、ｍｐ７、ｍｐ８、ｍｐ９ マッチングポイント
１６ 左映像
１７ 右映像
１８ 合成映像
Ｒｕ、Ｒｄ 格子形状
Ｒ１ 重畳領域

Claims (11)

1. １対の撮像装置によりそれぞれ撮像された、同一のフレームレートで一方が他方に対してフレーム周期の半分だけ時間的にずれた１対の映像のデータを受信する処理部を備え、
   前記処理部は、前記一方の映像と他方の映像とを位置合わせして、前記フレーム周期の半分ごとに交互に出力し、前記フレームレートの２倍のフレームレートの映像を生成する、
   映像合成装置。
2. 映像編集者からの位置合わせ情報を受け付ける入力部をさらに備え、
   前記処理部は、
   前記位置合わせ情報に基づく前記入力部からの出力信号を受信し、
   前記出力信号に基づいて、連続して出力する前記１対の映像の少なくとも一方に、マッチングポイントを設定する、
   請求項１に記載の映像合成装置。
3. 前記処理部は、
   前記マッチングポイントを含む近傍エリアのＲＧＢ値の総和を導出し、
   前記マッチングポイントに対応する、他方の映像のピクセル位置を含む近傍エリアのＲＧＢ値の総和を導出し、
   前記１対の映像間でそれぞれ導出した前記ＲＧＢ値の総和の差分を導出し、
   前記差分が最小になるピクセルを前記他方の映像におけるマッチングポイントに設定する、
   請求項２に記載の映像合成装置。
4. 前記処理部は、前記１対の映像の１対のマッチングポイントの色情報を互いに一致させることで、前記１対の映像の他のピクセルの色情報を互いに一致させる、
   請求項２又は３に記載の映像合成装置。
5. 前記処理部は、複数対のマッチングポイントを設定し、前記１対の映像の少なくとも一方を圧縮又は伸長させることで、マッチングポイントの間隔を前記１対の映像で互いに一致させる、
   請求項２乃至４のいずれか一項に記載の映像合成装置。
6. １対の撮像装置によりそれぞれ撮像された、同一のフレームレートで一方が他方に対してフレーム周期の半分だけ時間的にずれた１対の映像のデータを受信するステップと、
   前記一方の映像と他方の映像とを位置合わせして、前記フレーム周期の半分ごとに交互に出力し、前記フレームレートの２倍のフレームレートの映像を生成するステップと、を含む、
   映像合成方法。
7. 映像編集者からの位置合わせ情報を受け付ける入力部からの出力信号に基づいて、連続して出力する前記１対の映像の少なくとも一方に、マッチングポイントを設定するステップをさらに含む、
   請求項６に記載の映像合成方法。
8. 前記マッチングポイントを含む近傍エリアのＲＧＢ値の総和を導出するステップと、
   前記マッチングポイントに対応する、他方の映像のピクセル位置を含む近傍エリアのＲＧＢ値の総和を導出するステップと、
   前記１対の映像間でそれぞれ導出した前記ＲＧＢ値の総和の差分を導出するステップと、
   前記差分が最小になるピクセルを前記他方の映像におけるマッチングポイントに設定するステップと、
   をさらに含む、
   請求項７に記載の映像合成方法。
9. 前記１対の映像の１対のマッチングポイントの色情報を互いに一致させることで、前記１対の映像の他のピクセルの色情報を互いに一致させるステップをさらに含む、
   請求項７又は８に記載の映像合成方法。
10. 複数対のマッチングポイントを設定し、前記１対の映像の少なくとも一方を圧縮又は伸長させることで、マッチングポイントの間隔を前記１対の映像で互いに一致させるステップをさらに含む、
    請求項７乃至９のいずれか一項に記載の映像合成方法。
11. コンピュータに請求項６乃至１０のいずれか一項に記載の方法を実行させるためのプログラム。

Images