JP2023058322A - 映像処理装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 ２つの映像それぞれの被写体の位置関係が自然で、違和感が少ない合成映像を生成する。【解決手段】 映像処理装置は、第１の映像及び第２の映像に基づいて、第１の映像における第１の被写体の向き及び第２の映像における第２の被写体の向きを特定するための情報を取得する取得部と、第１の被写体を含む第１の映像の少なくとも一部を、第２の映像において取得部により取得される情報に基づいて決定される位置に重畳することで、合成映像を生成する生成部とを有する。【選択図】 図６

Description

本発明は、２つの映像の重畳合成技術に関するものである。

メインカメラで撮影した映像に、サブカメラで撮影した映像をワイプ映像として重畳表示するＰｉｃｔｕｒｅ Ｉｎ Ｐｉｃｔｕｒｅ技術がある。特許文献１には、好ましい構図でワイプ映像が合成されるよう、ワイプ映像の位置およびサイズに応じてメインカメラの撮影方向を決定する技術が開示されている。

特開２０２１－１００５３号公報

しかしながら、特許文献１は、被写体に応じて最終的な出力映像を判断しない。そのため、特許文献１の技術では、各被写体とワイプの位置関係が不自然なものとなることがある。また、特許文献１の技術では、ワイプ映像をただ重畳するだけでは被写体サイズが小さく視認性が低いといった、品位の低い映像を生成する可能性がある。

この課題を解決するため、例えば本発明の映像処理装置は以下の構成を備える。すなわち、
第１の映像及び第２の映像に基づいて、第１の映像における第１の被写体の向き及び前記第２の映像における第２の被写体の向きを特定するための情報を取得する取得手段と、
前記第１の被写体を含む前記第１の映像の少なくとも一部を、前記第２の映像において前記取得手段により取得される情報に基づいて決定される位置に重畳することで、合成映像を生成する生成手段とを有する。

本発明によれば、２つの映像それぞれの被写体の位置関係が自然で、違和感が少ない合成映像を生成することができる。

実施形態に係る映像処理システムおよび出力映像の一例を示す図。 実施形態に係る制御装置の構成の一例を示す図。 実施形態に係る制御装置の論理構成の一例を示す図。 実施形態に係る入力映像および解析結果の一例を示す図。 実施形態に係る重畳情報および重畳前後の映像の一例を示す図。 実施形態に係る判断部の処理の一例を示すフローチャート。 実施形態におけるメインカメラのブロック構成図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
実施形態における映像システムの構成を図１（ａ）に、出力映像の一例を図１（ｂ）に示す。映像システムにおける制御装置１００は、メインカメラ１０１およびサブカメラ１０２に各種撮影に係る制御コマンドを送信すると共に、それらカメラが撮影した映像データを受信する。メインカメラ１０１はメイン被写体１０３を撮影し、撮影して得た映像をメイン映像として制御装置１００に送信する。サブカメラ１０２はサブ被写体１０４を撮影し、撮影して得た映像をサブ映像として制御装置１００へ送信する。制御装置１００は、リアルタイムでメイン映像に、サブ映像内の一部分をワイプ画面として重畳する映像処理を行って出力画像（図１（ｂ）に示すような合成映像）を生成する。

実施形態におけるメインカメラ１０１とサブカメラ１０２は、本映像システムにおける役割で区別表記しているに過ぎず、カメラとしてのハードウェア上の違いはない。以下、簡単のため、メインカメラ１０１ついてのみ説明するが、サブカメラ１０２についても同様であるものと理解されたい。

図７に、実施形態におけるメインカメラ１０１のハードウェア構成図を示す。メインカメラ１０１は、制御装置１００によるリモート制御可能となっている。このため、メインカメラ１０１は、ＣＰＵ７０１，ＲＯＭ７０２，ＲＡＭ７０３，通信Ｉ／Ｆ７０４，撮像部７０５，撮像制御部７０６、雲台７０７，雲台制御部７０８を有する。

ＣＰＵ７０１は、ＲＡＭ７０３をワークエリアとして使用し、ＲＯＭ７０２に格納されたプログラムに従って装置全体の制御を司る。通信Ｉ／Ｆ７０４は、ＣＰＵ６０１の制御下において制御装置１００と通信を行う。撮像部７０５は、光学レンズ（フォーカスレンズ、ズームレンズを含む）、絞り、撮像素子を有する。撮像制御部７０６は、ＣＰＵ７０１の制御下にて、フォーカスレンズ、ズームレンズ、絞りを制御する。雲台制御部７０８は、ＣＰＵ７０１の制御下にて、雲台７０７のパン用モータ、或いは／及び、チルト用モータを駆動する。

かかる構成において、ＣＰＵ７０１は、撮像部７０５を制御し、所定のフレームレート（例えば３０フレーム／秒）で撮像を行い、得た映像データを通信Ｉ／Ｆ７０４を介して制御装置１００に送信する。また、ＣＰＵ７０１は、制御装置１００から制御コマンド（後述する制御情報）を通信Ｉ／Ｆ７０４を介して受信した場合、その制御コマンドがズーム制御に係るコマンドである場合には、撮像制御部７０６を制御して、ズームレンズをコマンドに応じた位置（焦点距離）に移動させる。また、制御コマンドがパン、或いはチルト制御に係るコマンドである場合には、雲台制御部７０８内の不図示のモータを制御し、目標とするパン位置、もしくはチルト位置に雲台の回動させる制御を行う。いずれの場合であっても、コマンドに応じた駆動が完了した場合、ＣＰＵ７０１は、駆動完了を示すレスポンスを、通信Ｉ／Ｆ７０４を介して、制御装置１００に通知する。以上が、メインカメラ１０１の構成と動作である。先に説明したように、サブカメラ１０２の構成と動作は、メインカメラ１０１と同じである。

図２は、主として制御装置１００のハードウェア構成図である。制御装置１００は、ＣＰＵ２００、ＲＯＭ２０１、ＲＡＭ２０２、ＨＤＤ２０３、解析モジュール２０４、通信モジュール２０５を備える。

ＣＰＵ２００は、ＲＯＭ２０１に格納されたプログラム、もしくはＨＤＤ２０３からＲＡＭ２０２にロードしたプログラムを実行し、制御装置１００の各構成要素を制御する。

解析モジュール２０４は、ＣＰＵ２００の制御下にて、メイン映像およびサブ映像における被写体情報を解析する。この解析処理は、ＧＰＵ（不図示）や、ＡＳＩＣもしくはＦＰＧＡなどによる映像解析処理専用回路（不図示）で解析を行ってもよい。なお、２つのカメラのいずれがメインで、いずれがサブとするかは、管理者が予め設定されているものとする。

通信モジュール２０５は、ＣＰＵ２００の制御下にて、装置外部のネットワーク２０６、メインカメラ１０１、及び、サブカメラ１０２との間での通信を行う。具体的には、通信モジュール２０５は、メインカメラ１０１およびサブカメラ１０２への各種制御コマンドの送信、並びに、メインカメラ１０１およびサブカメラ１０２からの映像データの受信を行う。また。通信モジュール２０５は、制御装置１００にて生成した出力画像を、ネットワーク２０６上の装置（例えば映像配信サーバ、或いは映像を閲覧するクライアント端末）に送信する。なお、通信モジュール２０５による通信路は、有線／無線を問わない。

ＨＤＤ２０３は、ＣＰＵ２００が実行するプログラムだけでなく、後述する被写体（人物等）を同定するためのデータベース（被写体ＩＤとその人物に固有の特徴情報で構成される）が格納されている。

図３は、制御装置１００の機能構成図を示している。制御装置１００が有する解析部３００、判断部３０１、及び、重畳部３０２は、ＣＰＵ２００が、対応するプログラムを実行することで機能するものとするが、ＣＰＵ２００とは独立した回路等で実現させても構わない。

解析部３００は、通信モジュール２０５を介して、メインカメラ１０１およびサブカメラ１０２から入力映像３０３を取得する。解析部３００は、ＨＤＤ２０３に予め格納されたＤＢ等を参照して、解析モジュール２０４を用いて入力映像３０３を解析し、その解析結果３０４を判断部３０１へ供給する。解析結果３０４を構成する具体的なパラメータは後述する。解析部３００は、ワイプ表示のちらつきを防止するため、被写体をロストしても、しばらくはロスト前と同じ解析結果３０４を判断部３０１へ供給する。

判断部３０１は、解析結果３０４をもとに、ワイプ映像およびメイン映像の被写体に応じてワイプを含む最終的な出力映像を判断する。判断部３０１は、メインカメラ１０１およびサブカメラ１０２の構図を変更するための制御情報３０５を生成し、通信モジュール２０５を用いてメインカメラ１０１およびサブカメラ１０２へ、その制御情報３０５を供給する。制御情報３０５は撮影に係るパラメータであって、パン、チルト、ズームに対する制御量を含む制御コマンド形式の情報である。判断部３０１は、メイン映像にサブ映像を重畳するための重畳情報３０６を生成し、重畳部３０２へ供給する。重畳情報３０６の具体的なパラメータは後述する。

重畳部３０２は、入力映像３０３と重畳情報３０６をもとに、出力映像３０７を生成する。出力映像３０７は、通信モジュールによりネットワーク２０６へ出力する。出力映像３０７は、ＨＤＤ２０３へ出力してもよい。

図４（ａ）に入力映像の一例と、図４（ｂ）に解析部３００による解析結果の一例を示す。図４（ａ）の映像は、被写体の位置とサイズ４００と、注目領域の位置とサイズ４０１を含む。

図４（ｂ）の被写体IDは、検出した被写体を識別するIDである。被写体の種別は、「人物」「動物」「乗り物」「モノ」「事前登録済みの人物」「板書内容」などの検出した被写体の種別である。被写体の状態は、被写体の種別が「人物」であれば、「起立」「発話」「着席」「沈黙」などの状態である。位置とサイズは、入力映像の左上隅を原点とし、画素を単位で表現する。具体的には、被写体の位置とサイズは、被写体全体（外接矩形）を示す領域の左上座標とサイズであり、被写体１が被写体の位置とサイズ４００と一致する。注目領域の位置とサイズは、被写体の顔などの一般的に注目する領域の外接矩形の左上座標とサイズであり、被写体１が注目領域の位置とサイズ４０１と一致する。被写体全体に注目する場合、注目領域の位置とサイズは被写体の位置とサイズと同一でよい。被写体の向きは、被写体の正面向きを基準とし、その基準の向きに対する角度である。被写体の目の位置は、被写体の目と目の中央の座標である。

図５（ａ）に重畳情報３０６の一例を、図５（ｂ）に重畳前と後の映像の一例を示す。

図５（ａ）のリストの「クロップする位置とサイズ」は、メイン映像の場合は、その左上隅の座標とサイズである。また、サブ映像における「クロップする位置とサイズ」は、ワイプ用に切り抜く領域の左上隅の座標とサイズである。なお、座標及びサイズは、画素を単位としている。「重畳する位置とサイズ」は、メイン映像における位置とサイズを表す。「重畳する形状」は、サブ映像を矩形、円、台形、菱形などのクロップ領域によりさらに切り抜く形状を示す。「左右反転フラグ」は、サブ映像を鏡映反転させて重畳するかどうかを示すフラグである。

図５（ａ）の例の場合、サブ映像における座標（６３０，１６０）を左上隅とし、水平方向４００画素，垂直方向４００画素のサイズの矩形領域がワイプ映像としてクロップされること、並びに、メイン映像における座標（２０，２０）に、クロップしたワイプ映像の左上隅を位置させることを示している。図５（ｂ）は、図５（ａ）に示す重畳情報３０６による、メイン映像、サブ映像から合成映像を生成する様を示している。

図６のフローチャートは、判断部３０１が実行する一連の処理を表している。判断部３０１は、解析部３００による解析が完了したタイミングもしくは定期的なタイミングで、図６のフローチャートの処理を実施する。

ステップＳ６００において、判断部３０１は、解析結果３０４をもとに、メイン映像およびサブ映像それぞれにて、追尾すべき主被写体を決定する。判断部３０１は、被写体IDをもとに、直前の処理結果で主被写体として選択した被写体を、引き続き主被写体として選択する。さらに、判断部３０１は、予め優先する被写体の種別と状態を登録しておき、被写体の種別が「人物」「事前登録済みの人物」「板書内容」や、被写体の状態が「起立」「発話」と一致する場合は、優先的に主被写体として選択する。判断部３０１は、解析結果３０４に被写体が含まれないと判断した場合、もしくは予め追尾がオフに登録されている場合、主被写体を選択しない。

ステップＳ６０１において、判断部３０１は、メイン映像およびサブ映像いずれかの主被写体の被写体IDもしくは主被写体の選択有無が変化したかを判断する。判断部３０１は、変化したと判断した場合にはステップＳ６０２へ、変化無しと判断した場合はステップＳ６０７へ処理を遷移する。

ステップＳ６０２において、判断部３０１は、メイン映像およびサブ映像それぞれの主被写体が最終的な映像としてなるべく向かい合うよう、ワイプ映像の重畳位置を設定する。例えば、メイン映像の主被写体が映像内で左を向いている場合は、判断部３０１は、そのメイン映像内の予め設定された左寄りの位置を、ワイプ映像の重畳位置に設定する。また、メイン映像の主被写体が映像内で右を向いている場合は、判断部３０１は、そのメイン映像の予め設定された右寄りの位置を、ワイプ映像の重畳位置に設定する。

また、メイン映像の主被写体の向きが左又は右のいずれでもなく（ほぼ正面を向いている場合等がこれに相当）、かつ、サブ映像の主被写体が映像内にて左を向いている場合、判断部３０１は、メイン映像内の予め設定された右寄り位置を、ワイプ映像の重畳位置に設定する。

また、メイン映像の主被写体の向きが左又は右のいずれと判断できず（ほぼ正面を向いている場合等）、かつ、サブ映像の主被写体が映像内にて右を向いている場合、判断部３０１は、メイン映像内の予め設定された左寄り位置を、ワイプ映像の重畳位置に設定する。

また、メイン映像およびサブ映像それぞれの主被写体の向きが左又は右のいずれでもない場合、判断部３０１は、ワイプ映像の重畳位置を予めデフォルトとして登録した位置に設定する。また、ワイプ映像の重畳位置を、以前の位置のまま維持するようにしてもよい。

更に、メイン映像内で主被写体が選択されていない場合、サブ映像の主被写体の向きに応じてワイプ映像の重畳位置を設定する。またサブ映像で主被写体が選択されていない場合、メイン映像の主被写体の向きに応じてサブ映像の重畳位置を設定する。

また更に、メイン映像およびサブ映像それぞれの主被写体のいずれもが、同じ向きの場合（共に左向き、又は、共に右向きの場合）、ワイプ映像の重畳位置を設定するだけでは最終的な映像としてなるべく向かい合うようにならない。そのため、判断部３０１は、サブ映像の左右反転フラグをＯＮに設定する。この結果、メイン映像とサブ映像内の主被写体は互いに向かい合う関係にできるようになる。

ワイプ映像を重畳する垂直方向の位置は、シチュエーションに応じて予め登録した位置とする。もしくは、メイン映像およびサブ映像の主被写体の目の高さが一致するよう、ワイプ映像の重畳位置の高さを設定してもよい。

ワイプ映像を重畳する座標は、ステップＳ６０２で判断する上下左右の位置に基づき、画面端から例えば２０画素を離れた位置とする。

ステップＳ６０３にて、判断部３０１は、サブ映像内の主被写体に関する解析結果３０４が示す情報に応じて、サブカメラ１０２のパン、チルト、ズームの各値を設定する。判断部３０１は、パン、チルトの可動範囲内で、主被写体もしくは注目領域が映像の中心位置となるために必要となるパン、チルトの値を計算して、そのためのコマンドを生成する。主被写体と注目領域のどちらを画面中心にするかは、シチュエーションに応じて予め登録された設定情報に従うものする。ズームの値としては、ワイプ映像の解像度が低下せず、かつ、なるべく広い範囲が撮影可能な値を設定する。広い範囲を撮影することで、新たな主被写体を検出しやすくなり、主被写体の注目領域が多少移動してもクロップ位置をずらすことでパン、チルトすることなく追従できるようになる。判断部３０１は、主被写体の種別に応じたクロップ後のサイズおよび主被写体の注目領域の周囲の余分領域の割合を予め決めておく。例えば顔であれば、クロップ後のサイズは４００×４００画素、余分領域の割合は例えば２０％として予め登録しておき、判断部３０１は、顔の検出サイズが３２０×３２０画素になるようズームの値を決定する。もしくは、クロップ時に映像を拡大縮小しても解像度がなるべく落ちないよう、さらに例えば１５０％を乗じた４８０×４８０画素になるようズームの値を決定してもよい。

判断部３０１は、メイン映像の主被写体とサブ映像の主被写体が、重畳後は同じサイズになるよう、予め登録したメインカメラのズーム後の主被写体サイズと、余分領域の割合から、クロップ後のサイズを自動で計算してもよい。例えば、メインカメラのズーム後の主被写体サイズが３５０×３５０画素、余分領域の割合は２０％であれば、クロップ後のサイズは４２０×４２０画素とする。また、判断部３０１は、サブ映像に被写体がいなければ、被写体が見つけられるよう、予め登録した広角となるズームの値を設定する。

ステップＳ６０４において、判断部３０１は、ワイプ映像を重畳して表示するサイズを設定する。基本となる重畳サイズは、主被写体の種別に応じたクロップ後のサイズであり、例えば４００×４００画素である。しかし、最大限ズームをしてもサブ映像の主被写体サイズが小さく、無理に拡大表示して解像度が落ちるのであれば、ワイプ映像の重畳サイズを小さくする。判断部３０１は、構図変更後のサブ映像の主被写体サイズを計算し、基本となる重畳サイズと計算した主被写体サイズの小さい方を、ワイプ映像の重畳サイズとして設定する。例えば、クロップ後のサイズが１５０×１５０画素にしかならなければ、ワイプ映像の重畳サイズも１５０×１５０画素とする。もしくは、例えば２倍までの引き伸ばしを許容し、ワイプ映像の重畳サイズを３００×３００画素としてもよい。なお、許容するサイズは、ユーザが、設定できるようにしてもよい。

ステップＳ６０５において、判断部３０１は、メイン映像の主被写体とワイプ映像の重畳位置とサイズに応じ、メインカメラ１０１のパン、チルト、ズームの各値を設定する。具体的には、判断部３０１は、パン、チルトの可動範囲内で、主被写体もしくは注目領域が画面中心になるように、パン、チルトの値を計算して設定する。

主被写体と注目領域のどちらを画面中心にするかは、シチュエーションに応じて予め登録しておいて、撮影する際に、ユーザがその１つを選択することで決定するものとする。判断部３０１は、新たにメイン映像で主被写体が見つかった場合、ズーム後の主被写体サイズが予め登録したサイズになるよう、ズームの値を計算する。さらに、判断部３０１は、サブ映像で主被写体が選択されている場合、ズームの値は、顔とワイプ映像が被りにくくなるようズームアウトした値とする。例えば、判断部３０１は、ズームアウト前の画角から、ワイプ映像の重畳サイズの１／２のサイズを足した領域がズームアウト後の画角になるよう、ズームの値を計算する。

判断部３０１は、予め登録した条件に当てはまる場合、チルトの値をずらしてもよい。例えば、主被写体が人物であり起立し、ワイプ映像の重畳位置が画面上部であれば、判断部３０１は、顔とワイプ映像がより被りにくくなるよう、見下ろす方向にチルトするよう値を設定する。

判断部３０１は、ズーム後のメイン映像の主被写体と、ズーム後のサブ映像の主被写体のサイズが同じになるよう、余分領域の割合を変更しても良い。

判断部３０１は、メイン映像に被写体がいなければ、被写体が見つけられるよう、予め登録した広角となるズームの値を設定する。

メインカメラ１０１およびサブカメラ１０２は、判断部３０１に設定された制御情報（パン、チルト、ズームを指定するコマンド）に基づき、パン、チルト、ズームに係る駆動部の駆動を開始する。

ステップＳ６０６にて、判断部３０１は、メインカメラ１０１およびサブカメラ１０２によるパン、チルト、ズームの駆動完了を待つ。

ステップＳ６０７にて、判断部３０１は、サブ映像のクロップする位置とサイズを設定する。サブ映像をクロップする位置は、主被写体の注目領域の位置に設定する。サブ映像をクロップするサイズは、主被写体のサイズに余分領域の割合を乗じて加えた値を設定する。

判断部３０１は、サブ映像に主被写体が選択されていなければ、サブ映像のクロップする位置とサイズを設定しないことで、ワイプ映像を重畳させない。

判断部３０１は、メイン映像のクロップする位置とサイズを設定してもよい。クロップする位置は、主被写体の位置に設定する。クロップするサイズは、被写体サイズがステップＳ６０５で計算したズーム後の被写体サイズと一致するよう、ズームの値を計算して設定する。

ステップＳ６０８にて、判断部３０１は、主被写体が画面中心から一定以上移動している場合、主被写体を追尾するようメインカメラ１０１とサブカメラ１０２の制御情報を設定する。例えば、主被写体の中心位置が映像の左２５％もしくは右２５％、上２５％、下２５％のいずれかの領域に位置する場合は、ステップＳ６０３もしくはステップＳ６０５同様にパン、チルトの値を計算する。さらに例えば、主被写体のサイズが、ステップＳ６０３もしくはステップＳ６０５、ステップＳ６０８で設定した顔の検出サイズの１５０％を超えるもしくは７５％未満の場合は、ステップＳ６０３もしくはステップＳ６０５同様にズームの値を計算する。

図６のフローでは、サブ映像の処理を先に行っているが、サブ映像の処理をメイン映像の処理の後に行ってもよい。

上記第１の実施形態によれば、各被写体とワイプの位置関係が自然で、違和感が発生しにくい映像を生成できる。また、被写体サイズが適切で視認性が高い、品位の高い映像を生成することもできる。

［第２の実施形態］
メイン映像もしくはサブ映像のいずれか、もしくは両方が、カメラにより撮影したライブ映像ではなく、予め撮影し記録された映像やプレゼンテーション画面、ゲーム画面、静止画、文章などの、追尾不要な情報でもよい。

追尾不要な情報は、解析部３００で解析を行わず、カラの解析結果を判断部３０１へ通知する。サブ映像が追尾不要な情報であれば、判断部３０１は、ステップＳ６０３において、サブカメラの制御情報を設定しない。さらに、ステップＳ６０４において、ワイプ映像の重畳サイズを予めデフォルトとして登録したサイズもしくはサブ映像のサイズを設定する。さらに、ステップＳ６０７において、サブ映像のクロップする位置とサイズをワイプ映像全体として設定する。

メイン映像が追尾不要な情報であれば、判断部３０１は、ステップＳ６０５において、メインカメラの制御情報を設定しない。さらに、ステップＳ６０７において、メイン映像のクロップする位置とサイズを出力映像全体として設定する。

このように、第２の実施形態では、メイン映像もしくはサブ映像のいずれかを追尾不要な情報に置き換えて制御することができる。

上記の第１および第２の実施形態では、制御装置１００が解析および判断、重畳を行ったが、メインカメラ１０１もしくはサブカメラ１０２が行ってもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…制御装置、１０１…メインカメラ、１０２…サブカメラ、３００…解析部、３０１…判断部、３０２…重畳部

Claims (12)

1. 第１の映像及び第２の映像に基づいて、第１の映像における第１の被写体の向き及び前記第２の映像における第２の被写体の向きを特定するための情報を取得する取得手段と、
   前記第１の被写体を含む前記第１の映像の少なくとも一部を、前記第２の映像において前記取得手段により取得される情報に基づいて決定される位置に重畳することで、合成映像を生成する生成手段とを有する
   ことを特徴とする映像処理装置。
2. 前記取得手段は、
   前記第１の映像及び前記第２の映像を解析し、第１の映像における第１の被写体及び前記第２の映像における第２の被写体の向きを含む情報を取得する解析手段を含み、
   前記生成手段は、
   前記第２の被写体の向きを表す情報に基づき、前記第２の映像における、前記第１の被写体の一部の重畳する位置を決定し、前記合成映像を生成する
   ことを特徴とする請求項１に記載の映像処理装置。
3. リモート制御可能な外部の撮像装置と通信する通信手段を有し、
   前記第１、第２の映像の一方は、前記通信手段を介して前記撮像装置から受信した映像であり、他方が既に記録された映像である
   ことを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記第１、第２の映像を撮像するリモート制御可能な２つの撮像装置と通信する通信手段を更に有する
   ことを特徴とする請求項１又は２に記載の映像処理装置。
5. 前記取得手段により取得された情報に基づき、前記通信手段を介して、前記撮像装置への画角に係る制御情報を生成し、生成した制御情報を送信するリモート制御手段を更に有することを特徴とする請求項３又は４に記載の映像処理装置。
6. 前記リモート制御手段は、被写体の動きに追従するため、或いは、予め設定された構図となるようにするため、パン、チルト、ズームにかかる制御情報を生成する
   ことを特徴とする請求項５に記載の映像処理装置。
7. 前記生成手段は、第１、第２の被写体の向きが異なる場合、前記第２の映像内の、前記第２の被写体が向いている側の予め設定された位置に、前記第１の被写体を含む前記第１の映像の少なくとも一部を重畳して合成映像を生成する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の映像処理装置。
8. 前記生成手段は、第１の被写体と第２の被写体の向きが同じである場合、前記第１の被写体を含む前記第１の映像の少なくとも一部の左右を反転して得た像を、前記第２の映像内の前記第２の被写体が向いている側の予め設定された位置に、重畳して合成映像を生成する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の映像処理装置。
9. 前記第１、第２の被写体は人物であって、
   前記生成手段は、前記第２の被写体の目の垂直方向の位置を、前記第１の被写体の目と同じ位置となるように合成映像を生成する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の映像処理装置。
10. 前記生成手段で生成した合成映像を、ネットワークに送信する手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の映像処理装置。
11. 第１の映像及び第２の映像に基づいて、第１の映像における第１の被写体の向き及び前記第２の映像における第２の被写体の向きを特定するための情報を取得する取得工程と、
    前記第１の被写体を含む前記第１の映像の少なくとも一部を、前記第２の映像において前記取得工程により取得される情報に基づいて決定される位置に重畳することで、合成映像を生成する生成工程と
    を有することを特徴とする映像処理装置の制御方法。
12. コンピュータが読み込み実行することで、前記コンピュータに、請求項１１に記載の方法の各工程を実行させるためのプログラム。

Images