JP2023139725A - 画像処理システム、画像処理システムの制御方法、及びプログラム。 - Google Patents

Abstract

【課題】被写体の状況に応じてより好適な態様で撮像画像の一部を切り出した画像を生成可能とする。【解決手段】画像処理システムは、撮像装置１００と、制御装置２００とを含む。制御装置２００は、撮像装置１００による撮像結果に応じた画像中に複数のクロップ領域を設定し、当該複数のクロップ領域のうちの少なくとも一部のクロップ領域中の被写体を追尾対象として設定する。また、制御装置２００は、画像中に設定された複数のクロップ領域または複数の追尾対象の重なりに応じて、当該画像中に設定されたクロップ領域を更新する。【選択図】図８

Description

本開示は、撮像装置及び制御装置を含む画像処理システム、制御装置、画像処理システムの制御方法、制御装置の制御方法、及びプログラムに関する。

近年では、映像制作の分野において、インターネット等のようなＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを利用した動画編集・配信システムが各種提案されている。また、近年では、撮像装置の画質設定をＰＣやコントローラ等を利用してＩＰネットワークを介して遠隔から制御可能とするシステムや、撮像装置による撮像結果に応じた画像を他の装置にＩＰネットワークを介して転送可能とするシステムも提案されている。

加えて、撮像装置の動作を制御するシステムとして、撮像結果に応じた画像のうち一部の領域を切り出して出力する機能を有したものも提案されている。特許文献１には、撮像結果に応じた画像中の複数の領域をクロップしたうえで、複数のクロップ画像を合成して出力する技術について開示されている。また、特許文献２には、撮像対象の被写体を自動でトラッキングしながら、当該被写体を含む領域をクロップする技術について開示されている。

特開平１１－２５０２２３号公報 特開２０１７－４６３５５号公報

一方で、少なくとも一部が互いに重なる複数のクロップ領域から切り出した複数のクロップ画像が合成されるような状況下では、当該複数のクロップ領域に共通で含まれる被写体が個別に複数表示された合成画像が生成される場合がある。このような合成画像は、必ずしも見映えが良いとは言えない場合があり、当該合成画像を視聴する視聴者にとって好ましいものではない場合もある。

本発明は上記の問題を鑑み、被写体の状況に応じてより好適な態様で撮像画像の一部を切り出した画像を生成可能とすることを目的とする。

本発明に係る画像処理システムは、撮像装置と、当該撮像装置の動作を制御する制御装置と、を含む画像処理システムであって、前記制御装置は、前記撮像装置による撮像結果に応じた画像中に複数のクロップ領域を設定し、当該複数のクロップ領域のうちの少なくとも一部のクロップ領域中の被写体を追尾対象として設定するクロップ領域設定手段を有し、前記クロップ領域設定手段は、前記画像中に設定された複数のクロップ領域または複数の追尾対象の重なりに応じて、当該画像中に設定されたクロップ領域を更新することを特徴とする。

本発明によれば、被写体の状況に応じてより好適な態様で撮像画像の一部を切り出た画像を生成することが可能となる。

画像処理システムの概略的な構成の一例を示した図である。 画像処理システムのシステム構成の一例を示した図である。 画像処理システムのソフトウェア構成の一例を示した図である。 画像処理システムのＵＩの一例を示した図である。 撮像装置の処理の一例を示したフローチャートである。 制御装置の処理の一例を示したフローチャートである。 スイッチャーの処理の一例を示したフローチャートである。 画像処理システムの実施例を示した図である。 画像処理システムの他の実施例を示した図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本開示では、動画像と静止画像とを特に区別しない場合には、便宜上、「画像」と称する場合がある。すなわち、画像と記載した場合には、特に制約が無い限り、動画像と静止画像との双方を含み得るものとする。

＜はじめに＞
近年、映像制作の分野において、インターネット等のようなＩＰネットワークを利用した動画編集・配信システムが各種提案されている。一般的なシステムでは、ＩＰネットワークに接続されたデジタルビデオカメラ等のような撮像装置が出力する画像や音声等のデータは、スイッチャー等の画像編集機器で受信され、必要に応じて放送用映像として編集されてから配信や出力が行われる。
また、近年では、撮像装置の画質設定をＰＣやコントローラ等を利用してＩＰネットワークを介して遠隔から制御可能とするシステムや、撮像装置による撮像結果に応じた画像を他の装置にＩＰネットワークを介して転送可能とするシステムも提案されている。このようなシステムが導入されることで、例えば、撮影現場にカメラマンがいないような状況下においても、撮像装置をリモートコントロールすることで撮影が可能となる。
加えて、撮像装置の動作を制御するシステムとして、撮像結果に応じた画像のうち一部の領域を切り出して出力する機能を有したものも提案されている。

また、スイッチャーは、複数の画像を指定されたレイアウトで１つの画像として合成したうえで、当該画像（以下、合成画像とも称する）を出力する機能を有するものもある。これにより、例えば、複数台の撮像装置それぞれによる撮像結果に応じた画像を合成したり、１台または複数台の撮像装置による撮像結果に応じた画像から切り出された複数のクロップ画像を合成したりすることも可能となる。

例えば、図１（ａ）は、ネットワークを介して接続された撮像装置を遠隔操作し、当該撮像装置による撮像結果に応じた画像を、ネットワークを介して配信または出力する画像処理システムのシステム構成の一例を示している。図１（ａ）に示す画像処理システムは、撮像装置１００と、制御装置２００と、スイッチャー３００と含み、これらの構成要素がネットワーク６００（例えば、ＩＰネットワーク）を介して相互に情報を送受信可能に接続されて構成されている。
制御装置２００は、撮像装置１００による撮像結果に応じた画像のデータを受信し、当該データに基づく画像５００を所定の表示領域に表示する。そのうえで、制御装置２００は、画像５００中に切り出しの対象となるクロップ領域を設定する。例えば、５１０及び５２０は、画像５００中に設定されたクロップ領域の一例を示している。
スイッチャー３００は、撮像装置１００による撮像結果に応じた画像から、制御装置２００により指定されたクロップ領域を切り出し、切り出されたクロップ画像を所定のレイアウトで合成したうえで、合成画像を所定の出力先に出力する。例えば、図１（ａ）に示す例では、スイッチャー３００は、クロップ領域５１０及び５２０それぞれを切り出した複数のクロップ画像を合成したうえで、合成画像をディスプレイとして構成された出力装置４００に出力している。

一方で、少なくとも一部が互いに重なる複数のクロップ領域から切り出された複数のクロップ画像が合成されるような状況下では、当該複数のクロップ領域に共通で含まれる被写体が個別に複数表示された合成画像が生成される場合もある。
例えば、図１（ｂ）は、図１（ａ）に示す状態から、複数の被写体が互いに近づくように移動することで、クロップ領域５１０の一部とクロップ領域５２０の一部とが重なった状況を模式的に示している。図１（ｂ）に示す例では、出力装置４００に表示される合成画像には、クロップ領域５１０及び５２０それぞれに対応する領域に、これらのクロップ領域が互いに重なりあった部分の画像が個別に表示されている。このような合成画像は、必ずしも見映えが良いとは言えない場合があり、当該合成画像を視聴する視聴者にとって好ましいものではない場合もある。
このような事態の発生を回避する手法の一例として、互いに近接した複数の被写体が含まれるように１つの新たなクロップ領域を再設定することで、当該新たなクロップ領域を切り出したクロップ画像を出力装置４００に表示させる手法が挙げられる。しかしながら、時々刻々と変化する被写体の状況に応じて、その都度、上記に例示したようにクロップ領域を再設定するような操作は、ユーザにとって非常に煩わしいものである。

以上のような状況を鑑み、本開示では、被写体の状況に応じてより好適な態様で撮像画像の一部を切り出した画像を生成可能とする技術の一例について提案する。

＜システム構成＞
図２を参照して、本実施形態に係る画像処理システムのシステム構成の一例について説明する。本実施形態に係る画像処理システムは、撮像装置１００と、制御装置２００と、スイッチャー３００とを含む。撮像装置１００と、制御装置２００と、スイッチャー３００とは、ネットワーク６００を介して相互の情報を送受信可能に接続されている。
なお、撮像装置１００と、制御装置２００と、スイッチャー３００とを相互に接続することが可能であれば、ネットワーク６００の種別は特に限定はされない。具体的な一例として、ネットワーク６００は、前述したように、インターネット等のようなＩＰネットワークにより構成されていてもよい。また、他の一例として、ネットワーク６００は、専用線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されていてもよい。また、ネットワーク６００は、有線のネットワークにより構成されていてもよいし、無線のネットワークにより構成されていてもよい。

撮像装置１００は、所謂画像センサー等を含む撮像部を備え、撮像結果に応じた画像のデータ（以下、画像データとも称する）を、ネットワーク６００を介して他の装置（例えば、制御装置２００やスイッチャー３００等）に送信する。
制御装置２００は、ネットワーク６００を介して撮像装置１００及びスイッチャー３００それぞれの動作を制御する。例えば、制御装置２００は、ネットワーク６００を介して撮像装置１００から画像データを取得して、当該画像データに基づき当該撮像装置１００による撮像結果に応じた画像を所定の出力装置に表示させることで、当該画像をユーザに提示する。また、制御装置２００は、所定の入力装置を介したユーザからの指示に応じて、ネットワーク６００を介して撮像装置１００の動作の制御（例えば、撮像条件の制御等）を行う。また、制御装置２００は、撮像装置１００の動作の制御に伴い、ネットワーク６００を介してスイッチャー３００の動作の制御をあわせて行ってもよい。
スイッチャー３００は、ネットワーク６００を介して撮像装置１００から画像データを取得して、当該画像データが示す画像に対して、レイアウト変更、エフェクト追加等のような画像処理を施したうえで、所定の出力先（例えば、出力装置４００）に出力する。

なお、図２に示す構成はあくまで一例であり、必ずしも本実施形態に係る画像処理システムのシステム構成を限定するものではない。具体的な一例として、図２に示す例では、撮像装置１００が１台の場合について示しているが、複数の撮像装置１００を１つの制御装置２００により制御する構成とすることも可能である。また、この場合には、スイッチャー３００が複数の撮像装置１００それぞれから画像データを受信し、各画像データが示す画像を適宜切り替えて所定の出力先に出力する構成とすることも可能である。また、スイッチャー３００が、複数の撮像装置１００それぞれから受信した画像データが示す画像（例えば、クロップ画像）を合成したうえで、合成画像を所定の出力先に出力する構成とすることも可能である。

続いて、撮像装置１００の構成の一例について詳細に説明する。撮像装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３０とを含む。また、撮像装置１００は、画像センサー１７０と、画像キャプチャＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１４０と、ネットワークＩ／Ｆ１５０とを含む。ＣＰＵ１１０、ＲＡＭ１２０、ＲＯＭ１３０、画像キャプチャＩ／Ｆ１４０、及びネットワークＩ／Ｆ１５０は、内部バス１６０を介して相互の接続されている。

ＣＰＵ１１０は、撮像装置１００全体の動作を制御する。ＲＯＭ１３０は、ＣＰＵ１１０により実行されるＯＳや各種プログラムが記憶されている。ＲＡＭ１２０は、ＣＰＵ１１０の主記憶メモリであり、ワークエリアや各種プログラムを展開するための一時記憶領域として用いられる。また、ＲＡＭ１２０は、後述する画像センサー１７０による撮像結果に応じた画像データ等のような各種データを一時的に保持するための記憶領域として使用されてもよい。ＣＰＵ１１０は、ＲＯＭ１３０に記憶されたＯＳや各種プログラム読み出したうえで、ＲＡＭ１２０に展開して実行することで、撮像装置１００の各種制御を実現する。また、図２では図示を省略しているが、撮像装置１００は、後述する画像センサー１７０による撮像結果に応じた画像データ等の各種データや、ＣＰＵ１１０により実行されるプログラム等を記憶するための補助記憶装置を含んでもよい。当該補助記憶装置は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の不揮発性メモリ等により実現され得る。

画像センサー１７０は、撮像範囲内の被写体を撮像し、撮像結果に応じた映像信号を出力する。画像センサー１７０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）や、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）により実現され得る。
画像キャプチャＩ／Ｆ１４０は、画像センサー１７０に接続されており、当該画像センサー１７０から出力される映像信号を所定のフォーマットの画像データに変換したうえで、必要に応じて圧縮処理等を施してＲＡＭ１２０に転送する。また、画像キャプチャＩ／Ｆ１４０は、画像センサー１７０が撮像を行う際のズーム、フォーカス、及び露出制御等のような撮像条件の調整（換言すると、撮像画像の画質調整に係る制御）や、撮像画像中の一部の領域を切り出すクロップ処理等を行ってもよい。これらの処理については、例えば、制御装置２００等のような外部装置からのネットワークＩ／Ｆ１５０を介した指示に基づき実行されてもよい。

ネットワークＩ／Ｆ１５０は、撮像装置１００をネットワーク６００に接続させるためのネットワークＩ／Ｆである。ネットワークＩ／Ｆ１５０は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等のような通信媒体を介して制御装置２００やスイッチャー３００等のようなネットワーク６００に接続された外部装置との通信を行う。これにより、撮像装置１００は、制御装置２００との間でのカメラ制御コマンドの送受信や、制御装置２００やスイッチャー３００への画像センサー１７０による撮像結果に応じた画像データの送信（換言すると、カメラ映像の配信）が可能となる。

なお、説明を簡単にするために、撮像装置１００の遠隔制御がネットワークＩ／Ｆ１５０を介して行われる場合について説明したが、必ずしも本実施形態に係る画像形成システムの構成を限定するものではない。具体的な一例として、撮像装置１００が不図示のシリアル通信Ｉ／Ｆ等のようなネットワークＩ／Ｆ１５０以外の他のＩ／Ｆを備えていてもよく、当該他のＩ／Ｆを介して当該撮像装置１００の遠隔制御が行われてもよい。また、撮像装置１００から外部装置への画像データの送信についても、ネットワークＩ／Ｆ１５０を介した送信に限らず、不図示の映像出力Ｉ／Ｆのような他のＩ／Ｆを介して行われてもよい。当該映像出力Ｉ／Ｆとしては、例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等が挙げられる。

続いて、制御装置２００の構成について説明する。制御装置２００は、ＣＰＵ２１０と、ＲＡＭ２２０と、ＲＯＭ２３０と、ユーザ入出力Ｉ／Ｆ２４０と、ネットワークＩ／Ｆ２５０とを含む。ＣＰＵ２１０、ＲＡＭ２２０、ＲＯＭ２３０、ユーザ入出力Ｉ／Ｆ２４０、及びネットワークＩ／Ｆ２５０は、内部バス２６０を介して相互の接続されている。

ＣＰＵ２１０は、制御装置２００全体の動作を制御する。ＲＯＭ２３０は、ＣＰＵ２１０により実行されるＯＳや各種プログラムが記憶されている。ＲＡＭ２２０は、ＣＰＵ２１０の主記憶メモリであり、ワークエリアや各種プログラムを展開するための一時記憶領域として用いられる。ＣＰＵ２１０は、ＲＯＭ２３０に記憶されたＯＳや各種プログラム読み出したうえで、ＲＡＭ２２０に展開して実行することで、制御装置２００の各種制御を実現する。また、図２では図示を省略しているが、制御装置２００は、画像データ等の各種データや、ＣＰＵ２１０により実行されるプログラム等を記憶するための補助記憶装置を含んでもよい。当該補助記憶装置は、例えば、ＨＤＤや、ＳＳＤ等の不揮発性メモリ等により実現され得る。

ユーザ入出力Ｉ／Ｆ２４０は、制御装置２００に対するユーザからの指示の受け付けや、ユーザに対する各種情報（例えば、撮像装置１００による撮像結果に応じた画像等）の提示を行うためのＩ／Ｆである。ユーザ入出力Ｉ／Ｆ２４０の一例として、ボタン、ダイヤル、ジョイスティック、ディスプレイ、及びタッチパネル等が挙げられる。また、タッチパネルとディスプレイとは、画面上に対する指等のような操作体によるタッチ操作の位置が検出可能なタッチパネル搭載型ディスプレイとして一体的に構成されていてもよい。ユーザは、上記に例示したユーザ入出力Ｉ／Ｆ２４０を介して制御装置２００を操作することで、例えば、当該制御装置２００にネットワーク６００を介して接続された撮像装置１００やスイッチャー３００の動作を制御することが可能となる。また、ユーザは、制御装置２００にネットワーク６００を介して接続された撮像装置１００による撮像結果に応じた画像を、ディスプレイとして構成されたユーザ入出力Ｉ／Ｆ２４０を介して確認することも可能となる。

ネットワークＩ／Ｆ２５０は、制御装置２００をネットワーク６００に接続させるためのネットワークＩ／Ｆである。ネットワークＩ／Ｆ２５０は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等のような通信媒体を介して撮像装置１００やスイッチャー３００等のようなネットワーク６００に接続された外部装置との通信を行う。これにより、制御装置２００は、撮像装置１００やスイッチャー３００との間の制御コマンドの送受信や、撮像装置１００からの撮像結果に応じた画像データの受信が可能となる。

なお、説明を簡単にするために、制御装置２００による撮像装置１００やスイッチャー３００の遠隔制御がネットワークＩ／Ｆ２５０を介して行われる場合について説明したが、必ずしも本実施形態に係る画像形成システムの構成を限定するものではない。具体的な一例として、制御装置２００が不図示のシリアル通信Ｉ／Ｆ等のようなネットワークＩ／Ｆ１５０以外の他のＩ／Ｆを備えていてもよく、当該他のＩ／Ｆを介して撮像装置１００やスイッチャー３００の遠隔制御が行われてもよい。また、撮像装置１００から送信される画像データの受信についても、ネットワークＩ／Ｆ１５０を介した受信に限らず、不図示の映像入力Ｉ／Ｆのような他のＩ／Ｆを介して行われてもよい。当該映像入力Ｉ／Ｆとしては、例えば、ＨＤＭＩやＳＤＩ等が挙げられる。

続いて、スイッチャー３００の構成について説明する。スイッチャー３００は、ＣＰＵ３１０と、ＲＡＭ３２０と、ＲＯＭ３３０と、ユーザ入出力Ｉ／Ｆ３４０と、映像出力Ｉ／Ｆ３５０と、ネットワークＩ／Ｆ３６０とを含む。ＣＰＵ３１０、ＲＡＭ３２０、ＲＯＭ３３０、ユーザ入出力Ｉ／Ｆ３４０、映像出力Ｉ／Ｆ３５０、及びネットワークＩ／Ｆ３６０は、内部バス３７０を介して相互の接続されている。

ＣＰＵ３１０は、スイッチャー３００全体の動作を制御する。ＲＯＭ３３０は、ＣＰＵ３１０により実行されるＯＳや各種プログラムが記憶されている。ＲＡＭ３２０は、ＣＰＵ３１０の主記憶メモリであり、ワークエリアや各種プログラムを展開するための一時記憶領域として用いられる。ＣＰＵ３１０は、ＲＯＭ３３０に記憶されたＯＳや各種プログラム読み出したうえで、ＲＡＭ３２０に展開して実行することで、スイッチャー３００の各種制御を実現する。また、図２では図示を省略しているが、スイッチャー３００は、画像データ等の各種データや、ＣＰＵ３１０により実行されるプログラム等を記憶するための補助記憶装置を含んでもよい。当該補助記憶装置は、例えば、ＨＤＤや、ＳＳＤ等の不揮発性メモリ等により実現され得る。

ユーザ入出力Ｉ／Ｆ３４０は、スイッチャー３００に対するユーザからの指示を受け付けるためのＩ／Ｆである。ユーザ入出力Ｉ／Ｆ３４０の一例として、ボタン及びダイヤル等が挙げられる。ユーザは、上記に例示したユーザ入出力Ｉ／Ｆ２４０を介した操作により、例えば、スイッチャー３００に配信された複数の画像データそれぞれに対応する複数の画像のうちのいずれを出力の対象とするかを切り替えることが可能となる。また、ユーザ入出力Ｉ／Ｆ２４０を介した操作により、出力対象となる画像を切り替える際のエフェクト設定や、複数の画像を合成する際のレイアウト設定等が可能であってもよい。

映像出力Ｉ／Ｆ３５０は、スイッチャー３００が外部装置から受信した画像データに基づく画像を、例えば、ＳＤＩ端子、ＨＤＭＩ端子、ＤｉｓｐｌａｙＰｏｒｔ端子等の映像端子から外部に映像信号として出力するための映像出力Ｉ／Ｆである。映像出力Ｉ／Ｆ３５０と外部装置とをケーブル等により接続することで、上記映像信号を当該外部装置に出力することが可能となる。図２に示す例では、映像出力Ｉ／Ｆ３５０は、ディスプレイとして構成された出力装置４００に映像信号を出力するものとする。

ネットワークＩ／Ｆ３６０は、スイッチャー３００をネットワーク６００に接続させるためのネットワークＩ／Ｆである。ネットワークＩ／Ｆ３６０は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等のような通信媒体を介して撮像装置１００や制御装置２００等のようなネットワーク６００に接続された外部装置との通信を行う。これにより、スイッチャー３００は、撮像装置１００からの撮像結果に応じた画像データの受信や、制御装置２００との間の制御コマンドの送受信が可能となる。

なお、説明を簡単にするために、スイッチャー３００の遠隔制御がネットワークＩ／Ｆ１５０を介して行われる場合について説明したが、必ずしも本実施形態に係る画像形成システムの構成を限定するものではない。具体的な一例として、スイッチャー３００が不図示のシリアル通信Ｉ／Ｆ等のようなネットワークＩ／Ｆ１５０以外の他のＩ／Ｆを備えていてもよく、当該他のＩ／Ｆを介して当該スイッチャー３００の遠隔制御が行われてもよい。また、撮像装置１００からの画像データの受信についても、ネットワークＩ／Ｆ１５０を介した受信に限らず、不図示の映像出力Ｉ／Ｆのような他のＩ／Ｆを介して行われてもよい。当該映像出力Ｉ／Ｆとしては、例えば、ＨＤＭＩやＳＤＩ等が挙げられる。

また、図２に示す構成はあくまで一例であり、必ずしも本開示の一実施形態に係る画像処理システムの構成を限定するものではない。例えば、図２に例示した各装置のうち、一部の装置が、他の装置の役割をも担ってもよい。具体的な一例として、制御装置２００が、スイッチャー３００の役割を担ってもよい。この場合には、例えば、制御装置２００とスイッチャー３００とが一体的に構成されていてもよい。また、他の一例として、スイッチャー３００の一部の機能（例えば、合成画像の生成に係る機能等）が、制御装置２００側に設けられていてもよい。また、図２に例示した各装置のうち、少なくとも一部の装置の機能が、複数の装置が協働することで実現されてもよい。このように、本開示に係る技術を実現することが可能であれば、そのための構成については特に限定はされない。

＜ソフトウェア構成＞
図３を参照して、撮像装置１００、制御装置２００、及びスイッチャー３００それぞれのソフトウェア構成の一例について説明する。

まず、図３（ａ）を参照して、撮像装置１００のソフトウェア構成の一例について説明する。撮像装置１００のソフトウェアとしては、主に、基本ソフトウェアとして動作するＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）７０１と、当該ＯＳ７０１上で動作する画像処理プログラム７０２及び通信制御プログラム７０３とを含む。ＯＳ７０１、画像処理プログラム７０２、及び通信制御プログラム７０３は、ＲＡＭ１２０に展開されたうえで、ＣＰＵ１１０により実行される。

ＯＳ７０１は、撮像装置１００全体の動作を制御する。また、画像処理プログラム７０２及び通信制御プログラム７０３の動作は、ＯＳ７０１により制御される。

画像処理プログラム７０２は、画像キャプチャＩ／Ｆ１４０を制御し、外部装置からのリクエストや他のプログラムからの指示に応じて、画像センサー１７０から出力される映像信号に基づき画像データを生成する。また、画像処理プログラム７０２は、外部装置や他のプログラムからの指示に応じて、生成した画像データに対して各種画像処理を行ってもよい。当該画像処理としては、例えば、画像の明るさ、色味、サイズ等の変更や、画像中の一部の領域の切り出し、ＪＰＥＧ等の静止画像のデータやＨ．２６４等の動画像のデータへの変換等に係る処理が挙げられる。画像処理プログラム７０２は、画像処理が施された画像データや当該画像処理の結果を示す情報を通信制御プログラム７０３に出力してもよい。

通信制御プログラム７０３は、ネットワークＩ／Ｆ１５０を制御し、ネットワーク６００を介して制御装置２００やスイッチャー３００等の外部装置と通信を行う。具体的な一例として、通信制御プログラム７０３は、画像センサー１７０による撮像結果に応じた画像データの取得リクエストや、撮像画像に対する画像処理リクエストを外部装置から受信してもよい。この場合には、通信制御プログラム７０３は、受信した上記リクエストを画像処理プログラム７０２に転送する。また、通信制御プログラム７０３は、画像処理プログラム７０２から出力される画像処理が施された画像データや当該画像処理の結果を示す情報を、画像処理リクエストに対するレスポンスやカメラ情報の更新通知として外部装置に送信する。
なお、上記に例示したネットワーク６００を介したリクエストの送受信については、例えば、ｈｔｔｐ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等のような、一般的な通信プロトコルが使用されてもよい。

次いで、図３（ｂ）を参照して、制御装置２００のソフトウェア構成の一例について説明する。制御装置２００のソフトウェアとしては、主に、基本ソフトウェアとして動作するＯＳ７１１と、当該ＯＳ７１１上で動作する入力制御プログラム７１２、表示制御プログラム７１３、外部装置制御プログラム７１４、及び通信制御プログラム７１５とを含む。ＯＳ７１１、入力制御プログラム７１２、表示制御プログラム７１３、外部装置制御プログラム７１４、及び通信制御プログラム７１５は、ＲＡＭ２２０に展開されたうえで、ＣＰＵ２１０により実行される。

ＯＳ７１１は、制御装置２００全体の動作を制御する。また、入力制御プログラム７１２、表示制御プログラム７１３、外部装置制御プログラム７１４、及び通信制御プログラム７１５の動作は、ＯＳ７１１により制御される。

入力制御プログラム７１２は、ユーザ入出力Ｉ／Ｆ２４０を制御し、ボタン、ダイヤル、ジョイスティック、タッチパネル等からのユーザ入力操作を受け付ける。そのうえで、入力制御プログラム７１２は、当該ユーザ入力操作に対応するカメラ制御コマンドを生成して通信制御プログラム７１５に出力する。また、入力制御プログラム７１２は、受け付けたユーザ入力操作に応じて、ユーザにより指定された設定を示すユーザ設定情報を生成して表示制御プログラム７１３や外部装置制御プログラム７１４に出力してもよい。

表示制御プログラム７１３は、撮像装置１００から送信された画像データやカメラ情報を後述する通信制御プログラム７１５を介して取得する。表示制御プログラム７１３は、取得した当該画像データに基づく画像や当該カメラ情報に基づく撮像装置１００の状態を、タッチパネルやディスプレイ等の表示装置にＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示させる。また、表示制御プログラム７１３は、入力制御プログラム７１２から、ユーザにより指定された設定を示すユーザ設定情報を取得してもよい。この場合には、表示制御プログラム７１３は、取得したユーザ設定情報を上記表示装置にＯＳＤ表示させてもよい。

ここで、図４を参照して、ユーザが制御装置２００の入出力Ｉ／Ｆ２４０を介してクロップ領域の設定を行った際に、入力制御プログラム７１２及び表示制御プログラム７１３によりユーザ設定情報として保持されるクロップ領域設定情報の一例について説明する。図４には、入出力Ｉ／Ｆ２４０を構成するディスプレイに表示されるＵＩの一例が示されている。

入力制御プログラム７１２は、入出力Ｉ／Ｆ２４０を介してユーザからクロップ領域の設定の開始に係る指示を受け付けると、表示制御プログラム７１３に対してクロップ領域設定のためのＯＳＤ表示を依頼する。

表示制御プログラム７１３は、まず図４（ａ）に示すように、対象となる画像中に設定されたクロップ領域が切り出されたクロップ画像が表示される際のレイアウトを設定するためのレイアウト設定画面を表示させる。レイアウト設定画面では、スイッチャー３００から出力される複数のクロップ画像を合成した合成画像の解像度（合成解像度）、合成画像を構成するクロップ画像の個数（レイアウト数）、クロップ画像の配置（レイアウト領域情報）等を指定することが可能である。なお、表示制御プログラム７１３は、合成解像度に関する情報を、スイッチャー３００との通信によって取得してもよい。ユーザは、このレイアウト設定画面を確認しながら、ユーザ入出力Ｉ／Ｆ２４０を介して、上記に例示した各種設定情報を指定することとなる。

表示制御プログラム７１３は、上記に例示したレイアウトに関する各種の設定情報（以下、レイアウト設定情報とも称する）に基づきレイアウトの設定に係るレイアウト設定コマンドを生成する。そして、表示制御プログラム７１３は、生成したレイアウト設定コマンドを外部装置制御プログラム７１４に出力する。外部装置制御プログラム７１４は、表示制御プログラム７１３から出力されたレイアウト設定コマンドを、ネットワーク６００を介してスイッチャー３００にリクエストとして送信する。

図４（ａ）に示す例では、合成解像度として「１９２０×１２００」が設定され、レイアウト数として「３」が設定されている。また、レイアウト領域情報として、合成解像度のサイズを横方向に表示領域Ａ１、Ａ２、及びＡ３として三分割するように設定がなされている。
なお、説明の簡単化のために、スイッチャー３００側では、表示領域Ａ１、Ａ２、及びＡ３に対して、後述するクロップ領域Ｃ１、Ｃ２，及びＣ３がそれぞれ対応付けられているものとする。すなわち、表示領域Ａ１には対象となる画像中のクロップ領域Ｃ１が切り出されたクロップ画像が表示されるものとする。同様に、表示領域Ａ２には対象となる画像中のクロップ領域Ｃ２が切り出されたクロップ画像が表示され、表示領域Ａ３には対象となる画像中のクロップ領域Ｃ３が切り出されたクロップ画像が表示されるものとする。
以上説明したように、レイアウト設定コマンドには、「合成解像度」、「レイアウト数」、及び「レイアウト領域情報」として指定された情報が含まれる。また、レイアウト領域情報には各表示領域の配置を決定するための「座標」、「領域サイズ」、及び「各領域に紐付けられた撮像画像（例えば、クロップ画像）」等の情報が含まれる。

続いて、表示制御プログラム７１３は、図４（ｂ）に示すように、撮像装置１００から受信した画像データに基づき、当該撮像装置１００による撮像結果に応じた画像が提示された設定画面を表示させる。また、この際に表示制御プログラム７１３は、クロップ領域が設定されている場合には、上記設定画面に中に表示された画像上に、当該クロップ領域が識別可能に提示された情報を重畳表示させる。
例えば、図４（ｂ）に示す例では、クロップ領域Ｃ１、Ｃ２、及びＣ３が設定されており、これらのクロップ領域それぞれを示す枠（図中において破線で示された枠）状の表示情報が表示されている。ユーザは、入出力Ｉ／Ｆ２４０を介して上記枠状の表示情報それぞれを移動させたりサイズを拡縮させたりする操作を行うことで、当該表示情報に対応するクロップ領域の位置やサイズを変更することが可能である。
なお、クロップ領域Ｃ１、Ｃ２、及びＣ３のアスペクト比が、レイアウト情報に応じて固定されるような制御が適用されてもよい。図４に示す例の場合には、表示領域Ａ１、Ａ２、及びＡ３それぞれのサイズとして「６３０×１０８０」が設定されているため、クロップ領域Ｃ１、Ｃ２、及びＣ３それぞれについて、１６：２７のアスペクト比が維持されるように制御されてもよい。このような制御が適用されることで、各クロップ領域が切り出されたクロップ画像が合成された際に、対応付けられた表示領域が隙間なく使われた合成画像をスイッチャー３００側で合成することが可能となる。
また、クロップ領域の設定方法については特に限定はされない。具体的な一例として、ユーザからの指示に応じてクロップ領域が設定されてもよい。具体的な一例として、対象となる画像中においてユーザにより指定された領域を対象としてクロップ領域が設定されてもよい。また、他の一例として、対象となる画像の解析結果に応じて、当該画像中にクロップ領域が設定されてもよい。具体的な一例として、対象となる画像に対する画像解析の結果に基づき所定の条件を満たす被写体（例えば、人物等）が検出された場合に、当該被写体を含む領域を対象としてクロップ領域が自動で設定されてもよい。

また、本実施形態では、図中において太線の枠として示したように、対象となる画像中に設定された一連のクロップ領域のうちの少なくとも一部のクロップ領域内の被写体を追尾対象として当該クロップ領域に関連付けることが可能である。例えば、Ｔ１及びＴ３で示された被写体は、追尾対象として設定された被写体を示している。すなわち、図４（ｂ）に示す例では、クロップ領域Ｃ１に対して当該クロップ領域Ｃ１中の被写体Ｔ１が追尾対象として関連付けられており、クロップ領域Ｃ３に対して当該クロップ領域Ｃ３中の被写体Ｔ３が追尾対象として関連付けられている。また、クロップ領域Ｃ２のように、追尾対象が関連付けられていないクロップ領域が設定されてもよい。以上のようにして、ユーザからの指示に応じて、クロップ領域設定情報が決定される。

クロップ領域設定情報には、対象となる画像中に設定された一連のクロップ領域それぞれに関する情報として、例えば、「座標（クロップ領域の位置）」、「幅及び高さ（クロップ領域のサイズ）」、及び「関連付けられた被写体に関する情報」等が含まれる。
また、各クロップ領域に対して、「優先度」が設定されてもよい。なお、当該優先度の設定方法については特に限定されず、例えば、ユーザからの指示に応じて設定されてもよいし、各種条件に応じて自動で設定されてよい。例えば、図４（ｂ）に示す例では、クロップ領域Ｃ２に対して優先度３（Ｐｒｉｏｒｉｔｙ３）が設定されている。同様に、クロップ領域Ｃ１に対して優先度２（Ｐｒｉｏｒｉｔｙ２）が設定されており、クロップ領域Ｃ３に対して優先度１（Ｐｒｉｏｒｉｔｙ１）が設定されている。なお、図４（ｂ）に示す例では、優先度として指定された数値が高いほど、より優先度が高いものとする。すなわち、図４（ｂ）に示す例では、クロップ領域Ｃ１～Ｃ３のうち、クロップ領域Ｃ２の優先度が最も高く、クロップ領域Ｃ３の優先度が最も低いこととなる。

そして、入力制御プログラム７１２及び表示制御プログラム７１３は、図４（ｂ）に例示した設定画面を介した操作に基づき決定されたクロップ領域設定情報を、前述した通り、外部装置制御プログラム７１４と共有する。また、外部装置制御プログラム７１４は、クロップ領域設定情報に基づきクロップ領域設定コマンドを生成し、当該クロップ領域設定コマンドを通信制御プログラム７１５に出力する。通信制御プログラム７１５は、外部装置制御プログラム７１４から出力されたクロップ領域設定コマンドを、撮像装置１００にリクエスト送信する。

ここで、改めて図３（ｂ）を参照する。外部装置制御プログラム７１４は、撮像装置１００から送信された画像データ及びカメラ情報を、通信制御プログラム７１５から取得する。また、外部装置制御プログラム７１４は、ユーザからの指示に基づき決定されたユーザ設定情報を、入力制御プログラム７１２から取得する。そのうえで、外部装置制御プログラム７１４は、上記に例示した各種情報に応じて、新たなカメラ制御コマンドやスイッチャー制御コマンド等を生成し、生成したコマンドを通信制御プログラム７１５に出力する。

具体的な一例として、外部装置制御プログラム７１４は、取得した画像データが示す画像を解析し、白飛びが検知された場合に、撮像装置１００に対してＮＤフィルタの適用を指示するためのカメラ制御コマンドを生成してもよい。そのうえで、外部装置制御プログラム７１４は、生成した当該カメラ制御コマンドを通信制御プログラム７１５に出力することで、通信制御プログラム７１５を介して当該カメラ制御コマンドを撮像装置１００に送信してもよい。このような制御が適用されることで、撮像装置１００のその時々の状態に応じて、当該撮像装置１００の状態を自動で制御することも可能となる。

また、他の一例として、外部装置制御プログラム７１４は、複数の撮像装置１００それぞれによる撮像結果に応じた画像を解析することで、主たる被写体（例えば、注目対象として指定された被写体）が撮像された画像を特定してもよい。また、外部装置制御プログラム７１４は、主たる被写体が撮像された画像がスイッチャー３００から出力されるように、出力対象となる画像を切り替えるためのスイッチャー制御コマンドを生成してもよい。そのうえで、外部装置制御プログラム７１４は、生成した当該スイッチャー制御コマンドを通信制御プログラム７１５に出力することで、通信制御プログラム７１５を介して当該スイッチャー制御コマンドをスイッチャー３００に送信してもよい。このような制御が適用されることで、時々刻々と被写体の状態が変化したとしても、その時々の状況に応じて主たる被写体が撮像された画像が出力されるように、スイッチャー３００の動作を制御することが可能となる。

通信制御プログラム７１５は、ネットワークＩ／Ｆ２５０を制御し、撮像装置１００やスイッチャー３００等の外部装置に対するリクエスト送信や、当該外部装置からのレスポンス受信等のような、ネットワーク６００を介した当該外部装置との通信を行う。
具体的な一例として、通信制御プログラム７１５は、撮像装置１００に対する撮像画像の取得リクエストやカメラ制御リクエストの送信や、これらのリクエストに対するレスポンスの受信を行ってもよい。また、制御装置２００以外の他の装置により撮像装置１００の動作が制御された場合においても、当該撮像装置１００が制御装置２００に対してカメラ情報の更新通知を行ってもよい。この場合には、通信制御プログラム７１５は、撮像装置１００から当該更新通知を受信し、当該更新通知を表示制御プログラム７１３に出力してもよい。
また、前述したクロップ領域設定コマンドについても同様に、通信制御プログラム７１５により撮像装置１００に送信される。
なお、上記に例示したネットワーク６００を介したリクエスト及びレスポンスの送受信については、例えば、ｈｔｔｐ等のような一般的な通信プロトコルが使用されてもよい。

次いで、図３（ｃ）を参照して、スイッチャー３００のソフトウェア構成の一例について説明する。スイッチャー３００のソフトウェアとしては、主に、基本ソフトウェアとして動作するＯＳ７２１と、当該ＯＳ７２１上で動作する入力制御プログラム７２２、出力制御プログラム７２３、及び通信制御プログラム７２４とを含む。ＯＳ７２１、入力制御プログラム７２２、出力制御プログラム７２３、及び通信制御プログラム７２４は、ＲＡＭ３２０に展開されたうえで、ＣＰＵ３１０により実行される。

ＯＳ７２１は、スイッチャー３００全体の動作を制御する。また、入力制御プログラム７２２、出力制御プログラム７２３、及び通信制御プログラム７２４の動作は、ＯＳ７２１により制御される。

入力制御プログラム７２２は、ユーザ入出力Ｉ／Ｆ３４０を制御し、ボタン、ダイヤル、ジョイスティック、タッチパネル等からのユーザ入力操作を受け付ける。そのうえで、入力制御プログラム７２２は、当該ユーザ入力操作に対応するスイッチャー制御コマンドを生成して出力制御プログラム７２３に出力する。
スイッチャー制御コマンドとしては、例えば、後述する通信制御プログラム７２４が撮像装置１００から受信した１以上の画像データそれぞれに対応する画像のうち、いずれを出力対象とするかを指示するためのコマンドが挙げられる。また、他の一例として、スイッチャー制御コマンドとして、出力対象とする画像を切り替える際のエフェクトを指示するためのコマンドや、複数の画像を合成する際のレイアウトの指示に係るコマンドが適用されてもよい。

出力制御プログラム７２３は、入力制御プログラム７２２から上記スイッチャー制御コマンドを受信して、映像出力Ｉ／Ｆ３５０を制御して、当該コマンドに従いスイッチャー３００が外部装置から受信する画像データに対して画像処理を施す。具体的な一例として、出力制御プログラム７２３は、上記画像処理として、複数の画像データそれぞれが示す画像のうち出力対象とする画像を切り替える処理や、出力する画像のレイアウトを変更する処理等を適用してもよい。また、出力制御プログラム７２３は、通信制御プログラム７２４からスイッチャー制御コマンドを受信した場合においても、上記と同様の処理を適用してもよい。

通信制御プログラム７２４は、ネットワークＩ／Ｆ３６０を制御し、ネットワーク６００を介して撮像装置１００や制御装置２００等の外部装置と通信を行う。
具体的な一例として、通信制御プログラム７２４は、撮像装置１００から撮像結果に応じた画像データを受信してもよい。この場合には、通信制御プログラム７２４は、受信した当該画像データを出力制御プログラム７２３に出力する。また、通信制御プログラム７２４は、制御装置２００からスイッチャー制御コマンドを受信してもよい。この場合には、通信制御プログラム７２４は、受信したスイッチャー制御コマンドを出力制御プログラム７２３に出力する。
なお、上記に例示したネットワーク６００を介したリクエストの送受信については、例えば、ｈｔｔｐ等のような、一般的な通信プロトコルが使用されてもよい。

以上、図３を参照して、撮像装置１００、制御装置２００、及びスイッチャー３００それぞれのソフトウェア構成の一例について説明した。

＜処理＞
図５～図７を参照して、本実施形態に係る画像処理システムの処理の一例について、特に、被写体の移動に応じてクロップ領域の設定やスイッチャー３００による出力画像のレイアウトの設定を制御する場合に着目して説明する。図５～図７に示す処理は、撮像装置１００の画像処理プログラム７０２と、制御装置２００の外部装置制御プログラム７１４と、スイッチャー３００の出力制御プログラム７２３とが連動して動作することで実現される。

まず、図５を参照して、撮像装置１００のＣＰＵ１１０により画像処理プログラム７０２が実行されることで実現される処理の一例について説明する。なお、図５に示す一連の処理は、例えば、撮像装置１００が電源投入に伴い起動されることで開始される。

Ｓ８０１において、ＣＰＵ１１０は、イベントの発生を待ち受ける。当該イベントは、例えば、各種のプログラムが処理を実行した結果に応じて発生し得る。ＣＰＵ１１０は、イベントを受信すると、処理をＳ８０２に進める。
Ｓ８０２において、ＣＰＵ１１０は、Ｓ８０１において受信したイベントの種別を判別し、当該判別の結果に応じて以降の処理を切り替える。
ＣＰＵ１１０は、Ｓ８０２において、発生したイベントが外部装置（例えば、制御装置２００、スイッチャー３００等）からの画像取得リクエストに応じた画像データに関するイベントであると判定した場合には、処理をＳ８０４に進める。
また、ＣＰＵ１１０は、Ｓ８０２において、発生したイベントが制御装置２００からのクロップ領域設定コマンドに応じたイベントであると判定した場合には、処理をＳ８０３に進める。
一方で、ＣＰＵ１１０は、Ｓ８０２において、発生したイベントが撮像装置１００の電源ＯＦＦ等に伴う終了イベントであると判定した場合には、図５に示す一連の処理を終了する。

Ｓ８０３において、ＣＰＵ１１０は、クロップ領域設定コマンドに含まれる情報に基づき、クロップ領域設定情報の更新を行う。クロップ領域設定コマンドには、設定された１つ以上のクロップ領域の座標情報（すなわち、画像中の位置を示す情報）が少なくとも含まれている。
なお、クロップ領域の座標情報は、例えば、対象となるクロップ領域の位置を規定するための当該クロップ領域中の一部の位置の座標を示す情報として規定され得る。本開示では、説明をより分かりやすくするために、便宜上、クロップ領域の形状が矩形であるものとし、クロップ領域の座標情報が、当該クロップ領域の左上の端点の座標として規定されるものとする。ただし、同規定は、本開示に係る画像形成システムの構成や処理を限定するものではない。具体的な一例として、クロップ領域の形状は矩形以外であってもよいし、座標情報についても必ずしもクロップ領域の端点には限定されない。
Ｓ８０４において、ＣＰＵ１１０は、クロップ領域設定情報に基づき、画像キャプチャＩ／Ｆ１４０を制御し、画像センサー１７０から出力される映像信号が示す撮像画像に対して、設定されたクロップ領域のクロップ処理を施す。そのうえで、ＣＰＵ１１０は、当該クロップ処理の結果として得られるクロップ画像の画像データ（以下、クロップ画像データとも称する）を生成する。なお、ＣＰＵ１１０は、クロップ領域が複数設定されている場合には、当該複数のクロップ領域それぞれに対応するクロップ画像データを生成する。生成されたクロップ画像データは、宛先としてスイッチャー３００が指定されたうえで通信制御プログラム７０３に出力される。これにより、当該クロップ画像データは、ＣＰＵ１１０により通信制御プログラム７０３が実行されることで、ネットワークＩ／Ｆ１５０が制御されて、宛先として指定されたスイッチャー３００に送信される。
Ｓ８０５において、ＣＰＵ１１０は、画像キャプチャＩ／Ｆ１４０を制御し、画像センサー１７０から出力される映像信号に基づき、撮像範囲全体が示された撮像画像の画像データ（以下、全体画像データとも称する）を生成する。生成された全体画像データは、宛先として制御装置２００が指定されたうえで通信制御プログラム７０３に出力される。これにより、当該全体画像データは、ＣＰＵ１１０により通信制御プログラム７０３が実行されることで、ネットワークＩ／Ｆ１５０が制御されて、宛先として指定された制御装置２００に送信される。
ＣＰＵ１１０は、Ｓ８０２～Ｓ８０５の処理が完了すると、処理をＳ８０１に進める。これにより、Ｓ８０１以降の処理が改めて実行されることとなる。

次いで、図６を参照して、制御装置２００のＣＰＵ２１０により外部装置制御プログラム７１４が実行されることで実現される処理の一例について説明する。なお、図６に示す一連の処理は、例えば、制御装置２００が電源投入に伴い起動されることで開始される。

Ｓ８１１において、ＣＰＵ２１０は、イベントの発生を待ち受ける。当該イベントは、例えば、各種のプログラムが処理を実行した結果に応じて発生し得る。ＣＰＵ２１０は、イベントを受信すると、処理をＳ８１２に進める。
Ｓ８１２において、ＣＰＵ２１０は、Ｓ８１１において受信したイベントの種別を判別し、当該判別の結果に応じて以降の処理を切り替える。
ＣＰＵ２１０は、Ｓ８１２において、発生したイベントが外部装置（例えば、撮像装置１００等）から送信された画像データを通信制御プログラム７１５が受信することで発生するイベントであると判定した場合には、処理をＳ８１３に進める。なお、ここでは、通信制御プログラム７１５は、撮像装置１００から全体画像データを受信したものとする。
一方で、ＣＰＵ２１０は、Ｓ８１２において、発生したイベントが制御装置２００の電源ＯＦＦ等に伴う終了イベントであると判定した場合には、図６に示す一連の処理を終了する。

Ｓ８１３において、ＣＰＵ２１０は、受信された画像データ（例えば、全体画像データ）を解析し、従前に入力制御プログラム７１２が実行されることで設定されたクロップ領域設定情報において追尾対象として指定された被写体が移動しているか否かを判定する。
ＣＰＵ２１０は、Ｓ８１３において、追尾対象として指定された被写体が移動していると判定した場合には、処理をＳ８１４に進める。
一方で、ＣＰＵ２１０は、Ｓ８１３において、追尾対象として指定された被写体が移動していないと判定した場合には、処理をＳ８１１に進める。この場合には、Ｓ８１１以降の処理が改めて実行されることとなる。

Ｓ８１４において、ＣＰＵ２１０は、追尾対象として指定された被写体の位置に応じて、クロップ領域設定情報中の当該被写体に関連付けられクロップ領域の座標を更新する。
なお、以降では、適宜図８をあわせて参照することで各処理の説明を行う。
ここでは、図８（ａ）及び図８（ｂ）を参照して、追尾対象となる被写体の位置に応じて、クロップ領域設定情報中の当該被写体に関連付けられたクロップ領域の座標を更新する処理について、具体的な例を挙げてより詳しく説明する。図８（ａ）～図８（ｅ）は、表示制御プログラム７１３が、入出力Ｉ／Ｆ２４０を介して、撮像装置１００による撮像結果に応じた画像に対してクロップ領域設定情報に基づきクロップ領域が提示された状態でＯＳＤ表示される画像の一例を示している。
図８（ａ）に示す状態から、追尾対象として設定された被写体Ｔ１の移動に伴い、図８（ｂ）に示す状態に遷移した場合には、当該被写体Ｔ１に関連付けられたクロップ領域Ｃ１の座標（ｘ１，ｙ１）が更新される。

Ｓ８１５において、ＣＰＵ２１０は、クロップ領域設定情報に各種情報が含まれる一連のクロップ領域の位置関係に応じて、複数のクロップ領域の重なりの有無を判定し、当該判定の結果に応じて以降の処理を切り替える。また、この際に、ＣＰＵ２１０は、複数のクロップ領域が重なる部分領域の大きさ（面積）に応じて、以降の処理をさらに切り替えてもよい。
例えば、図８（ｂ）に示す例では、クロップ領域Ｃ１及びＣ２が重なった状態となっている。この際に、ＣＰＵ２１０は、クロップ領域Ｃ１及びＣ２が重なる部分領域の大きさが閾値以上の場合（例えば、いずれかのクロップ領域に対する部分領域の面積の割合が閾値以上の場合）に、当該クロップ領域Ｃ１及びＣ２が重なっていると判定してもよい。また、ＣＰＵ２１０は、クロップ領域Ｃ１及びＣ２が重なった状態が所定の期間以上継続した場合に、当該クロップ領域Ｃ１及びＣ２が重なっていると判定してもよい。

ＣＰＵ２１０は、Ｓ８１５において、複数のクロップ領域の重なりが閾値以上となったことを検知した場合には、処理をＳ８１６に進める。具体的な一例として、ＣＰＵ２１０は、複数のクロップ領域の少なくともいずれかに対する、当該複数のクロップ領域が重なる部分領域の大きさの割合が閾値以上となった場合に、処理をＳ８１６に進めてもよい。なお、ここでは、Ｓ８１６以降の処理についてまず説明を行い、Ｓ８１５における他の判定結果に応じて遷移する処理ついては別途後述する。

Ｓ８１６において、ＣＰＵ２１０は、重なりが検知された複数のクロップ領域を統合して新たなクロップ領域を設定する。なお、統合される前の複数のクロップ領域それぞれが「第１のクロップ領域」の一例に相当し、当該クロップ領域が統合されることで設定された新たなクロップ領域が「第２のクロップ領域」の一例に相当する。なお、この際に、ＣＰＵ２１０は、より高い優先度が設定されたクロップ領域を基準として、複数のクロップ領域の統合を行ってもよい。
例えば、図８（ｂ）に示す例において、クロップ領域Ｃ２に対して優先度３（Ｐｒｉｏｒｉｔｙ３）が設定されており、クロップ領域Ｃ１に対して優先度１（Ｐｒｉｏｒｉｔｙ１）が設定されているものとする。この場合には、ＣＰＵ２１０は、図８（ｃ）に示すように、より高い優先度が設定されたクロップ領域Ｃ２を基準として、クロップ領域Ｃ１及びＣ２の統合を行う。具体的には、ＣＰＵ２１０は、統合前のクロップ領域Ｃ１及びＣ２それぞれが含まれるように当該クロップ領域Ｃ２を拡張したうえで、クロップ領域Ｃ１を削除している。
また、この際にＣＰＵ２１０は、クロップ領域Ｃ２の幅ｗ２及び高さｈ２のアスペクト比を、クロップ領域Ｃ１及びＣ２に対応付けられた表示領域Ａ１及びＡ２を足し合わせた領域のアスペクト比が維持されるように設定してもよい。具体的な一例として、表示領域Ａ１及びＡ２それぞれのサイズとして「６４０×１０８０」が設定されている場合には、当該表示領域Ａ１及びＡ２を足し合わせた領域のサイズは「１２８０×１０８０」となる。そのため、この場合には、ＣＰＵ２１０は、統合後のクロップ領域Ｃ２の幅ｗ２及び高さｈ２のアスペクト比を、表示領域Ａ１及びＡ２を足し合わせた領域の上記サイズに合わせたアスペクト比「３２：２７」が維持されるように設定することとなる。
そのうえで、ＣＰＵ２１０は、複数のクロップ領域の統合結果に応じて、クロップ領域設定情報を更新する。
また、この際に、ＣＰＵ２１０は、複数のクロップ領域の重なりが閾値以上となったことを検知されたと判定されてから所定の期間が経過した後に、当該複数の領域を統合してもよい。
そして、Ｓ８１８において、ＣＰＵ２１０は、Ｓ８１６におけるクロップ領域の統合の結果に応じた新たなクロップ領域設定情報に基づき、クロップ領域設定コマンドを生成する。生成されたクロップ領域設定コマンドは、宛先として撮像装置１００が指定されたうえで通信制御プログラム７１５に出力される。これにより、ＣＰＵ２１０により通信制御プログラム７１５が実行されることで、当該クロップ領域設定コマンドが撮像装置１００に送信される。

次いで、Ｓ８１５において上記とは異なる判定結果に応じて遷移する処理ついて説明する。図８（ｃ）を参照して説明したように、複数のクロップ領域を統合して新たなクロップ領域が設定される場合がある。このような場合には、Ｓ８１５において、ＣＰＵ２１０は、当該新たなクロップ領域への統合対象とされた元の複数のクロップ領域が互いに離間することで、当該元の複数のクロップ領域間の重なりが解消されたか否かを判定する。そのうえで、ＣＰＵ２１０は、Ｓ８１５において、上記新たなクロップ領域への統合対象とされた元の複数のクロップ領域が重なる部分領域の大きさが閾値未満となったことを検知した場合には、処理をＳ８１７に進める。具体的な一例として、ＣＰＵ２１０は、上記新たなクロップ領域への統合対象とされた元の複数のクロップ領域の少なくともいずれかに対する、当該複数のクロップ領域が重なる部分領域の大きさの割合が閾値未満となった場合に、処理をＳ８１７に進めてもよい。
より具体的な一例として、図８（ｄ）において破線で示されたクロップ領域は、クロップ領域Ｃ２に統合される前の元の２つのクロップ領域を示している。すなわち、図８（ｄ）に示す例では、図８（ｃ）に示す状態から被写体Ｔ１の移動に伴い、クロップ領域Ｃ２に統合される前の元の２つのクロップ領域が重なっていない状態となっている。このような場合に、ＣＰＵ２１０は、複数のクロップ領域が統合されることで設定された新たなクロップ領域への統合対象とされた元の複数のクロップ領域の重なりが解消されたと判定してもよい。なお、図８（ｄ）に示す例では、破線で示された２つのクロップ領域が重なっていない状態となっているが、当該２つのクロップ領域それぞれの一部が重なっていたとしても、重なった部分の大きさが閾値未満の場合には重なりが解消されたと判定されてもよい。
また、ＣＰＵ２１０は、上記新たなクロップ領域への統合対象とされた元の複数のクロップ領域が重なる部分領域の大きさが閾値未満となった状態が所定の期間以上継続した場合に、当該複数のクロップ領域の重なりが解消されたと判定してもよい。

Ｓ８１７において、ＣＰＵ２１０は、統合される前の元の複数のクロップ領域の重なりが解消されたと判定された統合後の新たなクロップ領域の当該統合を解消し、当該元の複数のクロップ領域に分割する。
例えば、図８（ｅ）に示す例では、図８（ｄ）に示す状態となった結果、統合結果に応じたクロップ領域Ｃ２が、統合前の元となるクロップ領域Ｃ１及びＣ２に分割されている。
そのうえで、ＣＰＵ２１０は、統合前の元となる複数のクロップ領域への分割結果に応じて、クロップ領域設定情報を更新する。
なお、この際に、ＣＰＵ２１０は、統合される前の元の複数のクロップ領域の重なりが解消されたと判定されてから所定の期間が経過した後に、当該統合を解消し、当該元の複数のクロップ領域に分割してもよい。
そして、Ｓ８１８において、ＣＰＵ２１０は、Ｓ８１７におけるクロップ領域の分割の結果に応じた新たなクロップ領域設定情報に基づき、クロップ領域設定コマンドを生成する。生成されたクロップ領域設定コマンドは、宛先として撮像装置１００が指定されたうえで通信制御プログラム７１５に出力される。これにより、ＣＰＵ２１０により通信制御プログラム７１５が実行されることで、当該クロップ領域設定コマンドが撮像装置１００に送信される。

Ｓ８１９において、ＣＰＵ２１０は、Ｓ８１６またはＳ８１７の処理の結果を踏まえて、スイッチャー３００によりクロップ画像が表示される際のレイアウトに関するレイアウト設定情報を更新する。そのうえで、ＣＰＵ２１０は、更新後のレイアウト設定情報に基づき、レイアウト設定コマンドを生成する。生成されたレイアウト設定コマンドは、宛先としてスイッチャー３００が指定されたうえで通信制御プログラム７１５に出力される。これにより、ＣＰＵ２１０により通信制御プログラム７１５が実行されることで、当該レイアウト設定コマンドがスイッチャー３００に送信される。

ここで、図８（ｆ）～図８（ｊ）を参照して、スイッチャー３００から出力される画像のレイアウト制御について具体的な例を挙げて説明する。図８（ｆ）～図８（ｊ）は、図８（ａ）～図８（ｅ）それぞれに示す状態において、スイッチャー３００から出力される画像（すなわち、複数のクロップ画像が合成された合成画像）の一例を示している。

例えば、図８（ｃ）を参照して説明したように、図８（ｂ）に示すクロップ領域Ｃ１及びＣ２が、図８（ｃ）に示すクロップ領域Ｃ２に統合されたものとする。この場合には、ＣＰＵ２１０は、クロップ領域Ｃ１に対応する表示領域Ａ１を削除し、クロップ領域Ｃ２に対応する表示領域Ａ２のサイズが当該表示領域Ａ１及びＡ２を足し合わせたサイズ（１２８０×１０８０）に拡張されるようにレイアウト設定情報を更新する。そのうえで、ＣＰＵ２１０は、更新後の当該レイアウト設定情報に基づきレイアウト設定コマンドを生成し、当該レイアウト設定コマンドがスイッチャー３００に送信されるように制御する。
これにより、図８（ｂ）に示す状態から図８（ｃ）に示す状態への遷移に伴い、スイッチャー３００から出力される合成画像が、図８（ｇ）に例示したような状態から、図８（ｈ）に例示したような状態となるように制御される。すなわち、スイッチャー３００から出力される合成画像のレイアウトが、図８（ｆ）及び図８（ｇ）として示した３分割レイアウトから、図８（ｈ）に示すようにクロップ領域Ｃ２に対応する表示領域Ａ２が拡張された２分割レイアウトに変更される。

また、他の一例として、図８（ｄ）を参照して説明したように、図８（ｄ）に示す統合後のクロップ領域Ｃ２が、図８（ｅ）に示す統合前のクロップ領域Ｃ１及びＣ２に分割されたものとする。この場合には、ＣＰＵ２１０は、クロップ領域Ｃ１に対応する表示領域Ａ１を改めて設定し、表示領域Ａ１及びＡ２それぞれのサイズが、図８（ｇ）に例示するような統合前の元のサイズ（６４０×１０８０）に変更されるようにレイアウト設定情報を更新する。そのうえで、ＣＰＵ２１０は、更新後の当該レイアウト設定情報に基づきレイアウト設定コマンドを生成し、当該レイアウト設定コマンドがスイッチャー３００に送信されるように制御する。
これにより、図８（ｄ）に示す状態から図８（ｅ）に示す状態への遷移に伴い、スイッチャー３００から出力される合成画像が、図８（ｉ）に例示したような状態から、図８（ｊ）に例示したような状態となるように制御される。すなわち、スイッチャー３００から出力される合成画像のレイアウトが、図８（ｈ）及び図８（ｉ）として示したクロップ領域Ｃ２に対応する表示領域Ａ２が拡張された２分割レイアウトから、図８（ｊ）として示した３分割レイアウトに変更される。

次いで、Ｓ８１５において上記とは異なる判定結果に応じて遷移する処理ついて説明する。ＣＰＵ２１０は、Ｓ８１５において、複数のクロップ領域の重なりが検出されず、かつ統合されたクロップ領域への統合対象とされた元の複数のクロップ領域の重なりの解消が検出されていない場合には、処理をＳ８２０に進める。
Ｓ８２０において、ＣＰＵ２１０は、Ｓ８１４におけるクロップ領域情報の更新結果に基づきクロップ領域設定コマンを生成する。生成されたクロップ領域設定コマンドは、宛先として撮像装置１００が指定されたうえで通信制御プログラム７１５に出力される。これにより、ＣＰＵ２１０により通信制御プログラム７１５が実行されることで、当該クロップ領域設定コマンドが撮像装置１００に送信される。

以上のようにして、ＣＰＵ２１０は、Ｓ８１２において終了条件を満たすまで、図６に示す一連の処理を繰り返し実行する。

次いで、図７を参照して、スイッチャー３００のＣＰＵ３１０により出力制御プログラム７２３が実行されることで実現される処理の一例について説明する。なお、図７に示す一連の処理は、例えば、スイッチャー３００が電源投入に伴い起動されることで開始される。

Ｓ８２１において、ＣＰＵ３１０は、イベントの発生を待ち受ける。当該イベントは、例えば、各種のプログラムが処理を実行した結果に応じて発生し得る。ＣＰＵ３１０は、イベントを受信すると、処理をＳ８２２に進める。
Ｓ８２２において、ＣＰＵ３１０は、Ｓ８２１において受信したイベントの種別を判別し、当該判別の結果に応じて以降の処理を切り替える。
ＣＰＵ３１０は、Ｓ８２２において、発生したイベントが外部装置（例えば、制御装置２００等）から送信されたレイアウト設定コマンドを通信制御プログラム７２４が受信することで発生するイベントであると判定した場合には、処理をＳ８２３に進める。
また、ＣＰＵ３１０は、Ｓ８２２において、発生したイベントが外部装置（例えば、撮像装置１００等）から送信された画像データを通信制御プログラム７２４が受信することで発生するイベントであると判定した場合には、処理をＳ８２４に進める。
一方で、ＣＰＵ３１０は、Ｓ８２２において、発生したイベントがスイッチャー３００の電源ＯＦＦ等に伴う終了イベントであると判定した場合には、図７に示す一連の処理を終了する。

Ｓ８２３において、ＣＰＵ３１０は、外部装置から受信されたレイアウト設定コマンドに含まれる情報に基づき、クロップ画像を合成して合成画像を生成する際のレイアウトを変更する。

Ｓ８２４において、ＣＰＵ３１０は、外部装置から受信された画像データに基づくクロップ画像を合成することで合成画像を生成し、当該合成画像を所定の出力先（例えば、出力装置４００）に出力する。また、この際に、ＣＰＵ３１０は、Ｓ８２３において決定されたレイアウトに従ってクロップ画像を合成することで、合成画像を生成してもよい。
なお、レイアウト設定コマンドに応じた出力画像の変化（特に、クロップ画像のレイアウトの変化）については、図８（ｆ）～図８（ｊ）を参照して説明した通りである。

以上のようにして、ＣＰＵ３１０は、Ｓ８２２において終了条件を満たすまで、図７に示す一連の処理を繰り返し実行する。

なお、上記では、図８を参照して説明したように、クロップ領域Ｃ１に対して追尾対象として関連付けられた被写体Ｔ１の位置の変化に応じて、クロップ領域Ｃ１及びＣ２の統合が行われる場合の実施例について説明した。一方で、本開示に係る技術の適用対象は、必ずしも図８に示す例のみには限定されない。例えば、追尾対象となる被写体の数は１つには限定されず、統合に係る判定の対象とされるクロップ領域の数も２つには限定されない。
そこで、図９を参照して、本実施形態に係る画像形成システムの他の実施例について説明する。図９は、本実施形態に係る画像処理システムの他の実施例について示しており、それぞれが追尾対象として設定された被写体Ｔ１及びＴ３の移動に伴い、クロップ領域の統合や分割が行われる場合の一例について示している。

具体的な一例として、図９（ａ）は、被写体Ｔ１及びＴ３それぞれの移動に伴い、被写体Ｔ１に関連付けられたクロップ領域Ｃ１と、被写体Ｔ３に関連付けられたクロップ領域Ｃ３とが、クロップ領域Ｃ２に近接した状況を模式的に示している。この場合には、ＣＰＵ２１０は、図９（ｂ）に示すように、クロップ領域Ｃ１、Ｃ２、及びＣ３を統合することで、当該統合前のクロップ領域Ｃ１及びＣ３が含まれるように新たなクロップ領域Ｃ２を設定する。そのうえで、ＣＰＵ２１０は、図９（ｃ）に示すように、図９（ｂ）に示すクロップ領域Ｃ２を切り出したクロップ画像がスイッチャー３００から出力されるように、当該スイッチャー３００がクロップ画像を出力画像として出力する際のレイアウトを制御する。

また、他の一例として、図９（ｄ）は、被写体Ｔ１及びＴ３それぞれの移動に伴い、クロップ領域Ｃ１とクロップ領域Ｃ３とが、クロップ領域Ｃ２とは離隔した位置で互いに近接した状況を模式的に示している。なお、クロップ領域Ｃ１には優先度２（Ｐｒｉｏｒｉｔｙ２）が設定されており、クロップ領域Ｃ３には優先度１（Ｐｒｉｏｒｉｔｙ１）が設定されているものとする。この場合には、ＣＰＵ２１０は、図９（ｅ）に示すように、クロップ領域Ｃ１及びＣ３を統合することで、より優先度の低い当該統合前のクロップ領域Ｃ３が含まれるように新たなクロップ領域Ｃ１を設定する。そのうえで、ＣＰＵ２１０は、図９（ｆ）に示すように、クロップ領域Ｃ１に対応する表示領域Ａ１が拡張された合成画像がスイッチャー３００から出力されるように、当該スイッチャー３００がクロップ画像を出力画像として出力する際のレイアウトを制御する。

また、前述した実施形態では、複数のクロップ領域の重なりに応じて、複数のクロップ領域を統合するか否かの判定や、統合されたクロップ領域を統合対象となる元の複数のクロップ画像に分割するか否かの判定が行われていた。一方で、同判定に係る処理は、必ずしも本実施形態に係る画像処理システムの処理を限定するものではない。すなわち、実質的に同様の結果を得ることが可能であれば、複数のクロップ領域を統合するか否かの判定や、統合されたクロップ領域を統合対象となる元の複数のクロップ画像に分割するか否かの判定に係る条件については特に限定はされない。
具体的な一例として、撮像画像中における複数の被写体の重なりに応じて、複数のクロップ領域を統合するか否かの判定や、統合されたクロップ領域を統合対象となる元の複数のクロップ画像に分割するか否かの判定が行われてもよい。また、この場合には、追尾対象として設定された被写体が当該判定の対象として適用されてもよく、当該被写体に関連付けられたクロップ領域が統合や分割の対象とされてもよい。
また、上記については、スイッチャー３００がクロップ画像を合成して合成画像を生成する際のレイアウトの制御についても同様に適用することが可能である。

以上、図５～図９を参照して、本実施形態に係る画像処理システムの処理の一例について説明した。このように、本実施形態に係る画像処理システムに依れば、その時々の被写体の状況に応じて、撮像画像に対するクロップ領域の設定（例えば、クロップ領域の数、位置、及びサイズ等）をより好適な態様で適宜更新することが可能となる。また、本実施形態に係る画像処理システムに依れば、撮像画像に対するクロップ領域の設定の更新結果に応じて、一連のクロップ領域を合成して出力画像（合成画像）を生成する際のレイアウトを適宜変更することが可能となる。これにより、複数のクロップ画像が合成された合成画像が出力画像として出力されるような状況間おいても、その時々の被写体の状況に応じて、より好適な態様で（例えば、より見映えの良い状態で）、出力画像を出力することが可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
２００ 制御装置
３００ スイッチャー
７０２ 画像処理プログラム
７１４ 外部装置制御プログラム
７２３ 出力制御プログラム

Claims (15)

1. 撮像装置と、当該撮像装置の動作を制御する制御装置と、を含む画像処理システムであって、
   前記制御装置は、
   前記撮像装置による撮像結果に応じた画像中に複数のクロップ領域を設定し、当該複数のクロップ領域のうちの少なくとも一部のクロップ領域中の被写体を追尾対象として設定するクロップ領域設定手段を有し、
   前記クロップ領域設定手段は、前記画像中に設定された複数のクロップ領域または複数の追尾対象の重なりに応じて、当該画像中に設定されたクロップ領域を更新する
   ことを特徴とする、画像処理システム。
2. 前記クロップ領域設定手段は、前記画像中に設定された複数のクロップ領域または複数の追尾対象の重なりに応じて、少なくとも一部のクロップ領域のサイズと、クロップ領域の数と、のうち少なくともいずれかを更新することを特徴とする、請求項１に記載の画像処理システム。
3. 前記クロップ領域設定手段は、
   前記画像中に設定された複数のクロップ領域それぞれに対して優先度を設定し、
   前記画像中に設定された複数のクロップ領域または複数の追尾対象の重なりと、前記優先度と、に応じて、当該画像中に設定されたクロップ領域を更新する
   ことを特徴とする、請求項１または２に記載の画像処理システム。
4. 前記クロップ領域設定手段は、複数の第１のクロップ領域または複数の追尾対象が重なる部分領域の大きさが閾値以上である場合に、当該部分領域を含む複数の第１のクロップ領域を１つの第２のクロップ領域に統合することを特徴とする、請求項１乃至３のいずれか１項に記載の画像処理システム。
5. 前記クロップ領域設定手段は、前記複数の第１のクロップ領域または前記複数の追尾対象が重なる部分領域の大きさが閾値以上であることを検知してから所定の期間が経過した後に、当該部分領域を含む前記複数の第１のクロップ領域を１つの前記第２のクロップ領域に統合することを特徴とする、請求項４に記載の画像処理システム。
6. 前記クロップ領域設定手段は、統合された前記第２のクロップ領域中の前記複数の追尾対象または当該第２のクロップ領域への統合対象となる前記複数の第１のクロップ領域が重なる部分領域の大きさが閾値未満である場合に、前記第２のクロップ領域への統合を解消して前記複数の第２のクロップ領域に分割することを特徴とする、請求項４または５に記載の画像処理システム。
7. 前記クロップ領域設定手段は、統合された前記第２のクロップ領域中の前記複数の追尾対象または当該第２のクロップ領域への統合対象となる前記複数の第１のクロップ領域が重なる部分領域の大きさが閾値未満であることを検知してから所定の期間が経過した後に、前記第２のクロップ領域への統合を解消して前記複数の第２のクロップ領域に分割することを特徴とする、請求項６に記載の画像処理システム。
8. 前記クロップ領域設定手段は、前記追尾対象の移動に応じて、当該追尾対象の設定が行われた前記クロップ領域の位置を制御することを特徴とする、請求項１乃至７のいずれか１項に記載の画像処理システム。
9. 前記画像中に設定された複数のクロップ領域それぞれを切り出した複数のクロップ画像を合成して合成画像を生成する合成手段と、
   前記画像中に設定された複数のクロップ領域または複数の追尾対象の重なりに応じて、前記合成画像が生成される際の複数のクロップ画像の合成に係るレイアウトを制御するレイアウト制御手段と、
   を有することを特徴とする、請求項１乃至８のいずれか１項に記載の画像処理システム。
10. 前記クロップ領域設定手段は、前記画像中に設定された複数のクロップ領域それぞれに対して優先度を設定し、
    前記レイアウト制御手段は、前記画像中に設定された複数のクロップ領域または複数の追尾対象の重なりと、前記優先度と、に応じて、前記合成画像が生成される際の複数のクロップ画像の合成に係るレイアウトを制御する
    ことを特徴とする、請求項９に記載の画像処理システム。
11. 前記合成手段を有し、所定の出力先に前記合成画像を出力する映像出力装置を含み、
    前記制御装置が、前記レイアウト制御手段を有する
    ことを特徴とする、請求項９または１０に記載の画像処理システム。
12. 撮像装置の動作を制御する制御装置であって、
    前記撮像装置による撮像結果に応じた画像中に複数のクロップ領域を設定し、当該複数のクロップ領域のうちの少なくとも一部のクロップ領域中の被写体を追尾対象として設定するクロップ領域設定手段を有し、
    前記クロップ領域設定手段は、前記画像中に設定された複数のクロップ領域または複数の追尾対象の重なりに応じて、当該画像中に設定されたクロップ領域を更新する
    ことを特徴とする、制御装置。
13. 撮像装置と、当該撮像装置の動作を制御する制御装置と、を含む画像処理システムの制御方法であって、
    前記制御装置が、前記撮像装置による撮像結果に応じた画像中に複数のクロップ領域を設定し、当該複数のクロップ領域のうちの少なくとも一部のクロップ領域中の被写体を追尾対象として設定するクロップ領域設定ステップを含み、
    前記クロップ領域設定ステップは、前記画像中に設定された複数のクロップ領域または複数の追尾対象の重なりに応じて、当該画像中に設定されたクロップ領域を更新する
    ことを特徴とする、画像処理システムの制御方法。
14. 撮像装置の動作を制御する制御装置の制御方法であって、
    前記撮像装置による撮像結果に応じた画像中に複数のクロップ領域を設定し、当該複数のクロップ領域のうちの少なくとも一部のクロップ領域中の被写体を追尾対象として設定するクロップ領域設定ステップを含み、
    前記クロップ領域設定ステップは、前記画像中に設定された複数のクロップ領域または複数の追尾対象の重なりに応じて、当該画像中に設定されたクロップ領域を更新する
    ことを特徴とする、制御装置の制御方法。
15. コンピュータを、請求項１２に記載の制御装置の各手段として機能させるためのプログラム。

Images