JP2012175271A

JP2012175271A - 画像処理装置および画像処理方法

Info

Publication number: JP2012175271A
Application number: JP2011033683A
Authority: JP
Inventors: Kensaku Misumada; 健作三角田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-02-18
Filing date: 2011-02-18
Publication date: 2012-09-10
Anticipated expiration: 2031-02-18
Also published as: JP5765963B2

Abstract

【課題】複数の分割動画を送信する送信機器によらず、入力された分割動画間のフレームの同期をとることのできる画像処理装置および画像処理方法を提供する。
【解決手段】本発明の画像処理装置は、１つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力手段と、前記分割動画毎に、シーンの切り替わりを検出する検出手段と、前記検出手段で検出されるシーンの切り替わりのタイミングが一致するように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化手段と、を有することを特徴とする。
【選択図】図２

Description

本発明は、画像処理装置および画像処理方法に関する。

高解像動画を複数の画像領域に分割後、複数の画像領域の動画（分割動画）をそれぞれ個別のケーブルを介して画像表示装置に送信する送信機器、及び、複数の分割動画を受信して元の高解像動画に再合成する画像表示装置が実用化されている。

図１は、送信機器が高解像動画を４つの分割動画に分割して、４つの分割動画を画像表示装置に送信する様子を示している。画像表示装置は、４つの分割動画を受信、合成して元の高解像動画を得る。

このような画像表示装置において、入力された複数の分割動画間のフレームの同期をとらずに複数の分割動画を合成すると、正しい動画（元の動画）を得ることができない。例えば、一部の分割動画が、他の分割動画よりも数フレーム期間遅れて受信される場合に、該遅延を考慮せずに、同じタイミングで入力されたフレーム画像（フレームの画像）を合成すると、正しい画像（元の動画のフレーム画像）を得ることができない。

特許文献１には、分割動画のフレーム画像に付与されたフレーム番号を用いて、分割動画間のフレームの同期をとることが記載されている。

特開２００３−１５３１２８号公報

しかしながら、特許文献１に記載の技術では、送信機器から分割動画のフレーム画像とともにそれに対応するフレーム番号が同時に送信される必要がある。そのため、送信機器が分割動画のみを送信する場合（送信機器がフレーム番号を送信しない場合）には、画像表示装置は分割動画間のフレームの同期をとることができない。

本発明は、複数の分割動画を送信する送信機器によらず、入力された分割動画間のフレームの同期をとることのできる画像処理装置および画像処理方法を提供することを目的とする。

本発明の第１の態様は、１つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力手段と、前記分割動画毎に、シーンの切り替わりを検出する検出手段と、前記検出手段で検出されるシーンの切り替わりのタイミングが一致するように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化手段と、を有することを特徴とする画像処理装置である。

本発明の第２の態様は、１つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力手段と、各分割動画のフレームの画像からエッジを検出する検出手段と、前記検出手段で検出されるエッジが分割動画間で連続的に繋がるように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同
期化手段と、を有することを特徴とする画像処理装置である。

本発明の第３の態様は、画像処理装置により実行される画像処理方法であって、１つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力ステップと、前記分割動画毎に、シーンの切り替わりを検出する検出ステップと、前記検出ステップで検出されるシーンの切り替わりのタイミングが一致するように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化ステップと、を有することを特徴とする画像処理方法である。

本発明の第４の態様は、画像処理装置により実行される画像処理方法であって、１つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力ステップと、各分割動画のフレームの画像からエッジを検出する検出ステップと、前記検出ステップで検出されるエッジが分割動画間で連続的に繋がるように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化ステップと、を有することを特徴とする画像処理方法である。

本発明によれば、複数の分割動画を送信する送信機器によらず、入力された分割動画間のフレームの同期をとることができる。

分割動画が生成される様子の一例を示す図。実施例１に係る画像処理装置の機能構成の一例を示す図。実施例１に係る同期化処理の流れの一例を示す図。実施例２に係る画像処理装置の機能構成の一例を示す図。実施例２に係る境界部抽出処理と画像合成処理の一例を示す図。実施例２に係る同期化処理の流れの一例を示す図。元の動画とエッジ検出処理の結果の一例を示す図。

以下に図面を参照しつつ、本実施形態に係る画像処理装置および該画像処理装置により実行される画像処理方法について説明する。
本実施形態に係る画像処理装置には、１つの動画を複数の画像領域に分割することによって得られる複数の分割動画が入力される。以下では、入力される分割動画が、フレーム単位で遅延するものとする。分割動画の他の分割動画に対する遅延量（遅延時間）が１フレーム期間よりも短い場合には、分割動画とともに送信される垂直同期信号等を用いて分割動画間のフレームを同期させることができるため、以下では説明しない。

また、以下では、図１に示すように、送信機器が１つの動画（高解像動画）を、左上、左下、右上、右下の領域の動画である４つの分割動画に分割して画像処理装置に送信するものとする。そして、画像処理装置は４つの入力端子を持ち、４つの入力端子に上記４つの分割動画が入力されるものとする。なお、分割数（分割動画の数）、入力端子の数は４つに限らない。例えば、２，６，９つであってもよい。分割数（分割動画の数）と入力端子の数は等しくなくてもよく、１つの入力端子に複数の分割動画が入力されてもよい。また、動画の分割の仕方は特に限定されない。例えば、複数の分割動画は、動画を短冊状に分割することによって得られたものであってもよいし、マトリクス状に分割することによって得られたものであってもよい。

＜実施例１＞
以下、図面を参照して、本発明の実施例１について詳細に説明する。図２は、実施例１
に係る画像処理装置１００の機能構成を大まかに示すブロック図である。図２において、画像処理装置１００は不図示の送信機器から４つの分割動画を受信する。

図２に示すように、画像処理装置１００は、分割動画受信部１０１〜１０４、メモリ部１０５〜１０８、画像合成処理部１０９、表示部１１０、シーンチェンジ検出部１１１〜１１４、遅延検出部１１５、システム制御部１１６、共通バス１１７、伝送ケーブル１１８〜１２１、受信時刻情報生成部１２２などを備える。

分割動画受信部１０１は、送信機器から送信された分割動画のうち１つ（本実施例では、元の動画の左上の領域の分割動画；左上領域動画）をフレーム単位で受信する。また、分割動画受信部１０１は、左上領域動画のフレームの画像（フレーム画像）を受信すると、受信時刻情報生成部１２２から該フレーム画像の受信時刻を示す受信時刻情報を受信する。そして、分割動画受信部１０１は、受信したフレーム画像と、それに対応する受信時刻情報とをメモリ部１０５に伝送する。

分割動画受信部１０２〜１０４は、分割動画受信部１０１と同様に、送信機器から送信された分割動画のうち１つをフレーム単位で受信する。本実施例では、分割動画受信部１０２は元の動画の右上の領域の動画（右上領域動画）を受信する。分割動画受信部１０３は元の動画の左下の領域の動画（左下領域動画）を受信する。分割動画受信部１０４は元の動画の右下の領域の動画（右下領域動画）を受信する。
即ち、分割動画受信部１０１〜１０４により送信機器から送信された複数（４つ）の分割動画が入力（受信）される（入力手段）。
また、分割動画受信部１０２〜１０４は、分割動画受信部１０１と同様に、受信時刻情報生成部１２２から受信時刻情報を受信する。そして、分割動画受信部１０２〜１０４は、分割動画受信部１０１と同様に、受信したフレーム画像と、それに対応する受信時刻情報とを、メモリ部１０６〜１０８に送信する。

分割動画受信部１０１〜１０４で、４つの分割動画が遅延なく（フレームの同期がとれた状態で）受信された場合には、受信時刻情報が等しい４つのフレーム画像を合成することにより、元の動画のフレーム画像を得ることができる。一方、一部の分割動画が遅れて受信された場合に、受信時刻情報が等しい４つのフレーム画像を合成すると、正しい画像（元の動画のフレーム画像）が得られない。

メモリ部１０５は、分割動画受信部１０１で受信した分割動画と、該分割動画の各フレーム画像の受信時刻情報とを、遅延検出部１１５が設定したフレーム数（バッファリング数）分の期間だけ遅延させて出力する。
具体的には、メモリ部１０５は、分割動画受信部１０１からフレーム画像とその受信時刻情報（以後、それらをまとめて“データ”と呼ぶ）を受信し、記憶する。記憶されたデータは１フレーム単位で管理される。メモリ部１０５は、設定されたバッファリング数分のデータをバッファリングする。そして、メモリ部１０５は、バッファリングしているデータの数が設定されたバッファリング数に達すると、バッファリングしているデータのうち最初に受信したデータをシーンチェンジ検出部１１１、画像合成処理部１０９に出力する。
バッファリング数を調整することにより、分割動画間のフレームの同期をとることができ、画像合成処理部１０９にて元の動画のフレーム画像を得ることが可能となる。

メモリ部１０６〜１０８は、メモリ部１０５と同様に、分割動画受信部１０２〜１０４で受信した分割動画と、該分割動画の各フレーム画像の受信時刻情報とを、遅延検出部１１５が設定したフレーム数（バッファリング数）分の期間だけ遅延させて出力する。
具体的には、メモリ部１０６〜１０８は、分割動画受信部１０２〜１０４からフレーム
画像とその受信時刻情報（データ）を受信し、記憶する。また、メモリ部１０６〜１０８は、設定されたバッファリング数分のデータをバッファリングする。そして、メモリ部１０６〜１０８は、バッファリングしているデータの数が設定されたバッファリング数に達すると、バッファリングしているデータのうち最初に受信したデータをシーンチェンジ検出部１１２〜１１４に送信する。また、メモリ部１０６〜１０８は、バッファリングしているデータの数が設定されたバッファリング数に達すると、バッファリングしているデータのうち最初に受信したデータを画像合成処理部１０９に送信する。
なお、遅延検出部１１５はメモリ部１０５〜１０８のバッファリング数を個別に設定することができ、メモリ部１０５〜１０８は個別に設定されたバッファリング数だけデータをバッファリングする。

画像合成処理部１０９は、メモリ部１０５〜１０８からそれぞれ左上領域動画のフレーム画像、右上領域動画のフレーム画像、左下領域動画のフレーム画像、右下領域動画のフレーム画像を受信し、これらを合成して１枚のフレーム画像を生成する。画像合成処理部１０９は生成したフレーム画像を表示部１１０に送信する。
表示部１１０は、不図示のＤ／Ａコンバータ、表示パネル制御回路、表示パネルなどを有する。表示部１１０は、受信したフレーム画像を表示パネルに表示する。表示パネルとしては、電子放出素子を有する表示パネル、液晶ディスプレイパネル、プラズマディスプレイパネル、有機ＥＬディスプレイパネルなどを適用すればよい。
なお、画像合成処理部１０９と表示部１１０は画像処理装置１００とは別体の装置であってもよい。

シーンチェンジ検出部１１１〜１１４は、分割動画毎に、シーンの切り替わりを検出する（検出手段）。
具体的には、シーンチェンジ検出部１１１は、メモリ部１０５から分割動画（左上領域動画）のフレーム画像とその受信時刻情報を受信する。そして、シーンチェンジ検出部１１１は、受信したフレーム画像に対して、画像解析により、１つ前のフレーム画像からシーンが切り替わったか否かを判断する（シーンチェンジ検出処理）。シーンチェンジ検出部１１１は、シーンが切り替わったと判断した場合には、シーンが切り替わったことを表すシーンチェンジ検出情報と、受信した受信時刻情報（シーンが切り替わったと判断されたフレーム画像の受信時刻）とを遅延検出部１１５に送信する。

シーンチェンジ検出部１１２〜１１４は、シーンチェンジ検出部１１１と同様に、メモリ部１０６〜１０８からフレーム画像とその受信時刻情報を受信し、シーンチェンジ検出処理を行う。そして、シーンチェンジ検出部１１２〜１１４は、シーンチェンジ検出部１１１と同様に、シーンが切り替わったと判断した場合に、シーンチェンジ検出情報と受信時刻情報を遅延検出部１１５に送信する。

遅延検出部１１５は、シーンチェンジ検出部１１１〜１１４のそれぞれから、シーンの切り替わりの検出結果を受信する。具体的には、シーンの切り替わりの検出結果として、シーンチェンジ検出情報と受信時刻情報が受信される。遅延検出部１１５は、受信したシーンの切り替わりの検出結果から分割動画間のフレームの同期がとれているか否かを判断する。そして、遅延検出部１１５は、分割動画間のフレームの同期がとれていないと判断した場合には、シーンチェンジ検出部１１１〜１１４で検出されるシーンの切り替わりのタイミングが一致するように、メモリ部１０５〜１０８のバッファリング数を調整する。それにより、各分割動画のフレームの時間位置が調整され、分割動画間のフレームの同期がとられる。即ち、本実施例では、メモリ部１０５〜１０８と遅延検出部１１５により、本発明の同期化手段が実現される。ここで、“フレームの時間位置”とは、例えば、フレーム画像を表示部に表示する時間（タイミング）、フレーム画像を表示部に表示するように出力する時間などを意味する。

本実施例では、画像処理装置１００の電源起動時にメモリ部１０５〜１０８のバッファリング数として同じ値（具体的には０）を設定する。
４つの分割動画間のフレームの同期がとれている場合には、シーンチェンジ検出部１１１〜１１４のそれぞれから送られる受信時刻情報は全て同じとなる。そのため、受信時刻情報が全て同じ場合には、遅延検出部１１５は、現在のバッファリング数（つまり、０）で分割動画間のフレームの同期がとれていると判断する。そして、遅延検出部１１５は、バッファリング数をそのまま（０のまま）とするよう、各メモリ部１０５〜１０８に指示する（バッファリング数として０を設定する）。

左上領域動画のみ他の分割動画よりも１フレーム期間だけ遅延していた場合には、シーンチェンジ検出部１１１において、他のシーンチェンジ検出部よりも１フレーム期間だけ遅れてシーンの切り替わりが検出される。そのため、分割動画間のフレームの同期がとれていない場合には、一部の受信時刻情報は他の受信時刻情報と異なることとなる。具体的には、シーンが切り替わったと判断された、左上領域動画のフレーム画像の受信時刻が、シーンが切り替わったと判断された、他の分割動画のフレーム画像の受信時刻よりも１フレーム期間だけ遅い時刻となる。そのため、一部の受信時刻情報が他の受信時刻情報と異なる場合には、遅延検出部１１５は、現在のバッファリング数で分割動画間のフレームの同期がとれていないと判断する。更に、遅延検出部１１５は、シーンの切り替わりの検出結果（シーンチェンジ検出情報と受信時刻情報）から、シーンの切り替わりが他の分割動画のシーンの切り替わりに対して遅れている分割動画およびその遅延量（受信時刻の差分値）を判断する。そして、判断した遅延量に基づいて、各分割動画のフレームが同期するように、各メモリ部１０５〜１０８に指示するバッファリング数を決定する。それにより、分割動画間のフレームの同期をとることができ、ひいては、画像合成処理部１０９において、正しいフレーム画像（元の動画のフレーム画像）を生成することができる。

具体的には、遅延検出部１１５は、一部の受信時刻情報が他の受信時刻情報と異なる場合には、受信したシーンの切り替わりの検出結果から、シーンの切り替わりが他の分割動画のシーンの切り替わりに対して遅れている分割動画を特定する。それと共に、特定した分割動画のシーンの切り替わりのタイミングに対する、特定した分割動画のシーンの切り替わりのタイミングの遅延量を判断する。そして、特定した分割動画以外の分割動画のフレームが判断した遅延量分だけ遅れるように、各メモリ部のバッファリング数を決定する。ここでは、左上領域動画のみが１フレーム期間だけ遅延しているため、他の分割動画のバッファリング数（メモリ部１０６〜１０８のバッファリング数）が１とされる（メモリ部１０５のバッファリング数は０のままとされる）。

システム制御部１１６は、上述した各機能ブロックを制御する。
共通バス１１７は、各機能ブロック間で、各種データやコマンド（制御に関する情報；制御情報）を送受信するためのバスである。
伝送ケーブル１１８は、送信機器と画像処理装置１００を接続するケーブルであり、左上領域動画の伝送に用いられる。同様に、伝送ケーブル１１９は右上領域動画、伝送ケーブル１２０は左下領域動画、伝送ケーブル１２１は右下領域動画の伝送に用いられる。
受信時刻情報生成部１２２は、不図示の内蔵時計から受信時刻情報を生成し、分割動画受信部１０１〜１０４へ送信する。

次に、画像処理装置１００における同期化処理（分割動画間のフレームの同期をとる処理）の流れについて図３のフロー図を用いて説明する。なお、同期化処理は常に実行する必要はない。例えば、一度バッファリング数を調整して同期が取れた場合や、所定時間同期がとれていることが確認された場合には、同期化処理を一時的に停止してもよい。

まず、ユーザが画像処理装置１００の電源を投入する（Ｓ１０１）。
次に、分割動画受信部１０１〜１０４が、送信機器から４つのフレーム画像（各分割動画のフレーム画像）を受信する（Ｓ１０２）。
このとき、分割動画受信部１０１〜１０４は、それぞれ、フレーム画像と同時に受信時刻情報生成部１２２から同じ値の受信時刻情報を受信する。そして、分割動画受信部１０１〜１０４は、受信したフレーム画像と受信時刻情報をメモリ部１０５〜１０８に送信する。

そして、メモリ部１０５〜１０８が、受信したフレーム画像と受信時刻情報を一時記憶する（Ｓ１０３）。メモリ部１０５〜１０８は、遅延検出部１１５が設定したバッファリング数分のフレーム画像と受信時刻情報をバッファリングした後、フレーム画像と受信時刻情報をシーンチェンジ検出部１１１〜１１４に送信する。この段階では、バッファリング数として初期値（例えば、０）が設定されている。即ち、この段階では受信したフレーム画像と受信時刻情報は、メモリ部で遅延されることなくシーンチェンジ検出部に伝送される。

次に、シーンチェンジ検出部１１１〜１１４が、対応するメモリ部１０５〜１０８からフレーム画像と受信時刻情報を受信する。そして、シーンチェンジ検出部１１１〜１１４は、受信したフレーム画像に対しシーンチェンジ検出処理を行う（Ｓ１０４）。シーンの切り替わりが検出されるまでＳ１０２〜Ｓ１０４の処理が繰り返される。
そして、シーンチェンジ検出部１１１〜１１４は、それぞれ、シーンが切り替わったと判断した場合に、シーンが切り替わったと判断されたフレーム画像の受信時刻情報とシーンチェンジ検出情報を遅延検出部１１５に送信する（Ｓ１０５）。

次に、遅延検出部１１５が、各シーンチェンジ検出部１１１〜１１４からシーンチェンジ検出情報と受信時刻情報を受信すると、受信した受信時刻情報からシーンの切り替わりが他の分割動画のシーンの切り替わりに対して遅れている分割動画を特定する。それと共に、特定した分割動画のシーンの切り替わりに対する、特定した分割動画のシーンの切り替わりのタイミングの遅延量を算出する（Ｓ１０６）。
そして、遅延検出部１１５は、Ｓ１０６で算出した遅延量を用いて各メモリ部のバッファリング数を決定する。
例えば、メモリ部１０５から送信される分割動画のみ遅延している場合には、遅延検出部１１５は、受信した受信時刻情報から、メモリ部１０５から送信された分割動画が他のメモリ部から送信された分割動画よりも何フレーム期間遅延しているかを算出する。そして、メモリ部１０６〜１０８から出力される分割動画がメモリ部１０５から送信された分割動画の遅延量（算出されたフレーム数分の期間）だけ遅延されるように、メモリ部１０６〜１０８のバッファリング数が決定される。

そして、遅延検出部１１５が、決定したバッファリング数をメモリ部１０５〜１０８に指示する（Ｓ１０７）。
次に、メモリ部１０５〜１０８が、指示されたバッファリング数だけフレーム画像と受信時刻情報をバッファリングした後、フレーム画像と受信時刻情報を画像合成処理部１０９に送信する（Ｓ１０８）。
そして、画像合成処理部１０９が、受信した４つのフレーム画像を合成して、１枚のフレーム画像を生成し、表示部１１０に送信する。表示部１１０は、受信したフレーム画像を表示パネルに表示する（Ｓ１０９）。

以上述べたように、本実施例によれば、分割動画毎のシーンの切り替わりの検出結果を用いて分割動画間の同期をとることができるため、複数の分割動画を送信する送信機器によらず、入力された分割動画間のフレームの同期をとることができる。

なお、本実施例では、１つの分割動画のみが他の分割動画よりも遅延している場合について説明したが、複数の分割動画が他の分割動画より遅延している場合も考えられる。
その場合には、シーンの切り替わりの検出結果から、シーンの切り替わりのタイミングが最も遅い分割動画を特定すればよい。そして、分割動画毎に、その分割動画のフレームを、該分割動画のシーンの切り替わりのタイミングに対する特定した分割動画のシーンの切り替わりのタイミングの遅延量分だけ遅らせればよい。それにより、上述した方法よりも分割動画間のフレームの同期を精度よくとることができる。
例えば、メモリ部１０５，１０６から送信される分割動画は同期がとれており、それらの分割動画に対し、メモリ部１０７から送信される分割動画が１フレーム期間、メモリ部１０８から送信される分割動画が２フレーム期間遅延している場合を考える。この場合は、メモリ部１０５，１０６に対するバッファリンク数は２、メモリ部１０７に対するバッファリング数は１とされる。

なお、本実施例では、バッファリング数の初期値が０の場合について説明したが、バッファリング数の初期値は０でなくてもよい。０より大きい整数（例えば、２，３，５など）であればよい。また、メモリ部間でバッファリング数の初期値が異なっていてもよい。
なお、本実施例では、各分割動画のフレーム画像が同時に受信される場合について説明したが、そのような構成に限らない。複数の分割動画を全て受信した後で、各分割動画のフレームの時間位置を調整してもよい。
なお、本実施例では、シーンの切り替わりの検出結果としてシーンチェンジ検出情報と受信時刻情報を用いたが、シーンの切り替わりの検出結果はこれに限らない。シーンの切り替わりの検出結果は、シーンの切り替わり位置のフレームを特定することができる情報であればよい。例えば、シーンの切り替わりの検出結果は、シーンの切り替わり位置のフレームが、入力された分割動画の先頭のフレームから何フレーム目のフレームかを表す情報であってもよい。
なお、本実施例では、最も遅れている分割動画以外の動画を遅延させることによりフレームの同期をとる構成としたが、各分割動画のフレームの時間位置はどのように調整してもよい。例えば、バッファリング数の初期値が０でない場合には、他の分割動画に対して遅れている分割動画のバッファリング数を初期値よりも小さくしてもよい（フレームの時間位置を早めてもよい）。

＜実施例２＞
以下、図面を参照して、本発明の実施例２について詳細に説明する。実施例１では、シーンチェンジ検出処理を行い、シーンの切り替わりのタイミングが一致するように各分割動画のフレームの時間位置を調整した。本実施例では、画像からエッジを抽出するエッジ検出処理を行い、エッジ検出処理の結果を用いて各分割動画のフレームの時間位置を調整する。なお、以下では、実施例１と異なる点について詳しく説明する。

図７は、元の動画のフレーム画像の変化と、同じタイミングで受信した複数のフレーム画像（各分割動画のフレーム画像）に対するエッジ検出処理の結果の一例を示す。図７は、送信機器が動きのある動画を複数の分割動画（左上領域動画、右上領域動画、左下領域動画、右下領域動画）に分割して画像処理装置に送信する場合の例である。また、図７は、右下領域動画のみ２フレーム期間遅延して受信される場合の例である。
分割動画間のフレームの同期がとれている場合、エッジは分割動画間で連続的に繋がる。言い換えれば、分割動画間でエッジが不連続となる（途切れる）場合には、分割動画間のフレームの同期がとれていないと考えられる。また一般に、エッジは色情報の差分値を用いて検出される。そのため、フレームの同期がとれていない複数の分割動画のフレーム画像を合成して生成された合成画像に対してエッジ検出処理を行った場合には、物体と背景の色の違いなどにより、分割動画間の境界に沿ったエッジが検出されることがある。
そこで本実施例では、エッジが分割動画間で連続的に繋がり、且つ、分割動画間の境界に沿ったエッジが検出されなくなるように各分割動画のフレームの時間位置を調整する。それにより、分割動画間のフレームの同期をとることができる。

図４は、実施例２に係る画像処理装置２００の機能構成を大まかに示すブロック図である。図４において、画像処理装置２００は不図示の送信機器から４つの分割動画を受信する。なお、実施例１と同じ機能ブロックには同じ符号を付し、その説明は省略する。

図４に示すように、画像処理装置２００は、分割動画受信部１０１〜１０４、メモリ部１０５〜１０８、画像合成処理部１０９、表示部１１０、境界抽出部２１１〜２１４、画像合成処理部２１５、エッジ検出部２１６、遅延検出部２１７、システム制御部１１６、共通バス１１７、伝送ケーブル１１８〜１２１、受信時刻情報生成部１２２などを備える。

境界抽出部２１１は、メモリ部１０５から左上領域動画のフレーム画像とその受信時刻情報を受信し、受信したフレーム画像の境界部の画像を抽出する。そして、抽出した画像を画像合成処理部２１５に送信する。
境界抽出部２１２〜２１４は、境界抽出部２１１と同様に、メモリ部１０６〜１０８からフレーム画像（右上領域動画、左下領域動画、右下領域動画のフレーム画像）とその受信時刻情報を受信する。そして、受信したフレーム画像の境界部の画像を抽出し、画像合成処理部２１５に送信する。

図５に境界抽出部２１１〜２１４の処理（境界部抽出処理）及び画像合成処理部２１５の処理（画像合成処理）の一例を示す。
図５では、境界抽出部２１１は、左上領域動画のフレーム画像を受信し、該フレーム画像から、隣接する分割動画（右上領域動画及び左下領域動画）との境界部の画像（境界部画像）を抽出して出力する。このように、ある限られた範囲の画像を抽出することにより、エッジ検出処理の演算量を軽減させることができる。境界部は、エッジが検出できる領域であればよい。例えば、分割動画と該分割動画に隣接する他の分割動画との境界の位置から、該境界から所定距離（５画素分、１０画素分、２０画素分など）離れた位置までの領域を境界部とすればよい。
境界抽出部２１２〜２１４の具体的な処理は境界抽出部２１１と同様のため、その説明は省略する。

画像合成処理部２１５は、複数の分割動画のフレーム画像を合成し、合成画像を生成する（合成手段）。本実施例では、画像合成処理部２１５は、受信した各分割動画の境界部画像を合成して合成画像を生成する。生成した合成画像は、エッジ検出部２１６へ出力される。

エッジ検出部２１６は、各分割動画のフレーム画像からエッジを検出する（検出手段）。本実施例では、エッジ検出部２１６は、受信した合成画像からエッジを検出する。エッジ検出部２１６は、エッジ検出処理の結果（エッジの検出結果）をエッジ情報として遅延検出部２１７に送信する。

遅延検出部２１７は、エッジ検出部２１６からエッジ情報を受信し、エッジ情報から分割動画間のフレームの同期がとれているか否かを判断する。

本実施例では、画像処理装置２００の電源起動時にメモリ部１０５〜１０８のバッファリング数として同じ値（具体的には０）を設定する。
４つの分割動画間のフレームの同期がとれている場合には、検出されたエッジは分割動
画間で連続的に繋がり、分割動画間で途切れるエッジや分割動画間の境界に沿ったエッジは検出されない。そのため、分割動画間で途切れるエッジや分割動画間の境界に沿ったエッジが検出されていない場合には、遅延検出部２１７は、現在のバッファリング数（つまり、０）で分割動画間のフレームの同期がとれていると判断する。そして、遅延検出部２１７は、バッファリング数をそのまま（０のまま）とするよう、各メモリ部１０５〜１０８に指示する（バッファリング数として０を設定する）。

また、上述したように、分割動画間のフレームの同期がとれていない場合には、検出されたエッジは分割動画間で連続的に繋がらなかったり（分割動画間でエッジが途切れたり）、分割動画間の境界に沿ったエッジが検出されたりする。そのため、分割動画間で途切れるエッジや分割動画間の境界に沿ったエッジが検出されている場合には、遅延検出部２１７は、現在のバッファリング数で分割動画間のフレームの同期がとれていないと判断する。そして、遅延検出部２１７は、各メモリ部１０５〜１０８のバッファリング数を調整し、新たなエッジ情報を再度確認する。遅延検出部２１７は、検出されるエッジが分割動画間で連続的に繋がり、且つ、分割動画間の境界に沿ったエッジが検出されなくなるまで、バッファリング数を調整する。それにより、分割動画間のフレームの同期をとることができ、ひいては、画像合成処理部１０９において、正しいフレーム画像（元の動画のフレーム画像）を生成することができる。

具体的には、遅延検出部２１７は、エッジ情報から、フレームの時間位置が他の分割動画のフレームの時間位置に対して遅れている領域を特定し、特定した分割動画以外の分割動画のフレームを、特定した分割動画のフレームよりも遅らせる。
例えば、左上領域動画のみ他の分割動画よりも１フレーム期間遅延していた場合には、左上領域動画と右上領域動画及び左下領域動画との間でエッジが途切れたり、境界に沿ったエッジが検出されたりする。そのため、遅延検出部２１７は、そのような場合に、左上領域動画またはそれ以外の全ての分割動画を、他の分割動画よりも遅延している分割動画として特定する。そして、遅延検出部２１７は、特定した分割動画以外の分割動画に対応するメモリ部（メモリ部１０５またはメモリ部１０６〜１０８）のバッファリング数を増やす。その結果、左上領域動画と右上領域動画及び左下領域動画との間で途切れているエッジが近づいたり、境界に沿ったエッジの長さが短くなった場合には、上記一方のバッファリング数を更に増やす。途切れているエッジが離れたり、境界に沿ったエッジの長さが長くなった場合には、左上領域動画とそれ以外の全ての分割動画との間で特定する分割動画を切り替える。そして、上記処理（特定した分割動画以外の分割動画に対応するメモリ部のバッファリング数を増やす処理）を行う。
左下領域動画、右上領域動画、または、右下領域動画のみが他の分割動画よりも遅延していた場合の処理は、左上領域動画のみが遅延していた場合の処理と同様のため、説明は省略する。

なお、この方法は複数の分割動画が他の分割動画より遅延している場合にも適用することができる。例えば、以下のようにフレームの同期をとることができる。
まず、遅延検出部２１７は、左上領域動画または右上領域動画を、他の分割動画よりも遅延している分割動画として特定する。そして、左上領域動画と右上領域動画との間で検出されるエッジが分割動画間で連続的に繋がり、且つ、境界に沿ったエッジが検出されなくなるまで、特定した分割動画以外の分割動画に対応するメモリ部のバッファリング数を調整する。このとき、特定した分割動画以外の分割動画は、左上領域動画と右上領域動画の一方であってもよいし、特定した分割動画以外の全ての分割動画であってもよい。
次に、遅延検出部２１７は、左上領域動画及び右上領域動画と、右下領域動画とのいずれか一方を、他の分割動画よりも遅延している分割動画として特定する。そして、右上領域動画と右下領域動画との間で検出されるエッジが分割動画間で連続的に繋がり、且つ、境界に沿ったエッジが検出されなくなるまで、特定した分割動画以外の分割動画に対応す
るメモリ部のバッファリング数を調整する。
そして、遅延検出部２１７は、左上領域動画、右上領域動画、及び、右下領域動画と、左下領域動画とのいずれか一方を、他の分割動画よりも遅延している分割動画として特定する。そして、右下領域動画と左下領域動画との間で検出されるエッジが分割動画間で連続的に繋がり、且つ、境界に沿ったエッジが検出されなくなるまで、特定した分割動画以外の分割動画に対応するメモリ部のバッファリング数を調整する。
このような処理を行うことにより、全ての分割動画のフレームの同期をとることができる。

次に、画像処理装置２００における同期化処理の流れについて図６のフロー図を用いて説明する。
Ｓ２０１、Ｓ２０２の処理は実施例１（図３）のＳ１０１、Ｓ１０２の処理と同様のため、その説明は省略する。
Ｓ２０２の次に、システム制御部１１６が、バッファリング数の初期値（例えば、０）を各メモリ部に指示するよう、遅延検出部２１７を制御する（Ｓ２０３）。
そして、メモリ部１０５〜１０８は、分割動画受信部１０１〜１０４から、フレーム画像と受信時刻情報を受信する。そして、指示されたバッファリング数分のフレーム画像と受信時刻情報をバッファリングした後、フレーム画像と受信時刻情報を境界抽出部２１１〜２１４に出力する（Ｓ２０４）。

次に、境界抽出部２１１〜２１４は、受信したフレーム画像から境界部画像を抽出し、画像合成処理部２１５に送信する（Ｓ２０５）。
そして、画像合成処理部２１５は、受信した４つの境界部画像を合成し、１枚の合成画像を生成する（Ｓ２０６）。画像合成処理部２１５は生成した合成画像をエッジ検出部２１６に送信する。

次に、エッジ検出部２１６が、画像合成処理部２１５から受信した合成画像に対してエッジ検出処理を行う（Ｓ２０７）。そして、エッジ検出処理の結果をエッジ情報として遅延検出部２１７に送信する。

次に、遅延検出部２１７が、エッジ検出部２１６から受信したエッジ情報を元に、分割動画間のフレームの同期がとれているかを判断する（Ｓ２０８）。
分割動画間で途切れるエッジや分割動画間の境界に沿ったエッジが検出されていない場合には、遅延検出部２１７は、分割動画間のフレームの同期がとれていると判断し、Ｓ２０９へ処理が進められる。そうでない場合には、分割動画間のフレームの同期がとれていないと判断し、Ｓ２１０へ処理が進められる。

Ｓ２０９では、遅延検出部２１７が、現在のバッファリング数を維持し続けるよう、各メモリ部１０５〜１０８に対して現在のバッファリング数を指示する。
Ｓ２１０では、遅延検出部２１７が、上述した方法でバッファリング数を変更する。

以上述べたように、本実施例によれば、各分割動画のフレーム画像のエッジの検出結果を用いて分割動画間の同期をとることができるため、複数の分割動画を送信する送信機器によらず、入力された分割動画間のフレームの同期をとることができる。

なお、本実施例では、検出されるエッジが分割動画間で連続的に繋がり、且つ、分割動画間の境界に沿ったエッジが検出されなくなるように各分割動画のフレームの時間位置を調整するものとしたが、境界に沿ったエッジの有無は問わなくてもよい。即ち、検出されるエッジが分割動画間で連続的に繋がるように各分割動画のフレームの時間位置を調整する構成であってもよい。動画の内容やエッジの検出方法によっては、割動画間の境界に沿
ったエッジは検出されないため、そのような構成であっても上記効果に順じた効果を得ることができる。
なお、本実施例では、合成画像が境界部の画像を合成した画像である場合について説明したが、合成画像はこれに限らない。合成画像は分割動画のフレーム画像全体を合成した画像であってもよい。
なお、本実施例では、合成画像に対してエッジ検出処理を行うものとしたが、各分割動画のフレーム画像毎にエッジ検出処理を行ってもよい。

１００，２００画像処理装置
１０１〜１０４分割動画受信部
１０５〜１０８メモリ部
１１１〜１１４シーンチェンジ検出部
１１５，２１７遅延検出部
２１６エッジ検出部

Claims

１つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力手段と、
前記分割動画毎に、シーンの切り替わりを検出する検出手段と、
前記検出手段で検出されるシーンの切り替わりのタイミングが一致するように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化手段と、
を有することを特徴とする画像処理装置。
前記同期化手段は、前記シーンの切り替わりの検出結果から、シーンの切り替わりのタイミングが他の分割動画のシーンの切り替わりに対して遅れている分割動画を特定し、前記特定した分割動画以外の分割動画のフレームを、該分割動画のシーンの切り替わりのタイミングに対する前記特定した分割動画のシーンの切り替わりのタイミングの遅延量分だけ遅らせる
ことを特徴とする請求項１に記載の画像処理装置。
前記同期化手段は、前記シーンの切り替わりの検出結果から、シーンの切り替わりのタイミングが最も遅い分割動画を特定し、分割動画毎に、その分割動画のフレームを、該分割動画のシーンの切り替わりのタイミングに対する前記特定した分割動画のシーンの切り替わりのタイミングの遅延量分だけ遅らせる
ことを特徴とする請求項１に記載の画像処理装置。
１つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力手段と、
各分割動画のフレームの画像からエッジを検出する検出手段と、
前記検出手段で検出されるエッジが分割動画間で連続的に繋がるように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化手段と、を有することを特徴とする画像処理装置。
前記複数の分割動画のフレームの画像を合成し、合成画像を生成する合成手段を更に有し、
前記検出手段は、前記合成画像からエッジを検出し、
前記同期化手段は、前記検出手段で検出されるエッジが分割動画間で連続的に繋がり、且つ、前記検出手段で分割動画間の境界に沿ったエッジが検出されなくなるように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる
ことを特徴とする請求項４に記載の画像処理装置。
前記同期化手段は、前記エッジの検出結果から、フレームの時間位置が他の分割動画のフレームの時間位置に対して遅れている領域を特定し、前記特定した分割動画以外の分割動画のフレームを、前記特定した分割動画のフレームよりも遅らせる
ことを特徴とする請求項４または５に記載の画像処理装置。
画像処理装置により実行される画像処理方法であって、
１つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力ステップと、
前記分割動画毎に、シーンの切り替わりを検出する検出ステップと、
前記検出ステップで検出されるシーンの切り替わりのタイミングが一致するように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化ステップと、
を有することを特徴とする画像処理方法。
画像処理装置により実行される画像処理方法であって、
１つの動画を複数の画像領域に分割することによって得られる複数の分割動画を入力する入力ステップと、
各分割動画のフレームの画像からエッジを検出する検出ステップと、
前記検出ステップで検出されるエッジが分割動画間で連続的に繋がるように各分割動画のフレームの時間位置を調整することで、分割動画間のフレームの同期をとる同期化ステップと、
を有することを特徴とする画像処理方法。