JP2004088352A

JP2004088352A - 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム

Info

Publication number: JP2004088352A
Application number: JP2002245615A
Authority: JP
Inventors: Tetsujiro Kondo; 近藤　哲二郎; Yoshinori Watanabe; 渡邊　義教
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-08-26
Filing date: 2002-08-26
Publication date: 2004-03-18
Anticipated expiration: 2022-08-26
Also published as: JP4223762B2; WO2004019611A1; US7755663B2; US20060152587A1

Abstract

【課題】テレビジョン放映された映像等から、撮影者の意図を反映した重要画像を抽出して表示させる。
【解決手段】映像処理装置１において、カメラ操作推定部３は、入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定する。画像合成部５は、そのカメラ操作前後の画像を画像蓄積メモリ４から読み出し、現在放映中の映像についてのフレーム画像と合成して表示手段に表示させる。また、表示手段が複数ある場合には、カメラ操作前後の画像と現在放映中の映像とを別々の表示手段に表示させる。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビジョン放映された映像等から重要画像を抽出して表示させる映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システムに関する。
【０００２】
【従来の技術】
従来、動画像のダイジェスト映像を作成する手法として、例えばＶＴＲの早送り再生でフレームを均等に間引いて表示したり、ジョグシャトルダイアル等の可変速再生を用いて表示速度を手動で調節する方法が知られている。
【０００３】
また、テレビジョン番組等のダイジェスト版を作成する手法としては、編集者が予め画像を見て画像のフレーム毎に優先的に表示して欲しい度合、ダイジェストに長時間表示して欲しい度合などの優先度を判断し、優先度をフレーム毎に割り当てて指定時間内に収める技術が、特開平３−９０９６８号公報において提案されている。
【０００４】
しかしながら、早送り再生は画像内容に関係なくフレームを均等に間引くため、必要なフレームが間引かれたり、反対に不要なフレームが表示されたりする問題があった。また、ジョグシャトルダイアル等の可変速再生では、ユーザ（視聴者）の興味や理解度に適応した速度で画像を表示できるが、長時間に亘る動画像の編集も全て手動で行わなければならないという問題があった。
【０００５】
また、編集者が予め画像を見て、優先度をフレーム毎に割り当ててダイジェスト映像を作成する手法では、その作成作業に相当な時間と労力とを必要とするという問題があった。
【０００６】
そこで、特開平６−１６５００９号公報には、撮影時に用いる録画開始／終了、ズーム、フェード、フォーカス、露出、ホワイトバランス、シャッタースピード等のボタン入力信号から画像の状態を推定し、状態に応じた優先度を設定して表示画像の選択や表示速度の調整を行うことで、ダイジェスト映像を作成する技術が提案されている。
【０００７】
この技術によれば、予め優先度を割り当てたり、ダイジェスト表示時に手動で優先度を操作することなく、撮影意図を反映したダイジェスト映像を作成することが可能となる。
【０００８】
【発明が解決しようとする課題】
しかしながら、この特開平６−１６５００９号公報に記載の技術は、ビデオカメラ等の撮像装置による撮影中に、ズーム等のボタン入力信号から画像の重要性を示す優先度を選択・計算し、ダイジェスト映像を作成するものであり、例えばテレビジョン放映された映像からダイジェスト映像を作成するものではない。
【０００９】
このため、編集者等が動画像の内容を短時間で把握する目的には沿うものの、テレビジョン放映されている映像とは別に、重要な画像については長時間視聴したい、或いは重要な画像の見落としを防止したいという一般のユーザ（視聴者）の要請に応えることはできなかった。
【００１０】
本発明は、このような従来の実情に鑑みて提案されたものであり、テレビジョン放映された映像等から、撮影者の意図を反映した重要画像を抽出して表示させる映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る映像処理装置及びその方法は、フレーム単位の画像からなる映像を入力してその動きを検出し、検出された動きからカメラ操作の開始時及び／又は終了時を推定し、当該カメラ操作の開始時及び／又は終了時における画像を抽出して出力する。
【００１２】
ここで、抽出された上記画像と共に、入力した上記映像を出力することもでき、この場合、抽出された上記画像と入力した上記映像とを合成した合成画像を出力することもできる。
【００１３】
また、上記映像処理装置及び方法は、上記合成画像を表示手段に表示するようにしてもよい。
【００１４】
このような映像処理装置及びその方法は、入力した映像の動きを検出し、この動きから撮影時におけるカメラ操作の開始時及び／又は終了時を推定し、そのカメラ操作前後の画像と入力映像とを合成して表示手段に表示させる。
【００１５】
また、本発明に係るプログラムは、上述した映像処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００１６】
また、上述した目的を達成するために、本発明に係る映像処理システムは、フレーム単位の画像からなる映像を入力する入力手段と、入力した上記映像の動きを検出する動き検出手段と、上記動き検出手段によって検出された動きからカメラ操作の開始時及び／又は終了時を推定し、当該カメラ操作の開始時及び／又は終了時における画像を抽出するカメラ操作推定手段とを有する映像処理装置と、入力された上記映像及び抽出された上記画像を表示する複数の表示装置とを備える。
【００１７】
ここで、上記映像処理装置は、上記複数の表示装置の配置に応じて、抽出された上記画像のうち、各表示装置に表示させる画像を制御することができる。
【００１８】
このような映像処理システムでは、映像処理装置が入力した映像の動きを検出し、この動きから撮影時におけるカメラ操作の開始時及び／又は終了時を推定し、そのカメラ操作前後の画像及び入力映像を複数の表示装置に表示させる。
【００１９】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、テレビジョン放映された映像から撮影者の意図を反映した重要画像を抽出し、この重要画像と入力画像とを合成して１台の表示装置に表示させる映像処理装置、及び複数台の表示装置を有し、入力画像又は抽出された重要画像をその複数台の表示装置に表示させる映像処理システムに適用したものである。
【００２０】
先ず、本実施の形態における映像処理装置の概略構成を図１に示す。図１に示すように、本実施の形態における映像処理装置１は、例えばテレビジョン映像信号を入力する画像取得部２と、画像取得部２によって取得された入力画像から撮影時におけるパン、チルト、ズーム等のカメラ操作を推定するカメラ操作推定部３と、入力画像を蓄積する画像蓄積メモリ４と、画像蓄積メモリ４に蓄積された画像から重要画像を読み出し、これを入力画像と合成する画像合成部５と、得られた合成画像を出力する画像出力部６と、映像処理装置１の各部を制御する制御部７とから構成されている。
【００２１】
テレビジョン放送用の映像を撮像する際には、空間の広がりを表現するためにカメラが水平方向、垂直方向にそれぞれパン、チルトされたり、撮影範囲の画角を調整するためにズーム・イン、ズーム・アウトされたりする。本実施の形態においては、このようなカメラ操作を入力映像から取得することで、撮影者の意図を推定する。
【００２２】
すなわち、カメラをパン或いはチルトさせる場合には、移動の開始時と終了時における画像中に何らかのキーオブジェクトが含まれていることが多い。また、例えばズーム・イン前の画像は全体像を把握することができ、ズーム・イン後の画像はキーオブジェクトを注視することができるため、ズーム操作中の画像と比較して重要であると考えられる。
【００２３】
本実施の形態における映像処理装置１は、このような重要画像を抽出し、入力映像のフレーム画像と合成して図示しない表示手段に表示させる。これにより、視聴者は、撮影された空間を把握しやすくなり、重要とされた画像の見落としも防止される。
【００２４】
そこで、上述のカメラ操作推定部３は、画像蓄積メモリ４に蓄積されたフレーム画像を参照して入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定する。なお、動きベクトルの検出方法としては、例えば、勾配法やブロックマッチング等が挙げられる。
【００２５】
なお、撮影時のカメラ操作がなくても、被写体が移動する場合には動きベクトルが検出されるが、本実施の形態においては、画像内の動きベクトルの多くが同じ方向である場合、又は画像内の動きベクトルが放射状に分布している場合のみを検出することにより、被写体の動きとは区別して、カメラ操作がある場合のみを検出する。
【００２６】
このようなカメラ操作があった場合に検出される入力画像の動きベクトルの一例を図２の模式図に示す。被写体のみが動いた場合ではなく、カメラ操作があった場合の入力画像における動きベクトルは、例えば、図２（Ａ）、（Ｂ）に示すように、それぞれ水平方向及び垂直方向の同様の方向に同様な大きさの動きベクトルが存在する平行動き、又は図２（Ｃ）、（Ｄ）に示すように、カメラの焦点がそれぞれズーム・イン及びズーム・アウトされて放射状で且つ同様な大きさの動きベクトルが存在する放射動き等に分類される。
【００２７】
このカメラ操作の推定処理の手順を図３のフローチャートを用いて説明する。先ずステップＳ１において、入力画像の動きベクトルを検出し、ステップＳ２において、過去の動きをロードする。
【００２８】
次にステップＳ３において、画面内の画素のうち、閾値以上の画素が同じ方向の動きベクトルを有するか否かが判別される。閾値以上の画素が同じ方向の動きベクトルを有する場合（Ｙｅｓ）にはステップＳ４に進み、そうでない場合（Ｎｏ）にはステップＳ６に進む。
【００２９】
ステップＳ４では、前フレームの動きと同じか否かが判別される。前フレームの動きと同じである場合（Ｙｅｓ）にはステップＳ１１に進み、そうでない場合（Ｎｏ）にはステップＳ５で平行動きの開始と判定してステップＳ１１に進む。なお、平行動きの開始と判定された画像は、上述の画像合成部５によって画像蓄積メモリ４から読み出される。
【００３０】
ステップＳ６では、画面内の画素の動きベクトルが放射状であるか否かが判別される。判別の際には、例えば図４に示すように画面を８分割し、それぞれの領域内の画素の動きベクトルの角度θが領域毎に設定された範囲内であるか否かを判定する。図４に示す沸きだしの例では、領域毎に以下のように角度θの範囲を設定することができる。なお、吸い込みの例では、この逆向きのベクトルになることは言うまでもない。
【００３１】
第１領域：−１０°＜θ＜　１０°，第２領域：　３０°＜θ＜　６０°
第３領域：　８０°＜θ＜１００°，第４領域：１２０°＜θ＜１５０°
第５領域：１７０°＜θ＜１９０°，第６領域：２１０°＜θ＜２４０°
第７領域：２６０°＜θ＜２８０°，第８領域：３００°＜θ＜３２０°
そして、この範囲内にある画素の度数を閾値と比較することで、放射状動きであるか否かを判別する。このステップＳ６において、放射状動きである場合（Ｙｅｓ）にはステップＳ７に進み、そうでない場合（Ｎｏ）にはステップＳ９に進む。
【００３２】
ステップＳ７では、前フレームの動きと同じか否かが判別される。前フレームの動きと同じである場合（Ｙｅｓ）にはステップＳ１１に進み、そうでない場合（Ｎｏ）にはステップＳ８でズーム動きの開始と判定してステップＳ１１に進む。なお、ズーム動きの開始と判定された画像は、上述の画像合成部５によって画像蓄積メモリ４から読み出される。
【００３３】
ステップＳ９では、前フレームに平行動き、或いはズーム動きといった動きがあったか否かが判別される。動きがなかった場合（Ｎｏ）にはステップＳ１１に進み、動きがあった場合（Ｙｅｓ）にはステップＳ１０で前フレーム画像を動きの最後と判定してステップＳ１１に進む。なお、動きの最後と判定された画像は、上述の画像合成部５によって画像蓄積メモリ４から読み出される。
【００３４】
続いてステップＳ１１において、現在フレーム動きを記憶し、続くステップＳ１２において、カメラ操作の推定処理を終了するか否かが判別される。終了しない場合（Ｎｏ）にはステップＳ１に戻って処理を続ける。
【００３５】
このように、カメラ操作推定部３は、供給される入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定する。
【００３６】
図１に戻って、画像合成部５は、カメラ操作推定部３によってカメラ操作の開始時、或いは終了時と判定された画像を画像蓄積メモリ４から読み出して保持し、これを縮小して入力画像と合成する。例えば、パン操作開始時と終了時の画像は、それぞれ図５（Ａ）、（Ｂ）に示すようになる。また、ズーム・イン操作開始時と終了時の画像は、それぞれ図６（Ａ）、（Ｂ）に示すようになる。
【００３７】
画像出力部６は、このようにして得られた合成画像を出力し、図示しない表示手段に表示させる。
【００３８】
以上説明したように、本実施の形態における映像処理装置１は、入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定し、そのカメラ操作前後の画像を、現在放映中の映像と共に、例えば画面を分割して表示させる。これにより、視聴者は、撮影された空間を把握しやすくなり、また、重要と推定される画像を見落とすことがなくなる。
【００３９】
ところで、上述の説明では、カメラ操作前後の画像を、現在放映中の映像と共に、例えば画面を分割して表示するものとしたが、複数の表示手段を有する場合には、現在放映中の映像とは別にカメラ操作前後の画像を表示することもできる。
【００４０】
以下では、このように複数の表示手段を有する映像処理システムについて説明する。本実施の形態における映像処理システムは、入力された映像信号から重要画像を抽出する映像処理装置と、抽出された重要画像又は入力映像を表示する複数台の表示装置とから構成される。
【００４１】
なお、この映像処理装置は、重要画像を表示する表示装置毎に用意するようにしてもよく、１台の映像処理装置で抽出した重要画像を各表示装置に供給するようにしてもよい。以下、重要画像を表示する表示装置毎に映像処理装置を設ける場合を分散型と称し、１台の映像処理装置により複数の表示装置に重要画像を供給する場合を統合型と称して説明する。
【００４２】
先ず、本実施の形態における分散型映像処理システムの概略構成を図７に示す。図７に示すように、分散型映像処理システム１００は、各表示装置２０ａ〜２０ｃに１つずつ、入力映像から重要画像を抽出する映像処理装置１０ａ〜１０ｃが接続されている。
【００４３】
この映像処理装置１０ａ〜１０ｃの概略構成を図８に示す。図８に示すように、映像処理装置１０ａ〜１０ｃの基本構成は、図１に示した映像処理装置１と同様であるため、この映像処理装置１と同一の構成については同一符号を付して詳細な説明を省略する。簡単には、カメラ操作推定部３は、供給される入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定する。そして、画像出力部５は、カメラ操作推定部３によってカメラ操作の開始時、或いは終了時と判定された画像を画像蓄積メモリ４から読み出して出力し、又は画像取得部２から供給された入力画像を出力する。
【００４４】
一方、表示装置２０ａ〜２０ｃは、それぞれ映像処理装置１０ａ〜１０ｃから出力されたカメラ操作前後の画像又は入力画像を表示する。
【００４５】
ここで、この分散型映像表示システム１００では、各映像処理装置１０ａ〜１０ｃが独立に配置されるため、図９に示すように、その相対的な位置を記憶する位置記憶部３０ａ〜３０ｃを各映像処理装置１０ａ〜１０ｃの前段に設けるものとする。この相対位置は、設定時に手動で入力するようにしてもよく、各映像処理装置１０ａ〜１０ｃ間の通信等により自動で検出するようにしてもよい。
【００４６】
なお、後述するが、この相対位置を利用して、各映像処理装置１０ａ〜１０ｃがどのような重要画像を表示装置２０ａ〜２０ｃに供給するかが決定される。
【００４７】
次に、本実施の形態における統合型映像表示システムの概略構成を図１０に示す。図１０に示すように、統合型映像表示システム２００は、入力映像から複数の重要画像を抽出する映像処理装置４０に対して、複数の表示装置２０ａ〜２０ｃが接続されている。
【００４８】
この映像処理装置４０の概略構成を図１１に示す。図１１に示すように、映像処理装置４０の基本構成は、図１に示した映像処理装置１と同様であるため、この映像処理装置１と同一の構成については同一符号を付して詳細な説明を省略する。簡単には、カメラ操作推定部３は、供給される入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定する。そして、画像出力部５は、カメラ操作推定部３によってカメラ操作の開始時、或いは終了時と判定された画像を画像蓄積メモリ４から読み出し、画像取得部２から供給された入力画像と共に出力する。
【００４９】
一方、表示装置２０ａ〜２０ｃは、映像処理装置４０から出力されたカメラ操作前後の画像又は入力画像を表示する。
【００５０】
ここで、この統合型映像表示システム２００では、図１２に示すように、どの出力ポート５０ａ〜５０ｃにどの表示装置２０ａ〜２０ｃを接続するかによって、映像処理装置４０がどのような重要画像を各表示装置２０ａ〜２０ｃに供給するかが決定される。
【００５１】
ここで、表示装置が複数ある場合には、画像の特性と表示装置の配置とを関連付けて表示することにより、視聴覚効果を高めることができる。
【００５２】
この場合における映像表示システムの処理手順を図１３のフローチャートを用いて説明する。先ずステップＳ１０において、表示装置の配置を調べる。この配置例としては、例えば図１４（Ａ）に示すような奥行き配置や、図１４（Ｂ）に示すような並列配置が挙げられる。なお、この図１４では、通常の入力映像を表示する表示装置の図示を省略している。
【００５３】
図１４（Ａ）に示す奥行き配置では、視聴者Ｐに対して近い位置と遠い位置との２カ所に、それぞれ重要画像の表示される表示装置２０ａ，２０ｂが配置されている。近いか遠いかについては、例えばステレオ視計測を用いてリコートコントローラからの距離を測定することで検出することができる。また、図１４（Ｂ）に示す並列配置では、視聴者Ｐに対して水平な方向の３カ所に、それぞれ重要画像の表示される表示装置２０ａ，２０ｂ，２０ｃが配置されている。なお、並列配置では、視聴者Ｐに対して垂直な方向の少なくとも２カ所に表示装置を配置するようにしても構わない。
【００５４】
次にステップＳ１１において、カメラ操作が検出されたか否かが判別される。カメラ操作が検出された場合（Ｙｅｓ）にはステップＳ１２に進み、そうでない場合（Ｎｏ）にはステップＳ１７に進む。
【００５５】
続いてステップＳ１２において、表示装置の配置が、奥行き配置であるか否かが判別される。奥行き配置でない場合（Ｎｏ）、すなわち並列配置である場合には、ステップＳ１３で動きの開始時と終了時の画像をその動きを反映して表示する。例えば、重要画像を表示するための表示装置が左右に２台あり、カメラ操作が左から右へのパン操作である場合には、左側の表示装置にパン操作開始時の画像を表示し、右側の表示装置にパン操作終了時の画像を表示する。また、重要画像を表示するための表示装置が上下に２台あり、カメラ操作が下から上へのチルト操作である場合には、下側の表示装置にチルト操作開始時の画像を表示し、上側の表示装置にチルト操作終了時の画像を表示する。一方、ステップＳ１２において、奥行き配置である場合（Ｙｅｓ）にはステップＳ１４に進む。
【００５６】
ステップＳ１４では、カメラ操作がズーム操作であるか否かが判別される。ズーム操作でない場合（Ｎｏ）、すなわちパン操作、或いはチルト操作である場合には、ステップＳ１５でより新しい画像を視聴者に近い表示装置に表示し、より古い画像を視聴者から遠い表示装置に表示するようにする。一方、ステップＳ１４において、ズーム操作である場合（Ｙｅｓ）にはステップＳ１６で近景を視聴者に近い表示装置に表示し、遠景を視聴者から遠い表示装置に表示する。
【００５７】
そしてステップＳ１７において終了判定をし、終了しない場合には、ステップＳ１１に戻って処理を続ける。
【００５８】
以上説明したように、本実施の形態における分散型映像表示システム１００、統合型映像表示システム２００は、入力画像の動きベクトルを検出し、この動きベクトルから、例えば水平方向、垂直方向のパン操作、チルト操作、或いはズーム・イン、ズーム・アウトといったズーム操作等を推定し、そのカメラ操作前後の画像を、現在放映中の映像を表示する表示装置とは別の表示装置に表示する。これにより、視聴者は、撮影された空間を把握しやすくなり、また、重要と推定される画像を見落とすことがなくなる。
【００５９】
また、映像上で左の画像については視聴者に対して左の表示装置に表示し、上の画像については視聴者に対して上の表示装置に表示するなど、画像の特性と表示装置の配置とを関連付けて表示することにより、視聴覚効果を高めることができる。
【００６０】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００６１】
例えば、上述の実施の形態では、自然画像を例として、動きベクトルからカメラ操作を推定するものとして説明したが、自然画像に限定されるものではなく、アニメーション等の人工画像についても、仮想的なカメラを想定することで同様に適用可能である。
【００６２】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、制御部にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００６３】
【発明の効果】
以上詳細に説明したように本発明に係る映像処理装置及びその方法は、フレーム単位の画像からなる映像を入力してその動きを検出し、検出された動きからカメラ操作の開始時及び／又は終了時を推定し、当該カメラ操作の開始時及び／又は終了時における画像を抽出して出力する。
【００６４】
ここで、抽出された上記画像と共に、入力した上記映像を出力することもでき、この場合、抽出された上記画像と入力した上記映像とを合成した合成画像を出力することもできる。
【００６５】
また、上記映像処理装置及び方法は、上記合成画像を表示手段に表示するようにしてもよい。
【００６６】
このような映像処理装置及びその方法は、入力した映像の動きを検出し、この動きから撮影時におけるカメラ操作の開始時及び／又は終了時を推定し、そのカメラ操作前後の画像と入力映像とを合成して表示手段に表示させる。
【００６７】
ここで、カメラ操作前後のフレーム画像には、統計的に重要なオブジェクトが表示されている場合が多いため、このようにカメラ操作前後の画像と入力映像とを合成して表示手段に表示させることにより、視聴者は、撮影された空間を把握しやすくなり、重要とされた画像の見落としも防止される。
【００６８】
また、本発明に係るプログラムは、上述した映像処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００６９】
このようなプログラム及び記録媒体によれば、上述した映像処理をソフトウェアにより実現することができる。
【００７０】
また、本発明に係る映像処理システムは、フレーム単位の画像からなる映像を入力する入力手段と、入力した上記映像の動きを検出する動き検出手段と、上記動き検出手段によって検出された動きからカメラ操作の開始時及び／又は終了時を推定し、当該カメラ操作の開始時及び／又は終了時における画像を抽出するカメラ操作推定手段とを有する映像処理装置と、入力された上記映像及び抽出された上記画像を表示する複数の表示装置とを備える。
【００７１】
ここで、上記映像処理装置は、上記複数の表示装置の配置に応じて、抽出された上記画像のうち、各表示装置に表示させる画像を制御することができる。
【００７２】
このような映像処理システムでは、映像処理装置が入力した映像の動きを検出し、この動きから撮影時におけるカメラ操作の開始時及び／又は終了時を推定し、そのカメラ操作前後の画像及び入力映像を複数の表示装置に表示させる。
【００７３】
ここで、カメラ操作前後のフレーム画像には、統計的に重要なオブジェクトが表示されている場合が多いため、このようにカメラ操作前後の画像と入力映像とを複数の表示装置に表示させることにより、視聴者は、撮影された空間を把握しやすくなり、重要とされた画像の見落としも防止される。
【００７４】
また、画像の特性と表示装置の配置とを関連付けて表示することにより、視聴覚効果を高めることができる。
【図面の簡単な説明】
【図１】本実施の形態における映像処理装置の概略構成を説明する図である。
【図２】カメラ操作があった場合に検出される入力画像の動きベクトルの一例を示す模式図であり、同図（Ａ）、（Ｂ）は、平行動きを示し、同図（Ｃ）、（Ｄ）は、放射状動きを示す。
【図３】カメラ操作の推定処理の手順を説明するフローチャートである。
【図４】放射状動きの判別手法を説明するための図である。
【図５】重要画像の具体例を示す図であり、同図（Ａ）は、パン操作開始時の画像を示し、同図（Ｂ）は、パン操作終了時の画像を示す。
【図６】重要画像の具体例を示す図であり、同図（Ａ）は、ズーム・イン操作開始時の画像を示し、同図（Ｂ）は、ズーム・イン操作終了時の画像を示す。
【図７】本実施の形態における分散型映像処理システムの概略構成を説明する図である。
【図８】同分散型映像処理システムにおける映像処理装置の概略構成を説明する図である。
【図９】同分散型映像処理システムにおいて、各映像処理装置の前段に位置記憶部が設けられている様子を示す図である。
【図１０】本実施の形態における統合型映像処理システムの概略構成を説明する図である。
【図１１】同統合型映像処理システムにおける映像処理装置の概略構成を説明する図である。
【図１２】同統合型映像表示システムにおいて、各出力ポートに表示装置が接続されている様子を示す図である。
【図１３】画像の特性と表示装置の配置とを関連づけて表示する場合における映像処理システムの処理手順を説明するフローチャートである。
【図１４】複数の表示装置の配置例を示す図であり、同図（Ａ）は、奥行き配置を示し、同図（Ｂ）は、並列配置を示す。
【符号の説明】
１　映像処理装置、２　画像取得部、３　カメラ操作推定部、４　画像蓄積メモリ、５　画像合成部、６　画像出力部、７　制御部、１０，１０ａ〜１０ｃ　映像処理装置、２０ａ〜２０ｃ　表示装置、３０ａ〜３０ｃ　位置記憶部、４０映像処理装置、５０ａ〜５０ｃ　出力ポート、１００　分散型映像処理システム、２００　統合型映像処理システム

Claims

フレーム単位の画像からなる映像を入力する入力手段と、
入力した上記映像の動きを検出する動き検出手段と、
上記動き検出手段によって検出された動きからカメラ操作の開始時及び／又は終了時を推定し、当該カメラ操作の開始時及び／又は終了時における画像を抽出するカメラ操作推定手段と、
抽出された上記画像を出力する出力手段と
を備えることを特徴とする映像処理装置。
上記出力手段は、抽出された上記画像と共に、入力した上記映像を出力することを特徴とする請求項１記載の映像処理装置。
抽出された上記画像と入力した上記映像とを合成する合成手段を備え、
上記出力手段は、上記合成手段によって生成された合成画像を出力することを特徴とする請求項２記載の映像処理装置。
上記合成画像を表示する表示手段を備えることを特徴とする請求項３記載の映像処理装置。
上記カメラ操作は、水平方向のパン操作又は垂直方向のチルト操作であり、
上記カメラ操作推定手段は、画面内の画素のうち、閾値以上の画素が水平方向、垂直方向の動きベクトルを有すると上記動き検出手段によって検出された場合に、それぞれパン操作、チルト操作と推定する
ことを特徴とする請求項１記載の映像処理装置。
上記カメラ操作は、ズーム操作であり、
上記カメラ操作推定手段は、画面内の画素の動きベクトルが放射状であると上記動き検出手段によって検出された場合に、ズーム操作と推定する
ことを特徴とする請求項１記載の映像処理装置。
フレーム単位の画像からなる映像を入力する入力工程と、
入力した上記映像の動きを検出する動き検出工程と、
上記動き検出工程にて検出された動きからカメラ操作の開始時及び／又は終了時を推定し、当該カメラ操作の開始時及び／又は終了時における画像を抽出するカメラ操作推定工程と、
抽出された上記画像を出力する出力工程と
を有することを特徴とする映像処理方法。
上記出力工程では、抽出された上記画像と共に、入力した上記映像が出力されることを特徴とする請求項７記載の映像処理方法。
抽出された上記画像と入力した上記映像とを合成する合成工程を有し、
上記出力工程では、上記合成工程にて生成された合成画像が出力されることを特徴とする請求項８記載の映像処理方法。
上記合成画像を表示手段に表示する表示工程を有することを特徴とする請求項９記載の映像処理方法。
所定の処理をコンピュータに実行させるプログラムにおいて、
フレーム単位の画像からなる映像を入力する入力工程と、
入力した上記映像の動きを検出する動き検出工程と、
上記動き検出工程にて検出された動きからカメラ操作の開始時及び／又は終了時を推定し、当該カメラ操作の開始時及び／又は終了時における画像を抽出するカメラ操作推定工程と、
抽出された上記画像を出力する出力工程と
を有することを特徴とするプログラム。
所定の処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
フレーム単位の画像からなる映像を入力する入力工程と、
入力した上記映像の動きを検出する動き検出工程と、
上記動き検出工程にて検出された動きからカメラ操作の開始時及び／又は終了時を推定し、当該カメラ操作の開始時及び／又は終了時における画像を抽出するカメラ操作推定工程と、
抽出された上記画像を出力する出力工程と
を有することを特徴とするプログラムが記録された記録媒体。
フレーム単位の画像からなる映像を入力する入力手段と、入力した上記映像の動きを検出する動き検出手段と、上記動き検出手段によって検出された動きからカメラ操作の開始時及び／又は終了時を推定し、当該カメラ操作の開始時及び／又は終了時における画像を抽出するカメラ操作推定手段とを有する映像処理装置と、
入力された上記映像及び抽出された上記画像を表示する複数の表示装置と
を備えることを特徴とする映像処理システム。
上記カメラ操作は、水平方向のパン操作又は垂直方向のチルト操作であり、
上記カメラ操作推定手段は、画面内の画素のうち、閾値以上の画素が水平方向、垂直方向の動きベクトルを有すると上記動き検出手段によって検出された場合に、それぞれパン操作、チルト操作と推定する
ことを特徴とする請求項１３記載の映像処理システム。
上記カメラ操作は、ズーム操作であり、
上記カメラ操作推定手段は、画面内の画素の動きベクトルが放射状であると上記動き検出手段によって検出された場合に、ズーム操作と推定する
ことを特徴とする請求項１３記載の映像処理システム。
上記映像処理装置は、上記複数の表示装置の配置に応じて、抽出された上記画像のうち、各表示装置に表示させる画像を制御する
ことを特徴とする請求項１３記載の映像処理システム。