JP2005236821A - 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置 - Google Patents

Abstract

【課題】 本発明は、映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置に関し、例えば遠景のシーン、近景のシーンを切り換えてなる番組の視聴に適用して、従来に比して番組視聴の臨場感を向上することができるようにする。
【解決手段】 本発明は、被写体までの距離に基づいて奥行き方向に配置してなる複数台の表示装置２Ａ、２Ｂ、２Ｃ、……に映像信号Ｓ１を振り分け、また映像信号Ｓ１を割り当てていない期間には静止画を表示する。
【選択図】 図１

Description

本発明は、映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置に関し、例えば遠景のシーン、近景のシーンを切り換えてなる番組の視聴に適用することができる。本発明は、被写体までの距離に基づいて奥行き方向に配置してなる複数台の表示装置に映像信号を振り分け、また映像信号を割り当てていない期間には静止画を表示することにより、従来に比して番組視聴の臨場感を向上することができるようにする。

従来、映像信号の処理に関して、臨場感を向上する方法が種々に提案されるようになされており、例えば特開平９−８１７４６号公報においては、被写体までの距離を映像から検出し、この検出結果に基づいてユーザーの視点移動に対応するように映像信号を処理する方法が提案されるようになされている。

ところで実生活においては、視点の移動に伴い、目の焦点が変化し、これにより遠景、近景の何れを目視する場合でも、焦点の合った風景を見て取ることができる。またこのような目の焦点の変化により、さらには両目を用いた立体視により、遠近感を知覚することができる。

これに対してテレビジョン放送等により提供される番組にあっては、遠景のシーン、近景のシーン等を組み合わせて構成されるものがあるものの、このような番組にあっては、視聴者より一定の距離に配置された表示画面によりユーザーに提供される。

これによりテレビジョン放送等により提供される番組にあっても、実生活において遠景、近景を目視する場合のような遠近感をユーザーに知覚させることができれば、一段と番組視聴の臨場感を向上することができると考えられる。
特開平９−８１７４６号公報

本発明は以上の点を考慮してなされたもので、テレビジョン放送等により提供される番組について、従来に比して臨場感を向上することができる映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置を提案しようとするものである。

かかる課題を解決するため請求項１の発明においては、映像信号による画像列を複数の表示手段で表示する映像表示方法に適用して、画像における被写体までの距離を検出する距離検出のステップと、距離検出のステップで検出された距離に基づいて、映像信号を複数の表示手段に分類する分類のステップと、分類のステップによる分類に基づいて、複数の表示手段のうちの１つの表示手段に映像信号を割り当て、１つの表示手段に映像信号による画像列を表示すると共に、複数の表示手段のうちの他の表示手段に、該表示手段に最後に割り当てた映像信号の画像を静止画により表示する映像表示のステップとを備えるようにする。

また請求項５の発明においては、演算処理手段に所定の処理手順を実行させることにより、映像信号による画像列を複数の表示手段で表示する映像表示方法のプログラムに適用して、この所定の処理手順が、画像における被写体までの距離を検出する距離検出のステップと、距離検出のステップで検出された距離に基づいて、映像信号を複数の表示手段に分類する分類のステップと、分類のステップによる分類に基づいて、複数の表示手段のうちの１つの表示手段に映像信号を割り当て、１つの表示手段に映像信号による画像列を表示すると共に、複数の表示手段のうちの他の表示手段に、該表示手段に最後に割り当てた映像信号の画像を静止画により表示する映像表示のステップとを備えるようにする。

また請求項６の発明においては、演算処理手段に所定の処理手順を実行させることにより、映像信号による画像列を複数の表示手段で表示する映像表示方法のプログラムを記録した記録媒体に適用して、所定の処理手順が、画像における被写体までの距離を検出する距離検出のステップと、距離検出のステップで検出された距離に基づいて、映像信号を複数の表示手段に分類する分類のステップと、分類のステップによる分類に基づいて、複数の表示手段のうちの１つの表示手段に映像信号を割り当て、１つの表示手段に映像信号による画像列を表示すると共に、複数の表示手段のうちの他の表示手段に、該表示手段に最後に割り当てた映像信号の画像を静止画により表示する映像表示のステップとを備えるようにする。

また請求項７の発明においては、映像信号による画像列を複数の表示手段で表示する映像表示装置に適用して、画像における被写体までの距離を検出する距離検出手段と、距離検出手段で検出された距離に基づいて、映像信号を複数の表示手段に分類する分類手段と、分類手段による分類に基づいて、複数の表示手段のうちの１つの表示手段に映像信号を割り当て、１つの表示手段に映像信号による画像列を表示すると共に、複数の表示手段のうちの他の表示手段に、該表示手段に最後に割り当てた映像信号の画像を静止画により表示する映像表示手段とを備えるようにする。

また請求項８の発明においては、映像信号による画像列を複数の表示手段で表示する映像表示システムに適用されて、複数の表示手段にそれぞれ対応して設けられた演算処理手段に所定の処理手順を実行させることにより、担当の表示手段に映像信号による画像列を表示する映像表示方法のプログラムに適用して、所定の処理手順が、画像における被写体までの距離を検出する距離検出のステップと、距離検出のステップで検出された距離に基づいて、映像信号を複数の表示手段に分類する分類のステップと、分類のステップによる分類に基づいて、映像信号による画像列と、映像信号による静止画とを切り換えて担当の表示手段に表示する映像表示のステップとを備えるようにする。

また請求項９の発明においては、映像信号による画像列を複数の表示手段で表示する映像表示システムに適用されて、複数の表示手段にそれぞれ対応して設けられた演算処理手段に所定の処理手順を実行させることにより、担当の表示手段に映像信号による画像列を表示する映像表示方法のプログラムを記録した記録媒体に適用して、所定の処理手順が、画像における被写体までの距離を検出する距離検出のステップと、距離検出のステップで検出された距離に基づいて、映像信号を複数の表示手段に分類する分類のステップと、分類のステップによる分類に基づいて、映像信号による画像列と、映像信号による静止画とを切り換えて担当の表示手段に表示する映像表示のステップとを備えるようにする。

また請求項１０の発明においては、映像信号による画像列を複数の表示手段で表示する映像表示システムに適用されて、複数の表示手段にそれぞれ対応して設けられ、担当の表示手段に映像信号による画像列を表示する映像表示装置に適用して、画像における被写体までの距離を検出する距離検出手段と、距離検出手段で検出された距離に基づいて、映像信号を複数の表示手段に分類する分類手段と、分類手段による分類に基づいて、映像信号による画像列と、映像信号による静止画とを切り換えて担当の表示手段に表示する映像表示手段とを備えるようにする。

請求項１の構成により、映像信号による画像列を複数の表示手段で表示する映像表示方法に適用して、画像における被写体までの距離を検出する距離検出のステップと、距離検出のステップで検出された距離に基づいて、映像信号を複数の表示手段に分類する分類のステップと、分類のステップによる分類に基づいて、複数の表示手段のうちの１つの表示手段に映像信号を割り当て、１つの表示手段に映像信号による画像列を表示すると共に、複数の表示手段のうちの他の表示手段に、該表示手段に最後に割り当てた映像信号による静止画を表示する映像表示のステップとを備えるようにすれば、これら複数の表示手段を奥行き方向に配置して、各シーンにおける被写体までの距離に応じてこの奥行き方向に配置した複数の表示装置に各シーンの動画、静止画を表示することができる。すなわち近景のシーンにあっては、手前に配置した表示手段により表示することができ、遠景のシーンにあっては、奥側に配置した表示手段により表示することができる。また静止画による各シーンの表示によりこれら複数の表示手段に常に画像を表示しておくことができ、これらにより各シーンに遠近感を与え、従来に比して番組視聴の臨場感を向上することができる。

これにより請求項５、請求項６、請求項７の構成によれば、テレビジョン放送等により提供される番組について、従来に比して臨場感を向上することができる映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体、映像表示装置を提供することができる。

また請求項８の構成により、映像信号による画像列を複数の表示手段で表示する映像表示システムに適用されて、複数の表示手段にそれぞれ対応して設けられた演算処理手段に所定の処理手順を実行させることにより、担当の表示手段に映像信号による画像列を表示する映像表示方法のプログラムに適用して、所定の処理手順が、画像における被写体までの距離を検出する距離検出のステップと、距離検出のステップで検出された距離に基づいて、映像信号を複数の表示手段に分類する分類のステップと、分類のステップによる分類に基づいて、映像信号による画像列と、映像信号による静止画とを切り換えて担当の表示手段に表示する映像表示のステップとを備えるようにすれば、これら複数の表示手段を奥行き方向に配置して、各シーンにおける被写体までの距離に応じて担当の表示装置で映像信号による画像列を表示し、この映像信号による画像列を表示していない期間においては、静止画を表示することができる。これによりこの映像表示システムにおいては、静止画による各シーンの表示によりこれら複数の表示手段に常に画像を表示して、各シーンにおける被写体までの距離に応じて、このように奥行き方向に配置した複数の表示装置に各シーンの動画、静止画を表示することができる。すなわち近景のシーンにあっては、手前に配置した表示手段により表示することができ、遠景のシーンにあっては、奥側に配置した表示手段により表示することができる。これらにより各シーンに遠近感を与え、従来に比して番組視聴の臨場感を向上することができる。

これにより請求項９、請求項１０の構成によれば、テレビジョン放送等により提供される番組について、従来に比して臨場感を向上することができる映像表示方法のプログラムを記録した記録媒体、映像表示装置を提供することができる。

本発明によれば、テレビジョン放送等により提供される番組について、従来に比して臨場感を向上することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例１に係る番組視聴システムを示すブロック図である。この番組視聴システム１は、処理に必要な各種のデータを相互に送受可能に複数台の表示装置２Ａ、２Ｂ、２Ｃ、……を接続し、映像ソース３から出力される映像信号Ｓ１をこれら複数台の表示装置２Ａ、２Ｂ、２Ｃ、……に共通に入力して形成される。なおここで映像ソース３は、例えばテレビジョンチュナー、ＤＶＤ（Digital Versatile Disk）プレイヤー、ビデオテープレコーダ等により構成される。これによりこの番組視聴システム１では、これら複数台の表示装置２Ａ、２Ｂ、２Ｃ、……を介して、映像ソース３により提供される各種の映像コンテンツをユーザーに提供するようになされている。

ここでこの番組視聴システム１は、図２に示すように、各表示装置２Ａ、２Ｂ、２Ｃ、……の表示画面をそれぞれ視聴者により見て取ることができるように、視聴者より奥行き方向にこれら複数台の表示装置２Ａ、２Ｂ、２Ｃ、……が順次配置される。表示装置２Ａ、２Ｂ、２Ｃ、……は、このような奥行き方向の配置、被写体までの距離に応じて、それぞれ映像信号Ｓ１を選択的に表示し、またこのように映像信号Ｓ１を表示していない期間にあっては、直前に表示してなる映像信号Ｓ１による映像を静止画により表示する。これによりこの番組視聴システム１では、映像信号Ｓ１による映像について、被写体までの距離に応じてこの映像信号Ｓ１をこれら複数台の表示装置２Ａ、２Ｂ、２Ｃ、……に振り分けて動画、静止画により表示するようになされている。

しかしてこのように映像信号Ｓ１をこれら複数台の表示装置２Ａ、２Ｂ、２Ｃ、……に振り分けて動画、静止画により表示する場合にあって、図３に示すように、単にこれら表示装置２Ａ、２Ｂ、２Ｃ、……を横方向に並べて配置した場合にあっては、これら表示装置２Ａ、２Ｂ、２Ｃ、……の表示画面に同時に目の焦点が合ってしまう。これに対して図４に示すように、この実施例のように、これら表示装置２Ａ、２Ｂ、２Ｃ、……を奥行き方向に順次配置した場合ににあっては、何れか１つの表示装置の表示画面にのみ、目の焦点が合い、他の表示装置による表示画面については、焦点が合わないようになる。

これによりこの実施例においては、各表示装置２Ａ、２Ｂ、２Ｃ、……の表示画面を目視する際の、目の焦点の変化による遠近感により、さらには両目を用いた立体視による遠近感により、番組視聴の臨場感を向上するようになされている。

このため各表示装置２Ａ、２Ｂ、２Ｃ、……は、それぞれ液晶表示装置等による表示部４Ａ、４Ｂ、４Ｃ、……と、映像信号Ｓ１により表示部４Ａ、４Ｂ、４Ｃ、……を駆動する画像分類部５Ａ、５Ｂ、５Ｃ、……とにより形成されるようになされ、各画像分類部５Ａ、５Ｂ、５Ｃ、……により、奥行き方向の配置位置に基づいて、順次入力される映像信号Ｓ１により表示部４Ａ、４Ｂ、４Ｃ、……を駆動し、さらには過去に入力された映像信号Ｓ１により静止画に係る映像信号を生成して表示部４Ａ、４Ｂ、４Ｃ、……を駆動する。なおこれら表示装置２Ａ、２Ｂ、２Ｃ、……は、ほぼ同一に構成されることにより、以下においては、主に表示装置２Ａの構成について詳述し、重複した説明は省略する。

ここで表示装置２Ａにおいて、画像分類部５Ａは、図示しない記録装置に記録された処理プログラムを演算処理部６により実行することにより、この演算処理部６と演算処理部６に関連する周辺構成とにより、各機能ブロックが構成される。なおこの一連の処理に係る処理プログラムにおいては、この表示装置２Ａ、２Ｂ、２Ｃにプリインストールされて提供されるものの、このようなプリインストールによる提供に代えて、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、さらには各種の記録媒体を介して提供するようにしてもよい。なおこのような記録媒体としては、例えばＣＤ−ＲＯＭ、ＤＶＤ等の光ディスク、フロッピーディスク等の磁気ディスク、駆動機構と一体構成による着脱可能なハードディスク装置、メモリカード等、種々の記録媒体を広く適用することができる。

すなわちこれらの機能ブロックにおいて、ＩＤ取得部７は、他の表示装置２Ｂ、２Ｃ、……とのデータ通信により、他の表示装置２Ｂ、２Ｃ、……に割り当ててなるＩＤ番号、自己の装置２Ａに割り当ててなるＩＤ番号を取得する。ここでＩＤ番号は、表示装置２Ａ、２Ｂ、２Ｃ、……の配列位置を示す番号であり、ユーザーによる表示装置２Ａ、２Ｂ、２Ｃ、……への設定により、又はセンサを用いた図示しない位置検出手段の検出結果による自動設定により、各表示装置２Ａ、２Ｂ、２Ｃ、……に割り当てられるようになされている。

特徴量計算部８は、表示装置２Ａ、２Ｂ、２Ｃ、……への映像信号Ｓ１の振り分け基準である特徴量を順次入力される映像信号Ｓ１より検出して出力し、分類部９は、ＩＤ取得部７で検出されたＩＤ番号、特徴量計算部８で検出される特徴量により、映像信号Ｓ１を２Ａ、２Ｂ、２Ｃ、……の系統に分類する。画像分類部５Ａは、この分類により、順次入力される映像信号Ｓ１における被写体までの距離に応じて、この映像信号Ｓ１に係る映像を表示装置２Ａ、２Ｂ、２Ｃ、……の各系統に分類する。

出力画像選択部１０は、この分類部９の分類結果により、順次入力される映像信号Ｓ１が自己の表示装置２Ａに分類されている期間の間、この順次入力される映像信号ＳＩをメモリ１１に順次記録すると共に、このメモリ１１に記録した映像信号Ｓ１を順次表示部４Ａに出力する。また順次入力される映像信号Ｓ１が他の表示装置２Ｂ、２Ｃ、……に分類されている期間の間、メモリ１１への映像信号Ｓ１の記録を中止し、このメモリ１１に記録してなる最新の映像信号Ｓ１による画像より静止画の映像信号を生成して表示部４Ａに出力する。

図５は、この画像分類部５Ａにおける演算処理部６の処理手順を示すフローチャートである。演算処理部６は、一定の時間経過によりこの処理手順を開始し、ステップＳＰ１からステップＳＰ２に移る。ここで演算処理部６は、ユーザーにより電源が立ち上げられたか否か判断し、否定結果が得られると、ステップＳＰ２からステップＳＰ３に移ってこの処理手順を終了する。これに対してステップＳＰ２で肯定結果が得られると、ステップＳＰ２からステップＳＰ４に移り、ここで自己の装置に割り当てられたＩＤ番号を取得する。また続くステップＳＰ５において、他の表示装置２Ｂ、２Ｃ、……との間のデータ通信により、他の表示装置２Ｂ、２Ｃ、……に割り当てられたＩＤ番号を取得し、これらのＩＤ番号からこの番組視聴システム１を構成する表示装置２Ａ、２Ｂ、２Ｃ、……の総台数である総ユニット数を検出する。これらにより演算処理部６は、上述したＩＤ取得部７の機能ブロックを構成するようになされている。

すなわち図６にＩＤ取得部７の機能ブロックをさらに詳細に示すように、ＩＤ取得部７は、例えばメモリに記録された自装置のＩＤ番号を取得するＩＤ取得部７Ａ、このＩＤ取得部７で取得した自装置のＩＤ番号と、他の装置から取得したＩＤ番号とを入力する入力部７Ｂとにより構成されるようになされている。また図７に示すように、分類部９には、このＩＤ取得部７で取得されたＩＤ番号により、総ユニット数、さらには後述する分類の基準である各装置の位置情報等を検出する情報取得部９Ａが構成されるようになされている。

演算処理部６は、続いてステップＳＰ７に移り、映像信号Ｓ１を１フレーム分取得することにより、映像信号Ｓ１を構成する画像を取得し、続くステップＳＰ８において、特徴量計算処理を実行することにより、この画像より特徴量を検出する。

すなわち図８に示すように、演算処理部６は、特徴量計算処理を開始すると、ステップＳＰ１１からステップＳＰ１２に移り、動きベクトルの検出単位であるマクロブロックによりこの画像の動きベクトルを順次検出する。ここで背景に対して被写体が動いている場合、このようにして検出される動きベクトルのうち、この被写体が撮影されてなるマクロブロックの動きベクトルにおいては、他のマクロブロックに対して異なる動きベクトルが検出される。

すなわち一定の領域を撮影した状態で、この領域に動きが無い場合には、画像中の全てのマクロブロックで値０の動きベクトルが検出される。これに対して図９（Ａ）及び（Ｂ）に示すように、テレビジョンカメラがパンしている場合、このパンの方向、速度に応じた動きベクトルが全てのマクロブロックで同一に検出される。また図１０（Ａ）及び（Ｂ）に示すように、テレビジョンカメラがチルトしている場合、このチルトの方向、速度に応じた動きベクトルが全てのマクロブロックで同一に検出される。

これに対して図１１に示すように、例えば一定の領域を撮影した状態で、この領域を被写体である人物が横方向に移動する場合、背景に対応するマクロブロックにおいては、動きベクトルが値０により検出されるのに対し、人物に対応するマクロブロックにおいては、人物の動きに応じた動きベクトルが検出される。これに対してこのような移動する人物をカメラが追いかけている場合、さらには静止した人物の背景が移動している場合、図１２に示すように、背景に対応するマクロブロックにおいては、一定値の動きベクトルが検出されるのに対し、人物に対応するマクロブロックにおいては、値０の動きベクトルが検出される。これらによりこのような背景に対して値の異なる動きベクトルが検出されてなるマクロブロックにあっては、被写体が割り当てられているマクロブロックであると判断することができる。

これにより演算処理部６は、動きベクトルを検出すると、ステップＳＰ１２からステップＳＰ１３に移り、動きベクトルが所定のしきい値以上であるマクロブロックが１つでも存在するか否か判断することにより、この画像中に動きが存在するか否か判断する。またこのステップＳＰ１３で肯定結果が得られると、ステップＳＰ１４に移り、背景と考えられるマクロブロックの動きベクトルを所定のしきい値により判定することにより、背景が移動しているか否か判断する。なおここで背景と考えられるマクロブロックの選択にあっては、コーナー部分等の画像の特定箇所のマクロブロックを選択する場合、画像中で多くの面積を示す箇所に割り当てられたマクロブロックを選択する場合等、種々の選択方法を広く適用することができる。

ここで肯定結果が得られると、演算処理部６は、ステップＳＰ１４からステップＳＰ１５に移り、背景のマクロブロックの動きベクトルに対して異なる値が検出されてなる動きベクトルに係るマクロブロックを検出し、このマクロブロックの集計により、被写体であるオブジェクトの面積を検出した後、ステップＳＰ１６に移って元の処理手順に戻る。これに対してステップＳＰ１４で否定結果が得られると、ステップＳＰ１４からステップＳＰ１７に移り、この場合は、動きが検出されているマクロブロックの集計により、被写体であるオブジェクトの面積を検出した後、ステップＳＰ１６に移って元の処理手順に戻る。

これらにより演算処理部６は、１つの画像で検出される動きベクトルに相違がある場合には動きベクトルにより被写体を検出し、さらにはこの被写体の大きさを検出するようになされている。しかしてこのようにして検出される被写体の大きさにあっては、被写体を近くより撮影している場合程、大きな面積により検出される。これによりこの実施例においては、この場合、動きベクトルを基準にして被写体までの距離を検出するようになされている。

これに対してステップＳＰ１３で否定結果が得られると、演算処理部６は、ステップＳＰ１３からステップＳＰ１８に移る。ここで演算処理部６は、処理対象の画像より肌色の領域を検出し、この肌色の領域の形状認識により人物の顔が存在するか否か判断する。さらにこの顔による部分の面積が所定値以上か否か判断する。

これにより演算処理部６は、１人だけの人物がある程度の大きさにより撮影されているか否か、具体的には、図１３に示すようないわゆるバストショットにより撮影されているか否か、さらには図１４に示すようにバストショットよりさらに一段とズームアップして撮影されているか否か判断する。

ここで肯定結果が得られると、演算処理部６は、ステップＳＰ１８からステップＳＰ１６に移ってこの処理手順を終了する。しかしてこのようなバストショット、ズームアップ画像にあっては、被写体にある程度接近して撮影していると判断することができる。これにより演算処理部６は、動きベクトルにより被写体までの距離が検出できない場合、顔の大きさにより被写体まで一定値以上接近してなる状態を検出するようになされている。

これに対してステップＳＰ１８で否定結果が得られると、演算処理部６は、ステップＳＰ１８からステップＳＰ１９に移る。ここで演算処理部６は、処理対象の画像に、この画像を等分割する複数の領域を設定し、色の分布を検出する。演算処理部６は、この色の分布検出を、各領域の色のヒストグラムの計算により実行する。また図１５に示すように、処理対象の画像を水平方向に３等分して３つの領域ＡＲＬ、ＡＲＣ、ＡＲＲを設定し、これら３つの領域ＡＲＬ、ＡＲＣ、ＡＲＲでそれぞれ色のヒストグラムを計算する。

ここで図１５に示すように、風景等の遠景を撮影している場合、このように設定してなる３つの領域ＡＲＬ、ＡＲＣ、ＡＲＲにおける色の分布においては、ほぼ等しくなり、これにより色のヒストグラムにおいては、ほぼ同様の形状となる。

これに対して図１６に示すように、特定の被写体を撮影している場合、この被写体にあっては、背景に比して色彩等が異なることにより、各領域にＡＲＬ、ＡＲＣ、ＡＲＲに占めるこの被写体の大きさに応じて、色のヒストグラムが相違するようになる。すなわちこの場合、被写体を遠くから撮影して被写体の大きさが小さく、例えば中央の領域ＡＲＣのみで被写体が撮影されている場合、この中央の領域ＡＲＣの色のヒストグラムのみがこの被写体の影響を受ける。これに対して被写体が大きく撮影されて、被写体の画像が左右の領域ＡＲＬ、ＡＲＲにはみ出すようになると、これら左右の領域ＡＲＬ、ＡＲＲの色のヒストグラムも被写体の影響を受けるようになる。

これらによりこれら３つの領域ＡＲＬ、ＡＲＣ、ＡＲＲにおける色のヒストグラムの相違の程度が大きい程、近くの被写体を撮影していると判断することができる。このため演算処理部６は、このようにして各領域ＡＲＬ、ＡＲＣ、ＡＲＲの色のヒストグラムを求めると、ステップＳＰ１９からステップＳＰ２０に移り、ここで例えば中央の領域ＡＲＣに係る色ヒストグラムにおける各レベルの度数と、左右の領域ＡＲＬ、ＡＲＲの色のヒストグラムの対応するレベルの度数との差分絶対値和を計算することにより、これら領域ＡＲＬ、ＡＲＣ、ＡＲＲの色のヒストグラム間で、類似の程度を示す相関係数を計算した後、ステップＳＰ１６に移って元の処理手順に戻る。なおこのような相関係数の検出にあっては、このように中央の領域ＡＲＣを基準にして左右の領域ＡＲＬ、ＡＲＲの色のヒストグラムを処理する場合のみならず、例えば最も色のヒストグラムが異なってなる領域を基準にして他の領域の色のヒストグラムを処理する場合等、処理基準にあっては種々に設定することができる。またこのような色のヒストグラム間で、類似の程度を示す相関係数の計算方法にあっては、種々の手法を適用することができる。

これによりこの実施例においては、動きベクトル、顔の大きさによっても被写体までの距離が検出できない場合には、色の分布により被写体までの距離を検出するようになされている。しかして動きベクトルによる処理にあっては、時間軸方向の画像の変化による特徴量を検出して被写体までの距離を検出するのに対し、顔の大きさ、色の分布による処理にあっては、１つの画像中における色特徴量により被写体までの距離を検出するものである。これにより演算処理部６は、この特徴量計算処理により、特徴量計算部８を構成するようになされている。

このようにして特徴量計算処理により特徴量を計算すると、演算処理部６は、ステップＳＰ８からステップＳＰ３１に移り（図５）、このようにして検出した特徴量により、現在入力中の映像信号Ｓ１を表示装置２Ａ、２Ｂ、２Ｃ、……の系統に分類する。ここで演算処理部６は、図１８に示すように、特徴量計算処理により計算される特徴量と被写体までの距離を定義した変換テーブルを図示しないメモリに保持し、特徴量計算処理により計算される特徴量によりこの変換テーブルをアクセスすることにより、具体的に被写体までの距離を検出する。

すなわちこの実施例においては、動きベクトルにより検出される被写体の大きさによる特徴量に対応して、オブジェクト面積と距離との関係を定義した第１の変換テーブル（図１８（Ａ））が設けられ、演算処理部６は、特徴量計算処理において動きベクトルにより被写体の面積を検出した場合、この面積によりこの変換テーブルをアクセスする。ここで近くの被写体を撮影する程、大きな面積により被写体を撮影できることにより、この第１の変換テーブルにあっては、被写体の面積を順次段階的に区分して、被写体の面積が大きくなるに従って距離（奥行き）が小さくなるように定義されるようになされている。

また変換テーブルには、バストショット、クローズアップ画像と判定された場合の、被写体までの距離を定義する第２の変換テーブル（図１８（Ｂ））が設けられ、演算処理部６は、特徴量計算処理において、バストショット、クローズアップ画像と判定した場合には、この第２の変換テーブルをアクセスして被写体までの距離を検出する。

また変換テーブルには、第１の変換テーブルと同様に、色のヒストグラムによる相関係数の値と距離との関係を定義する第３の変換テーブル（図１８（Ｃ））が設けられ、演算処理部６は、特徴量計算処理において、相関係数を計算した場合には、この第３の変換テーブルにより被写体までの距離を検出する。

また演算処理部６は、このようにして距離を検出すると、ステップＳＰ５で検出した表示装置２Ａ、２Ｂ、２Ｃ、……の総台数における自装置２Ａの位置、この距離検出結果により、被写体まの距離が近い程、視聴者の近くに配置した表示装置２Ａ、２Ｂ、２Ｃ、……の系統に映像信号Ｓ１を分類する。すなわち演算処理部６は、変換テーブルで検出される最も小さな距離から最も大きな距離まで表示装置２Ａ、２Ｂ、２Ｃ、……の総台数により割り算し、各表示装置２Ａ、２Ｂ、２Ｃ、……に割り当てる距離の区分を計算する。またこの距離の区分に対して、変換テーブルをアクセスして検出した距離を判定し、これにより映像信号Ｓ１を何れの表示装置の系統に分類するかを判定する。これにより演算処理部６は、例えばバストショット、クローズアップ画像に対応する距離により被写体までの距離が検出された場合、最も視聴者側に配置した表示装置２Ａの系統に現在入力されている映像信号Ｓ１を分類する。これにより演算処理部６は、分類部９の機能ブロックを構成するようになされている。

すなわち図１７に特徴量計算部８の機能ブロックをさらに詳細に示すように、特徴量計算部８は、図８に示すステップＳＰ１２〜ステップＳＰ１７の処理にそれぞれ対応して、動きベクトルを計算する動きベクトル計算部８Ａ、この動きベクトルにより動きの有無を判定する動き判定部８Ｂ、この動き判定部８Ｂにより動きがあると判断した場合に、この動きが背景に係るものかを判定する背景動き判定部８Ｃ、動きが背景に係るもの場合に、動きが無い領域を抽出する動きなし領域抽出部８Ｄ、動きが背景に係るものでない場合に、動きの領域を抽出する動き領域抽出部８Ｅ、これら動きなし領域抽出部８Ｄ、動き領域抽出部８Ｅで抽出された領域の面積を計算するオブジェクト面積演算部８Ｆとが設けられるようになされている。また同様にステップＳＰ１８〜ステップＳＰ２０の処理にそれぞれ対応して、動き判定部８Ｂにより動きが無いと判断した場合に、バストショット、クローズアップを判定するバストショット、クローズアップ判定部８Ｇ、バストショット、クローズアップでないと判定した場合に、画像を分割する画像分割部８Ｈ、画像分割部８Ｈにより分割された領域毎に色ヒストグラムを計算する色ヒストグラム計算部８Ｉ、この色ヒストグラム計算部８Ｉによる色ヒストグラムを用いて相関係数を求める相関係数計算部８Ｊが設けられるようになされている。

演算処理部６は、続いてステップＳＰ３２に移り、ステップＳＰ３１における分類が自装置への分類か否か判断し、ここで肯定結果が得られると、ステップＳＰ３２からステップＳＰ３３に移り、ステップＳＰ７で取得した画像をメモリ１１に記録し、また続くステップＳＰ３４でこのようにしてメモリ１１に記録した画像を表示部４Ａへのインターフェースに出力した後、ステップＳＰ２に戻る。これによりこの最も視聴者側に配置してなる表示装置２Ａの演算処理部６においては、バストショット、クローズアップ画像等の被写体までの距離が最も小さな映像を分担して映像信号Ｓ１による動画を表示部４Ａに表示するようになされている。

これに対してステップＳＰ３２で否定結果が得られると、演算処理部６は、ステップＳＰ３４に移り、メモリ１１に記録してなる画像を表示部４Ａへのインターフェースに出力した後、ステップＳＰ２に戻る。これによりこの最も視聴者側に配置してなる表示装置２Ａの演算処理部６においては、他の表示装置２Ｂ、２Ｃ、……に映像信号Ｓ１が振り分けられている場合、メモリ１１に保持されてなるこの表示装置２Ａに振り分けた最後のシーンを静止画により表示部４Ａで表示するようになされている。

これにより図７に分類部９の機能ブロックをさらに詳細に示すように、分類部９は、上述したＩＤ番号の処理に係る情報取得部９Ａに加えて、図１５について上述したテーブルを保持するテーブルメモリ９Ｂと、このテーブルメモリ９Ａを記録を特徴量計算部８の処理結果により読出す読出部９Ｃと、この読出部９Ｃにより読み出した情報により映像信号Ｓ１の分類を決定する分類決定部９Ｄとにより構成されるようになされている。

（２）実施例の動作
以上の構成において、この番組視聴システム１では（図１及び図２）、視聴者に対して奥行き方向に順次配置してなる表示装置２Ａ、２Ｂ、２Ｃ、……に、映像ソース３から出力される映像信号Ｓ１がそれぞれ入力される。この映像信号Ｓ１は、各表示装置２Ａ、２Ｂ、２Ｃ、……にそれぞれ設けられた画像分類部５Ａ、５Ｂ、５Ｃ、……により、この映像信号Ｓ１を構成する画像の被写体について、テレビジョンカメラからの距離が検出され、この距離により表示装置２Ａ、２Ｂ、２Ｃ、……に分類される。またこの分類により、この映像信号Ｓ１が分類されている表示装置においては、この映像信号Ｓ１による動画が表示されるのに対し、その時点で映像信号Ｓ１が分類されていない表示装置においては、過去に分類されてなる最新の映像信号Ｓ１が静止画により表示される。

これによりこの番組視聴システム１では、被写体までの距離が遠い程、奥側の表示装置に映像信号Ｓ１が表示され、視聴者においては、各表示画面を目視する際の目の焦点の変化により、さらには両目による立体視により、遠近感を知覚して番組を視聴することができ（図３及び図４）、その分、従来に比して番組視聴の臨場感を向上することができる。

このようにして距離により映像信号Ｓ１を分類するにつき、映像信号Ｓ１においては、動きベクトルが検出され、背景に対して値の異なる動きベクトルにより被写体の大きさが検出され（図５〜図１２）、これにより時間軸方向における画像の変化による特徴量が検出される。またこのように動きベクトルにより特徴量を検出できない場合には、肌色の部分の形状により顔の部分が検出され、この顔の部分の面積により被写体までの距離が所定距離以下の場面を示してなる色特徴量が検出される（図１３〜図１５）。またこのような顔の部分の面積が所定値より小さい場合には、映像信号Ｓ１による画像に複数の領域を設定し、この領域間の色分布が検出され、この色分布の相違の程度を示してなる相関係数による色特徴量が検出される（図１５〜図１６）。

表示装置２Ａ、２Ｂ、２Ｃ、……において、これらの特徴量は、特徴量計算部８から分類部９に入力され、ここでこれらの特徴量が変換テーブルにより被写体までの距離に換算され（図１８）、これにより映像信号Ｓ１における被写体までの距離が検出される。各表示装置２Ａ、２Ｂ、２Ｃ、……においては、この距離検出結果により、被写体までの距離が小さな映像程、視聴者側に配置した表示装置２Ａ、２Ｂ、２Ｃ、……に振り分けるように、映像信号Ｓ１が各表示装置２Ａ、２Ｂ、２Ｃ、……に分類される。

これらによりこの番組視聴システム１では、複数種類の距離検出手法を組み合わせて被写体までの距離を検出するようになされ、種類の異なる種々のシーンによる番組にあっても、各シーンをそれぞれ適切に表示装置２Ａ、２Ｂ、２Ｃ、……に分類できるようになされている。

（３）実施例の効果
以上の構成によれば、被写体までの距離に基づいて奥行き方向に配置してなる複数台の表示装置に映像信号を振り分け、また映像信号を割り当てていない期間には静止画を表示することにより、従来に比して番組視聴の臨場感を向上することができる。

また動きベクトルを用いて、時間軸方向への画像の変化により被写体を検出し、この被写体の大きさにより距離を検出することにより、動きのある映像について、確実に距離を検出することができる。

また画像における顔の領域の大きさにより距離を検出することにより、動きの無い場合であっても、人物の大きさにより確実に距離を検出することができる。

また画像に設定した複数領域における色のヒストグラムにより距離を検出することにより、動きが無く、しかも人物すら映っていない場合でも、確実に距離を検出することができる。

なお上述の実施例においては、処理プログラムの処理手順に対応して各装置を機能ブロックにより説明したが、本発明はこれに限らず、例えばＩＤ取得部７を分類部９の機能ブロックに区分する場合等、上述の実施例に係る機能ブロックによる区分に限られるものではないことは言うまでも無い。

また上述の実施例においては、バストショットに係るテーブルについては、１つのパターンを割り当てる場合等について述べたが、テーブルの設定にあっては、必要に応じて種々に設定することができる。

なお上述の実施例においては、表示装置と一体に画像分類部を設ける場合について述べたが、本発明はこれに限らず、表示装置と別体に画像分類装置を設けるようにしてもよく、またこのように表示装置と別体に画像分類部を設ける場合にあっては、各表示装置に対応する画像分類部を一体化するようにしてもよい。

本発明は、例えば遠景のシーン、近景のシーンを切り換えてなる番組の視聴に適用することができる。

本発明の実施例１に係る番組視聴システムを示すブロック図である。 図１の番組視聴システムにおける表示装置の配置の説明に供する略線図である。 ２台の表示装置を並べて配置した場合の見え方の説明に供する略線図である。 ２台の表示装置を奥行き方向に並べて配置した場合の見え方の説明に供する略線図である。 図１の番組視聴システムにおける画像分類部における演算処理部の処理手順を示すフローチャートである。 図１のＩＤ取得部を詳細に示す機能ブロック図である。 図１の特徴量計算部を詳細に示す機能ブロック図である。 図５の処理手順における特徴量計算処理を示すフローチャートである。 テレビジョンカメラがパンしている場合の動きベクトルを示す模式図である。 テレビジョンカメラがチルトしている場合の動きベクトルを示す模式図である。 静止した背景に対して被写体が移動している場合の動きベクトルを示す模式図である。 移動する被写体をテレビジョンカメラが追いかけている場合の動きベクトルを示す模式図である。 バストショットを示す平面図である。 クローズアップ画面を示す平面図である。 遠景による画像を示す平面図である。 色分布により距離検出の説明に供する平面図である。 図１の分類部をを詳細に示す機能ブロック図である。 変換テーブルを示す図表である。

符号の説明

１……番組視聴システム、２Ａ、２Ｂ、２Ｃ……表示装置、３……映像ソース、４Ａ、４Ｂ、４Ｃ……表示部、５Ａ、５Ｂ、５Ｃ……画像分類部、６……演算処理部、７……ＩＤ取得部、８……特徴量計算部、９……分類部、１０……出力画像選択部、１１……メモリ

Claims (10)

1. 映像信号による画像列を複数の表示手段で表示する映像表示方法であって、
   前記画像における被写体までの距離を検出する距離検出のステップと、
   前記距離検出のステップで検出された距離に基づいて、前記映像信号を前記複数の表示手段に分類する分類のステップと、
   前記分類のステップによる分類に基づいて、前記複数の表示手段のうちの１つの表示手段に前記映像信号を割り当て、前記１つの表示手段に前記映像信号による画像列を表示すると共に、前記複数の表示手段のうちの他の前記表示手段に、該表示手段に最後に割り当てた前記映像信号による画像を静止画により表示する映像表示のステップと
   を備えることを特徴とする映像表示方法。
2. 前記距離検出のステップは、
   時間軸方向への前記画像の変化により前記画像中における被写体を検出し、前記画像中における被写体の大きさにより前記距離を検出する
   ことを特徴とする請求項１に記載の映像表示方法。
3. 前記距離検出のステップは、
   前記画像における顔の領域の大きさにより前記距離を検出する
   ことを特徴とする請求項１に記載の映像表示方法。
4. 前記距離検出のステップは、
   前記画像における色の分布により前記距離を検出する
   ことを特徴とする請求項１に記載の映像表示方法。
5. 演算処理手段に所定の処理手順を実行させることにより、映像信号による画像列を複数の表示手段で表示する映像表示方法のプログラムであって、
   前記所定の処理手順が、
   前記画像における被写体までの距離を検出する距離検出のステップと、
   前記距離検出のステップで検出された距離に基づいて、前記映像信号を前記複数の表示手段に分類する分類のステップと、
   前記分類のステップによる分類に基づいて、前記複数の表示手段のうちの１つの表示手段に前記映像信号を割り当て、前記１つの表示手段に前記映像信号による画像列を表示すると共に、前記複数の表示手段のうちの他の前記表示手段に、該表示手段に最後に割り当てた前記映像信号による画像を静止画により表示する映像表示のステップと
   を備えることを特徴とする映像表示方法のプログラム。
6. 演算処理手段に所定の処理手順を実行させることにより、映像信号による画像列を複数の表示手段で表示する映像表示方法のプログラムを記録した記録媒体であって、
   前記所定の処理手順が、
   前記画像における被写体までの距離を検出する距離検出のステップと、
   前記距離検出のステップで検出された距離に基づいて、前記映像信号を前記複数の表示手段に分類する分類のステップと、
   前記分類のステップによる分類に基づいて、前記複数の表示手段のうちの１つの表示手段に前記映像信号を割り当て、前記１つの表示手段に前記映像信号による画像列を表示すると共に、前記複数の表示手段のうちの他の前記表示手段に、該表示手段に最後に割り当てた前記映像信号による画像を静止画により表示する映像表示のステップと
   を備えることを特徴とする映像表示方法のプログラムを記録した記録媒体。
7. 映像信号による画像列を複数の表示手段で表示する映像表示装置であって、
   前記画像における被写体までの距離を検出する距離検出手段と、
   前記距離検出手段で検出された距離に基づいて、前記映像信号を前記複数の表示手段に分類する分類手段と、
   前記分類手段による分類に基づいて、前記複数の表示手段のうちの１つの表示手段に前記映像信号を割り当て、前記１つの表示手段に前記映像信号による画像列を表示すると共に、前記複数の表示手段のうちの他の前記表示手段に、該表示手段に最後に割り当てた前記映像信号による画像を静止画により表示する映像表示手段と
   を備えることを特徴とする映像表示装置。
8. 映像信号による画像列を複数の表示手段で表示する映像表示システムに適用されて、前記複数の表示手段にそれぞれ対応して設けられた演算処理手段に所定の処理手順を実行させることにより、担当の前記表示手段に前記映像信号による画像列を表示する映像表示方法のプログラムであって、
   前記所定の処理手順が、
   前記画像における被写体までの距離を検出する距離検出のステップと、
   前記距離検出のステップで検出された距離に基づいて、前記映像信号を前記複数の表示手段に分類する分類のステップと、
   前記分類のステップによる分類に基づいて、前記映像信号による画像列と、前記映像信号による静止画とを切り換えて前記担当の表示手段に表示する映像表示のステップと
   を備えることを特徴とする映像表示方法のプログラム。
9. 映像信号による画像列を複数の表示手段で表示する映像表示システムに適用されて、前記複数の表示手段にそれぞれ対応して設けられた演算処理手段に所定の処理手順を実行させることにより、担当の前記表示手段に前記映像信号による画像列を表示する映像表示方法のプログラムを記録した記録媒体であって、
   前記所定の処理手順が、
   前記画像における被写体までの距離を検出する距離検出のステップと、
   前記距離検出のステップで検出された距離に基づいて、前記映像信号を前記複数の表示手段に分類する分類のステップと、
   前記分類のステップによる分類に基づいて、前記映像信号による画像列と、前記映像信号による静止画とを切り換えて前記担当の表示手段に表示する映像表示のステップと
   を備えることを特徴とする映像表示方法のプログラムを記録した記録媒体。
10. 映像信号による画像列を複数の表示手段で表示する映像表示システムに適用されて、前記複数の表示手段にそれぞれ対応して設けられ、担当の前記表示手段に前記映像信号による画像列を表示する映像表示装置であって、
    前記画像における被写体までの距離を検出する距離検出手段と、
    前記距離検出手段で検出された距離に基づいて、前記映像信号を前記複数の表示手段に分類する分類手段と、
    前記分類手段による分類に基づいて、前記映像信号による画像列と、前記映像信号による静止画とを切り換えて前記担当の表示手段に表示する映像表示手段と
    を備えることを特徴とする映像表示装置。
    

Images