JP2008271237A - 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム - Google Patents

Abstract

【課題】シーンの切り替えを容易に把握できるようにすると共に、画像の内容からシーン切り替え前後の関係も容易に把握できるようにする。
【解決手段】シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する前後シーン関連判定部２２ａを備え、この前後シーン関連判定部２２ａは、シーン切り替え前後の画像における顔の向きや目線方向を検出し、当該顔の向きや目線方向に基づいてシーン切り替え後の画像の表示位置を設定するものである。
【選択図】図３

Description

本発明は、テレビジョン放送番組や映画等の入力画像における画像信号を処理する画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラムに関する。詳しくは、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する表示位置制御部を備え、この表示位置制御部が、シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいてシーン切り替え後の画像の表示位置を設定することで、シーンの切り替えを容易に把握できるようにすると共に、画像の内容からシーン切り替え前後の関係も容易に把握できるようにする。

従来、テレビジョン放送番組や映画等の画像を表示する画像表示システムでは、１つの固定された画枠が用いられており、この画枠に合わせた画像サイズで画像提示が行われている。また、放送番組や映画等の画像コンテンツを制作する場合にも、このような固定画枠で画像表示を行うことを前提としてコンテンツ制作が行われている。

近年では、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。このような多画面表示システム等では、画枠を広げて広画角の画像表示を行うことにより、臨場感を高めるものである。

このような従来例に関連して、本発明と同一の出願人により特許文献１が以前に出願されている。特許文献１には、テレビジョン放送番組や映画等の入力画像における画像信号を処理する画像処理装置が開示されている。この画像処理装置によれば、シーンチェンジのときに、前フレーム出力信号と入力画像の画像信号との差分値が所定値よりも小さい場合、前フレーム画像信号に応じた画像表示位置を入力画像の表示位置に設定する。これにより、シーンの関連性を容易に把握することができる。

特開２００４−１５５４９号公報（第８頁、第３図）

しかしながら、従来例に係る画像表示システムのように固定された画枠に順次画像を表示する場合、表示画像でのシーンの切り替えを正しく把握しないと、放送番組や映画等の内容を簡単に理解することが困難な場合が生じてしまう。また、シーン切り替えが繰り返し行われると、各シーンの関連性を把握することも困難となる。さらに、前のシーンの画像を見ていないと、次のシーンの内容を理解することが出来ない場合も考えられる。

また、特許文献１に係る画像処理装置によれば、シーンチェンジのときに、シーンチェンジ前後の画像の類似判断によりシーンの関連性を把握できても、画像の内容からシーンの関連性を把握することは困難である。

そこで、本発明はこのような従来例に係る課題を解決したものであって、画像の内容からシーンの関連性を容易に把握できるようにした画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラムを提供することを目的とする。

上述した課題を解決するために本発明に係る画像処理装置は、入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出するシーンチェンジ検出部と、前記シーンチェンジ検出部での検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する表示位置制御部と、前記表示位置制御部で設定された表示位置に、前記シーン切り替え後の画像を表示させる表示位置設定部とを備え、前記表示位置制御部は、前記シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定することを特徴とするものである。

本発明に係る画像処理装置によれば、シーンチェンジ検出部は、入力画像の画像信号に基づいて入力画像のシーン切り替えを検出する。表示位置制御部は、シーンチェンジ検出部での検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する。この例で、表示位置制御部は、シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいてシーン切り替え後の画像の表示位置を設定する。例えば、表示位置制御部は、画像信号から顔画像の領域を抽出し、この顔画像の領域から目線方向を検出し、検出された目線方向に基づいて画像信号を表示する方向を決定する。表示位置設定部は、表示位置制御部で設定された表示位置に、シーン切り替え後の画像を表示させる。これにより、例えば画像の目線の動きからシーン切り替え前後の表示位置の関係を容易に把握することができる。

上述した課題を解決するために本発明に係る画像処理方法は、入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出する第１のステップと、検出された検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する第２のステップと、設定された前記表示位置に、前記シーン切り替え後の画像を表示させる第３のステップとを有し、前記第２のステップで、前記シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定することを特徴とするものである。本発明に係る画像処理方法によれば、シーンの切り替えを容易に把握できると共に、画像の内容からシーン切り替え前後の関係も容易に把握することができる。

上述した課題を解決するために本発明に係る画像処理プログラムは、コンピュータに入力画像の画像信号を処理させるプログラムであって、前記入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出する第１のステップと、検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する第２のステップと、設定された前記表示位置に、前記シーン切り替え後の画像を表示させる第３のステップとを有し、前記第２のステップで、前記シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定させることを特徴とするものである。本発明に係る画像処理プログラムを実行させると、シーンの切り替えを容易に把握できると共に、画像の内容からシーン切り替え前後の関係も容易に把握することができる。

上述した課題を解決するために本発明に係る再生情報生成装置は、入力画像の画像信号を処理して当該入力画像の再生情報を生成する装置であって、前記入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出するシーンチェンジ検出部と、前記シーンチェンジ検出部での検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する表示位置制御部とを備え、前記表示位置制御部は、前記シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定するための再生情報を生成することを特徴とするものである。

本発明に係る再生情報生成装置によれば、入力画像の画像信号を処理して当該入力画像の再生情報を生成する場合であって、シーンチェンジ検出部は、入力画像の画像信号に基づいて入力画像のシーン切り替えを検出する。表示位置制御部は、シーンチェンジ検出部での検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する。この例で、この表示位置制御部は、シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいてシーン切り替え後の画像の表示位置を設定するための再生情報を生成する。これにより、生成された再生情報に基づいて画像を再生することにより、シーンの切り替えを容易に把握できると共に、画像の内容からシーン切り替え前後の関係も容易に把握することができる。

上述した課題を解決するために本発明に係る再生情報生成方法は、入力画像の画像信号を処理して当該入力画像の再生情報を生成する方法であって、前記入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出する第１のステップと、検出された検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する第２のステップとを有し、前記第２のステップで、前記シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定するための再生情報を生成することを特徴とするものである。本発明に係る再生情報生成方法によれば、生成された再生情報に基づいて画像を再生することにより、シーンの切り替えを容易に把握できると共に、画像の内容からシーン切り替え前後の関係も容易に把握することができる。

上述した課題を解決するために、本発明に係る再生情報生成プログラムは、コンピュータに入力画像の画像信号を再生するための再生情報を生成させるプログラムであって、前記入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出する第１のステップと、検出された検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する第２のステップとを有し、前記第２のステップで、前記シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定するための再生情報を生成させることを特徴とするものである。本発明に係る再生情報生成プログラムによれば、生成された再生情報に基づいて画像を再生することにより、シーンの切り替えを容易に把握できると共に、画像の内容からシーン切り替え前後の関係も容易に把握することができる。

本発明に係る画像処理装置、画像処理方法及び画像処理プログラムによれば、シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいてシーン切り替え後の画像の表示位置を、シーン切り替え前の画像と関連を持たせた表示位置に設定するものである。

この構成によって、シーンの切り替えを容易に把握できると共に、画像の内容からシーン切り替え前後の関係も容易に把握することができる。これにより、理解しやすい画像表示を行うことができる。

本発明に係る再生情報生成装置、再生情報生成方法および再生情報生成プログラムによれば、シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいてシーン切り替え後の画像の表示位置を、シーン切り替え前の画像と関連を持たせた表示位置に設定するための再生情報を生成するものである。

この構成によって、生成された再生情報に基づいて画像を再生することにより、シーンの切り替えを容易に把握できると共に、画像の内容からシーン切り替え前後の関係も容易に把握することができる。これにより、理解しやすい画像表示を行うことができる。

続いて、本発明に係る画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラムの実施の形態について、図面を参照しながら説明をする。

＜実施の形態１＞
図１は、本発明に係る第１の実施の形態としての画像処理装置２０を用いた画像表示システム１００の構成例を示す概略図である。この画像表示システム１００は、例えば３つのスクリーン１０Ｌ，１０Ｃ，１０Ｒをユーザの前面と両側面に配置して、１つの画像表示領域を構成する。また、各スクリーン１０Ｌ，１０Ｃ，１０Ｒに対応させてプロジェクタ１２Ｌ，１２Ｃ，１２Ｒを設けている。プロジェクタ１２Ｌ，１２Ｃ，１２Ｒは、画像処理装置２０と接続されている。プロジェクタ１２Ｌは、画像処理装置２０からの出力信号ＳＤＬに基づいてスクリーン１０Ｌに画像を投影する。同様に、プロジェクタ１２Ｃ，１２Ｒは、画像処理装置２０からの出力信号ＳＤＣ，ＳＤＲに基づいてスクリーン１０Ｃ，１０Ｒに画像を投影する。

画像処理装置２０は、入力画像の画像信号ＳＤｉｎに基づいてシーンチェンジ検出を行うことによりシーン切り替えを判別して、切り替えがあった場合に、切り替えの前後の画像で関連を検出し、関連があった場合に、切り替えの前後で関連を有するように画像表示位置を切り替える。

図２は、画像表示の動作例を示す説明図である。入力画像が例えば図２Ａのように、人物が右を見てシーンチェンジが行われた場合、シーンチェンジ後の画像Ｈｂは、人物が向いた方向と関連を有していることから、シーンチェンジ前の人物の画像Ｈａがスクリーン１０Ｃにあった場合に、シーンチェンジ後の画像Ｈｂをスクリーン１０Ｒに表示する。

また入力画像が、例えば図２Ｂのように、オブジェクトＯＢが画像内を左に移動してシーンチェンジが行われた場合、シーンチェンジ後の画像Ｈｄは、オブジェクトが移動した方向と関連を有していることから、シーンチェンジ前のオブジェクトの画像Ｈｃがスクリーン１０Ｃにあった場合にシーンチェンジ後の画像Ｈｄをスクリーン１０Ｌに表示する。

また入力のステレオ音声が、例えば図２Ｃのように、画像Ｈｅの右側の音量が左側より大きい状態（音符数で音量を図示）でシーンチェンジが行われた場合、シーンチェンジ後の画像Ｈｆは、音量の大きい方向と関連を有していることから、シーンチェンジ前の画像Ｈｅがスクリーン１０Ｃにあった場合にシーンチェンジ後の画像Ｈｆをスクリーン１０Ｒに表示する。

ここで、上述のように、シーン毎に表示位置を切り替える場合、画像処理装置２０は、リアルタイム処理あるいはオフライン処理で表示位置の切り換えを行う。リアルタイム処理の場合、画像処理装置２０ａ（図３参照）は、入力画像の画像信号ＳＤｉｎに基づいてシーンチェンジ検出を行うと共に、シーンチェンジ前後での関連を判別する。このシーンチェンジ検出結果とシーン関連判別の結果に基づいて、入力画像の表示位置（表示方向）をリアルタイムで切り替える。さらに、切り替えられた表示位置に入力画像を表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して出力する。

また、オフライン処理の場合、画像処理装置２０ｂ（図１９参照）は、蓄積されている画像信号ＳＤｉｎを読み出してシーンチェンジ検出を行う。また、シーンチェンジ検出によって検出された各シーンチェンジ前後の画像の関連を判別して、過去や未来のシーンから現シーンの表示位置を決定する。さらに、決定した表示位置（表示方向）を示す表示位置（表示方向）情報ＪＰを画像信号ＳＤｉｎと関係付けて保持する。その後、画像表示を行う場合には、入力画像の画像信号ＳＤｉｎと表示位置情報ＪＰを読み出して、この画像信号ＳＤｉｎと表示位置情報ＪＰに基づき、切り替えられた表示位置に入力画像を表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して出力する。

図３は、リアルタイム処理を行う場合の画像処理装置２０ａの構成例を示すブロック図である。図３に示す入力画像の画像信号ＳＤｉｎは、シーンチェンジ検出部２１と前後シーン関連判定部２２ａおよび表示位置設定部２３に供給される。

シーンチェンジ検出部２１は、画像信号ＳＤｉｎに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとのつなぎ目部分である画像の不連続位置を検出する。図４はシーンチェンジ検出部２１の構成例を示すブロック図であり、例えば２フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。

シーンチェンジ検出部２１の遅延回路２１１は、画像信号ＳＤｉｎを１フレーム遅延させて遅延画像信号ＳＤａとして差分平均算出回路２１２に供給する。差分平均算出回路２１２は、画像信号ＳＤｉｎと遅延画像信号ＳＤａに基づき、２フレーム間の差分平均値Ｄａｖを算出して正規化回路２１４に供給する。この差分平均値Ｄａｖの算出は、各画素における２フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Ｄａｖとして正規化回路２１４に供給する。なお、１フレームの画像の画素数が「Ｎ」で、画像信号ＳＤｉｎに基づく輝度レベルを「ＹＣ」、遅延画像信号ＳＤａに基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄａｖは式（１）に基づいて算出できる。

ここで、差分平均値Ｄａｖは、画像の輝度レベルによって大きく変化する。例えば画像が明るい場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄａｖが大きくなってしまう。一方、画像が暗い場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄａｖは大きくならない。このため、シーンチェンジ検出部２１に正規化回路２１４を設けるものとして、画像の明るさに応じた差分平均値Ｄａｖの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。

輝度平均算出回路２１３は、画像信号ＳＤｉｎに基づき、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙａｖとして正規化回路２１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で画像信号ＳＤｉｎに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙａｖは式（２）に基づいて算出できる。

正規化回路２１４は、画像の明るさに応じた差分平均値Ｄａｖの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙａｖに応じて差分平均値Ｄａｖを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。

この正規化回路２１４で生成された正規化値Ｅは、判定回路２１５に供給される。判定回路２１５は、予め設定された閾値を有しており、正規化値Ｅと閾値を比較して、正規化値Ｅが閾値よりも大きいときにはシーンチェンジと判定する。また、正規化値Ｅが閾値以下であるときにはシーンチェンジでないと判定する。さらに、判定回路２１５は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して図３に示す前後シーン関連判定部２２ａに供給する。

このように、正規化回路２１４は画像の明るさに応じた差分平均値Ｄａｖの正規化を行い、判定回路２１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。

ところで、上述のシーンチェンジ検出部２１では、１フレーム内の全画素の信号を用いて、シーンチェンジ検出を行うものとしたが、全画素の信号を用いて差分平均値Ｄａｖや輝度平均値Ｙａｖを算出すると、演算処理に時間を要してしまう。また、演算処理に要する時間を短くするために演算処理を高速化すると、演算処理コストが膨大となってしまう。このため、画素間引き処理、例えば例えば図５は、画素の間引き処理例を示す説明図である。図５に示すように１フレームの画像を８×４画素の領域に区分して各領域から斜線で示すように１画素だけを選択することで画素の間引きを行い、選択された画素の信号を用いて差分平均値Ｄａｖや輝度平均値Ｙａｖを算出する。このように、画素の間引きを行うものとすれば、演算量が少なくなるので演算処理を簡単に行うことができると共に、演算処理を高速に行う必要がなく演算処理コストが膨大となってしまうことも防止できる。

また、上述のシーンチェンジ検出部２１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。

図６は、相関係数ｒを用いるシーンチェンジ検出部２１ａの構成例を示すブロック図である。図６に示す遅延回路２１１は、画像信号ＳＤｉｎを１フレーム遅延させて遅延画像信号ＳＤａとして相関係数算出回路２１６に供給する。相関係数算出回路２１６は、画像信号ＳＤｉｎと遅延画像信号ＳＤａに基づき、相関係数ｒの算出を行う。

ここで、１フレームの画像の画素数を「Ｎ」、最初のフレームの画像信号に基づく画素の輝度レベルを「ＹＦ」、次のフレームの画像信号に基づく画素の輝度レベルを「ＹＳ」、最初のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＦａｖ」、次のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＳａｖ」としたとき、相関係数ｒは式（４）を用いて算出できる。この相関係数算出部２１６で算出された相関係数ｒは、判定回路２１７に供給される。

判定回路２１７は、予め設定された閾値を有しており、相関係数ｒと閾値を比較して、相関係数ｒが閾値以下であるときにはシーンチェンジと判定する。また、相関係数ｒが閾値以下でないときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１７は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、前後シーン関連判定部２２ａに供給する。

図７は、前後シーン関連判定部２２ａの構成例を示すブロック図である。図７に示す前後シーン関連判定部２２ａは表示位置制御部の一例として機能し、シーンチェンジ検出部２１でのシーンチェンジ検出信号ＳＣに基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する。この例で、前後シーン関連判定部２２ａは、シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定する。

図７に示す入力画像の画像信号ＳＤｉｎは、前後シーン関連判定部２２ａの遅延回路２２１と第１の顔領域抽出部２２２に供給される。遅延回路２２１は、画像信号ＳＤｉｎを１フレーム遅延させた遅延画像信号ＳＤａを第２の顔領域抽出部２２２に供給する。なお入力画像の画像信号ＳＤｉｎが供給される第１の顔領域抽出部２２２と遅延画像信号ＳＤａが供給される第２の顔領域抽出部２２２は、同じ構成のものとする。第１の顔領域抽出部２２２は、画像信号ＳＤｉｎから顔領域を抽出し、第２の顔領域抽出部２２２は、遅延画像信号ＳＤａから顔領域を抽出する。

図８は、顔領域抽出部２２２の構成例を示すブロック図である。図８に示す顔領域抽出部２２２のＨＳＶ変換部２２２１は、入力された画像信号ＳＤｉｎをＨＳＶ（Hue、Saturation、Value）色空間に変換する。

図９Ａ及びＢは、肌色領域抽出部２２２２（図８参照）の動作例を示す説明図である。肌色領域抽出部２２２２では、図９Ａに示す画像ＳＤｃにおいて、この画像ＳＤｃのＨｕｅ（色相）の値が一定の範囲、例えば２０より大きく、かつ４０より小さい（２０＜Ｈｕｅ＜４０）画素を抽出する。そして抽出された画素に対しラベリングを行い、このラベリングされた領域（図９Ｂの灰色表示した領域）を肌色領域Ｔｒとして判定し、この肌色領域Ｔｒを抽出する。

図１０Ａ及びＢは、横枠検出部２２２３（図８参照）の動作例を示す説明図である。横枠検出部２２２３では、図１０Ａに示す抽出された肌色領域Ｔｒに対し各肌色領域Ｔｒで抽出した画素を水平ラインの方向でカウントし、図１０Ｂに示すカウント数が最大となる長さＬｇの水平ライン（横枠）を検出する。この水平ラインの位置から垂直方向の座標（垂直基準点）Ｖｅｒを求める。さらに最大となるカウント数に所定の値、例えば「０．８」を乗算した値を横枠の長さＬｇとし、この横枠の中心を抽出された水平方向の中心と同じ位置にする。

図１１Ａ及びＢは、縦枠検出部２２２４（図８参照）の動作例を示す説明図である。縦枠検出部２２２４では、図１１Ａに示す、検出された横枠の長さＬｇに所定の値、例えば「１．３」を乗算した値を縦枠（垂直ライン）の長さＬｇ２とする。また、図１１Ｂに示す垂直基準点Ｖｅｒを長さＬｇ２の縦枠の中心とする。

図１２Ａ及びＢは、領域抽出部２２２５（図８参照）の動作例を示す説明図である。領域抽出部２２２５では、横枠検出部２２２３で検出された図１２Ａに示す長さＬｇの横枠、縦枠検出部２２２４で検出された長さＬｇ２の縦枠に基づいて該当する画像の領域を抽出する。この例で、図１２Ｂに示すように、長さＬｇの横枠と長さＬｇ２の縦枠により囲まれた領域Ｒｅｃ、すなわち長さＬｇと長さＬｇ２とで形成される長方形の領域Ｒｅｃを抽出する領域と設定する。

図１３Ａ及びＢは、顔画像識別部２２２６（図８参照）の動作例（その１）を示す説明図である。顔画像識別部２２２６は、図１３Ａに示す標準的な顔画像のテンプレートＴｎｐｃを有し、このテンプレートＴｎｐｃと領域抽出部２２２５で抽出された領域Ｒｅｃとの、例えば各画素における差分絶対値総和の値を算出する。顔画像識別部２２２６は、算出した差分絶対値総和の値と所定の閾値と比較し、比較後、差分絶対値総和の値が閾値より小さいと判定した場合、抽出された領域Ｒｅｃが顔画像であると識別し、差分絶対値総和の値が閾値より大きいと判定した場合、抽出された領域Ｒｅｃが顔画像でないと識別する。

なお、抽出した領域ＲｅｃのサイズとテンプレートＴｎｐｃのサイズが合わない場合は、適宜テンプレートのサイズを補間や間引きで調整し、サイズを合わせた上で、上記の処理を行う。

また、顔画像識別部２２２６では、顔画像の識別と同時に顔向きの識別も行う。図１４Ａ〜Ｅは、顔画像識別部２２２６の動作例（その２）を示す説明図である。図１４Ａ〜Ｅに示すように、標準的な顔画像のテンプレートは、図１４Ｃに示す正面を向いている顔画像のテンプレートＴｎｐｃだけではない。この例では、図１４Ａに示す左を向いている顔画像のテンプレートＴｎｐａ、図１４Ｂに示す左斜めを向いている顔画像のテンプレートＴｎｐｂ、図１４Ｄに示す右斜めを向いている顔画像のテンプレートＴｎｐｄ、図１４Ｅに示す右を向いている顔画像のテンプレートＴｎｐｅを有し、合計５つの方向を向いている顔画像のテンプレートを有している。

上述した顔画像識別部２２２６における顔画像の識別を行うマッチングにおいて、顔向きの異なる全てのテンプレートＴｎｐａ〜Ｔｎｐｅで差分絶対値総和の値を算出する。算出後、顔画像識別部２２２６は、差分絶対値総和の値が閾値より小さく、かつ差分絶対値総和の値が最小となるものを、該当する顔向きと識別する。なお、顔向きが正面でない場合、肌色領域抽出部２２２２で抽出される領域Ｒｅｃは、顔向きが正面の場合より小さいためテンプレートのサイズも小さくなっている。また顔向きは左右方向だけでなく、上下方向を扱ってもよいし、上下左右全てを合わせたものを扱ってもよい。

なお、顔画像識別部２２２６では、領域抽出部２２２５で抽出された全ての領域Ｒｅｃに対し、顔画像であるか否かの識別を行う。顔画像が複数あると識別された場合は、例えば領域Ｒｅｃのサイズが最も大きいものを抽出する。顔画像が一つも抽出されなかった場合は、処理を終了する。

図７において、第１の目線検出部２２３は、画像信号ＳＤｉｎに係る第１の顔領域抽出部２２２で抽出された顔画像の領域Ｒｅｃから第１の目線方向を検出し、第２の目線検出部２２３は、遅延画像信号ＳＤａに係る第２の顔領域抽出部２２２で抽出された顔画像の領域Ｒｅｃから第２の目線方向を検出する。図１５Ａ〜Ｃは、目線検出部２２３（図７参照）の動作例を示す説明図である。目線検出部２２３では、図１５Ａに示す標準的な顔画像のテンプレートＴｎｐｃの黒目領域Ｒｅｃｅｙｅを利用して、目線の検出を行う。なお標準的な顔画像のテンプレートＴｎｐｃの黒目領域Ｒｅｃｅｙｅは予め抽出されているものとする。この黒目領域Ｒｅｃｅｙｅに相当する画素に対し、顔画像の領域Ｒｅｃ２における所定の探索範囲で動きベクトルを算出する。そして算出された図１５Ｃの動きベクトルＶｔｒの絶対値が所定の閾値より大きい場合、顔向きとは異なる目線をしていると判定し、その動きベクトルＶｔｒの方向を、新たな方向として決定する。また所定の閾値より小さい場合は、顔領域抽出部２２２の顔画像識別部２２２６で抽出された顔向きを目線の方向とする。

図７において方向決定部２２４では、画像の特徴量を示す第１及び第２の目線方向に基づいて、入力画像の画像信号ＳＤｉｎの入力画像を表示する方向を決定して表示方向情報ＪＰを出力する。例えば、図１６Ａ〜Ｃは、画像表示の動作例を示す説明図である。この例で図１６Ａに示すように、遅延画像信号ＳＤａの画像において目線方向（紙面向かって右方向）が検出され、画像信号ＳＤｉｎにおいて目線方向が検出されていない場合、遅延画像信号ＳＤａの目線方向に画像信号ＳＤｉｎを表示する。この例で、遅延画像信号ＳＤａの画像をスクリーン１０Ｃに表示し、画像信号ＳＤｉｎの画像をスクリーン１０Ｒに表示する。

また図１６Ｂに示すように、遅延画像信号ＳＤａにおいて目線方向が検出されておらず、画像信号ＳＤｉｎにおいて目線方向（紙面向かって左方向）が検出された場合、遅延画像信号ＳＤａの表示位置に対し、画像信号ＳＤｉｎの目線方向が合うように画像信号ＳＤｉｎを表示する。この例で、遅延画像信号ＳＤａの画像をスクリーン１０Ｃに表示し、画像信号ＳＤｉｎの画像をスクリーン１０Ｒに表示する。

また図１６Ｃに示すように、遅延画像信号ＳＤａと画像信号ＳＤｉｎ双方において目線方向が検出された場合は、遅延画像信号ＳＤａの目線方向を優先する。この際、遅延画像信号ＳＤａにおいて右斜め上方向の目線方向が検出され、画像信号ＳＤｉｎ双方において左斜め下方向の目線方向が検出た場合、すなわち、遅延画像信号ＳＤａの目線方向と画像信号ＳＤｉｎの目線方向が互いに向き合う方向である場合、目線の方向が合わさるように、垂直方向での表示位置を変えてもよい。例えば、右斜め上方向の目線方向が検出された遅延画像信号ＳＤａの画像をスクリーン１０Ｃの下位に配置し、左斜め下方向の目線方向が検出された画像信号ＳＤｉｎの画像をスクリーン１０Ｒの上位に配置する。これにより、お互いの目線方向に各々の画像を配置することができる。

このように、本発明に係る第１の実施の形態としての画像処理装置２０ａによれば、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する前後シーン関連判定部２２ａを備え、この前後シーン関連判定部２２ａは、シーン切り替え前後の画像における目線方向を検出し、当該目線方向に基づいてシーン切り替え後の画像の表示位置を設定するものである。

従って、シーンの切り替えを容易に把握できると共に、画像の目線方向からシーン切り替え前後の関係も容易に把握することができる。これにより、理解しやすい画像表示を行うことができる。

＜実施の形態２＞
図１７は、本発明に係る第２の実施の形態としての前後シーン関連判定部２２ｂの構成例を示すブロック図である。入力画像の画像信号ＳＤｉｎは、遅延回路２２１に供給され、１フレーム遅延した遅延画像信号ＳＤａが生成されるとともに、さらにもうひとつの遅延回路２２１に供給され、さらに１フレーム遅延した遅延画像信号ＳＤｂが生成される。遅延画像信号ＳＤａとＳＤｂは動きベクトル検出回路２２５に供給される。動きベクトル検出回路２２５では、遅延画像信号ＳＤａとＳＤｂから動きベクトルを検出する。動きベクトルの検出には、例えば遅延画像信号ＳＤａを８×８のブロックに分割し、遅延画像信号ＳＤｂの所定の探索範囲で、例えば差分絶対値和が最小となる位置を動きベクトルとして検出する。検出された動きベクトルは動きベクトル決定回路２２６に供給される。

動きベクトル決定回路２２６では、動きベクトル検出回路２２５から供給された動きベクトルから、画像の特徴量を示す所定の動きベクトルを決定する。例えば、全ての動きベクトルのヒストグラムを生成し、最も動きベクトルの多い動きを背景の動きとし、二番目に多い動きを画面内の主要オブジェクトの動きと定義する。そしてこの二番目に多い動きを方向決定部２２７に供給する。この際、最も数の多い動きと二番目に数の多い動きとで、数に差がない場合は、三番目の動きを主要オブジェクトの動きとして定義してもよいし、動きベクトルの総数に対して、最も数の多い動きが大半を占める場合は、動きなしとしてもよい。

方向決定部２２７では、動きベクトル決定回路２２６で決定された動きベクトルから、画像信号ＳＤｉｎの入力画像の表示方向を決定する。すなわち図２Ｂに示したように、画像信号ＳＤｉｎに対し、例えばシーンチェンジ前の画像Ｈｃにおいて決定された動きベクトルを逆向きにした動きベクトルＶｔｒが、シーンチェンジ前の主要オブジェクトの動き（表示）方向となる。この方向に画像信号ＳＤｉｎの画像Ｈｄを表示するように、方向決定部２２７では、表示方向情報ＪＰを生成する。

このように、本発明に係る第２の実施の形態としての画像処理装置２０ａによれば、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する前後シーン関連判定部２２ｂを備え、この前後シーン関連判定部２２ｂは、シーン切り替え前の画像における動きベクトルを検出し、当該動きベクトルに基づいてシーン切り替え後の画像の表示位置を設定するものである。

従って、シーンの切り替えを容易に把握できると共に、画像の動きベクトルからシーン切り替え前後の関係も容易に把握することができる。これにより、理解しやすい画像表示を行うことができる。

＜実施の形態３＞
図１８は、本発明に係る第３の実施の形態としての前後シーン関連判定部２２ｃの構成例を示すブロック図である。画像信号ＳＤｉｎは遅延回路２２１と方向決定部２３０に供給される。遅延回路２２１では、画像信号ＳＤｉｎを１フレーム遅延した遅延画像信号ＳＤａを生成し、音量検出回路２２８へ供給される。音量検出回路２２８では遅延画像信号ＳＤａに付随して複数の音声チャンネルを有した音声信号の音量を検出する。なお、この例では説明を簡単にするため、音声信号は画像信号ＳＤｉｎに重畳されているものとし、音声信号はステレオ2chの音声とする。

音量検出回路２２８では、音声信号の音量をステレオ2chそれぞれにおいて検出し、音量の情報を音量比較回路２２９に供給する。

音量比較回路２２９では、音量検出回路２８８で検出されたステレオ2chの音量の値を差分絶対値で演算し、画像の特徴量を示す当該差分絶対値と所定の閾値と比較する。所定の閾値より大きい場合は、左右の音量に有意な差があると判定して、音量の大きい方向（ステレオ2chで「Ｌ」の音量が大きい場合は左方向、「Ｒ」の音量が大きい場合は右方向）を示す情報を方向決定部２３０に供給する。また所定の閾値より小さい場合は、左右の音量に有意な差がないと判定して、処理を終了する。

方向決定部２３０では、音量比較回路２２９の判定結果に基づき、画像信号ＳＤｉｎを表示する方向を決定する。例えば、音量比較回路２２９において方向の情報が供給された場合、供給された方向を画像信号ＳＤｉｎの入力画像の表示方向情報ＪＰとして出力する。この例で、例えば図２Ｃに示したように、画像信号ＳＤｉｎに対し、シーンチェンジ前の画像におけるステレオ2chの音量に有意な差があって「Ｒ」の音量が大きい場合には、例えば右方向のスクリーン１０Ｒに画像信号ＳＤｉｎの画像Ｈｆを表示する。

なお、上記の説明において遅延回路２２１で遅延するフレーム数は１としたが、遅延するフレーム数はシーンチェンジの時点から大きく離れない限り、任意のフレーム数にしてよい。また音量を検出するフレームも１フレームの限定されることなく、例えば複数フレームの音量の平均値を検出してもよい。

また音声信号も、モノラル音声でなければ任意のチャンネルをもつものでよく、例えば5.1chサラウンドの音声信号を対象としてもよい。この場合、フロントの2ch、あるいはリアの2chで上記と同様の処理をしてもよいし、フロントとリアの合わせた音量で処理を行ってもよい。

以上のように、前後シーン関連判定部２２ａ〜２２ｃとして、目線、動き、音声を利用した場合の例を説明したが、これらは独立に用いるだけでなく、複数、あるいは全てを組み合わせて用いてもよい。その場合、例えば目線と音声で表示位置情報ＪＰが異なる場合、音声の方向を優先したり、あるいは、全ての方向で最も頻度の多い方向にしてもよい。

図３に戻り、表示位置設定部２３は、前後シーン関連判定部２２ａで決定された画像信号ＳＤｉｎの入力画像の表示方向情報ＪＰに従って、画像信号ＳＤｉｎの入力画像の表示位置を設定する。そして各プロジェクタに対応した画像信号を信号出力部２４２Ｌ、２４２Ｃ、２４２Ｒに供給する。

なお、設定された表示位置に表示領域がない場合、例えば右のスクリーン１０Ｒに映像を表示している際に、次のシーンを右側に表示したい場合などでは、表示領域がないので、現在の表示位置であるスクリーン１０Ｒに表示しつづける。

なお、シーンチェンジが発生しても表示位置に変更がない場合、表示位置をスクリーン中央に戻してもよいし、現在の位置に表示し続けてもよい。

また、シーンチェンジが発生し、画像の表示位置が変わる場合、シーンチェンジ前の画像を静止画として表示し続けてもよい。このようにすると、シーンチェンジ前後でのシーンの関連性がいっそうわかりやすくなる。

このように、本発明に係る第３の実施の形態としての画像処理装置２０ａによれば、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する前後シーン関連判定部２２ｃを備え、この前後シーン関連判定部２２ｃは、シーン切り替え前の画像における音量を検出し、当該音量に基づいてシーン切り替え後の画像の表示位置を設定するものである。

従って、シーンの切り替えを容易に把握できると共に、画像の音量からシーン切り替え前後の関係も容易に把握することができる。これにより、理解しやすい画像表示を行うことができる。

＜実施の形態４＞
図１９は、本発明に係る第４の実施の形態としてのオフライン処理を行う場合における画像処理装置２０ｂの構成例を示すブロック図である。図１９に示す入力画像の画像信号ＳＤｉｎは、蓄積部３０に入力される。蓄積部３０では、画像信号ＳＤｉｎを蓄積する。蓄積部３０は、蓄積した画像信号ＳＤｉｎをシーンチェンジ検出部２１に供給する。シーンチェンジ検出部２１は、図３の場合と同様である。

以下、リアルタイム処理の場合と同様に、シーンチェンジ検出部２１でシーンチェンジが検出されると、前後シーン関連判定部２２ａで、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する。そして表示位置設定部２３で、前後シーン関連判定部２２ａにより設定された表示位置に、シーン切り替え後の画像を表示させる画像信号ＳＤｉｎの入力画像の表示位置情報ＪＣを蓄積部３０へ供給する。蓄積部３０では、供給された各シーンごとの表示位置情報ＪＣに基づいて最終的な画像の表示位置が調整されて、信号出力部２４２Ｌ、２４２Ｃ、２４２Ｒへ供給される。

例えば、図２０Ａ〜Ｃは、画像表示の動作例を示す説明図であり、図２０Ａに示すように、蓄積部３０の図示しない制御部は、シーンチェンジ前後で表示位置が変更する場合で、表示位置の変更が連続する場合、すなわち、図２０Ｂに示す画像Ｈｇ及び図２０Ｃに示す画像Ｈｈのように表示位置が「右、右」となる場合など、連続して表示位置を変更できるように最初の画像Ｈａの表示位置を左のスクリーン１０Ｌに設定する。このようにすることで、表示位置の連続した変化にも対応できる。

このように、本発明に係る第４の実施の形態としての画像処理装置２０ｂによれば、シーンチェンジ前後の関連によって画像の表示位置を変更することで、シーン同士の関連を理解しやすくすることが可能である。さらにオフライン処理では、連続した表示位置の変更に対応することも可能で、より理解しやすくなる。さらにシーンチェンジ前の画像を静止画として表示しつづけることも可能で、よりいっそう理解しやすくなる。

＜実施の形態５＞
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。図２１は、本発明に係る第５の実施の形態としてのコンピュータの構成例を示すブロック図である。図２１に示すコンピュータは、ＣＰＵ（Central Processing Unit）３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ（Read Only Memory）３０２，ＲＡＭ（Random Access Memory）３０３，ＨＤＤ（Hard Disk Drive）３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像信号入力部３１４，画像信号出力部３１５が接続されている。

外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。

ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはＨＤＤ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはＨＤＤ３０４には、上述の画像処理装置と同様な処理をコンピュータで実行させるための画像処理プログラムを予め記憶させて、画像信号入力部３１４に入力された画像信号ＳＤｉｎに基づき出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して、画像信号出力部３１５から出力する。また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部３１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしても良い。

図２２は、リアルタイム処理の場合における画像処理プログラムの全体構成例を示すフローチャートである。図２２に示すステップＳＴ１では、シーン判別を行う。図２３はシーン判別の動作例を示すフローチャートである。図２３に示すステップＳＴ１１では、フレーム間の差分平均値Ｄａｖとフレーム内の輝度平均値Ｙａｖを算出してステップＳＴ１２に進む。ステップＳＴ１２は、輝度平均値Ｙａｖを用いて差分平均値Ｄａｖの正規化を行い正規化値Ｅを算出する。

ステップＳＴ１３では、正規化値Ｅと閾値を比較してシーンチェンジであるか否かを判別する。ここで、正規化値Ｅが閾値以下であるときにはステップＳＴ１４に進み、同じシーンの画像と判別する。また、正規化値Ｅが閾値よりも大きいときにはステップＳＴ１５に進み、シーンチェンジであると判別する。このようにして正規化値Ｅに基づきシーンの判別を行う。

なお、シーン判別動作では、上述のように相関係数ｒを算出して、この相関係数ｒと閾値を比較してシーンチェンジを検出するものとしても良い。この場合、ステップＳＴ１１とステップＳＴ１２の処理に替えて、上述の式（４）で示した相関係数ｒの算出を行い、ステップＳＴ１３では相関係数ｒが閾値よりも小さくないときにはステップＳＴ１４に進み同じシーンの画像と判別する。また相関係数ｒが閾値よりも小さいときにはステップＳＴ１５に進み、シーンチェンジであると判別する。

図２２のステップＳＴ２では、シーンの切り替えが検出されたか否かを判別してシーン切り替えが判別されていないときにはステップＳＴ１に戻る。ステップＳＴ２でシーン切り替えであると判別されたときにはステップＳＴ３に進む。ステップＳＴ３では、シーン切り替え前後の画像の関連を判別する。

図２４は、目線による前後シーン関連判別の動作例を示すフローチャートである。図２４に示すステップＳＴ３１１では、入力画像の画像信号をＨＳＶに変換する。ステップＳＴ３１２では、ＨＳＶに変換された画像から、Ｈｕｅが所定の値の領域を抽出する。ステップＳＴ３１３では、抽出された領域で水平方向の画素が最も連続する値を抽出し、その位置を垂直基準点とするとともに、連続する画素の数に所定の演算を行った値を横枠として検出する。

ステップＳＴ３１４では、ステップＳＴ３１３で検出された横枠の値に所定の演算を行うことで縦枠の長さを求め、上述の垂直基準点に基づいて縦枠を設定する。ステップＳＴ３１５では、ステップＳＴ３１３とステップＳＴ３１４で検出された横枠、縦枠で囲まれる領域を抽出する。そしてステップＳＴ３１６で、あらかじめ用意した標準的な顔画像のテンプレートと比較し、顔画像であるか否かを識別する。この際、標準的な顔画像のテンプレートでは、顔向きの異なるものも用意し、顔画像の判別と同時に顔向きも検出する。ステップＳＴ３１７で、顔画像が検出されたか否かを判定する。顔画像が検出された場合は、ステップＳＴ３１８で、標準的な顔画像のテンプレートの黒目領域の動きベクトルから目線を検出し、検出した目線の方向を表示位置として設定する。顔画像が検出されない場合は処理を終了する。

図２５は、動きベクトルによる前後シーン関連判別の動作例を示すフローチャートである。ステップＳＴ３２１では、入力画像から例えば８×８画素のブロックごとに、１フレーム前の画像との間で動きベクトルを検出する。ステップＳＴ３２２では、検出された動きベクトルのヒストグラムから、最も数の多い動きベクトルを背景の動きとし、二番目に多い動きベクトルを抽出する。そしてステップＳＴ３２３で、二番目に多い動きベクトルの数が、動きベクトルの総数に占める割合を調べる。すなわち二番目に多い動きベクトルの数が、動きベクトルの総数に対して十分な数である場合、背景動き以外が存在するとして、ステップＳＴ３２４に進む。二番目に多い動きベクトルの数が、動きベクトルの総数に対して十分な数でない場合、背景動き以外が存在しないものとして処理を終了する。ステップＳＴ３２４では、抽出された二番目に多い動きベクトルの逆向きの動きを表示位置として設定する。

図２６は、音量による前後シーン関連判別の動作例を示すフローチャートである。ステップＳＴ３３１では、入力されたステレオ2chの音声から、左右の音量を検出する。ステップＳＴ３３２では、検出されたステレオ2chの音量を比較する。ステップＳＴ３３３では、左右の音量に差があるかどうかを判別し、差がある場合は、ステップＳＴ３３４に進み、音量の大きい方向を表示位置として設定する。左右の音量に差がない場合は、処理を終了する。

図２２のステップＳＴ４では、ステップＳＴ３で判別された表示位置に画像を表示するための出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成する。この出力信号の生成では、フレームメモリに画像を記憶させるものとして、画像の表示位置に応じたタイミングでフレームメモリから画像信号を読み出して、この読み出した画像信号をスクリーン毎に分割することで、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。あるいは記憶領域が画像表示領域に対応されているメモリに、表示位置に応じて画像信号を記憶させるものとして、各スクリーンに対応する領域の信号を用いることで、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。

続いてステップＳＴ５に進む。ステップＳＴ５では、入力画像の画像信号が終了したか否かを判定する。画像信号が終了しなかった場合ステップＳＴ１へ戻って画像処理を継続する。画像信号が終了した場合、画像処理の終了となる。

図２７は、オフライン処理の場合における画像処理プログラムの全体構成例を示すフローチャートである。図２７に示すステップＳＴ２１では、シーン判別を行う。

ステップＳＴ２２では、シーンの切り替えが検出されたか否かを判別してシーン切り替えが判別されていないときにはステップＳＴ２１に戻る。ステップＳＴ２２でシーン切り替えであると判別されたときにはステップＳＴ２３に進む。ステップＳＴ２３では、シーン切り替え前後の画像の関連を判別する。

ステップＳＴ２４では、全シーンの前後において前後シーンの関連判別を行ったか判定する。全シーンの前後において関連判別が終了していない場合は、ステップＳＴ２１に戻り処理を継続する。全シーンの前後において関連判別が終了した場合は、ステップＳＴ２５へ進む。

ステップＳＴ２５では、全シーンの前後で判別された表示位置から、連続して表示位置が変更する場合を抽出し、連続して表示位置を変更して表示できるように、表示位置の設定を行う。

ステップＳＴ２６では、ステップＳＴ２５で判別された表示位置に画像を表示し、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成する。この出力信号の生成では、フレームメモリに画像を記憶させるものとして、画像の表示位置に応じたタイミングでフレームメモリから画像信号を読み出して、この読み出した画像信号をスクリーン毎に分割することで、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。あるいは記憶領域が画像表示領域に対応されているメモリに、表示位置に応じて画像信号を記憶させるものとして、各スクリーンに対応する領域の信号を用いることで、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。

このように、本発明に係る第５の実施の形態としての画像処理方法及び画像処理プログラムによれば、シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいてシーン切り替え後の画像の表示位置を設定するものである。この例で、画像の特徴量として目線方向や動きベクトル、音声を用いる。

従って、シーンの切り替えを容易に把握できると共に、画像の内容からシーン切り替え前後の関係も容易に把握することができる。これにより、理解しやすい画像表示を行うことができる。

なお、上述の実施の形態におけるスクリーンやプロジェクタは例示的なものであり、画面サイズや数も自由に変更可能である。また、他の種類のディスプレイ、例えば１面の広画角ディスプレイや、シリンドリカルなどの曲面ディスプレイなどを用いてもよい。このように、表示画像のサイズよりも画像表示領域が大きければ、本願発明のように現実世界に忠実で臨場感の高い画像表示が可能である。

また、上述の実施の形態では、画像処理装置２０ｂの内部に蓄積部３０を設けるものとしたが、外部の情報記憶装置を利用するものとしても良い。また蓄積部３０を着脱可能とすれば、表示制御部の機能を有する他の画像表示システムでも、この蓄積部３０に記憶された画像信号ＳＤｉｎや表示位置情報ＪＣを利用することで、上述のような臨場感が高く理解しやすい画像表示を行うことが可能となる。

さらに、新たに映像ソースや別のフォーマットを作らなくても、既に存在しているコンテンツの画像信号を用いて本発明の処理を施すことで、従来よりも臨場感が高く理解のしやすい画像表示を行うことができる。

＜実施の形態６＞
続いて、図２８〜図３０を参照して本発明に係る再生情報生成装置と再生情報生成方法および再生情報生成プログラムについての実施の形態を説明する。図２８は、本発明に係る第６の実施の形態としての再生情報生成装置５０の構成例を示すブロック図であり、図２９は情報再生装置６０の構成例を示すブロック図である。この再生情報生成装置５０及び情報再生装置６０において、上述した画像処理装置２０ａと同一の構成要素には同一符号を付し、その詳細な説明は省略する。

再生情報生成装置５０及び情報再生装置６０は、画像処理装置２０ａを分離して構成したものである。すなわち、再生情報生成装置５０は、入力画像の画像信号ＳＤｉｎを処理して当該動画像の再生情報の一例であるフレームの表示位置情報ＪＰを生成する装置であって、シーンチェンジ検出部２１及び前後シーン関連判定部２２ａから構成される。情報再生装置６０は、表示位置情報ＪＰに基づいて、画像信号ＳＤinを処理して当該画像を再生する装置である。

図２８に示す再生情報生成装置５０のシーンチェンジ検出部２１は画像信号ＳＤｉｎが供給され、この画像信号ＳＤｉｎに基づいてフレームにおけるシーンチェンジを検出してシーンチェンジ検出信号ＳＣを前後シーン関連判定部２２ａに出力する。この前後シーン関連判定部２２ａは、シーンチェンジ検出信号ＳＣが供給されたときに、前後シーン関連判定部２２ａで、画像の特徴量を示す顔の向きや目線方向によってシーンチェンジ前後の関連が判定され、入力画像の画像表示位置を表示位置情報ＪＰとして出力端子５１に出力する。

この出力端子５１には、例えばＵＳＢメモリなどの外部記憶媒体（図示せず）が接続され、このＵＳＢメモリに表示位置情報ＪＰが保存される。これにより、各シーンの表示位置を示す表示位置情報ＪＰを提供できるようになる。また、出力端子５１には、ＬＡＮ（Local Area Network）ケーブルなどの通信回線が接続され、例えばインターネット通信網を経由して表示位置情報ＪＰがユーザーのＰＣ（Personal Computer）にダウンロードされる。

図２９に示す情報再生装置６０は、例えば外部記憶媒体やインターネット経由により取得された表示位置情報ＪＰを読み出し、この表示位置情報ＪＰに基づいて、入力画像の画像信号ＳＤｉｎを処理して当該画像を再生する。この情報再生装置６０は、表示位置設定部２３ 及び信号出力部２４２Ｌ，２４２Ｃ，２４２Ｒから構成される。

表示位置設定部２３は表示位置情報ＪＰに基づいて、画像信号ＳＤｉｎを分割して信号出力部２４２Ｌ，２４２Ｃ，２４２Ｒに供給する。

信号出力部２４２Ｌ，２４２Ｃ，２４２Ｒは、画像メモリを用いて構成する。信号出力部２４２Ｌは、画像信号ＳＤｉｎが供給されたとき、画像メモリに順次画像信号ＳＤｉｎを書き込む。

また、信号出力部２４２Ｌは、書き込まれた画像信号ＳＤｉｎを読み出して出力信号ＳＤＬとしてプロジェクタ１２Ｌに出力する。画像信号ＳＤｉｎが分割されて供給された場合、信号出力部２４２Ｌは、画像メモリで画像信号のない部分は、例えば黒表示となる画像信号を記憶させる。

また、信号出力部２４２Ｃ，２４２Ｒも信号出力部２４２Ｌと同様に構成されており、供給された画像信号ＳＤｉｎを画像メモリに順次書き込む。また、書き込まれた画像信号ＳＤｉｎを読み出し、信号出力部２４２Ｃ，２４２Ｒは、出力信号ＳＤＣ，ＳＤＲとしてプロジェクタ１２Ｃ，１２Ｒに出力する。画像信号ＳＤｉｎが分割されて供給された場合、画像メモリで画像信号のない部分は、例えば黒表示となる画像信号を記憶させる。

図３０は、リアルタイム処理の場合であって、表示位置情報ＪＰの生成例を示すフローチャートである。このフローチャートは、再生情報生成プログラムの内容を示すものである。図３０に示すステップＳＴ１では、シーン判別を行う。ステップＳＴ２では、シーンの切り替えが検出されたか否かを判別してシーン切り替えが判別されていないときにはステップＳＴ１に戻る。ステップＳＴ２でシーン切り替えであると判別されたときにはステップＳＴ３に進む。ステップＳＴ３では、シーン切り替え前後の画像の関連を判別する。例えば、画像における顔の向きや目線方向、画像の動きベクトルや画像における左右の音量差などに基づいて画像の関連を判別する。

ステップＳＴ４’では、ステップＳＴ３で判別された画像の関連に基づいて画像の表示位置における表示位置情報ＪＰを生成してステップＳＴ５に進む。

ステップＳＴ５では、入力画像の画像信号ＳＤｉｎが終了したか否かを判定する。画像信号ＳＤｉｎが終了しなかった場合ステップＳＴ１へ戻って画像処理を継続する。画像信号ＳＤｉｎが終了した場合、画像処理の終了となる。

このように、本発明に係る第６の実施の形態としての再生情報生成装置５０、再生情報生成方法および再生情報生成プログラムによれば、シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいてシーン切り替え後の画像の表示位置を、シーン切り替え前の画像と関連を持たせた表示位置に設定するための表示位置情報ＪＰを生成するものである。

従って、生成された表示位置情報ＪＰに基づいて画像を再生することにより、シーンの切り替えを容易に把握できると共に、画像の内容からシーン切り替え前後の関係も容易に把握することができる。これにより、理解しやすい画像表示を行うことができる。

本発明は、テレビジョン放送番組や映画等の入力画像における画像信号を処理する画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラムに適用して好適である。

本発明に係る第１の実施の形態としての画像処理装置２０を用いた画像表示システム１００の構成例を示す概略図である。 画像表示の動作例を示す説明図である。 リアルタイム処理を行う場合の画像処理装置２０ａの構成例を示すブロック図である。 シーンチェンジ検出部２１の構成例を示すブロック図である。 画素の間引き処理例を示す説明図である。 相関係数ｒを用いるシーンチェンジ検出部２１ａの構成例を示すブロック図である。 前後シーン関連判定部２２ａの構成例を示すブロック図である。 顔領域抽出部２２２の構成例を示すブロック図である。 （Ａ）及び（Ｂ）は、肌色領域抽出部２２２２の動作例を示す説明図である。 （Ａ）及び（Ｂ）は、横枠検出部２２２３の動作例を示す説明図である。 （Ａ）及び（Ｂ）は、縦枠検出部２２２４の動作例を示す説明図である。 （Ａ）及び（Ｂ）は、領域抽出部２２２５の動作例を示す説明図である。 （Ａ）及び（Ｂ）は、顔画像識別部２２２６の動作例（その１）を示す説明図である。 （Ａ）〜（Ｅ）は、顔画像識別部２２２６の動作例（その２）を示す説明図である。 （Ａ）〜（Ｃ）は、目線検出部２２３の動作例を示す説明図である。 （Ａ）〜（Ｃ）は、画像表示の動作例を示す説明図である。 本発明に係る第２の実施の形態としての前後シーン関連判定部２２ｂの構成例を示すブロック図である。 本発明に係る第３の実施の形態としての前後シーン関連判定部２２ｃの構成例を示すブロック図である。 本発明に係る第４の実施の形態としてのオフライン処理を行う場合における画像処理装置２０ｂの構成例を示すブロック図である。 Ａ〜Ｃは、画像表示の動作例を示す説明図である。 本発明に係る第５の実施の形態としてのコンピュータの構成例を示すブロック図である。 リアルタイム処理の場合における画像処理プログラムの全体構成例を示すフローチャートである。 シーン判別の動作例を示すフローチャートである。 目線による前後シーン関連判別の動作例を示すフローチャートである。 動きベクトルによる前後シーン関連判別の動作例を示すフローチャートである。 音量による前後シーン関連判別の動作例を示すフローチャートである。 オフライン処理の場合における画像処理プログラムの全体構成例を示すフローチャートである。 本発明に係る第６の実施の形態としての再生情報生成装置５０の構成例を示すブロック図である。 情報再生装置６０の構成例を示すブロック図である。 リアルタイム処理の場合であって、表示位置情報ＪＰの生成例を示すフローチャートである。

符号の説明

１０Ｌ，１０Ｃ，１０Ｒ・・・スクリーン、１２Ｌ，１２Ｃ，１２Ｒ・・・プロジェクタ、２０、２０ａ、２０ｂ・・・画像処理装置、２１・・・シーンチェンジ検出部、２２ａ、２２ｂ、２２ｃ・・・前後シーン関連判定部（表示位置制御部）、２３・・・表示位置設定部、３０・・・蓄積部、５０・・・再生情報生成装置、６０・・・情報再生装置、１００・・・画像表示システム、２２１・・・遅延回路（遅延部）、２２２・・・顔領域抽出部、２２３・・・目線検出部、２２４，２２７，３０・・・方向決定部、２２５・・・動きベクトル検出回路（動きベクトル検出部）、２２６・・・動きベクトル決定回路（動きベクトル決定）、２２８・・・音量検出回路（音量検出部）、２２９・・・音量比較回路（音量比較部）、２４２Ｌ，２４２Ｃ，２４２Ｒ・・・信号出力部、２２２１・・・ＨＳＶ変換部、２２２２・・・肌色領域抽出部、２２２３・・・横枠検出部、２２２４・・・縦枠検出部、２２２５・・・領域抽出部、２２２６・・・顔画像識別部

Claims (11)

1. 入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出するシーンチェンジ検出部と、
   前記シーンチェンジ検出部での検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する表示位置制御部と、
   前記表示位置制御部で設定された表示位置に、前記シーン切り替え後の画像を表示させる表示位置設定部とを備え、
   前記表示位置制御部は、
   前記シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定することを特徴とする画像処理装置。
2. 前記表示位置制御部は、
   前記画像信号から顔画像の領域を抽出する第１の顔領域抽出部と、
   前記第１の顔領域抽出部で抽出された顔画像の領域から第１の目線方向を検出する第１の目線検出部と、
   前記画像信号を遅延させて遅延画像信号を供給する遅延部と、
   前記遅延画像信号から顔画像の領域を抽出する第２の顔領域抽出部と、
   前記第２の顔領域抽出部で抽出された顔画像の領域から第２の目線方向を検出する第２の目線検出部と、
   前記第１及び第２の目線方向を検出後、前記特徴量を示す当該第１及び第２の目線方向に基づいて、前記画像信号の入力画像を表示する方向を決定する方向決定部と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記顔領域抽出部は、
   前記画像信号又は遅延画像信号から画像の値が一定の範囲内である画素を抽出し肌色領域とする肌色領域抽出部と、
   前記肌色領域抽出部により抽出された肌色領域の画素を水平ラインの方向でカウントし、カウント数が最大となる水平ラインを検出し、当該水平ラインの位置から基準点を求める横枠検出部と、
   前記横枠検出部により検出された水平ラインの長さから垂直ラインの長さを求め、前記基準点を当該垂直ラインの中心とする縦枠検出部と、
   前記横枠検出部で検出された水平ライン、及び前記縦枠検出部で検出された垂直ラインに基づいて該当する画像の領域を抽出する領域抽出部と、
   所定の顔画像のテンプレートを有し、当該テンプレートと前記領域抽出部で抽出された画像の領域との差分値を算出し、当該差分値と所定の閾値と比較し、比較結果に基づいて前記画像の領域が顔画像であるか否かを識別する顔画像識別部と
   を備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記表示位置制御部は、
   前記画像信号を遅延させて第１の遅延画像信号を供給する第１の遅延部と、
   前記第１の遅延画像信号を遅延させて第２の遅延画像信号を供給する第２の遅延部と、
   前記第１及び第２の遅延画像信号から動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトル検出部で検出された動きベクトルから、前記特徴量を示す所定の動きベクトルを決定する動きベクトル決定部と、
   前記動きベクトル決定部で決定された動きベクトルから、前記画像信号の入力画像の表示方向を決定する方向決定部と
   を備えることを特徴とする請求項１に記載の画像処理装置。
5. 前記画像信号を遅延させて遅延画像信号を供給する第１の遅延部と、
   前記遅延画像信号に付随して複数の音声チャンネルを有した音声信号の音量を検出する音量検出部と、
   前記音量検出部で検出された各音声チャンネルの音量の差分値を求め、前記特徴量を示す当該差分値と所定の閾値と比較し、
   比較結果に基づいて前記各音声チャンネルの音量に差があるか否かを判定する音量比較部と、
   前記音量比較部の判定結果に基づき、前記画像信号の入力画像を表示する方向を決定する方向決定部と
   を備えることを特徴とする請求項１に記載の画像処理装置。
6. 前記入力画像の画像信号を蓄積する蓄積部を備え、
   前記シーンチェンジ検出部は、前記蓄積部に蓄積された画像信号に基づいて前記入力画像のシーン切り替えを検出し、
   前記表示位置制御部は、シーン切り替えが検出されると、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定し、
   前記表示位置設定部は、前記設定された表示位置に、前記シーン切り替え後の画像を表示させるための表示位置情報を前記蓄積部へ供給し、
   前記蓄積部では、供給された各シーンごとの前記表示位置情報から、最終的な画像の表示位置が調整されることを特徴とする請求項１に記載の画像処理装置。
7. 入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出する第１のステップと、
   検出された検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する第２のステップと、
   設定された前記表示位置に、前記シーン切り替え後の画像を表示させる第３のステップとを有し、
   前記第２のステップで、前記シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定することを特徴とする画像処理方法。
8. コンピュータに入力画像の画像信号を処理させるプログラムであって、
   前記入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出する第１のステップと、
   検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する第２のステップと、
   設定された前記表示位置に、前記シーン切り替え後の画像を表示させる第３のステップとを有し、
   前記第２のステップで、前記シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定させることを特徴とする画像処理プログラム。
9. 入力画像の画像信号を処理して当該入力画像の再生情報を生成する装置であって、
   前記入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出するシーンチェンジ検出部と、
   前記シーンチェンジ検出部での検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する表示位置制御部とを備え、
   前記表示位置制御部は、
   前記シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定するための再生情報を生成することを特徴とする再生情報生成装置。
10. 入力画像の画像信号を処理して当該入力画像の再生情報を生成する方法であって、
    前記入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出する第１のステップと、
    検出された検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する第２のステップとを有し、
    前記第２のステップで、
    前記シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定するための再生情報を生成することを特徴とする再生情報生成方法。
11. コンピュータに入力画像の画像信号を再生するための再生情報を生成させるプログラムであって、
    前記入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出する第１のステップと、
    検出された検出結果に基づき、シーン切り替え後の画像をシーン切り替え前の画像と関連を持たせた表示位置に設定する第２のステップとを有し、
    前記第２のステップで、
    前記シーン切り替え前後の画像における特徴量を検出し、当該特徴量に基づいて前記シーン切り替え後の画像の表示位置を設定するための再生情報を生成させることを特徴とする再生情報生成プログラム。