JP2007072564A - マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム - Google Patents

Abstract

【課題】 マルチメディア再生におけるユーザの利便性をさらに高める。
【解決手段】 メニュー操作により指定されたコンテンツを再生するマルチメディア再生装置であって、ユーザの動画像を入力する動画像入力手段と、コンテンツ再生に関する操作を受け付けるメニュー画像を生成するメニュー画像生成手段と、前記入力した動画像の鏡面動画像と前記メニュー画像との重畳動画像を生成する重畳画像生成手段と、前記重畳動画像内に設定された動作認識領域において、ユーザの動作の方向を判定する動作方向判定手段とを備え、前記メニュー画像生成手段は、前記判定されたユーザの動作方向を、前記メニュー画像の操作指示として受け付けることを特徴とするマルチメディア再生装置。
【選択図】 図１

Description

本発明は、ビデオカメラで撮影した画像からユーザの動作を認識してメニュー操作を受け付ける情報処理システムに関する。

特許文献１には、再生できるメディアの種類を示した複数のメディアアイコンからなるメディアアイコン配列と、再生できるコンテンツの項目を示した複数のコンテンツアイコンからなるコンテンツアイコン配列７２とを、表示画面の中央付近において交差させる形で表示することにより、マルチメディア再生におけるユーザの利便性を高めることが開示されている。

特開２００４−３５６７７４号公報

特許文献１に開示されている入力インタフェースは、上下方向の指示と左右方向の指示により、所望のマルチメディアコンテンツを選択し、再生、実行することができるため万人にわかりやすい操作性を有している。このため、特に、ユーザの年齢層が幅広いマルチメディア再生システムの分野での応用が期待される。

一方、マルチメディア再生システムの分野での応用には、さらに、視覚的で直感的な操作性も要求される。

本発明は、マルチメディア再生におけるユーザの操作性をさらに高めることを目的とする。

上記課題を解決するための本発明の第１の態様であるマルチメディア再生装置は、
メニュー操作により指定されたコンテンツを再生するマルチメディア再生装置であって、
ユーザの動画像を入力する動画像入力手段と、
コンテンツ再生に関する操作を受け付けるメニュー画像を生成するメニュー画像生成手段と、
前記入力した動画像の鏡面動画像と前記メニュー画像との重畳動画像を生成する重畳画像生成手段と、
前記重畳動画像内に設定された動作認識領域において、ユーザの動作の方向を判定する動作方向判定手段とを備え、
前記メニュー画像生成手段は、前記判定されたユーザの動作方向を、前記メニュー画像の操作指示として受け付けることを特徴とする。

ユーザは重畳動画像に含まれる自身の動作により、メニュー操作を行なうことができるため、視覚的で直感的な操作性を得ることができる。したがって、マルチメディア再生におけるユーザの操作性がさらに高められることになる。

上記課題を解決するための本発明の第２の態様であるメニュー操作受付方法は、
メニュー操作により指定されたコンテンツを再生するマルチメディア再生装置におけるメニュー操作受付方法であって、
ユーザの動画像を撮像する撮像ステップと、
コンテンツ再生に関する操作を受け付けるメニュー画像を生成するメニュー画像生成ステップと、
前記ユーザの動画像の鏡面動画像と前記メニュー画像との重畳動画像を生成する重畳画像生成ステップと、
前記重畳動画像内に設定された動作認識領域において、ユーザの動作の方向を判定する動作方向判定ステップと、
前記判定されたユーザの動作方向を、前記メニュー画像の操作指示として受け付ける操作指示受付ステップとを有することを特徴とする。

上記課題を解決するための本発明の第３の態様であるコンピュータプログラムは、
情報処理装置をメニュー操作により指定されたコンテンツを再生するマルチメディア再生装置として機能させるコンピュータプログラムであって、
ユーザの動画像を入力する動画像入力手段と、
コンテンツ再生に関する操作を受け付けるメニュー画像を生成するメニュー画像生成手段と、
前記入力した動画像の鏡面動画像と前記メニュー画像との重畳動画像を生成する重畳画像生成手段と、
前記重畳動画像内に設定された動作認識領域において、ユーザの動作の方向を判定する動作方向判定手段として情報処理装置をさらに機能させ、
前記メニュー画像生成手段は、前記判定されたユーザの動作方向を、前記メニュー画像の操作指示として受け付けることを特徴とする。

以下、本発明の形態について、図面を用いて説明する。

図１は、本発明の実施の形態におけるマルチメディア再生システムの基本的な構成を示す図である。ここで、マルチメディア再生システムは、各種メディアを介した様々なコンテンツを再生または実行できる複合機器である。コンテンツとしては、例えば、放送コンテンツ、ウェブコンテンツ、ゲーム、映画、音楽、静止画像、動画等が挙げられる。

本図に示すように、マルチメディア再生システム１０は、マルチメディア再生装置２０を中心として構成される。マルチメディア再生装置２０は、本質的には、ＣＰＵ、メモリ等を備える情報処理装置であり、各種コンピュータプログラムにしたがって処理を行なうことで、以下に示すような種々の機能を実現することができる。

マルチメディア再生装置２０には、例えば、テレビジョン受像機３０と操作部４０とが接続される。テレビジョン受像機３０は、表示画面５０を備え、マルチメディア再生装置２０から出力される映像や音声を表示または出力する機能を有している。操作部４０は、ユーザによって操作されることによりコンテンツ再生に関する各種の指示を取得する装置である。この操作部４０は、ゲーム用のコントローラとして機能させてもよいし、マルチメディア再生装置２０がもつ各種機能の制御に用いられるリモートコントローラとして実現してもよい。ただし、本実施形態では、操作部４０は、必ずしも備える必要はない。すなわち、ユーザは、操作部４０を用いることなく、コンテンツ再生に関する各種指示を行なうことができる。

マルチメディア再生装置２０は、各種メディアを通じてコンテンツ等の電子情報を入力することができる。

例えば、放送コンテンツとして、テレビジョン回線３２を介して番組の映像や音声などのデータがマルチメディア再生装置２０に入力される。放送コンテンツは、マルチメディア再生装置２０により録画されてもよいし、マルチメディア再生装置２０による復号処理などを経てテレビジョン受像機３０へ出力されてもよい。

また、ウェブコンテンツとして、インターネット回線３４を介してウェブ上のデータがマルチメディア再生装置２０に入力される。このウェブコンテンツは、マルチメディア再生装置２０に保存されてもよいし、マルチメディア再生装置２０がもつゲーム機能などの各種機能により利用されてもよい。

マルチメディア再生装置２０は、ＤＶＤやＣＤなどの光ディスク３６に格納されたデータの読取機能と、着脱可能なメモリカードに格納されたデータの読取機能および書込機能とを有する。マルチメディア再生装置２０は、光ディスク３６からは映画や音楽アルバムなどのデータを読み込んでもよいし、メモリカード３８からは撮影画像や撮影映像などのデータを読み込んでもよい。

本実施形態においてマルチメディア再生装置２０には、ＵＳＢ等のケーブル４７を介して、ビデオカメラ４５が接続される。ビデオカメラ４５は、好ましくは、テレビジョン受像機３０の上に置くようにし、テレビジョン受像機３０に向き合った位置にいるユーザの姿、特に上半身を撮影できるようにする。

マルチメディア再生装置２０は、ビデオカメラ４５が撮影した動画像を取り込んで、鏡面処理（左右反転処理）を行なった上でテレビジョン受像機３０の表示画面５０にリアルタイムに表示させる。すなわち、テレビジョン受像機３０に映し出されるユーザの動作等は、ユーザが鏡を見ているのと同じ状態となる。

また、マルチメディア再生装置２０は、ビデオカメラ４５が取り込んだ鏡面動画像と、マルチメディア再生装置２０が生成したコンピュータ画像、特に、メニュー画像とを重ね合わせた重畳画像を作成してテレビジョン受像機３０に表示させる。これにより、ユーザが、テレビジョン受像機３０の表示画面５０に表示された自身の姿とメニュー画像とを見ながら動作を行ない、メニュー操作ができるようになっている。

ここで、本実施形態で用いるメニュー形式の概略について図２を参照して説明する。なお、このメニュー構成については、上述の特許文献１（特開２００４−３５６７７４号公報）に詳しく説明されているため、詳細には特許文献１を参照されたい。

ただし、本発明は、以下に説明するメニュー形式のみならず、種々の形式のメニュー操作に適用することができる。

本図に示すように、表示画面５０において、水平方向に複数のメディアアイコンが並んだメディアアイコン配列７０と、垂直方向に複数のコンテンツアイコンが並んだコンテンツアイコン配列７２とが交差する二次元配列が表示される。

メディアアイコン配列７０には、マルチメディア再生装置２０が再生可能なメディアの種類を示すマークとして、写真アイコン５２、音楽アイコン５４、動画アイコン５６、放送アイコン５８、ディスクアイコン６０、ゲームアイコン６２が含まれる。

コンテンツアイコン配列７２には、マルチメディア再生装置２０が実際に再生・実行可能な複数のコンテンツのサムネイルなどのアイコンが含まれる。

メディアアイコン配列７０とコンテンツアイコン配列７２が交差する領域に位置するメディアアイコンは、動画アイコン５６として図示するように他のメディアアイコンと異なる色彩にて拡大表示される。交差領域７６は、表示画面５０の略中央に位置したままその位置が据え置かれる。そして、後述するようにユーザの動作に基づく左右方向の指示に応じてメディアアイコンの配列全体が左右方向に移動し、交差領域７６に位置したメディアアイコンの色彩とアイコンサイズが変化する。

したがって、ユーザは左右の方向を指示をするだけでメディアを選択することができる。また、交差領域７６に位置するメディアアイコンをその他のメディアアイコンと異なる表示態様で表示するため、ユーザは容易にメディアを選択することができる。

メディアアイコンが左右方向へ移動中であって交差領域７６にいずれのメディアアイコンも位置していないときにはコンテンツアイコン配列７２は表示させず、いずれかのメディアアイコンが交差領域７６で位置確定したときに、コンテンツアイコン配列７２が交差領域７６から上下方向に繰り出すように展開表示される。

ユーザは、交差領域７６を目標地点にしてメディアアイコンを左右にスクロール操作するだけでそのメディアに属するコンテンツを認識することができ、また展開表示されるコンテンツからメディアを認識することもできる。

交差領域７６の下部に位置する注目領域７５は、ユーザによる操作の対象となるコンテンツのアイコンが表示される領域である。注目領域７５はコンテンツアイコン配列７２の一部を構成するとともに、注目領域７５内に位置するコンテンツアイコンは、注目サムネイル６４として拡大表示される。その他のコンテンツアイコンである映像サムネイル６６は、注目サムネイル６４より小さいサイズで表示される。注目サムネイル６４の近傍位置、例えば、右方には注目サムネイル６４の映像に関する属性として、タイトルと録画日とが表示される。

ユーザが上下方向の指示を行なう間は、その指示に応じて各コンテンツアイコンが上下方向に移動する。コンテンツアイコンの上下方向の移動は、コンテンツアイコン配列７２の領域全体を上下方向にスクロールさせることにより実現される。

マルチメディア再生装置２０は、各コンテンツアイコンを上下に素早く移動させる間はこれらをすべて同サイズで表示し、上下の移動が停止されていずれかのコンテンツアイコンが注目領域７５で位置確定すると、そのコンテンツアイコンである注目サムネイル６４のサイズを拡大させる。このとき、注目サムネイル６４の明度、彩度、色相などの要素をさらに変化させてもよいし、点滅表示してもよい。

この状態で注目サムネイル６４として示されたコンテンツの再生決定指示を、後述する動作によりユーザから取得すると、マルチメディア再生装置２０は、メニュー画面の画像データを非表示にし、選択されたコンテンツの再生・実行を開始する。

図２において、写真アイコン５２は、マルチメディア再生装置２０に読み込まれた画像を再生する場合に選択されるべきアイコンである。再生の対象となる画像は、主にデジタルカメラで撮影された静止画および動画であり、例えばメモリカード３８から読み込まれる。写真アイコン５２が交差領域７６に位置したときに展開表示されるコンテンツアイコンは、静止画または動画のサムネイルである。属性としては、撮影日やファイルサイズなどの撮影情報が表示される。

音楽アイコン５４は、マルチメディア再生装置２０に読み込まれた音楽データを再生する場合に選択されるべきアイコンである。再生の対象となる音楽データは、例えば光ディスク３６から読み込まれたデータが特定の圧縮形式で符号化されて生成される。音楽アイコン５４が交差領域７６に位置したときに展開表示されるコンテンツアイコンは、楽曲単位で表示されてもよいし、アルバム単位で表示されてもよい。属性としては、楽曲やアルバムのタイトル、再生時間などの情報が表示される。音楽データは楽曲のプロモーションビデオなどの動画データを含んでもよく、その場合、その動画のサムネイルをコンテンツアイコンとしてもよい。

動画アイコン５６は、マルチメディア再生装置２０に格納された録画映像を再生する場合に選択されるべきアイコンである。再生の対象となる録画映像は、テレビジョン回線３２から入力されたテレビ番組を録画した動画像や、デジタルビデオカメラで撮影された動画像であり、特定の圧縮形式で符号化される。この場合、動画像に含まれるフレームを縮小したサムネイルをコンテンツアイコンとする。属性としては、記録日や再生時間などの情報が表示される。

放送アイコン５８は、テレビジョン回線３２から入力されるテレビ番組を視聴する場合に選択されるべきアイコンである。視聴の対象として展開されるコンテンツアイコンは、番組単位であってもよいし、放送局や放送チャンネル単位であってもよい。属性としては、ＥＰＧ（電子番組案内）のデータに基づいて取得される放送局名、放送チャンネル名、番組タイトル、放送時間などの情報が表示される。

ディスクアイコン６０は、光ディスク３６に格納された映像や音楽を視聴する場合に選択されるべきアイコンである。光ディスク３６としてＤＶＤが認識されたときは「ＤＶＤ」の文字をメディアアイコンの下方に表示し、ＣＤが認識されたときは「ＣＤ」の文字をメディアアイコンの下方に表示する。ＤＶＤまたはＣＤに動画像が格納されているときは、その動画像のサムネイルをコンテンツアイコンとする。ＤＶＤまたはＣＤに音楽が格納されているときは、音楽を示すマークや曲番または曲ジャンルを示すマークなどをコンテンツアイコンとする。属性としては、映像や音楽のタイトル、再生時間などの情報が表示される。

ゲームアイコン６２は、ゲームプログラムを実行する場合に選択されるべきアイコンである。実行の対象は、マルチメディア再生装置２０に格納されたゲームプログラムまたは光ディスク３６から読み込まれたゲームプログラムである。ゲームプログラムがゲームのアイコンをデータとして含んでいる場合は、そのアイコンをコンテンツアイコンとして表示する。属性としては、ゲームプログラムのタイトルなどの情報が表示される。

以上のように、マルチメディア再生装置２０は表示画面５０にメディアの配列とコンテンツの配列からなるメニュー画面を表示する。実際に表示されるメディアアイコン配列７０とコンテンツアイコン配列７２はそれぞれ１行または１列であるが、上下左右のスクロールにより次々に異なるメディアの異なるコンテンツのアイコンが表示される。したがって、あたかも画面全面にわたって多数のコンテンツがマトリクス状に並べられているかのような感覚をユーザに与えることができる。

ユーザは多数のコンテンツが並べられたマトリクスを自在に動かしながら所望のコンテンツにフォーカスを当てるような感覚でコンテンツを選択できる。ただし、実際に画面表示されるアイコン数は少ないため、煩雑な印象をユーザに与えることはない。ユーザは、後述する動作により上下左右の方向を指示するだけで次々にコンテンツを選ぶことができ、いわゆるザッピングの動作を簡単かつ快適な操作で行うことができる。

つぎに、本実施形態に係るマルチメディア再生装置２０の機能構成について図３に示したブロック図を参照して説明する。

本図に示すように、マルチメディア再生装置２０は、ビデオカメラ４５からの動画像を入力するビデオ画像入力部１０１と、入力した動画像の左右反転を行ない鏡面動画像を生成する画像反転部１０２と、マルチメディア再生装置２０における各種処理を制御する主制御部１０３と、テレビジョン受像機３０の表示画面５０上に表示するメニュー画像を生成するメニュー画像生成部１０４と、鏡面動画像とメニュー画像との重畳画像を生成する重畳画像生成部１０５と、メニュー操作により指定されたコンテンツの再生・実行処理を行なうコンテンツ処理部１０６と、重畳画像あるいはコンテンツの表示制御を行なう表示制御部１０７と、コンテンツを格納するコンテンツＤＢ１０８とを備えている。

また、主制御部１０３は、顔位置認識部１０３ａと、後述する認識領域を設定する認識領域設定部１０３ｂと、動画像に含まれるユーザの動作を判定する動作判定部１０３ｃとを備えている。

顔位置認識部１０３ａは、ビデオカメラ４５で撮像され鏡面処理された動画像にユーザの顔が含まれているか否かを判定し、含まれている場合にはその位置を認識する処理を行なう。顔位置認識部１０３ａは、顔の形状が動画像のどの位置に含まれているかを判定できれば足り、それぞれのユーザを認識する必要はない。すなわち、画像のある部分にユーザの顔が映っていることを検出できれば十分である。顔の位置の認識には、ブースティング、サポートベクターマシン等の従来のパターン認識技術等を用いることができる。

ここで、認識領域設定部１０３ｂが設定する認識領域について説明する。認識領域は、図４に示すように、マルチメディア再生装置２０によって画面５０に設定される領域８０であり、その領域内におけるユーザの動作、特に手の動作を認識するために設定される。認識領域８０は、その目的に応じて種々の大きさで複数個設定することができ、ここでは、非表示とする。後に説明するように、本実施形態では、特に、メニュー画像に合わせて設定するようにする。

なお、認識領域８０以外の領域では、動作の認識は行なわれない。これにより、マルチメディア再生装置２０における動作認識処理の負荷を軽減することができる。

つぎに、認識領域において、ユーザの動作を認識する方法について説明する。図５に示すように、１つの認識領域８０（破線の矩形領域）に対して、同じ形状で、位置を、その周囲に少しずらした領域を設定する（実線の矩形領域）。これを周辺領域と称するものとする。ここでは、上下左右および斜め方向に８つの周辺領域が設定される。ただし、これに限られない。例えば、上下左右の４つの周辺領域としたり、さらに細かく領域を設定するようにしてもよい。

なお、周辺領域を８つとした場合には、ユーザの動作として８つの方向を検出することができ、周辺領域を４つとした場合には、ユーザの動作として４つの方向を検出することができる。すなわち、本実施形態は、ユーザの動作をある方向への動作として認識するものである。

このため、本実施形態では、ある時刻（ｔ）における認識領域８０の画像（図５における（ｔ）Ｘ）と、所定時間経過後の時刻（ｔ＋１）における各周辺領域の画像（図５における（ｔ＋１）Ａ〜（ｔ＋１）Ｈ）および時刻（ｔ＋１）における認識領域の画像とを比較する。そして、最も類似する周辺領域または認識領域の画像を決定し、その周辺領域の方向へのユーザの動作があったものと認識する。

例えば、図６に示すように、認識領域内において、時刻（ｔ）から時刻（ｔ＋１）の間にユーザの手が右上方向に移動したとする。

この場合、時刻（ｔ）における認識領域の画像と、時刻（ｔ＋１）における各周辺領域の画像は図７に示すようになる。なお、本図は、図５に対応しており、時刻（ｔ）における認識領域の画像（（ｔ）Ｘ））と、時刻（ｔ＋１）における各周辺領域の画像（（ｔ＋１）Ａ〜（ｔ＋１）Ｈ）を示している。

本例の場合、（ｔ＋１）Ｃの画像が、最も時刻（ｔ）における認識領域の画像と類似することになる。そこで、マルチメディア再生装置２０は、ユーザの動作が右上方向に行なわれたことを認識することができる。なお、この認識処理は、主制御部１０３の動作判定部１０３ｃにおいて行なわれる。

このような処理を繰り返すことにより、主制御部１０３は、認識領域におけるユーザの動作を連続的に認識することができる。また、移動速度も検出することが可能である。さらには、動作の履歴を記録することで、一方向的な動作と頻繁に方向が反転する動作（例えば、手を振っている状態）とを区別することもできる。

ここで、連続的に認識する場合において、基準となる時刻（ｔ）における認識領域の画像の位置または中身を、随時更新していくかどうかは任意であり、動作認識の目的、動作の性質等に基づいて定めることができる。

なお、類似する周辺領域の画像（時刻（ｔ＋１）における認識領域の画像も含む）の決定方法は、例えば、各周辺領域について、時刻（ｔ）における認識領域の各画素と周辺領域の対応する位置の画素とのＲＧＢ値の差の絶対値を積算し、その値が最も小さい周辺領域を類似する周辺領域とすることができる。もちろん、これに限られず、従来提案されている種々の技術を用いることができる。

また、認識領域の画像が変化しない場合、すなわち、時刻（ｔ＋１）における認識領域の画像が、時刻（ｔ）における認識領域の画像と最も類似する場合は、ユーザの動作は検出されなかったものとして取り扱う。認識領域が複数設定されている場合には、認識領域毎にユーザの動作を検出するものとする。

また、別な場合として、図８に一例を示すようなケースが起こり得る。すなわち、例えば、図８（ａ）に示すように、時刻（ｔ）において認識領域の外側にあったユーザの手が、８（ｂ）に示すように、時刻（ｔ＋１）において認識領域の左端に入ってきた場合である。

上述のように、本実施形態の動作認識は、本来的には、ユーザの手の位置の類似度により移動方向を認識するものであるが、この場合は、図８（ｃ）に示すように、時刻（ｔ）にユーザの手が認識領域に含まれていないため、時刻（ｔ＋１）においてユーザの手が含まれている上、下、左方向の周辺領域の類似度が低くなる。結果として、ユーザの手が含まれていない右側の周辺領域の類似度が高くなり、右方向への動作を認識することになる。なお、ユーザの手は右方向への動作であるため、この認識は、時刻（ｔ）にユーザの手が認識領域に含まれていた場合とも合致し、結果的に妥当なものと考えられる。

図９は、以上の動作認識処理を示すフロー図である。まず、主制御部１０３の認識領域設定部１０３ｂは、所定の規則にしたがって１または複数の認識領域を設定する（Ｓ１０１）。なお、所定の規則については、後述する。

そして、時刻（ｔ）における認識領域の画像データを取得し（Ｓ１０２）、次いで、時刻（ｔ＋１）における各周辺領域の画像データを取得する（Ｓ１０３）。なお、併せて、時刻（ｔ＋１）における認識領域の画像データも取得するようにする。

それぞれの周辺領域の画像（時刻（ｔ＋１）における認識領域の画像も含む）毎に時刻（ｔ）における認識領域の画像との類似度を算出し（Ｓ１０４）、類似する周辺領域の画像データを決定する（Ｓ１０５）。

決定された周辺領域にしたがって、ユーザの動作方向が決定される（Ｓ１０６）。この動作方向は、その瞬間におけるものである。この動作方向をそのまま採用してもよいが、ここでは、履歴として記録し（Ｓ１０７）、動作方向の傾向により、ユーザの動作を判定するものとする（Ｓ１０８）。軽微な動きがユーザの動作として判定されてしまうことを防ぐためである。

ユーザの動作の判定は、あらかじめ定められた動作判定ルールにしたがって行なうものとする。ここで、動作判定ルールは、例えば、動作の履歴を参照して、以下のような動作をがあったものとして判定することができる。すなわち、所定時間、同一の方向の動作が続いた場合には、その方向への動作があったものと判定する、同一の認識領域内で頻繁に方向が反転する動作が続いた場合には、手を振る動作があったものと判定する、同一の方向から突然反対方向への動作があった場合には、反転動作があったものと判定する、動作が不安定の場合には、動作がなかったものと判定する等とすることができる。

主制御部１０３は、以上の処理を、領域認識を終了するまで繰り返すようにする（Ｓ１０９）。

なお、動作の判定においては、履歴を参照して、次の移動方向を予測し、その方向への類似度の重み付けを強くするようにしてもよい。このようにすることで、ユーザの動作のぶれ等が動作判定に与える影響を軽減することができる。また、それぞれの動作判定において、動作の速度も判定するようにしてもよい。

つぎに、これらの動作認識処理を、上記のメニュー操作に適用した場合について説明する。すなわち、本実施形態では、図２に示したようなメニュー画面をテレビジョン受像機３０の画面５０に表示し、重畳されて表示されるユーザの鏡面動画像の動作を認識することで、メニュー操作をユーザから受け付けるようにする。具体的には、メニュー操作に関する上下左右の指示を、ユーザの上下左右方向への動作により受け付けるようにする。

図１０は、このときのマルチメディア再生装置２０の処理を説明するフロー図である。

本実施形態におけるメニュー操作は、ビデオカメラ４５で撮像され鏡面処理された動画像にユーザの顔が含まれている場合に処理を開始する（Ｓ２０１）。すなわち、ユーザの顔を認識することをスイッチとして用いるようにしている。これにより、ユーザがテレビジョン受像機３０の前にいない場合には、メニュー処理が行なわれないようにし、また、背景等の動きによる不用意なメニュー操作の受け付けを防ぐようにしている。

動画像内にユーザの顔を認識した場合（Ｓ２０１：Ｙ）には、顔の位置の判定し、その位置に基づいてメニューの位置を設定する（Ｓ２０２）。

ここで、メニューの位置、具体的には、水平方向のメディアアイコン配列７０と垂直方向のコンテンツアイコン配列７２とを、図１１に示すような位置に設定する。すなわち、判定されたユーザの顔の位置９０を基準に、顔の下側に水平方向のメディアアイコン配列７０が位置し、画面向かって顔の右側に垂直方向のコンテンツアイコン配列７２が位置するように設定する
これにより、ユーザが右手の動作によりメニュー操作を簡易に行なうことができるようになる。もちろん、ユーザが左手の動作によりメニュー操作を行なう場合には、コンテンツアイコン配列７２を顔の左側に位置するようにしてもよい。また、水平方向のメディアアイコン配列７０は、左右の手の動作によりメニュー操作を行なうことも可能である。

そして、水平方向のメディアアイコン配列７０と垂直方向のコンテンツアイコン配列７２の領域に対応させて認識領域８０を設定する（Ｓ２０３）。

ここでは、各アイコン配列に、複数個の認識領域を設定している。これは、図８で説明したように、認識領域にユーザの手が新たに入ってきた場合にも精度よく動作を認識することができるようにするためである。ここで、上下左右の動作を認識できれば足りるため、各アイコンと認識領域とを対応させる必要はない。ただし、注目領域７５に対する特定の動作、例えば、再生指示のための決定動作等を認識できるように、注目領域７５に対応した認識領域８０を設定するようにしてもよい。

なお、本実施形態では、各認識領域８０について、上下左右斜めの８個の周辺領域を設定しているものとする。ただし、斜め方向の動作を認識した場合、マルチメディア再生装置２０は、これを上下方向の指示とみなすようにする。すなわち、コンテンツアイコン配列７２のスクロール表示を優先する。これにより、ユーザが複数のコンテンツをスクロールさせる間に、不意のメディア変更、すなわちメディアアイコン配列７０の左右方向のスクロールを実行してしまうような誤操作を防止できる。なお、周辺領域を上下左右の４個として、上下左右方向の動作のみを認識できるようにしてもよい。

そして、各認識領域８０でユーザの動作を判定し、いずれかの領域で、左右の指示、上下の指示、決定の指示を受け付けたかどうかを判断する（Ｓ２０４）。なお、決定の指示は例えば、ユーザが認識領域８０上で手を振った場合を決定の指示に割り当てることが考えられる。すなわち、認識領域８０上で手を振った場合には、当該認識領域８０に対応するコンテンツアイコンとして示されたコンテンツに決定したものとする。手を振る代わりに、手を右または左方向に動かした場合を決定の指示に割り当ててもよい。

また、いずれかの認識領域８０で、例えば、急激に方向を反転させる動作を認識した場合には、メニュー操作を中止する指示があったものとして扱うようにしてもよい。

その結果、左右の指示を受け付けた場合には、メディアアイコンの配列を左右に移動させる処理を行なう（Ｓ２０５）。

また、上下の指示を受け付けた場合には、コンテンツアイコンの配列を上下に移動させる処理を行なう（Ｓ２０６）。

また、決定の指示を受け付けた場合には、注目領域７５に注目サムネイル６４として示されたコンテンツの再生・実行を行なう（Ｓ２０７）。その後、終了の指示があった場合（Ｓ２０８：Ｙ）には、メニュー処理を終了し、終了の指示がなかった場合（Ｓ２０９：Ｙ）には、再度顔の位置を認識して（Ｓ２０１）、上述の処理を繰り返す。ここで、終了の指示を行なうための操作自体が本発明によるメニュー画面に含まれていてもよい。

以上示したように、本実施形態によれば、ユーザはテレビジョン受像機３０に映し出される自身の動作により、メニュー操作を行なうことができるため、視覚的で直感的な操作性を得ることができる。したがって、マルチメディア再生におけるユーザの操作性がさらに高められることになる。

なお、上記の実施形態では、メニュー形式として、縦方向のアイコン配列と横方向のアイコン配列とを組み合わせた形状としたが、例えば、円形状を表示して、回転方向の動作を認識するようにして、いわゆるジョグダイヤルを模した指示を受け付けるようにしてもよい。

また、画面上に複数のメニューセットを表示して、複数人が同時に別々のメニュー操作を行なえるようにしてもよい。

マルチメディア再生システムの基本的な構成を示す図である。 本実施形態でメニューの構成の概略について説明する図である。 マルチメディア再生装置の機能構成を示すブロック図である。 画面に設定される認識領域を示す図である。 認識領域と周辺領域を説明する図である。 認識領域内におけるユーザの動作を示す図である。 時刻（ｔ）における認識領域の画像と、時刻（ｔ＋１）における各周辺領域の画像を示す図である。 動作認識の別例を説明するための図である。 動作認識処理を示すフロー図である。 メニュー操作受付処理を説明するフロー図である。 メニューおよび認識領域の位置を説明する図である。

符号の説明

１０…マルチメディア再生システム
２０…マルチメディア再生装置
３０…テレビジョン受像機
３２…テレビジョン回線
３４…インターネット回線
３６…光ディスク
３８…メモリカード
４０…操作部
４５…ビデオカメラ
４７…ケーブル
５０…表示画面
７０…メディアアイコン配列
７２…コンテンツアイコン配列
８０…認識領域
１０１…ビデオ画像入力部
１０２…画像反転部
１０３…主制御部
１０３ａ…顔位置認識部
１０３ｂ…認識領域設定部
１０３ｃ…動作判定部
１０４…メニュー画像生成部
１０５…重畳画像生成部
１０６…コンテンツ処理部
１０７…表示制御部

Claims (12)

1. メニュー操作により指定されたコンテンツを再生するマルチメディア再生装置であって、
   ユーザの動画像を入力する動画像入力手段と、
   コンテンツ再生に関する操作を受け付けるメニュー画像を生成するメニュー画像生成手段と、
   前記入力した動画像の鏡面動画像と前記メニュー画像との重畳動画像を生成する重畳画像生成手段と、
   前記重畳動画像内に設定された動作認識領域において、ユーザの動作の方向を判定する動作方向判定手段とを備え、
   前記メニュー画像生成手段は、前記判定されたユーザの動作方向を、前記メニュー画像の操作指示として受け付けることを特徴とするマルチメディア再生装置。
2. 請求項１に記載のマルチメディア再生装置であって、
   前記メニュー画像生成手段は、
   再生できるメディアの種類を示したメディアアイコン群と、それぞれのメディアにおいて再生対象となるコンテンツを示したコンテンツアイコン群とを二次元配列した形式のメニュー画像を生成することを特徴とするマルチメディア再生装置。
3. 請求項２に記載のマルチメディア再生装置であって、
   前記メディアアイコンとコンテンツアイコンとは、上下左右の指示により選択可能であり、
   前記動作方向判定手段は、ユーザの動作方向を少なくとも上下左右の方向で判定することを特徴とするマルチメディア再生装置。
4. 請求項１に記載のマルチメディア再生装置であって、
   前記動作方向判定手段は、ある時刻における前記動作認識領域の画像と、所定時間後における前記動作認識領域の周辺の複数の画像とを比較することにより、ユーザの動作方向を判定することを特徴とするマルチメディア再生装置。
5. 請求項４に記載のマルチメディア再生装置であって、
   前記動作方向判定手段は、
   前記動作認識領域の周辺の複数の画像として、少なくとも、前記動作認識領域から上下左右方向にずれた４つの領域における画像を用いることを特徴とするマルチメディア再生装置。
6. 請求項５に記載のマルチメディア再生装置であって、
   前記動作方向判定手段は、
   前記４つの領域における画像のうち、前記動作認識領域の画像と最も類似する画像に対応する領域の方向を、ユーザの動作方向として判定することを特徴とするマルチメディア再生装置。
7. 請求項５に記載のマルチメディア再生装置であって、
   前記動作方向判定手段は、
   判定した前記ユーザの動作方向の履歴を記録し、その履歴に基づいてユーザの動作方向を判断し、前記メニュー画像生成手段に対する操作指示として出力することを特徴とするマルチメディア再生装置。
8. 請求項１に記載のマルチメディア再生装置であって、
   前記重畳動画像内にユーザの顔が存在するかどうかを判定する顔判定手段をさらに備え、
   前記動作方向判定手段は、ユーザの顔が存在すると判定された場合に、前記ユーザの動作方向を判定することを特徴とするマルチメディア再生装置。
9. 請求項２に記載のマルティメディア再生装置であって、
   前記重畳動画像内におけるユーザの顔の位置を検出する顔位置検出手段をさらに備え、
   前記メニュー画像生成手段は、
   前記検出された顔位置を基準に前記メディアアイコン群とコンテンツアイコン群を配置することを特徴とするマルチメディア再生装置。
10. 請求項１に記載のマルチメディア再生装置であって、
    前記動作認識領域は、前記メニュー画像に対応した位置に設定されることを特徴とするマルチメディア再生装置。
11. メニュー操作により指定されたコンテンツを再生するマルチメディア再生装置におけるメニュー操作受付方法であって、
    ユーザの動画像を撮像する撮像ステップと、
    コンテンツ再生に関する操作を受け付けるメニュー画像を生成するメニュー画像生成ステップと、
    前記ユーザの動画像の鏡面動画像と前記メニュー画像との重畳動画像を生成する重畳画像生成ステップと、
    前記重畳動画像内に設定された動作認識領域において、ユーザの動作の方向を判定する動作方向判定ステップと、
    前記判定されたユーザの動作方向を、前記メニュー画像の操作指示として受け付ける操作指示受付ステップとを有することを特徴とするメニュー操作受付方法。
12. 情報処理装置をメニュー操作により指定されたコンテンツを再生するマルチメディア再生装置として機能させるコンピュータプログラムであって、
    ユーザの動画像を入力する動画像入力手段と、
    コンテンツ再生に関する操作を受け付けるメニュー画像を生成するメニュー画像生成手段と、
    前記入力した動画像の鏡面動画像と前記メニュー画像との重畳動画像を生成する重畳画像生成手段と、
    前記重畳動画像内に設定された動作認識領域において、ユーザの動作の方向を判定する動作方向判定手段として情報処理装置をさらに機能させ、
    前記メニュー画像生成手段は、前記判定されたユーザの動作方向を、前記メニュー画像の操作指示として受け付けることを特徴とするコンピュータプログラム。

Images