JP2008015915A - 画像処理方法、入力インタフェース装置 - Google Patents

Abstract

【課題】オブジェクトの動きを認識する入力インタフェース装置において、撮影対象であるオブジェクトの明るさが不足する場合がある。
【解決手段】カメラ２０は、プレイヤーにより操作されるオブジェクトを撮影する。奥行位置検出部１２２は、撮影されたフレームに基づいてオブジェクトの位置を検出するアクション特定部１３２は、オブジェクトの検出結果をもとにプレイヤーのアクションを特定する。入力受付部１３６は、アクションをディスプレイに表示された入力受付画像に対する指示として受けとる。照明制御部１４０は、アクションに応答して、アクションが検出される前の状態よりもディスプレイに映し出される画像の明るさを高める。
【選択図】図４

Description

この発明は、オブジェクトの動きを入力として認識する入力インタフェース装置および入力インタフェース装置における画像処理方法に関する。

従来から、プレイヤーの動作をビデオカメラなどの撮像装置を用いて撮影し、プレイヤーの動作を画面に映し出して、コマンドの入力やゲームのプレイを可能にしたものが知られている。

上述のようにプレイヤーの動画像を入力インタフェースとして利用する場合、カメラによって撮影されるオブジェクトが十分な明るさを有している必要がある。しかしながら、部屋の照明を落としてゲームなどをプレイするユーザも多く、光量不足からオブジェクトを正確に認識できないことが起こりえる。また、プレイ環境の制約などによって、オブジェクトを十分に照明するような照明器具が準備できない場合もある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、オブジェクトの動きを入力として認識する入力インタフェース装置において、撮影対象であるオブジェクトの明るさを確保する技術を提供することにある。

本発明のある態様は、プレイヤーにより操作されるオブジェクトを撮影し、オブジェクトの動きをディスプレイに表示された入力受付画像に対する指示として受けとる画像処理方法において、少なくとも前記オブジェクトの動きが検出されたときにディスプレイに映し出される画像の明るさを高める画像処理方法である。

ここで、「オブジェクト」とは、カメラの撮影範囲内でプレイヤーにより操作されるものの総称であり、プレイヤーの頭、腕、手、足、口などの身体の一部と、プレイヤーの身体の一部（例えば手、足、口）により操作される棒、シート、箱などの物体、およびコントローラなどの装置が含まれる。

この態様によると、ディスプレイに映し出される画面をオブジェクトの照明手段として利用することができる。

本発明の別の態様は、入力インタフェース装置である。この装置は、プレイヤーにより操作されるオブジェクトを撮影するカメラと、撮影されたフレームに基づいてオブジェクトの位置を検出する位置検出部と、前記オブジェクトの検出結果をもとにプレイヤーのアクションを特定するアクション特定部と、前記アクションをディスプレイに表示された入力受付画像に対する指示として受けとる入力受付部と、前記アクションに応答して、アクションが検出される前の状態よりも前記ディスプレイに映し出される画像の明るさを高める照明制御部と、を備える。

この態様によると、プレイヤーによって何らかのアクションがなされたときに、明るさを高めた画像がディスプレイに表示される。その結果、これによってオブジェクトを取り巻く空間の光量が増加するため、カメラにより撮影される画像が明るくなり、オブジェクトのマッチング等の処理を正確に実行することが可能になる。

なお、本発明の構成要素や表現を方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、オブジェクトの動きを入力として認識する入力インタフェース装置において、撮影対象であるオブジェクトの明るさを確保できる。

本発明の一実施形態である入力インタフェース装置は、プレイヤーの操作するオブジェクトをカメラで撮影し、オブジェクトの動きをディスプレイに表示された入力受付画像に対する指示として受けとる装置である。入力インタフェース装置を利用するアプリケーションの典型例は、画面に表示されたキャラクタ等をプレイヤーの動作で操作するアクションゲームであるが、他の形態のゲームや、簡単なビジネスアプリケーション、ディジタル写真のアルバム表示、楽曲データ再生のアプリケーションなどにも適用することができる。

本実施形態の入力インタフェース装置は、撮影対象であるオブジェクトの明るさが不足するときに、ディスプレイにオブジェクトを照明するための照明用領域を表示することで、オブジェクトを取り巻く空間の光量を増加させ、オブジェクトの検出精度を向上させる。

図１は、入力インタフェース装置１０の全体構成を示す。入力インタフェース装置１０は、ディスプレイ４０と、ディスプレイの上側に設置されるカメラ２０と、画像処理装置３０と、反射体５０と、から構成される。

ディスプレイ４０は、好ましくはプレイヤー７２の前方に配置される。プレイヤー７２は、カメラ２０により撮影された自分の像を見ながらオブジェクトの操作をするかたちになる。

カメラ２０はプレイヤー７２により操作されるオブジェクト７０を撮影し、所定のフレームレートでフレームを画像処理装置３０に出力する。画像検出の応答性を早めるために、フレームレートはなるべく高いことが好ましい。カメラ２０は、ディスプレイ４０の上側に設置される。カメラ２０の撮影範囲２６は、少なくともプレイヤー７２の操作するオブジェクト７０を捉えるように設定される。これによって、プレイヤー７２はディスプレイ４０側に正面を向けた状態でオブジェクト７０を操作することができる。しかし、入力インタフェース装置１０により実施されるアプリケーションの特性に応じて、カメラ２０をディスプレイ４０の下方や側方に設置したり、またはプレイヤー７２がディスプレイ４０を見る向きとは異なる場所にカメラ２０を設置してもよい。

カメラ２０から出力されたフレームは、画像処理装置３０を経由してディスプレイ４０に映し出される。この場合、撮影されたフレームは画像処理装置３０によって鏡面処理を施され、ディスプレイ４０にはプレイヤー７２の鏡面画像が映し出されることが好ましい。鏡面画像を映し出すことで、プレイヤーが例えば手を挙げたときに画面内の像は鏡に映したように同じ側の手を挙げるため、プレイヤーは自らの動作を認識しやすくなる。しかしながら、画像処理装置３０によって鏡面処理を施さず、撮影したままの画面をディスプレイ４０に映し出してもよい。さらに、入力インタフェース装置１０により実施されるアプリケーションの特性に応じて、画像処理装置３０によって上下を反転させた画面をディスプレイ４０に映し出してもよい。

画像処理装置３０は、外部記憶媒体に格納されたアプリケーションソフトウェアをロードして実行する機能を有する。画像処理装置３０は、カメラ２０から出力されたフレームに対して上述の鏡面処理を施すほか、フレーム内でオブジェクトの像を検出して所定の画像をオブジェクトに重ねて表示したり、プレイヤーのアクションに応じた指示をアプリケーションに与えるなどの処理を行う。画像処理装置３０により所定の処理を施された鏡面画像は、ディスプレイ４０に出力される。画像処理装置３０は、典型的にはゲームコンソールなどの専用機であるが、画像の入出力機能を備えた汎用のパーソナルコンピュータやサーバなどであってもよい。画像処理装置３０のさらに詳細な機能および構成については後述する。

反射体５０は、プレイヤー７２とディスプレイ４０およびカメラ２０との間に設置され、オブジェクト７０の反射像をカメラ２０に撮影させる役割を有する。本明細書において「オブジェクト」とは、カメラ２０の撮影範囲２６内でプレイヤー７２により操作されるものの総称であり、プレイヤーの頭、腕、手、足、口などの身体の一部と、プレイヤーの身体の一部（例えば手、足、口）により操作される棒、シート、箱などの物体、およびコントローラなどの装置が含まれる。オブジェクトがプレイヤーの意志により動かされることを、オブジェクトが身体の一部である場合を含め、本明細書では「プレイヤーにより操作されるオブジェクト」のように表現する。図１では、一例として、プレイヤーの指がオブジェクト７０として示されている。

オブジェクト７０は、その直接像がカメラ２０により撮影されるのと同時に、反射体５０による反射像もカメラ２０により撮影される。言い換えると、カメラ２０により撮影されるひとつのフレームの中に、オブジェクト７０の直接像と反射像の両方を含むことになる。このように、直接像と反射像という二つの方向から見た像としてオブジェクト７０を捉えることで、後述するように、単一のカメラからの画像のみでオブジェクト７０の三次元位置を特定することができる。
なお、説明を簡単にするために、以下の説明ではプレイヤー７２により操作されるオブジェクト７０はひとつとするが、二つ以上のオブジェクトが存在しても同様の処理ができることはいうまでもない。

反射体５０は二つの反射面５２、５４を備えており、それぞれがオブジェクト７０を反射させ、それら反射像がカメラ２０によって撮影される。したがって、反射面５２、５４には、オブジェクト７０の反射像がカメラ２０のレンズで結ばれるように所定の角度が付けられている。また、反射体５０の設置場所は、カメラ２０から所定の距離だけ離間した位置に限られる。

反射体５０は、オブジェクト７０の反射像をカメラ２０に撮影させなくてはならないので、反射体５０を配置すべき位置はある一定の範囲に制限される。そこで、プレイヤーに反射体５０を正しい位置に設置させるために、ディスプレイ４０に例えば枠線を表示して、カメラ２０により撮影された反射体５０が枠線の内側に収まるように、反射体５０の位置を調節してもらうようにしてもよい。

図１に示すように、第１反射面５２、第２反射面５４の上方には、それぞれがオブジェクト７０の反射像をカメラ２０に向けて投影できる領域である第１進入領域６２、第２進入領域６４が広がる。進入領域６２、６４の広がりは、反射面５２、５４の傾斜の度合いによって決まり、オブジェクト７０が進入すると想定される範囲になる。図１の例では、それぞれの進入領域６２、６４は互いに交差しないように設定されている。したがって、オブジェクト７０が第１進入領域６２内に存在するときは、第１反射面５２により反射された反射像がカメラ２０により撮影され、オブジェクト７０が第２進入領域６４内に存在するときは、第２反射面５４により反射された反射像がカメラ２０により撮影される。但し、オブジェクト７０が指や棒のように反射体５０の奥行方向にある程度の長さを有する場合、オブジェクト７０は進入領域６２と６４の両方に同時に存在する。

一般に、フレーム間の差分に基づいてオブジェクトの動作を検出しようとした場合、カメラの光軸に沿った方向（図１のｚ方向）に略平行な動作は、フレーム内でのオブジェクトの差分がわずかになるため検出するのは困難である。そこで、本実施形態では、オブジェクトの直接像とは異なる方向からの像を、反射体５０による反射を利用することで取得し、この反射像を利用してｚ方向のオブジェクトの動作を確実に検出できるようにしたものである。以下では、カメラの光軸に沿った方向のことを単に「奥行方向」と呼ぶことにする。

図２は、カメラ２０と画像処理装置３０のハードウェア構成を簡略化して説明した図である。カメラ２０は、撮像素子としての画像センサ２２と、画像処理部２４を備える。画像センサ２２は、一般にＣＣＤセンサやＣＭＯＳセンサであり、図示しないレンズにより結ばれた像を受光素子に蓄電することで像を得る。撮影された像は、ＲＡＭ等の図示しないメモリに一時的に記憶される。カメラ２０の構成については周知であるため、これ以上詳細な記載は省略する。

画像処理部２４はＡＳＩＣ等の回路からなり、画像センサ２２から出力された画像データに対して、Ａ／Ｄ変換、デモザイク、ホワイトバランス処理、ノイズ除去、コントラスト強調、色差強調、ガンマ処理などのうち、必要なものを実施する。画像処理部２４により処理された画像データは、図示しない通信インタフェースを介して画像処理装置３０に転送される。以下の説明では、簡単のために、画像処理部２４から画像処理装置３０に渡される画像データは画像センサ２２からの出力信号をそのままディジタル化したＲＡＷデータであるものとするが、画像データは他の形式、例えばＪＰＥＧなどの圧縮されたデータであってもよい。後者の場合、画像処理装置３０には、処理部３２の前段に圧縮データを復号化する画像復号部が配置される。

画像処理装置３０は、処理部３２と、処理部３２から渡された画像データをディスプレイ４０に出力する画像出力部３４とを含む。画像処理装置３０は、このほかにも、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリを初めとする任意の記録媒体に格納されたアプリケーションソフトウェアを読み出すロード部や、ソフトウェアにしたがって所定のアプリケーションを実行するアプリケーション実行部などを備える。これらの機能は、ゲームコンソールなどの専用機やパーソナルコンピュータなどには当然備えられているものであるから、これ以上詳細な説明は省略する。

図３は、反射体５０の構造を示す平面図である。反射体５０は、全体として薄板状であり、上述したように奥行方向に離間して配置された第１反射面５２と第２反射面５４とを有している。反射面５２、５４は、一例では鏡であり、鏡面加工を施した金属、プラスチック、金属を蒸着させたガラスなどでもよい。第１反射面５２と第２反射面５４とは平行に配置され、また、その長軸がカメラ２０の光軸に対して略垂直となるように配置される。第１反射面５２と第２反射面５４は、図１に示すように、反射面の上方のオブジェクトを反射して、反射像をカメラ２０のレンズに向けて投影する角度に設定される。

反射体５０の長軸方向の両端には、反射体５０の位置を画像処理装置３０に認識させるためのマーカ５６がそれぞれ配置される。このマーカ５６は、色付けされた部分であってもよいし、チェックなどの所定の模様が施されていてもよく、あるいは二次元コードなどでもよい。両端にＬＥＤなどの光源を埋め込んでおいてもよい。要するに、カメラ２０から出力されるフレーム内で、反射体５０の位置を特定するために必要な情報を付与できるものであれば、その形態は問わない。

反射体５０が奥行方向に所定の幅を有し、また奥行方向に複数の反射面を備えることで、奥行方向に複数の進入領域６２、６４を設定することができる。各反射面５２、５４は、オブジェクトが進入すると想定される相異なる進入領域の反射像をカメラ２０に向けて投影し、オブジェクトの反射像をカメラ２０に撮影させる。こうすることで、後述するように、奥行方向のオブジェクトの移動を検出できる。

図４は、処理部３２の詳細な構成を示す図である。これらの構成は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

画像取得部１０２は、カメラ２０から出力されたフレームを一枚ずつ取得し、画像反転部１０４に送る。

画像反転部１０４は、画像取得部１０２から受けとったフレームに対して鏡面処理（すなわち、画像の左右反転処理）を施し、鏡面画像を生成する。

反射面領域特定部１１２は、カメラ２０により撮影されたフレームから、反射体５０の第１反射面５２および第２反射面５４に対応する領域である反射面領域を特定する。反射面領域特定部１１２は、フレーム内から二カ所のマーカ５６を検出し、それらの間に挟まれた領域を反射面領域と特定する。

奥行位置検出部１２２は、反射面領域特定部１１２により特定された反射面領域から反射像を検出することで、オブジェクトの奥行方向の位置を検出する。具体的には、奥行位置検出部１２２は、複数のフレーム間で反射面領域同士を比較してその差分を検出する。あるフレームで反射面領域に反射像がなく、後続するフレームで反射面領域に反射像が映っていれば、オブジェクトがその反射面に対応する進入領域内に位置していると判定できる。

この判定を確実に実行するためには、第１反射面５２および第２反射面５４に映ったオブジェクトの反射像とそれ以外の画像とを明確に識別できる必要がある。したがって、一実施例では、三次元位置の特定処理を開始する前に、奥行位置検出部１２２は反射面領域のデフォルト画像を取得しておき、このデフォルト画像と任意のフレームの反射面領域との間に差分が検出されたときに、オブジェクトが進入領域内に位置すると判定するようにしてもよい。

奥行位置検出部１２２は、第１反射面５２、第２反射面５４に対応する反射面領域について同様の処理をすることで、第１進入領域６２、第２進入領域６４のそれぞれにオブジェクトが進入したか否かを判定する。この判定の結果は、入力制御部１３０に送られる。

フレーム内定位部１１４は、オブジェクトのフレーム内位置を特定する。フレーム内定位部１１４は、画像反転部１０４から受けとったフレームに対して、オブジェクトの参照画像（テンプレート）を用いた周知のパターンマッチングを実行して、オブジェクトのフレーム内位置を特定する。マッチングを実行する対象は、画像反転部１０４から受けとったフレームそのものであってもよいし、反射面領域特定部１１２において特定された反射面領域をフレームから除いたものであってもよい。

フレーム内定位部１１４は、オブジェクトを特定するために予め準備された参照画像を格納している。例えばオブジェクトが手だとすると、数十人ないし数千人の手の画像の平均を取って作成された基準画像を格納しておいてもよいし、プレイヤーの年齢、性別、体格などに応じて分類された複数の参照画像を格納しておいてもよい。参照画像を用いたマッチング技術は、任意のものを使用できる。これらは当業者には周知であるからこれ以上詳細な説明を省略する。フレーム内定位部１１４で特定されたオブジェクトのフレーム内位置の情報は、入力制御部１３０に与えられる。

入力制御部１３０は、ゲームを初めとするアプリケーションを実行する図示しないアプリケーション実行部に対して、カメラ２０により撮影されたフレームに対する画像処理によって得られた情報に基づく指示を与える。入力制御部１３０は、アクション特定部１３２、入力受付画像表示部１３４、入力受付部１３６を含む。

アクション特定部１３２は、奥行位置検出部１２２による奥行位置の検出結果をもとに、第１進入領域６２と第２進入領域６４の間の奥行方向へのオブジェクト７０の移動を検出して、プレイヤーのアクションを特定する。アクション特定部１３２は、奥行方向におけるオブジェクト７０のカメラ２０へ向かう移動と、カメラ２０から離れる移動とを異なるプレイヤーのアクションとして特定してもよい。アクション特定部１３２は、特定したアクションの情報を入力受付画像表示部１３４、入力受付部１３６、照明制御部１４０に与える。

入力受付画像表示部１３４は、カメラ２０により撮影されたオブジェクトの直接像に重ね合わせて、オブジェクト７０の動きにしたがった入力指示を受けとるための入力受付画像をオンスクリーン表示部１４４に出力する。入力受付画像の例には、カーソルなどのポインタ、楽器や武器などの道具、またはキーボードや電卓などの入力デバイスの画像がある。入力受付画像表示部１３４は、オブジェクトが第１反射面５２に対応する第１進入領域６２に位置するときと、第２反射面５４に対応する第２進入領域６４に位置するときで、異なる表示態様の入力受付画像を表示してもよい。

入力受付部１３６は、与えられたアクションを入力受付画像に対する指示として受けとり、図示しないアプリケーション実行部に対してその指示を与える。

照明制御部１４０は、アクションに応答して、撮影されたフレームよりも明度または輝度の高い照明用領域をオンスクリーン表示部１４４に出力し、アクションが検出される前の状態よりもディスプレイ４０に映し出される画像の明るさを高める。照明制御部１４０は、画像全体から入力受付画像を除いた部分を照明用領域とする。照明制御部１４０は、光量判定部１１６によってオブジェクトの光量が不足すると判定されたとき、照明用領域を表示してもよいし、被撮影空間の明るさに基づいて照明用領域のパラメータを調整してもよい。

画面解析部１１８は、光量判定部１１６、距離推定部１４６、色解析部１４８を含む。
光量判定部１１６は、オブジェクト７０を含むカメラ２０による被撮影空間の光量が十分であるか否かを判定する。光量判定部１１６は、フレームを解析することによって被撮影空間の光量を判定してもよいし、カメラ２０、画像処理装置３０またはディスプレイ４０の一部にフォトセンサを設けておき、その出力信号に基づいて判定してもよい。光量が十分であるか否かは、フレーム内でのオブジェクトのマッチングが正確に実行できることを基準値として判定される。一例として、ディスプレイ４０とプレイヤー７２との想定距離（例えば１ｍ）を設定しておき、そのときに必要な光量を実験により求めて基準値としてもよい。または、奥行位置検出部１２２や後述する距離推定部１４６によってディスプレイ４０とプレイヤー７２との距離を推定し、その距離に応じて予め準備された複数の基準値から適切なものを選択してもよい。

距離推定部１４６は、ディスプレイ４０の左右に照明用領域を交互に表示し、そのときに撮影されたフレームに基づいて、被撮影空間にある物体のディスプレイ４０からの距離を推定する。この詳細は、図８を参照して後述する。

色解析部１４８は、単色の照明用領域を、複数の色についてディスプレイ４０に交互に表示し、そのときに撮影されたフレームに基づいて、被撮影空間にある物体の色情報を取得する。この詳細は、図８を参照して後述する。

顔領域検出部１２０は、フレームからプレイヤーの顔に相当する領域を検出する。これは、フレーム内定位部１１４と同様に、顔の基準画像を用いたマッチングにより実行される。

身体領域推定部１２４は、顔領域検出部１２０により検出された顔領域の大きさ、位置などから、オブジェクト７０とともに撮影されたプレイヤー７２の身体に相当する領域を推定する。例えば、人の形をしたテンプレートを保持しておき、顔領域の大きさに応じてそのテンプレートを拡大縮小して身体領域を推定してもよいし、顔領域の位置を基準にして、フレーム内で背景分離を実行して身体領域を推定してもよい。照明制御部１４０は、画像全体からプレイヤーの身体領域を除いた部分を照明用領域としてオンスクリーン表示部１４４に出力する。

オンスクリーン表示部１４４は、画像反転部１０４からの鏡面画像に、入力受付画像表示部１３４から出力された入力受付画像と、照明制御部１４０から出力された照明用領域をオンスクリーン表示させ、画像出力部３４に送る。画像出力部３４によって、プレイヤーの鏡面画像に入力受付画像と照明用領域とが重畳された画面がディスプレイ４０に表示される。

図５（ａ）〜（ｄ）は、カメラにより撮影されたフレームの明るさに応じて照明用領域を表示する実施例を示す。図５（ａ）、（ｃ）はカメラ２０により撮影され画像反転部１０４で左右反転して出力されるフレームの全体を示す。図５（ｂ）、（ｄ）は、図５（ａ）、（ｂ）のフレームが処理部３２により取得されたとき、ディスプレイ４０に表示されプレイヤー７２により認識される画像であり、鏡面画像に対し入力受付画像８０または照明用領域８２が重ねられて、オンスクリーン表示部１４４によってディスプレイに表示される画面の全体を示している。

図５（ａ）に示すように、フレームには、プレイヤー７２、オブジェクト７０および反射体５０の直接像が映し出される。反射面領域特定部１１２は、フレームからマーカ５６を検出することで、反射面領域５０’を特定しておく。

カメラ２０および画像処理装置３０がスイッチオンされ待機している状態のとき、反射面領域５０’のデフォルト画像を記憶しておいてもよい。待機状態では、第１進入領域６２および第２進入領域６４の上方には背景以外何も存在しない。そこで、デフォルト画像を記憶しておくと、第１進入領域６２および第２進入領域６４にオブジェクトが進入したときの差分を容易に取ることができ、したがって反射面領域内でのオブジェクトの反射像の検出処理がロバストになる。

図５（ａ）〜（ｄ）は、プレイヤー７２の操作するオブジェクト７０が第１進入領域６２に進入したときのものとする。オブジェクト７０が第１進入領域６２に進入したことにより、第１反射面５２に対応する領域に、オブジェクト７０の反射像７０ａが映し出されている。奥行位置検出部１２２は、フレーム間で反射面領域の差分を取ることでこの反射像７０ａを検出する。

図５（ａ）の撮影時には、プレイヤー７２が位置する部屋が暗く、十分な光量が得られていないものとする。プレイヤーが操作するオブジェクトが第１進入領域６２に進入すると、アクション特定部１３２によりそのアクションが特定され、これに応じて入力受付画像表示部１３４が入力受付画像８０をディスプレイ４０に表示する。光量判定部１１６は、被撮影空間の光量が十分でないことを、フォトセンサの出力に基づいてまたはフレームの解析を通じて判定する。これに応じて、照明制御部１４０は、画面全体から入力受付画像８０を除いた部分を照明用領域８２とし、明度または輝度を高めた画像をディスプレイ４０に表示する（図５（ｂ）参照）。ディスプレイ４０に照明用領域を表示することで、オブジェクト７０やプレイヤー７２を照らし出す状態になり、したがってカメラ２０により撮影されるフレームも明るくなる。

図５（ｃ）は、照明用領域８２によってオブジェクト７０およびプレイヤー７２が照らされた状態でカメラ２０により撮影されたフレームを示す。光量判定部１１６が十分な光量があると判定すると、顔領域検出部１２０は、フレーム内でプレイヤー７２の顔に相当する顔領域７４を検出する。身体領域推定部１２４は、検出された顔領域に基づいてプレイヤー７２の身体に相当する身体領域７６を推定する。照明制御部１４０は、照明用領域８２から身体領域推定部１２４によって推定された身体領域７６に対応する部分を切り取ってオンスクリーン表示部１４４に出力する。オンスクリーン表示部１４４がこれらの画像を重ね合わせることで、図５（ｄ）に示すように、プレイヤー７２の身体の回りが照明用領域８２となって表示される。図５（ｂ）から図５（ｄ）に遷移するとき、照明制御部１４０は、照明用領域８２の面積が小さくなった分を補うように、照明用領域８２の明度または輝度をさらに高めて表示してもよい。

このように、オブジェクト７０およびプレイヤー７２の像と入力受付画像８０とがディスプレイ４０に表示され、入力インタフェースとしての機能を果たすとともに、照明用領域８２もディスプレイ４０に表示されるので、同時にオブジェクトを照明する機能を果たすことができる。

また、反射体５０により設定される進入領域６２、６４へのオブジェクト７０の進入を、照明用領域を表示するためのスイッチとして利用することで、プレイヤー７２がオブジェクト７０を操作して入力受付画像８０への指示を与えようとするときに、オブジェクト７０を照明することができる。プレイヤー７２が入力受付画像８０への指示を終了し、第１進入領域６２よりも手前側にオブジェクト７０を戻すとき、照明制御部１４０が照明用領域８２を非表示にするように構成しておけば、ディスプレイ４０が不要な光を発し続けることがなく、入力インタフェースの実現に必要なときにのみ照明として機能することになり、省エネルギーにもなる。また、進入領域６２、６４にオブジェクトを進入させるとディスプレイ４０の画面が明るくなることから、プレイヤーに対する演出的な効果も期待できる。

また、二つの進入領域６２、６４へのオブジェクトの進入を使い分けることで、さらに細かな制御をすることができる。例えば、オブジェクト７０が第１進入領域６２に入るとディスプレイ４０のスリープ状態が解除され、オブジェクト７０が第２進入領域６４に入ると、照明用領域８２がディスプレイ４０に表示されてオブジェクトのトラッキングが開始されるようにしてもよい。オブジェクト７０を第２進入領域６４から第１進入領域６２に戻すと、照明用領域８２が非表示にされ、ディスプレイ４０にはカメラ２０により撮影されたフレームの鏡面画像がそのまま表示される。さらにオブジェクト７０を第１進入領域６２より手前に戻すと、ディスプレイ４０が再びスリープ状態に戻るように構成してもよい。

さらに、反射体５０の二つの反射面５２、５４を奥行方向にやや広めの距離（例えば数十ｃｍ）離して配置した場合、オブジェクト７０が第１進入領域６２にあるときと第２進入領域６４にあるときとでは、オブジェクト７０とディスプレイ４０の距離が大きく異なるため、照明用領域８２の明度または輝度を変えるようにしてもよい。この場合、アクション特定部１３２によってオブジェクト７０の検出位置の情報が照明制御部１４０に伝えられ、照明制御部１４０は、いずれの領域にあるかで照明用領域８２の明度または輝度を増減させる。

図６は、図５の実施例に係る照明用領域を表示するプロセスのフローチャートである。

まず、カメラ２０により撮影されたフレームが取得され、鏡面処理を施される（Ｓ１０）。反射面領域特定部１１２は、フレーム内からマーカ５６を検出することで反射面領域を特定する。反射面領域を特定できないほど光量が不足する場合（Ｓ１２のＮ）、照明制御部１４０は、一旦画面全体を明るくして反射面領域を特定できるようにする（Ｓ２８）。反射面領域が特定されると（Ｓ１２のＹ）、奥行位置検出部１２２は、複数のフレーム間で反射面領域の差分を取ることで反射像を検出し、これによりオブジェクトの奥行位置が検出される（Ｓ１４）。アクション特定部１３２は、オブジェクトの奥行位置の情報を用いて、予め定められたアクションが実行されたか否かを判定する（Ｓ１６）。アクションが実行されていなければ（Ｓ１６のＮ）、このフローを終了する。

アクションが実行された場合（Ｓ１６のＹ）、入力受付画像表示部１３４が入力受付画像をディスプレイに表示する（Ｓ１８）。光量判定部１１６は、被撮影空間の光量を判定して照明用領域をディスプレイに表示する（Ｓ２０）。顔領域検出部１２０は、フレーム内からプレイヤーの顔領域を検出し（Ｓ２２）、さらに身体領域推定部１２４はプレイヤーの身体領域を推定し、その情報を照明制御部１４０に渡す（Ｓ２４）。照明制御部１４０は、身体領域に対応する部分を切り取った照明用領域をオンスクリーン表示部１４４に送り、オンスクリーン表示部１４４によって、身体領域の回りを照明用領域が囲んだ画面がディスプレイ４０に表示される（Ｓ２６）。

図７（ａ）〜（ｄ）は、カメラにより撮影されたフレームの明るさに応じて照明用領域を表示する別の実施例を示す。この実施例では、被撮影空間の状況に応じて明度または輝度などの照明用領域８２のパラメータを調節をする。

図７（ｂ）〜（ｄ）は、図７（ａ）のフレームが処理部３２により取得されたとき、ディスプレイに表示されプレイヤーにより認識される画像であり、鏡面画像に対し照明用領域が重ねられて表示された画面の全体を示す。

光量判定部１１６は、フレームを解析するかフォトセンサの信号に基づいて、オブジェクトを取り囲む空間の光量が十分であるか否かを判定する。また、図７（ａ）に示すように、顔領域検出部１２０がプレイヤーの顔の領域を検出する。光量判定部１１６は、不足する光量に応じて、図７（ｂ）に示すように照明用領域８４をディスプレイの左上および右上に表示するか、または、図７（ｃ）、（ｄ）に示すように照明用領域８４をいずれか一方に表示するかを決定する。照明制御部１４０は、顔領域に重ならないように照明用領域８４を表示する。

照明用領域８４の明度または輝度は、固定でもよいし、ディスプレイ４０とオブジェクト７０との間の距離に応じて変化させてもよい。前者の場合、例えばディスプレイ４０に対する反射体５０の推奨配置位置にしたがって想定距離を予め定めておき、それに合わせて設定した光量がオブジェクトに照射されるように照明用領域の明るさを設定する。後者の場合、後述するように、距離推定部１４６でディスプレイ４０とオブジェクト７０までの距離を推定し、その情報をもとに照明用領域の明度または輝度を変化させてもよい。

照明制御部１４０により照明用領域の明るさを変化させる毎に、光量判定部１１６において光量の判定をし、それに応じて照明用領域の明るさを増減するようにしてもよい。こうすれば、オブジェクトが適切な明るさで照らされるような照明用領域の明度または輝度を試行錯誤的に決定することができる。

図８（ａ）〜（ｃ）は、入力インタフェース装置１０における照明用領域の表示の別の実施例を示す。この実施例では、照明用領域の表示時間、表示位置、および発する色をアクティブに制御することで、カメラにより撮影されるフレームから得られる情報量を増大させる。

図８（ａ）に示すように、照明制御部１４０は、複数の色の異なる照明用領域８６、８８（図では、赤と青）を、短時間ずつ連続してディスプレイに表示させてもよい。そして、色解析部１４８は、それぞれの色の照明用領域８６、８８がディスプレイに表示されたときにカメラ２０で撮影されたフレームを取得し、それらフレーム間での色の変化に基づいて、被撮影空間にある物体の色情報を取得するようにしてもよい。

また、図８（ｂ）、（ｃ）に示すように、照明制御部１４０は、ディスプレイの左半分および右半分に含まれる照明用領域８４を、短時間ずつ連続してディスプレイに表示させてもよい。そして、距離推定部１４６は、左右それぞれの照明用領域８４がディスプレイに表示されたときにカメラ２０で撮影されたフレームを取得し、それらフレーム間の差分を取ることで、被撮影空間にある物体のディスプレイからの距離を推定するようにしてもよい。

図９は、図８の実施例に係る照明用領域を表示するプロセスのフローチャートである。Ｓ５０〜Ｓ５６までの処理は、図６のＳ１０〜Ｓ１６と同様である。

アクションが実行されている場合（Ｓ５６のＹ）、照明制御部１４０は、色の異なる照明用領域を連続してディスプレイに表示させるか、またはディスプレイの左右で照明用領域を連続して表示させる（Ｓ５８）。距離推定部１４６または色解析部１４８は、それぞれの照明用領域がディスプレイに表示されたときにカメラで撮影されたフレームを取得する（Ｓ６０）。そして、複数フレーム間の差分を取ることで、被撮影空間の色情報または距離情報を取得する（Ｓ６２）。

以上説明したように、本実施形態によれば、オブジェクトの動きを認識する入力インタフェース装置においてディスプレイを照明として積極的に使用するようにした。プレイヤーが暗い室内において入力インタフェース装置を用いると、カメラにより撮影されるフレームも暗くなってしまう。入力インタフェース装置は、フレーム内でのオブジェクトの検出により入力を受けとる装置であるから、フレームが暗い状態のままではそれ以上何の処理もできなくなってしまう。そこで、ディスプレイを自動的に明るくすることによって、オブジェクトの明るさを確保するようにしたのである。

近年普及してきたハイビジョンテレビの視野角は、従来のブラウン管テレビや液晶テレビなどよりもかなり広くなっており、視聴者が適正視野角でテレビを見ようとすると、視聴者とディスプレイとの距離が一層近づくことが予想される。このような状況では、たとえ部屋の照明が暗くても、ディスプレイを明るくすることでプレイに必要な光量を確保することができる。

照明用領域が表示されてプレイヤーの顔領域および身体領域が特定されると、入力インタフェースとして不要な部分だけを照明用領域として用いる。プレイヤーに視認させたい部分、つまりインタフェースにとって必要な部分である入力指示画面とプレイヤー自身の像と、照明用領域とを分けることで、画面全体を明るくする必要がなく、省エネルギーにもなる。

また、フレームの明度データまたは輝度データのビット数を増やした場合、オブジェクトを照らす光量を増加させることでより多くの情報量を取得することができ、種々の画像処理に活用できる。

以上、実施の形態をもとに本発明を説明した。これらの実施の形態は例示であり、各構成要素またはプロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。また、実施の形態で述べた構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

実施の形態では、反射体５０が二つの反射面５２、５４を備えることを述べたが、反射面の数はひとつでも、または三つ以上でもよい。反射面がひとつの場合、プレイヤーによるオブジェクトの押し込みや引き出しなどのアクションは特定できないが、少なくともその反射面に対応する進入領域内にオブジェクトが位置するか否かを特定することができる。反射面が三つ以上の場合でも、それぞれに対応して進入領域が設定され、奥行位置検出部によって各進入領域にオブジェクトが進入したか否かを判定する点は上述したのと同様である。反射面の数を多くすることで、さらに複雑なプレイヤーのアクションを識別することが可能になり、アクションに合わせて、より詳細に照明用領域を制御することができる。例えば、オブジェクトの位置に応じた照明用領域の明度または輝度に多数の段階を持たせることができる。

実施の形態では、ディスプレイに照明用領域を表示することでオブジェクトを照明することを述べたが、照明制御部がディスプレイの制御回路に対して、画面の輝度を高めるように信号を発するようにしてもよい。この場合、オブジェクトが第１進入領域または第２進入領域のいずれに位置するかの情報にしたがって、ディスプレイの制御回路に対し、スリープモードの開始または停止を指令するように構成してもよい。

実施の形態では、プレイヤーおよびオブジェクトの鏡面画像をディスプレイに映し出すことを述べたが、カメラにより撮影された動画は、ディスプレイに映し出されなくてもよい。

入力インタフェース装置の全体構成を示す図である。 カメラと画像処理装置のハードウェア構成を簡略化して説明した図である。 反射体の構造を示す平面図である。 処理部の詳細な構成を示す図である。 （ａ）〜（ｄ）は、カメラにより撮影されたフレームの明るさに応じて照明用領域を表示する実施例を示す図である。 図５の実施例に係る照明用領域を表示するプロセスのフローチャートである。 （ａ）〜（ｄ）は、カメラにより撮影されたフレームの明るさに応じて照明用領域を表示する別の実施例を示す図である。 （ａ）〜（ｄ）は、入力インタフェース装置を使用した照明用領域の表示の別の実施例を示す図である。 図８の実施例に係る照明用領域を表示するプロセスのフローチャートである。

符号の説明

１０ 入力インタフェース装置、 ２０ カメラ、 ３０ 画像処理装置、 ４０ ディスプレイ、 ５０ 反射体、 ５２ 第１反射面、 ５４ 第２反射面、 ５６ マーカ、 ６２ 第１進入領域、 ６４ 第２進入領域、 ７０ オブジェクト、 ７２ プレイヤー、 ７４ 顔領域、 ７６ 身体領域、 ８０ 入力受付画像、 ８２〜８８ 照明用領域、 １１２ 反射面領域特定部、 １１６ 光量判定部、 １２０ 顔領域検出部、 １２２ 奥行位置検出部、 １３２ アクション特定部、 １３４ 入力受付画像表示部、 １３６ 入力受付部、 １４０ 照明制御部、 １４６ 距離推定部、 １４８ 色解析部。

Claims (10)

1. プレイヤーにより操作されるオブジェクトを撮影し、オブジェクトの動きをディスプレイに表示された入力受付画像に対する指示として受けとる画像処理方法において、少なくとも前記オブジェクトの動きが検出されたときにディスプレイに映し出される画像の明るさを高めることを特徴とする画像処理方法。
2. プレイヤーにより操作されるオブジェクトを撮影するカメラと、
   撮影されたフレームに基づいてオブジェクトの位置を検出する位置検出部と、
   前記オブジェクトの検出結果をもとにプレイヤーのアクションを特定するアクション特定部と、
   前記アクションをディスプレイに表示された入力受付画像に対する指示として受けとる入力受付部と、
   前記アクションに応答して、アクションが検出される前の状態よりも前記ディスプレイに映し出される画像の明るさを高める照明制御部と、
   を備えることを特徴とする入力インタフェース装置。
3. 前記オブジェクトの反射像を前記カメラに向けて投影するように配置され、前記オブジェクトの直接像とともに反射像を前記カメラに撮影させる反射体をさらに備えることを特徴とする請求項２に記載の入力インタフェース装置。
4. 前記照明制御部は、撮影されたフレームよりも明度または輝度の高い照明用領域を前記ディスプレイに表示して画像の明るさを高めることを特徴とする請求項２または３に記載の入力インタフェース装置。
5. 前記照明制御部は、画像全体から前記オブジェクトの動きにしたがった入力指示を受けとるための入力画像を除いた部分を前記照明用領域とすることを特徴とする請求項４に記載の入力インタフェース装置。
6. 前記照明制御部は、画像全体から前記オブジェクトとともに撮影された前記プレイヤーの像を除いた部分を前記照明用領域とすることを特徴とする請求項４または５に記載の入力インタフェース装置。
7. 前記オブジェクトを含む被撮影空間の明るさを推定する画像解析部をさらに備え、
   前記照明制御部は、前記オブジェクトを正確に検出するために明るさが不足すると判定されたとき、前記照明用領域の明るさを高めることを特徴とする請求項４ないし６のいずれかに記載の入力インタフェース装置。
8. 前記照明制御部は、被撮影空間の明るさに基づいて前記照明用領域のパラメータを調整することを特徴とする請求項７に記載の入力インタフェース装置。
9. 前記照明制御部は、ディスプレイの左半分および右半分に含まれる照明用領域を左右交互にディスプレイに表示させ、
   左右それぞれの照明用領域がディスプレイに表示されたときに撮影されたフレームに基づいて、被撮影空間にある物体のディスプレイからの距離を推定する距離推定部をさらに備えることを特徴とする請求項４ないし６のいずれかに記載の入力インタフェース装置。
10. 前記照明制御部は、複数の色の異なる照明用領域を順番にディスプレイに表示させ、
    それぞれの色の照明用領域がディスプレイに表示されたときに撮影されたフレームに基づいて、被撮影空間にある物体の色情報を取得する色解析部をさらに備えることを特徴とする請求項４ないし６のいずれかに記載の入力インタフェース装置。

Images