JP2009500711A - システム制御方法 - Google Patents

Abstract

本発明は、１又は複数の構成要素（Ｃ_１、Ｃ_２、．．．、Ｃ_ｎ）を有するシステム（１）を制御する方法を記載する。前記方法は、カメラ（３）を有するポインティング装置（２）を１又は複数の構成要素（Ｃ_１、Ｃ_２、．．．、Ｃ_ｎ）の方向へ向ける段階、ポインティング装置（２）が向けられた目標領域（Ａ）の、１又は複数の構成要素（Ｃ_１、Ｃ_２、．．．、Ｃ_ｎ）の少なくとも一部を含む画像データ（４）を生成する段階、ポインティング装置（２）が向けられている１又は複数の構成要素（Ｃ_１、Ｃ_２、．．．、Ｃ_ｎ）に対するユーザー（５）の位置、及び／又は前記構成要素の相対位置に関する位置情報（Ｐ）を決定するため、画像データ（４）を分析する段階、を有する。システム（１）は、位置情報（Ｐ）に従い制御される。更に、本発明は、対応する制御システム（１０）、家庭向け娯楽システム及び照明システムを記載する。本発明は、画像データ分析で用いられる寸法データ（Ｄ）を取得する方法を更に記載する。

Description

本発明は、１又は複数の構成要素を有するシステムを制御する方法、及び当該システムを制御する制御システムに関する。更に、本発明は、当該装置の構成要素の寸法データを取得する方法に関する。本発明はまた、家庭向け娯楽システム及び照明システムに関する。

家庭向け娯楽システムは、今日では多くの家庭にあり、しばしばテレビジョン及び受信機又は増幅器、及び例えばサラウンド・スピーカーのような多数のスピーカーのような構成要素を有する。家庭はあらゆる方法で設計され及び装飾されているので、及び所有者の好みも多様なので、一般にほとんど全ての家庭向け娯楽システムは異なる設定をされ、全てのユーザーは彼の家庭向け娯楽システムに関し何が彼に適するかについて異なる意志又は意見を有すると言える。

いくつかの家庭向け娯楽システムは、限られた領域ではあるが個人化を可能にする。例えば、特許文献１及び特許文献２は共に、サラウンド音響システムのスピーカーからの音響出力が、スピーカーのグループの範囲内に座っている間にユーザーの位置に適するよう調整され得る方法を提案している。提案された両方法では、ユーザーは、試験信号が専用ハンドヘルド装置から送信され及びスピーカー筐体内の適切な回路により検出される較正手順を実行しなければならない。検出された試験信号を処理した後に、スピーカーとユーザーとの間の距離が推定される。測定された距離は次に、スピーカー出力がユーザーの位置に適するよう音響チャンネルを設定するために適用され得る。このようなシステムの明らかな不利点は、スピーカーが実行されるべき個人化のために専用回路を実装しなければならないこと、及びこのようなシステムが１つの家庭向け娯楽システムのみ、この場合にはスピーカーのみを個人化するために適用され得ることである。

更に、システムの較正に用いられるリモコン、及びテレビジョン、チューナー、ＤＶＤプレーヤー等のようなシステムの構成要素の制御に用いられるリモコンは、特にシステム内に多数の構成要素が存在する場合、及び各構成要素がそれぞれのリモコンにより制御されなければならない場合、煩わしく使いにくい。これらの環境下では、ユーザーはしばしば、益々増加する機能を選択又は活性化するために非直感的な名前を有する多種多様のボタンに習熟しなければならない。最終的にユーザーは、構成要素の一層不明瞭な機能へのアクセスに係わる問題に混乱するか又は苛立つ。従ってユーザーは結局諦め、既に慣れている限定数の機能を用いることに甘んじる。

通常のリモコンの可能な代替物は、ポインティング装置であって良い。ポインティング装置に基づくユーザー・インターフェース・システムは、国際公開第２００４／０４７０１１Ａ２号で知られている。国際公開第２００４／０４７０１１Ａ２号は参照されることにより本願明細書に含まれる。このようなシステムの構想は、対象物、例えば装置の筐体、画面、又は如何なる他のアプリケーション又は装置に関連付けられた付属物に向けられることにより、カメラに接続されたポインティング装置が周囲にある如何なる装置を制御するためにも用いられ得ることである。ポインティング装置のカメラは、カメラが向けられた目標領域の画像を生成し、これら画像は次に分析される。このようなポインティング装置は、例えば選択肢の１つを選択するために多数の選択肢を示す、構成要素のディスプレイに向けることにより、システムの構成要素を制御するために用いられ得る。このように、ユーザーは、システムの１又は複数の構成要素を彼の要求に適するよう設定し得る。

しかしながら、システムの構成要素を設定するために用いられる装置の種類に拘わらず、ユーザーが位置を変えたときはいつも設定が繰り返されなければならない。例えば、彼はサラウンド音響で映画を楽しむときにある場所に座るが、音楽又はラジオを聞くときには別の場所に座りたいかも知れない。それぞれの場合に、バランスが彼の位置に適合するよう、彼はスピーカーを再設定しなければならない。彼がシステムから離れ、例えば隣接する部屋又は空間に移動するが、例えばラジオ番組を聴き続けたい場合、彼は聞こえ続けるよう音量を手動で調整しなければならない。明らかに、このような頻繁に生じる調整は、ユーザーがリモコンの機能（音量制御、バランス等）を特に選択しなければならない、又はポインティング装置で選択するために構成要素のディスプレイに選択肢を呼び出さなければならない場合、結局は厄介で腹立たしいと思われるだろう。
米国特許第６１１８８８０号明細書 米国特許出願第２００２／０１５９６１１ Ａ１号明細書

従って、本発明の目的は、ユーザーの位置に適するようシステムの如何なる構成要素も設定する、ユーザーにとって簡単で直感的な方法を提供することである。

当該目的のため、本発明は１又は複数の構成要素を有するシステムを制御する方法を提供する。当該方法は、カメラを有するポインティング装置を１又は複数の構成要素の方向へ向ける段階、及び前記１又は複数の構成要素の少なくとも一部を含む、前記ポインティング装置を向けられた目標領域の画像データを生成する段階、を有する。その後、画像データは、ポインティング装置が向けられている１又は複数の構成要素に対するユーザーの位置、及び／又は前記構成要素の相対位置に関する位置情報を決定するため分析される。続いて、システム、つまりシステムの１又は複数の構成要素は、位置情報に従い制御されるか又は設定される。

システムの構成要素は、テレビジョン、ＤＶＤ、増幅器、スピーカー等のような標準的な家庭向け娯楽システムの如何なる通常の構成要素であって良く、又は照明器具のスイッチ、カーテン若しくは窓シャッターの制御装置等のような如何なる他の種類の電気制御可能な構成要素であっても良い。

１又は複数の構成要素の画像を分析することにより得られた位置情報は、ポインティング装置を構成要素へ向けている間の構成要素からのユーザーの距離、又は構成要素に対しユーザーが位置する角度のような、ユーザーと構成要素との間の相対位置のパラメーターを記述し得る。更に、目標領域の画像は、システムのある構成要素の別の構成要素に対する位置を記述する位置情報を生成し得る。

１又は複数の構成要素を有するシステムを制御する制御システムは、前記システムと相互作用するポインティング装置を有する。前記ポインティング装置は、前記ポインティング装置が向けられている目標領域の画像データを生成するカメラ、前記画像データを分析し前記ポインティング装置が向けられている１又は複数の構成要素に対するユーザーの位置、及び／又は前記構成要素の相対位置に関する位置情報を決定する画像分析ユニット、並びに前記システム、つまり１又は複数のシステム構成要素を前記位置情報に従い制御する制御ユニット、を有する。

本発明の明らかな利点は、システムの構成要素をユーザーの位置に適するよう調整するために、ユーザーが複雑な相互作用手順を実行する必要がないことである。単にポインティング装置をシステムの構成要素に向けるだけで、ユーザーはシステムに彼の新たな位置を知らせ、そしてシステムの個々の構成要素は相応に制御されるか又は調整され得る。システムの構成要素は従って、一種の「追跡」モードで周期的に又は連続的に調整される。例えば、ユーザーは単に、テレビジョン・スピーカー又はサラウンド・スピーカーの音量を当該スピーカーからの彼の間隔に自動的に調整するために、ポインティング装置を彼の新たな位置からテレビジョンへ向けるだけで良い。例えば、ユーザーが近付くとテレビジョン・スピーカーの音量は減少し、又はユーザーが離れると増大する。このように音量はユーザーの位置に従い連続的に調整される。

従属請求項及び以下の説明は、本発明の特に有利な実施例及び特徴を開示する。

位置情報を決定するために画像データを分析する際、ポインティング装置が向けられている構成要素は最初に識別される。目標領域の画像内に部分的に又は完全に現れている構成要素は、当業者に知られている多数の方法で識別され得る。知られている画像処理技術は、画像内の構成要素の端点又は画像の関連領域のような特定の画像データを抽出するために適用され得る。このように抽出されたデータは次に、例えばシステム構成要素のテンプレートと比較され得る。画像データと最も密接に一致する構成要素テンプレートは、目的としている構成要素を識別する。或いは、例えば全て十分に異なる比を有するシステム構成要素の場合、画像内の構成要素の端点、従って構成要素の「画像寸法」（例えば画素数の単位で）を識別し、そして画像寸法の比を多数の利用可能な構成要素モデルの寸法の長さ、幅、高さ等と比較すれば十分である。最も密接に一致する比を有する構成要素モデルが選ばれる。

構成要素を識別する別の方法では、いくつかの又は全ての構成要素はある種の識別子マーカーを設けられて良い。例えば、異なる形状のステッカーの形式のマーカーは、構成要素の前面に塗布され、従ってマーカーはポインティング装置が当該構成要素に向けられると画像内に現れる。必然的に、当該ステッカーは、適切な検出器を備えられたデジタル・カメラに光学的に登録され得る材料を有するが、人間の目には基本的に見えない。マーカーの形状及び／又は構成要素の筐体上のマーカーの位置は、構成要素を排他的に識別する。また適切な記述的情報は画像処理手順で画像分析ユニットにより読み出され得る。

構成要素が識別されると、画像分析は次に、本発明に従い構成要素とポインティング装置との間の間隔又は距離を決定する。この距離に到達するため、画像データが正しく解釈されるよう、構成要素の実際の寸法は知られていなければならない。従って、本発明の好適な実施例では、画像から抽出された構成要素に関する情報は、当該構成要素を記述する知られている寸法データと比較される。構成要素の寸法データは、例えば３次元モデル、ワイヤー・フレーム・モデル、又は当該構成要素を記述する如何なる他の適切な種類のモデルから読み出され得る。構成要素のモデルは構成要素の実際の大きさ又は寸法を与える。従って、ＣＤプレーヤーのような構成要素の寸法データは、幅、全幅、高さ等のような筐体の寸法を有して良く、及びディスプレイ、音量制御つまみ、ＣＤトレイ等の位置及び輪郭のような示差的特徴の位置及び形状を与えて良い。

カメラの焦点距離のようなポインティング装置のカメラに関する寸法データも、望ましくは画像データを分析する際に適用される。従って、カメラの焦点距離、構成要素の実際の寸法、及び画像内に見られる構成要素の寸法が分かると、ポインティング装置のカメラとポインティング装置が向けられている構成要素との間の距離、及び従ってユーザーと構成要素との間の距離は簡単に決定できる。ユーザーは一般にポインティング装置を手に持っているので、実際のユーザーの位置を計算するため、制御システムはユーザーの手から肘までの前腕の長さが平均長であると仮定して良い。或いは、制御システムは、ユーザーに彼の前腕の長さを画像分析のパラメーターとして入力させ、従ってより正確な距離測定を可能にして良い。

構成要素のモデルを得る１つの可能な方法は、ユーザーが自身で、例えば、ユーザーが構成要素の寸法を記述する詳細を入力し得る適切なソフトウェア・プログラムを用いモデルを作成することである。或いは、ユーザーは、デジタル・カメラで撮られた装置の１又は複数の写真に含まれるような画像データを入力して良い。このように生成されたモデルは次に、制御システムの画像分析ユニットへ伝達され得る。

しかしながら、１又は複数の構成要素の寸法データを取得するこのような方法は、時間がかかる。従って、本発明の好適な実施例では、システムの構成要素の寸法データは、ポインティング装置を用いたトレーニング手順でより簡単に得られる。この目的のため、本発明による寸法データを取得する方法は、ポインティング装置を構成要素に向ける段階、及び構成要素の画像又は画像シーケンスを生成し当該構成要素の寸法データを導出する段階、を有する。例えば、この方法で新たに導出された寸法データは、画像内の構成要素の角点の間の距離を有して良い。角点は、例えば構成要素の筐体の端点であり、及びカメラの焦点距離が分かると、装置の粗「ワイヤー・モデル」に変換され得る。更に、モデルの形式の当該構成要素の寸法データが既に存在する場合、構成要素の初期寸法データは次に更新され、そして新たに導出された寸法データを用い改善される。

特定量のユーザー相互作用が、トレーニング手順を実行するために必要であって良い。例えば、構成要素のために利用可能な如何なる初期寸法データもない場合、画像分析ユニットは、望ましくは、少なくとも多数の初期測定に対し、ポインティング装置とモデルがトレーニングされる構成要素との間の距離を知っていなければならい。この目的のため、トレーニング手順は適切な指示をユーザーへ発行することにより、「監督された」方法で実行され得る。例えば、ユーザーは、ユーザーがポインティング装置を手に持ち例えば構成要素から２メートルの距離に居るよう、最初に構成要素の前に立つように指示されて良い。次にユーザーの位置からの構成要素の画像が生成される。ユーザーは、次に特定の角度で構成要素の２メートル左に、次に特定の角度で構成要素の２メートル右に立つ等のように指示され、その間に各位置の画像が生成される。指示はシステムのスピーカーを用い発行されて良く、又はシステムのディスプレイに現れても良い。次に、各画像でポインティング装置と構成要素との間の距離が分かり、及びポインティング装置のカメラの焦点距離が分かると、画像分析ユニットは構成要素の寸法を簡単に推定し得る。従ってこれらは次に、構成要素のモデルをトレーニングするトレーニング・ユニットへの入力パラメーターとして用いられ得る。

上述の監督されたトレーニング手順は、構成要素の筐体の寸法のような構成要素の望ましくは重要な寸法を有する粗い又は初期モデルを得るには十分である。従って、初期モデルは如何なるユーザー参加も有さず、監督されないトレーニング手順で更新され得る。監督されないトレーニング手順は、ユーザーが如何なる場合も構成要素と相互作用するためにポインティング装置を種々の構成要素に向けているという事実を利用する。ユーザーがポインティング装置を構成要素に向けているときはいつも、画像分析ユニットは、構成要素を制御するためにも用いられている画像データを用い、構成要素のモデルを更に更新又は精緻化するためにトレーニング・ユニットへ入力され得る新たな寸法データを導出し得る。このように、構成要素のモデルは時間を掛けて精緻化され得る。従ってシステムの性能は、例えばユーザーの位置を計算するために要する時間を削減することにより、及び従ってユーザーの位置の変化に反応するために要する時間を削減することにより向上される。

明らかに、構成要素のモデルは構成要素の製造者、又は第三者により供給され得、構成要素が購入された時又は後日得られ、そしてある適切な方法で画像分析及び／又はトレーニング・ユニットへ転送されて良い。例えば、構成要素の３次元又は他の種類の記述的モデルは、インターネットのようなネットワークからダウンロードされ得る。

本発明による制御システムは、望ましくはトレーニング・ユニット及び／又はデータ取得ユニットを有する。当該トレーニング・ユニットは、構成要素モデルを適応するために適した画像分析結果を得るため、監督されたトレーニング手順に必要なコマンドを発行し得るか、又は如何なるユーザー参加も有さず単に画像分析ユニットと通信して良い。データ取得ユニットは、構成要素モデル又は寸法データを如何なる適切な情報源からも取得し得る。従ってデータ取得ユニットは１又は複数の適切なインターフェースを設けられて良い。モデルの情報源は、既に述べられたように、製造者、インターネット、又は画像プログラムであって良い。

明らかに、本発明による制御システムの方法は、多数の実用的及び多様な方法で、ユーザーにとってより簡単且つ便利にシステムと相互作用するために用いられ得る。例えば、方法は、あるシステム構成要素のディスプレイ内の文字又は画像の大きさをディスプレイを読むユーザーに適するよう調整するために用いられ得る。ユーザーがディスプレイの近くに立っている場合、文字は通常の大きさで示され得る。ユーザーが構成要素から離れ、ポインティング装置を構成要素に向け制御システムに構成要素に対するユーザーの新たな位置を決定させると、ディスプレイ内の文字及び／又は画像の大きさは、ユーザーが容易に読めるよう又はディスプレイに示されたことを解釈できるよう拡大され得る。このように、本発明による方法は、ユーザーが如何なる適当な距離でもディスプレイに示されたものを快適に見えることを保証する。

別の適用では、本発明による方法及び制御システムは、多数のシステム構成要素の相対位置、又は多数の構成要素のユーザーに対する位置を決定するために用いられ得、及び当該情報は構成要素を制御又は設定するために用いられ得る。ある手法では、一群、例えばスピーカーのグループは、例えば特定の方法で各スピーカーの間の距離を入力することによりシステムに知らされ得る。次に、ユーザーがポインティング装置をスピーカーの１つに向けているとき、及び当該スピーカーが画像分析で識別されるときはいつも、ユーザーの当該スピーカーに対する位置、及び従ってユーザーの他のスピーカーに対する位置が決定され得る。スピーカーへの音響チャンネル入力は次に、ユーザーの位置を適応させるために利用され、ユーザーの場所のスイート・スポットを位置決めし得る。

勿論、システムの構成要素の相対位置はまた、ユーザー自身に構成要素を物理的に測定すること、及び当該測定結果を制御システムへ入力することを要求せずに、ポインティング装置を用いることにより自動的に決定され得る。ある手法では、場合によっては制御システムにより発行されている指示で、少なくとも２つの構成要素が少なくとも部分的に目標領域画像内に見えるよう、ユーザーはポインティング装置を構成要素に向ける。識別された構成要素のモデルを用い、画像分析は構成要素間の距離を推定し得る。処理は、全ての構成要素に対し繰り返され、従って構成要素の一群全体を決定することを可能にする。構成要素間の距離はまた、如何なるユーザー参加も有さず、ユーザーが構成要素と相互作用するために構成要素に向けているときはいつも、１つ以上の構成要素が見える如何なる画像を分析することにより、バックグランドで計算され得る。このように、構成要素間の距離に関する情報は収集され、バックグランドで計算され、及び次に１又は複数の構成要素を制御又は設定する際に用いられ得る。

スピーカーのグループの場合、スピーカーへの音響チャンネル入力は次に、ユーザーがスピーカーのグループ内で位置を変えた時、又はユーザーがグループの外へ移動した場合、自動的に調整され得る。例えば、ユーザーは隣接する領域又は部屋へ移動しても、依然としてラジオ又はテレビジョンで再生されているものを聞きたいかも知れない。この場合、ユーザーは、ユーザーを「追跡」するよう関連するスピーカーの音量を増大させるために、単にポインティング装置をシステムの構成要素の１つへ向けるだけで良い。ユーザーが単にポインティング装置を構成要素の１つへ向けながら再びスピーカーに近付くと、制御システムはスピーカーの音量を再び自動的に減少する。

必然的に、本発明の方法が用いられるシステム構成要素は、テレビジョン、スピーカー等のような電子オーディオ・ビジュアル構成要素に限定されない。システムはまた、照明、電気制御窓ブラインド又はカーテン等のような要素を有しても良い。多数のこのような要素及び構成要素が全て１つの制御システムにより制御可能であることが考えられる。例えば、ユーザーは映画を観るために座り、ポインティング装置をテレビジョン又はＤＶＤプレーヤーの方向に向け、適切なコマンドを発行して良い。コマンドが制御システムにより解釈された後、カーテン又はブラインドは自動的に閉じ、及び照明は自動的に調整及び／又は調光され得る。例えば、天井の照明は切られ、及び読書灯又はテレビジョンを観る状況に適した他の照明は適切な明るさのレベルで点けられ得る。

本発明によるシステムの制御情報では、カメラを有するポインティング装置は、多数の「選択肢」を有する構成要素と相互作用するために構成要素の方向に向けられ得る。次に、上述のように、ポインティング装置が向けられた目標領域の画像が生成される。そして目標領域画像は、ポインティング装置が向けられた目標点を決定するために処理される。選択された選択肢は、構成要素の目標点の位置に依存して決定される。選択肢は、テレビジョン画面のようなディスプレイに表示されるメニュー項目、又は構成要素の前面にあるボタン若しくはつまみ、例えばＤＶＤプレーヤーの早送りボタンであって良い。ポインティング装置を選択肢に向けると、ユーザーは簡単に選択肢を選択できる。

目標領域画像内の目標点を決定するため、コンピューター・ビジョン・アルゴリズムが適用され得る。コンピューター視覚アルゴリズムを用い目標領域画像の画像データを処理する方法は、目標画像内の特徴点を検出する段階、例えば画面のような装置の構成要素のテンプレート内、又は構成要素の（知られている）環境内の相応する点を決定する段階、及び目標画像内の点をテンプレート内の対応する点にマッピングする変換を展開する段階、を有する。当該変換は次に、ポインティング装置の構成要素に対する位置及び方位を決定するために用いられ得る。従ってポインティング軸と構成要素との交点は、テンプレート内に位置付けられ得る。テンプレート内の当該交点の位置は、ユーザーがポインティング装置を向けている構成要素内の目標点に対応し、及びどの選択肢がユーザーにより目標とされているかを簡単に識別するために用いられ得る。画像データを予め定められたテンプレートと比較することは、特徴的な端点のような角点のみを識別し及び比較することに限定されて良い。本発明に適用された「比較する」の語は、広義に理解されるべきである。つまりユーザーが指している選択肢を迅速に識別するために十分な特徴を比較すると理解されるべきである。

本発明の特に好適な実施例では、目標点を識別するための目標領域画像の処理は、ポインティング装置自体で実行されて良い。しかしながら、快適に手に持てることが望ましいと考えられるこのようなポインティング装置の計算能力は、複雑な計算処理に必要な能力に必ずしも限定されない。従って、画像データは望ましくは更なる処理のため、構成要素制御インターフェースへ送信される。構成要素制御インターフェースは、ポインティング装置から画像データを受信し、画像分析ユニットで画像分析を実行し、そして制御ユニットで画像分析結果を解釈し、システム又はシステムの構成要素のために制御信号を生成する。制御ユニットは従って、ユーザーにより選択された選択肢に基づき、又はユーザーの構成要素からの距離に基づき、適切な制御信号を構成要素へ送信し得る。画像分析の実行に加え、構成要素制御インターフェースはまた、寸法データの取得及び／又はモデル・トレーニングに関与する。

このような構成要素制御インターフェースは、例えば制御されるべきシステムの構成要素の一部であって良く、及び構成要素自体と同一の筐体内に組み込まれて良い。或いは、当該構成要素制御インターフェースは、システム内の１つ以上の構成要素と、及び１つ以上のシステム又はシステムの種類と通信可能であって良いので、制御されるべき構成要素と如何なる適切な方法で通信し得る別個の構成要素として実現されて良い。必然的に、構成要素制御インターフェースはポインティング装置内に組み込まれることも考えられる。しかし、必要な構成要素の寸法がハンドヘルド装置に組み込まれるには大きすぎるならば、構成要素制御インターフェースは望ましくは別個の構成要素として実現される。

上述のポインティング装置及び制御システムは結合され、事実上如何なる種類のシステムも制御する、家庭、職場、美術館、病院又はホテル環境のような多種多様な環境で用いられる強力な手段を与える。本発明による方法は、システムの如何なる電気的又は電子的に制御可能な構成要素に適用され得る。更に、制御システム及び制御されているシステム構成要素は、如何なる数のモジュール、構成要素、又はユニットを有しても良く、及び如何なる方法で分散されても良い。

本発明の目的及び特徴は、添付の図面と関連した以下の詳細な記載から明らかである。しかしながら、理解されるべき点は、図が単に説明を目的として考案されていること、及びこれらの図が本発明を制限しないことである。

図中、同様の番号は同様の物を参照する。

図１は、如何なる現在のリビングルームにも見られる多数の構成要素、ここではテレビジョンＣ_１、ＣＤ又はＤＶＤプレーヤーＣ_２、増幅器及びチューナーＣ_３、多数のスピーカーＣ_４、Ｃ_５、Ｃ_６、Ｃ_７、及び多数の照明Ｃ_８、Ｃ_９を有する。ユーザー５は、構成要素Ｃ_１、Ｃ_２、Ｃ_３、Ｃ_４、Ｃ_５、Ｃ_６、Ｃ_７、Ｃ_８、Ｃ_９と相互作用する又は制御するために、カメラを有するポインティング装置２を構成要素の何れにも向け得る。本発明による構成要素制御インターフェース７は、如何なる適切な位置にも位置付けられ得、ここでは他の構成要素Ｃ_１、Ｃ_２、Ｃ_３と一緒に示される。ポインティング装置２のカメラにより生成された画像は、構成要素制御インターフェース７へ送信され、そして分析される。ユーザー５に関する位置情報及び／又はユーザー５が指している構成要素Ｃ_１、Ｃ_２、Ｃ_３、Ｃ_４、Ｃ_５、Ｃ_６、Ｃ_７、Ｃ_８、Ｃ_９に対しユーザー５が選択し得る如何なる選択肢に関する情報も、構成要素制御インターフェース７により、適切な制御信号に変換され得る。次に当該制御信号は関連構成要素Ｃ_１、Ｃ_２、Ｃ_３、Ｃ_４、Ｃ_５、Ｃ_６、Ｃ_７、Ｃ_８、Ｃ_９へ送信される。

図２ａ−ｃは、テレビジョンＣ_１に対し多数の位置にいるユーザーを示す。図２ａで、ユーザー５は、サラウンド音響を有する映画を観るためテレビジョンＣ_１の正面にあるソファーに座っている。ユーザーは、ポインティング装置２をテレビジョンＣ_１又はＤＶＤプレーヤー（図に示されない）に向けて良い。構成要素制御インターフェース７の制御ユニットは、ユーザーのコマンド（例えば、「ＤＶＤを再生する」）を解釈し、ユーザー５とテレビジョンＣ_１との間の距離ｄ_１を決定し、及び相応してスピーカーＣ_４、Ｃ_５、Ｃ_６、Ｃ_７がユーザー５のためにユーザー５の位置にサラウンド音響を分配するよう、サラウンド音響システムを自動的に活性化し得る。図２ｂで、ユーザー５は肘掛け椅子に座り、ラジオ又は音楽を聴きたいと望む。ユーザーは適切なコマンド（「ＣＤを再生する」、「局を変更する」）をＣＤプレーヤー又はチューナーへユーザーが座っている場所から発行し得る。同時に、ユーザー５とユーザーが指している構成要素との間の距離ｄ_２は、構成要素制御インターフェース７により決定される。そしてスピーカーＣ_４、Ｃ_５、Ｃ_６、Ｃ_７は、ユーザー５に最も近いスピーカーＣ_４、Ｃ_７の音量が減少され、及びユーザーから遠いスピーカーＣ_５、Ｃ_６の音量が増大されるよう設定される。図２ｃで、ユーザー５は、スピーカーＣ_４、Ｃ_５、Ｃ_６、Ｃ_７のグループにより定められる領域を去るが、依然として現在再生されている音楽、ＴＶ又はラジオ番組をはっきりと聴きたいと望んでいる。従って、ユーザーは、ユーザーとテレビジョンＣ_１との間の距離ｄ_３が測定され得るよう、単にポインティング装置２をテレビジョンＣ_１に向ける。次に、構成要素制御インターフェース７は、音量がユーザー５の新たな位置から聞こえるようユーザー５にとって十分大きいように、スピーカーＣ_４、Ｃ_５、Ｃ_６、Ｃ_７の音量を調整する。

図３で、本発明による方法に必要なポインティング装置２及び構成要素制御インターフェース７のユニット及びモジュールは、ブロック図で示される。カメラ３はポインティング装置２に組み込まれ、正面を向き、及びポインティング装置２の正面且つ指している方向Ｒにある目標領域Ａの画像データ４を生成し得る。このような目標画像Ａは、多数の構成要素を部分的に含むとして概略的に示される。画像データ４の形式の目標領域画像Ａは、送信機２０を介し構成要素制御インターフェース７の受信機２１へ送信され、そして画像分析ユニット１１へ転送される。

画像分析ユニット１１は、画像データ４に現れる構成要素を識別するために初期画像処理を実行する。ポインティング装置２とポインティング装置２が向けられている構成要素との間の距離を決定するため、画像分析ユニット１１は、構成要素の利用可能な寸法データを、適切な構成要素モデルの形式で、取得ユニット１３から読み出し得る。取得ユニット１３は、また、寸法データをインターネット又は製造者のような外部情報源１９から得ているか、又は寸法データを内部メモリー若しくはデータベース１８から読み出して良い。内部メモリー１８に格納された他の情報又は寸法データＤは、一群のシステム構成要素全体が分かるように、互いに対する構成要素の位置を記述して良い。

利用可能なモデルに基づき、画像分析ユニット１１は次に、ユーザーが構成要素に対し位置を変えた場合はいつも、ポインティング装置２が向けられている構成要素に対するポインティング装置２の位置に関する位置情報Ｐを決定し得る。当該位置情報Ｐは、単に距離測定結果であって良く、制御ユニット１２へ転送される。制御ユニット１２は、適切な制御信号１７を制御されるべきシステムへ、又はポインティング装置２が向けられている構成要素へ、又は別の構成要素へ発行する。例えば、サラウンド・スピーカーの音量が調整される必要がある場合、ユーザーは、ユーザーの新たな位置に補正するためにポインティング装置２をテレビジョンへ向けていて良い。この場合、テレビジョンに対するポインティング装置２、及び従ってユーザーの位置が決定され、及びスピーカーのテレビジョンに対する位置が分かると、適切な制御信号１７は、制御ユニット１２からスピーカーと接続された増幅器へ送信され得る。

内部メモリー１８に格納された寸法データＤは、トレーニング手順で蓄積され得る。例えば、システムの新たな構成要素では、又は如何なるモデルも利用可能でない構成要素では、ポインティング装置２のトレーニング・ユニット１４は、目標領域画像Ａのシーケンスが生成されるトレーニング手順を通じユーザーを案内し得る。結果として生じる画像データ４は、画像分析ユニット１１で分析され、構成要素の新たなモデル情報Ｄ’を与える。或いは、追加寸法データは、既存のモデルを精緻化する又は更新するために収集され得る。両方の場合で、新たなモデル情報Ｄ’は将来の使用のためにデータベース１８に追加される。監督されたトレーニング手順の場合に、ユーザーに何をすべきかを知らせるため、トレーニング・ユニット１４は画面上の視覚的出力のため又はスピーカーからの聴覚的出力のためトレーニング・コマンド１６を編集し得る。トレーニング・コマンド１６は制御ユニット１２により対応する装置（テレビジョン、スピーカー等）への適切な制御信号１７に変換される。同様に、トレーニング手順は、ユーザーが新たな寸法データの取得に参加する必要がないよう、監督されずにバックグランドで実行し得る。ここで、ユーザーが１又は複数の構成要素と相互作用する過程でポインティング装置２により集められた画像データ４は、単にバックグランドで処理され、新たな寸法データを集め、システムの構成要素に利用可能な既存のモデルを精緻化する。トレーニング手順は、図６に詳細に記載される。

対象物又は構成要素が目標領域画像Ａ内に現れる異なる方法を説明するため、図４ａ−４ｄは、４つの異なる方位からの構成要素、この例ではテレビジョンを示す。図４ａは、ユーザーがポインティング装置を左から且つ離れた所でテレビジョンに向けた時、目標領域画像に現れるテレビジョンを示す。図４ｂ及び４ｃは、それぞれ正面から及び右からの目標領域画像Ａ内に現れた同一のテレビジョンを示す。図４ｄで、ユーザーはポインティング装置をテレビジョンへ正面から向けているが、テレビジョンの近くに立っている。従って目標領域画像Ａ内のテレビジョンは、図４ａ−４ｃの目標領域画像内より大きく現れる。これらの図はまた、例えば寸法データ又はシステムの構成要素のモデルを用い構成要素を識別する際に画像分析により考慮されなければならない異なる知覚効果を説明する。

ユーザーの構成要素からの距離を決定するための画像分析の段階は、図５を参照して記載される。ここで、目標領域画像Ａの形式の画像データは、ユーザーがポインティング装置を向けているテレビジョンに対し示される。第１の画像処理段階で、テレビジョンの目に見える角に対応する関連点（ｘ_１，ｙ_１）、．．．、（ｘ_６，ｙ_６）は、目標領域画像Ａの画像データ内で識別される。次の段階で、構成要素制御インターフェースの画像分析ユニットは、目標領域画像Ａに現れる構成要素を識別する。必然的に、識別は、上述のように画像データ４を構成要素及びそれらの環境のテンプレートと比較することにより、実行され得る。しかし説明を目的として、この例では、識別は構成要素制御インターフェースに利用可能な構成要素のモデルＭ_１、Ｍ_２、Ｍ_３を用い実行されると仮定される。識別された端点を用い、画像分析ユニットは、点の対（ｘ_１，ｙ_１）と（ｘ_２，ｙ_２）、（ｘ_３，ｙ_３）と（ｘ_４，ｙ_４）、（ｘ_５，ｙ_５）と（ｘ_６，ｙ_６）等の間の対の距離により与えられる、構成要素の目に見える側の比を推定し得る。画像分析ユニットは次に、これらの比を利用可能なモデルＭ_１、Ｍ_２、Ｍ_３の比と比較し得る。比較は、モデルＭ_１が最も密接に目標領域画像４内に見える構成要素と一致すると生じる。システム全体内の構成要素の機能、構成要素のシステムの他の構成要素に対する位置、当該構成要素に対し利用可能なコマンド等のような、このモデルＭ_１に関する関連情報が読み出される。次に、構成要素制御インターフェースの画像分析ユニットは、当該構成要素のモデルＭ_１により記述された寸法データ、及びポインティング装置のカメラの寸法データ、つまりポインティング装置の焦点距離に基づき、カメラ（及び従ってポインティング装置及びユーザー）と構成要素との間の実際の距離を決定し得る。この情報を用い、構成要素制御インターフェースは、必要に応じて当該構成要素への又は別の構成要素への適切な制御信号を生成し得る。

図６は、概略図で、構成要素Ｃ_１のモデルＭ_１のトレーニングを実行するトレーニング処理を示す。当該トレーニング処理は、ユーザーがポインティング装置２を用い構成要素Ｃ_１と相互作用している間にバックグランドで実行し得る。又は当該トレーニング処理は、監督モードで、ユーザー５がポインティング装置２を構成要素Ｃ_１に向けている間に構成要素Ｃ_１に対し立っている場所に関する指示を受信している間に実行して良い。説明を目的として、この例は、テレビジョンＣ_１のモデルＭ_１を導出する監督トレーニング手順を記載する。

最初の段階で、ユーザーは特定の距離で構成要素の正面に立つよう指示される。目標領域画像は、ポインティング装置２のカメラにより生成される。そして当該画像は関連点を抽出するために分析される。ここで、筐体の端点及びテレビジョンの画面が識別される。ポインティング装置２のカメラの焦点距離が分かり、及びユーザー５自身がテレビジョンＣ_１からの要求された距離に居ると仮定すると、制御システムの画像分析ユニットはテレビジョンＣ_１の正面の寸法を推定し得る。これらは第１のレベルのモデルＭ_１”を生成するために用いられる。

ユーザーは次に、第２の目標領域画像が生成され得るよう、テレビジョンＣ_１の左に立つよう要求される。第２の目標領域画像は、この方位からテレビジョンＣ_１を示す。再び、画像分析が目標領域画像に実行され、追加寸法データが生成される。追加寸法データは、既存のモデルＭ_１”を精緻化し第２のレベルのモデルＭ_１’を与えるために用いられる。第３の段階で、ユーザー５はテレビジョンＣ_１の右に立ち、第３の目標領域画像を生成するため、ポインティング装置２をテレビジョンＣ_１に向ける。第３の目標領域画像は、また、既存のモデルが更に精緻化され、構成要素Ｃ_１の完全なモデルＭ_１を与え得るように分析される。

モデルを生成する処理は、以上に非常に簡単な方法で説明された。しかしながら、構成要素の強靱なモデルを構築するためにより多くの数の画像が要求される場合がある。

本発明は、好適な実施例及びそれに関する変形の形式で開示されたが、多数の追加の変更及び変形が、本発明の範囲から逸脱することなく、これら好適な実施例及びそれに関する変形になされ得ることが理解されるだろう。例えば、多数のユーザーにより用いられるポインティング装置では、各ユーザーは特定の適切な方法で、システムの構成要素のユーザー自身の個人化設定を伝達し得る。従って例えば、ユーザーは、彼の個人化設定を活性化するために、彼がポインティング装置の現在のユーザーであることを示すだけで良い。個人設定は、例えばユーザーの手とユーザーの肘との間の測定された長さであって良く、従ってこの距離は同一のポインティング装置のユーザーの間で変化して良く、構成要素からのユーザーの距離を決定する際に考慮に入れられ得る。

明瞭さのため、本願明細書を通じ単数表記は複数を排除しないこと、及び「有する」の語は他の段階又は要素を排除しないことが、理解されるべきである。「ユニット」は、特に単一の実体として記述されない限り、複数のブロック又は装置を有して良い。

本発明の実施例による多数の構成要素を有するシステムの概略図である。 システム構成要素に対する第１の位置にいるユーザーを示す。 システム構成要素に対する第２の位置にいるユーザーを示す。 システム構成要素に対する第３の位置にいるユーザーを示す。 本発明の実施例によるポインティング装置及び構成要素制御インターフェースのブロック図を示す。 左から見た構成要素の目標領域画像を示す。 正面から見た構成要素の目標領域画像を示す。 右から見た構成要素の目標領域画像を示す。 正面から見た拡大された構成要素の目標領域画像を示す。 構成要素の目標領域画像内の興味のある点を示す。 システム構成要素のモデルをトレーニングするトレーニング処理の図式表現である。

Claims (10)

1. 方法であって、１又は複数の構成要素を有するシステムを制御し、前記方法は：
   −カメラを有するポインティング装置を前記１又は複数の構成要素の方向へ向ける段階；
   −前記ポインティング装置が向けられた目標領域の、前記１又は複数の構成要素の少なくとも一部を含む画像データを生成する段階；
   −前記ポインティング装置が向けられている１又は複数の構成要素に対するユーザーの位置、及び／又は前記構成要素の相対位置に関する位置情報を決定するため前記画像データを分析する段階；
   −前記位置情報に従い前記システムを制御する段階、を有する方法。
2. 位置情報を決定するため画像データを分析する段階は、１又は複数の構成要素に関する、及び／又は前記ポインティング装置のカメラに関する知られている寸法データの適用を有する、請求項１記載の方法。
3. 方法であって、構成要素の寸法データを得、前記方法は：
   −前記ポインティング装置を前記構成要素に向ける段階；
   −前記構成要素の画像を生成する段階；
   −前記構成要素の画像を分析し、前記構成要素の寸法データを導出する段階；
   −前記画像分析から導出された寸法データに従い、前記構成要素の初期寸法データを適応する段階、を有する方法。
4. 構成要素の寸法データは監督されたトレーニング手順に適合される、請求項３記載の方法。
5. 構成要素の寸法データは監督されないトレーニング手順に適合される、請求項３記載の方法。
6. 制御システムであって、１又は複数の構成要素を有するシステムを制御し、
   −ポインティング装置が向けられている目標領域の画像データを生成するカメラを有する、前記システムと相互作用するポインティング装置；
   −前記画像データを分析し、前記ポインティング装置が向けられている１又は複数の構成要素に対するユーザーの位置、及び／又は前記構成要素の相対位置に関する位置情報を決定する画像分析ユニット；
   −前記位置情報に従い前記システムを制御する制御ユニット、を有する制御システム。
7. 前記画像分析で用いられる、前記システムの１又は複数の構成要素に関する寸法データを得るデータ取得ユニット、を有する請求項６記載の制御システム。
8. 請求項３乃至５の何れかに記載の方法を用い、構成要素の寸法データを処理するトレーニング・ユニット、を有する請求項７記載の制御システム。
9. 家庭向け娯楽システムであって、請求項６乃至８の何れかに従い前記家庭向け娯楽システムを制御する制御システム、を有する家庭向け娯楽システム。
10. 照明システムであって、請求項６乃至８の何れかに従い前記照明システムを制御する制御システム、を有する照明システム。

Images