JP2012527847A - 台所及び家庭用器具のコントロール - Google Patents

Abstract

本発明は、一般的に、家庭内の器具のコントロール、それらとオーディオシステム及びインターネットソースとのネットワーク化及び接続、並びにそれらの要素の接続状態での統合の分野に係る。好ましい装置は、一般に、ビデオプロジェクションシステム及び１つ以上のＴＶカメラを使用する。本発明の実施形態は、台所にいる個人のソーシャルインタラクション及び娯楽を向上させると共に、食品調理の作業を減少させるのに使用できる。本発明は、家の多数の部屋で使用され、そこに住んでいる年長者達の健康に貢献する。
【選択図】図１

Description

本発明は、一般的に、家庭内の器具のコントロール、それらとオーディオシステム及びインターネットソースとのネットワーク化及び接続、並びにそれらの要素の接続状態での統合の分野に係る。好ましい装置は、一般に、ビデオプロジェクションシステム及び１つ以上のＴＶカメラを使用する。本発明の実施形態は、台所にいる個人のソーシャルインタラクション及び娯楽を向上させると共に、食品調理の作業を減少させるのに使用できる。本発明は、家の多数の部屋で使用され、そこに住んでいる年長者達の健康に貢献する。

関連出願の相互参照：本出願は、２００８年５月２０日に出願された“Meal Preparation and Appliance Control”と題する米国プロビジョナル特許出願第６１／０５４，６４３号の利益を主張する。

本出願は、本出願人の同時係争中の次の特許出願の一部継続出願である。２００９年１月２３日に出願された第１２／３５８，４０４号、２００７年１０月３１日に出願された第１１／９８０，７２２号、２００７年１０月３１日に出願された第１１／９８０，７２１号、２００７年１０月３１日に出願された第１１／９８０，７１０号、２００７年８月１日に出願された第１１／８３２，１３４号、２００５年１１月１５日に出願された第１１／２７２，８６８号、２００５年１月３１日に出願された第１１／０４５，１３１号、及び２００４年９月７日に出願された第１０／９３４，７６２号。それらの開示は、参考としてここに援用される。

本出願は、更に、本出願人の同時係争中の次の特許出願にも係る。２００７年１０月３１日に出願された第１１／９８０，７１８号、２００７年１０月３１日に出願された第１１／９８０，７１５号、２００７年９月１０日に出願された第１１／８５２，６９０号、２００６年７月３１日に出願された第１１／４９５，６６６号、２００６年５月２４日に出願された第１１／４３９，４４２号、２００６年３月１６日に出願された第１１／３７６，１５８号、２００６年３月９日に出願された第１１／３７１，２２４号、２００６年２月８日に出願された第１１／３４９，３５０号、２００５年１２月２９日に出願された第１１／３１９，８０７号、２００５年１１月１５日に出願された第１１／２７２，８６８号、２００５年７月２２日に出願された第１１／１８６，８９８号、及び２００４年７月１９日に出願された第１０／８９３，５３４号。それらの開示は、参考としてここに援用される。

特に、一緒にネットワーク化される娯楽システム（例えば、ＴＶ、ゲーム、オーディオシステム）に関して、ホームオートメーション“the Digital Home”及びそれに関連した話題が文献で相当に論じられているが、コマーシャルとしてはほとんど見かけない。あるケースでは、会社が自分の製品を差別化するために付加する特徴が、実際には、器具を、より使用困難にしている。使用困難な問題は、特に乗物環境における本出願人の関連同時係争中の出願において論じられたが、多数の類似性が存在している。例えば、ユーザの広い観点によって動作できることが必要である。別の例として、家庭、特に、台所にはストレスや動揺が時々存在する。

更に、多くの家庭では、片方の親が仕事をしているか両方の親が仕事をしており、台所に立つ人が新規で且つヘルシーであるが馴染みのないレシピを、誤りなく且つストレスの少ない仕方で適時に料理するのを助ける必要がある。それ故、液体又は粒状材料の量、重量、面積又は寸法を容易に測定できることが必要であると共に、必要量をレシピに結びつける他の変数が必要である。

家庭での多くの活動が生じる台所という中央位置から家庭内のサービスを有効にコントロールできる新規な方法及び装置を提供することが要望される。又、台所において不必要に繰り返される労働を減少することも要望される。更に、特にカウンタースペースが制限されるある国々では、台所のスペースから最大価値を得ることが要望される。

又、家庭用システム、特に、オーブンやレンジの動作の安全性を改善できる装置の要望も存在する。そして、家で生活している年長者及び障害者の一般的な健康を保証する新規な方法も要望される。視覚障害があったりストレスを受けたりする人にとって、見易く、操作し易く、そして動揺することのないコントロールも要望される。

本発明は、前記要望に応えることを目的とする新規な形態のＲＴＤコントロール表面について述べた本出願人の同時係争中の出願及び以前の特許の幾つかに係り、台所作業及び家事を容易にする多くの新規な追加特徴を提供しながらも、ユーザが家庭での役割の時間をインターネットショッピング、ソーシャルネットワーキング、等と分担できるようにする。

本発明は、多数の実施形態に包含される多数の新規な方法及び装置を含む。１つの好ましいリアプロジェクション実施形態では、一般的にリアプロジェクションをベースとする一般的にフラットな大型のスクリーンがカウンター（例えば、キッチンカウンター）又は器具の上に配置される。スクリーンの一部分は、例えば、カウンタートップ又はレンジの汚れ止め領域で上方にカーブされる。そして、他の同時係争中の事例における本出願人の多くの乗物実施形態と同様に、スクリーンは、レンジバーナー、ガスコントロールノブ、蛇口、又は家庭の共用設備の他の品目のような固定品目の周りに巻き付けるように不規則な形状である。又、スクリーンは、清掃のために取り外しできるのが望ましく、これは、スクリーンの表面が、破片を捕えることのできるくぼみや浮彫素子又は他の形状を触覚基準として含む場合には特に有益である。

本発明は、ノブ又はスライダー又はスイッチのような種々のコントロール素子の位置を見るためにマシンビジョンを使用するのが好ましい。カメラの画像又は他の電気／光学的に取得した信号のこのようなマシンビジョン処理は、ユーザのアクションをその手及び指の両方について見ることができるだけでなく、そのアクションを、パン生地を丸めたり、ステーキを切ったり、等の作業の遂行に関して見ることもできる。又、本発明は、任意であるが、マシンビジョン又は他の電気光学的技術を使用して、重量や尺度を決定し、台所での作業を大幅に助成し且つ簡単化することができる。

又、マシンビジョンの感知は、適当なコンピュータソフトウェアと結合すると、本出願人の前記特許出願に開示されたように、個人が行う空間内でのジェスチャーコマンドを決定し、そして個人又は個人が操作する物体の種々の特徴、又はある場合にはその動き及びアクションを決定することができる。以下の実施形態では、本発明の多数の他のマシンビジョン関連特徴についても開示する。

本発明の１つの実施形態において、カメラ及びマシンビジョンシステムは、レンジトップ操作の安全性を保証し、そしてかき混ぜロボット又は他の装置を安全にコントロールできるように働く。本発明は、特に、リアプロジェクションの形態において、劇的なスタイルを許す。ワーク面スクリーンに望ましい任意の形状及び任意のパターン又は色を投影することもできる。交換可能な形状及び機能を使用することもできる。スクリーン及びコントロール表面は、カウンターだけではなく、洗濯機、乾燥機及びレンジの上部に合体することができる。ワーク面／スクリーンは、例えば、側部又は背部等においてそれを掃除できるようにカーブすることができる。表面は、水又は熱の付近に配置することができる。というのは、本発明のプロジェクションベースの態様では、プロジェクション及び感知電子コンポーネントが、相対的に言えば、リモート配置されるからである。以前に特許出願に述べられ及びここでも述べるように、これは、それらを浴室の場所、レンジの上部、等に配置できるようにする。

ここに更に開示される基本的な概念は、家庭及びその器具のためのコントロールセンターとして働く台所配置装置に係る。本発明は、カウンタートップ配置のディスプレイであるか、或いはカウンター、器具の上部、又は冷蔵庫のドアのような垂直の表面に投影されるディスプレイとしても開示される。これは、複数の器具及び機能のコントロールセンターであり、及び／又は情報、ホームネットワーク／オートメーション、接続及び食品調理に使用されるスタンドアローンユニットである。本発明は、どこに存在するか分からないコントロール及び他の新規な特徴を再構成すると同時に、次第に手頃なものとなるようにすることができる。

再構成可能な直観的な触覚コントロール、或いはノブ又はスイッチ等の仮想的にシミュレーションされた真のコントロールのような重要な特徴を個々に又は組み合わせて使用して、ＨＶＡＣ、サウンドシステム、等を更に含む家庭内の全ての器具をコントロールすることができる。従って、学習曲線が減少又は排除される。というのは、既存の器具コントロールレイアウトをスクリーン上にマップして、システムを単一ユーザ状況に対して経済的且つ効率的にカスタマイズできるからである。加えて、そのような技術が乗物に使用されるようになると（そのようになることを望む）、家庭と車との間の共通のマン・マシンコントロールシステムをもつ機会が生じる。

本発明の任意の独特の食品調理センターの概念は、水又は料理サービスを任意に合体することができる。食品調理ワーク面は、プロジェクションスクリーンとしても働き、その上で個人の手や指のような品目を感知することができる。液体レベル、面積、量、切断インストラクション及び重量のような独特の測定及びインストラクション能力を利用することもできる。これらの測定は、例えば、正味量を荷重軽減したレシピに関連して任意の言語の任意の単位で自動的に行って登録することができる。

この装置は、従来のレンジトップ及び／又はシンクを補足し／それに置き換わることができる。１つの態様において、言わば、「スクリーン上で料理」することができる。給水サービスの観点では、装置の到達範囲を、例えば、シンク、浴槽及び洗濯槽へと延ばすことができる。そして、ユニットは、メモを書いたり残したりし、写真をアレンジし、等を行うためのコンピュータ化されたデスクとして働くことができる。本発明は、ＴＶ画像やサウンドを、インターネットサイト、写真アルバム、等のように島、カウンター又は他の場所に示すことができるので、娯楽システムとして動作することができる。

仕事をもつ母親は、本発明を使用して、例えば、レンジ上で何かをかき混ぜながら、ショッピングのような普通のインターネット家事を行うことができ、このオペレーションは、本発明を使用して自動化することもできる。スクリーン及びレンジトップは、実際上、共存する。加えて、計量カップ及びスプーンを探す必要もない。というのは、それらは、全て、装置により任意の構成で行われるからである。又、単位を換算する必要もない。健康に良い食事を料理することが目標である場合には、全て、実時間節約家となる。

又、本発明は、家庭や、おそらく、工場、小さな店舗、等の他の場所において、適切に構成されたときには、器具、ＨＶＡＣ及び電子システムのためのコントロールシステムでもある。好ましい実施形態に対する基礎として、約１５０ルーメンのプロジェクタ／センサモジュールがあり、これは、冷蔵装置（ここでは、冷蔵庫とも称される）、皿洗い機、レンジ、洗濯機又は乾燥機にテキスト又はグラフィックを投影すると共に、任意であるが、センサ能力を使用して、それらの上部又は前部における行動を感知する。これは、必要に応じて表面及び光学的コンポーネントを伴って販売される。そして、別の形態では、デスク又はテーブルについて同じことを実行できる。ある用途では、セルラーホンに予定された低電力／低コストのプロジェクタ（例えば、１５−３５ルーメン）を使用することができる。そして、コンピュータベースのスマートセルラーホン（そのようなプロジェクタを伴ったり伴わなかったりする）を使用して、器具又はシステムそれ自体をコントロールすることができる。

プロジェクタ／センサモジュールは、グラフィックを駆動し、入力を解釈しそして必要に応じてＩ／Ｏに接続するコンピュータに関連して使用される。又、マシンビジョンを使用して食品の測定を実行し、そしてインターネット並びに他のデータ及び通信会社に接続するようにも使用される。

本発明の一実施形態は、空間を節約するために典型的にフロント投影される実質的に実物大の投影を使用し、そして更に、その投影された表示画像と対話するためのマシンビジョンベースの手段を提供することができる。ウェブカメラのようなカメラ、及び／又はキャネスタ社(Canesta Corporation)のカメラのような３Ｄカメラを、そのようなマシンビジョン処理への入力として使用することができる。対話手段は、個人の手、頭部又は他の身体部分を使用することができ、又は個人が台所において行動するときに使うものでもよい。一実施形態では、マシンビジョンを使用して、台所にいる個人（１人又は複数）の動き、アクション、アイデンティティ、又は他の特性を決定することができる。そのようなものを他の部屋でも適宜に使用できるが、台所は、そのような双方向性が望まれる主たる場所であると考えられる。

本発明のある態様では、リアプロジェクションが使用されるが、他の態様では、フロントプロジェクションを使用して画像を表示する。又、あるケースでは、同時係争中の特許出願にも教示されたように、ＬＣＤ又はＯＬＥＯディスプレイのような従来のフラットパネルディスプレイを使用することもできる。

本発明の目標は、例えば、組み合わせスクリーン・ワーク面において測定された材料からカロリー内容で作られる計算を含めて、ユーザにダイエットアドバイスを与えるように、測定し、支援し及び通知することである。加えて、目標は、どこで情報を料理作業（例えば、焼く）へ自動的に転送できるかを含めて、データ記憶装置（ローカル又はインターネット）から料理又は他の調理アドバイスを提供することである。

又、目標は、おおよその尺度を計算するのに使用できる、決定された材料程度から形成又は切断アドバイスを提供することである。

本発明の別の目標は、個々の装置の実際のコントロールをシミュレーションするバーチャルコントロールが設けられた普通のコントロールパネルから、家庭又は他の場所にある複数の器具をコントロールするための方法及び装置を提供することである。

又、本発明の目標は、台所での主たる集中行動に加えて、年長者、一部分は盲人、及び一般的に家にいる他の障害者を支援するための新規なシステムを提供することである。

本発明の目標は、表示及びワーク面を清掃容易にすることである。

本発明の更に別の目標は、器具コストを節減しそして人間インターフェイスを改善するための方法及び装置を開示することである。

本発明の目標は、台所用装置及び家庭内の他の装置の動作の安全性を改善することである。

本発明の目標は、料理及び台所行動、並びに他の行動の社会的観点を向上させることである。本発明は、食品調理空間を、表示、測定及び対話空間と結合し、そしてコントロール機能も、全て楽しく使用する仕方及び有用な仕方で提供する。

本発明の更に別の目標は、画像及び他の機能をコントロールするためのフリースペースジェスチャー方法を提供することである。

本発明の目標は、ある食品調理家事のロボット操作を安全に与えることである。

本発明の更に別の特徴及び効果は、好ましい実施形態の詳細な説明に述べられ、又はその詳細な説明から明らかとなろう。

コントロールシステムに関連して動作する洗浄可能、置き換え可能及び交換可能なワークボード及び表示面を含む、本発明の島又は半島配置のカウンタートップ実施形態の側面図である。 一体型シンク及びレンジバーナーのような追加特徴を有する島の１つの形態の斜視図である。 部分的にカーブした表面、投影されたキーボード、１つ以上の望ましい位置にある浮彫特徴、及び料理又は他の行動の実行中にオンラインショッピングを行えるようにするインターネットディスプレイを有するワークボードを示す。 ワークボードをカッティングボードとして使用するところを示す。 普通の直観的な物理的コントロール細目を使用する本発明の再構成可能なコントロール及びディスプレイ特徴を示す。 回転、ピンチ及び他のタッチコマンドが操作に使用される外部オーディオシステムのバーチャルマップ型コントロールパネルを示す。 暖房及びエアコンディショニングサービスのためのバーチャルコントロールパネルを示す。 ワーク面を形成する保護カバーを伴うＬＣＤ感知ディスプレイを示す。 ワーク面の上からの情報及び感知の投影を示す。 付加的なオーバーヘッド実施形態を示す。 器具コントロールパネルの実施形態を示す。 別のディスプレイ及びコントロール面を示す。 低コストコントロールの実施形態を示す。 図６ａの装置に照明コントロールラベルを与える１つの方法を示す。 小型のプロジェクタを斜めの角度で使用する複合洗濯機・乾燥機ディスプレイ及びコントロールの再構成を示す。 容器の液体レベルを測定しそしてユーザをガイドするのに有用な本発明の実施形態を示す。 容器の液体レベルを測定するのに有用な本発明の別の実施形態を示す。 傾斜側壁をもつ特殊な容器を使用してスクリーン及びワーク面の上又は下からレベルを測定するところを示す。 直接計量能力をもつワークボードを示す。 直接計量能力をもつワークボードを示す。 本発明の浴室シンクを示す。 本発明のフリップダウンキュービクルデスクの実施形態で、図２のような壁マウント型コントロール面を示す。 本発明に使用する指ジェスチャー入力を示す。 ハウスプラン及び状態の表示を示す。 個人が右の人差し指を使用してオーブンのバーチャルグラフィックにタッチするところを示す。 動き、位置及び薬剤の管理を監視することにより家での安全な生活を支援する実施形態を示す。 レンジコントロール機能及びロボットコントロールのためにレンジフードに１つ以上のカメラを使用する本発明の実施形態を示す。 セルラーホンのスクリーン画像がワーク面へ直接マップされそして電話及びその機能がワーク面へのタッチ又はコントロールの操作により直接コントロールされるような図２ａの態様を示す。 図１４の装置に関連した感知技術を示す。 コンロコントロール及びインターネット接続のためのリアプロジェクション実施形態の構成を示す。 台所にいる個人（１人又は複数）の特徴又はアクションを感知することを含むフロントプロジェクションの実施形態を示す。 冷蔵庫の前面図である。 底部フリーザー型冷蔵庫のメインドアにスクリーンをもち、ほぼフルサイズの実質的に生きているような画像を冷蔵庫のドアに表示できるようにする別の冷蔵庫実施形態を示す。 個人が作業する台所、風呂、洗濯場又は他の場所のシンクの後方にフロントプロジェクション表示を使用する実施形態を示す。 底部にカーブした下部区分を有するレンジの後部のスクリーンへのマイクロ波マウントプロジェクションを示す。 （このケースでは、台所のカウンターに配置された）メインコントロールのソフトウェアが、器具にインターフェイスするだけではなく、それらの動作の細目をコントロールもするネットワーク化された器具及び他の周辺インターフェイスの図である。 動的な注ぎを監視することによる液体又は材料の交換の決定を示す。 従来のノブ及びスイッチを伴う本発明のプロジェクタベースの自動車センタースタック又は器具コントロールパネルを示す。 図２３に示すものに対する別の自動車センタースタックを示す。

図１ａは、洗浄可能なワークボード及び表示面を含む本発明の島配置のカウンタートップ実施形態を示すもので、その表面に載せられた個人の手又は指或いは作用物体が、感知に加えて、電気光学的に感知されるものである。これもコントロール又は他の目的で望まれるノブ及びスイッチのような物理的なコントロール細目の感知も示されている。

図１ａは、この場合、食品調理を支援するための独特の能力を有する台所の島１０１において、本発明のキッチンカウンター１００を示す側面図である。本発明は、本出願人の多数の同時係争中の出願及び特許に示されたＲＴＤ装置を使用すると共に、ＴＶカメラ又は他の電気光学的センサ及びプロジェクタ組み合わせ１０５（コンピュータ１０６により制御される）を使用して、カウンターの一部分を形成するスクリーン１０２に投影を行い、そしてそのスクリーン表面１０２において、例えば、個人の手又は指又は作用物体或いは食品又は他の材料を感知し、スクリーン表面１０２は、以下に開示するように、台所作業を行うことのできるワークボードも形成する。本出願人の以前の出願に開示されたカメラ、ＬＥＤ、プロジェクタ、等を伴う全ての構成体を使用することができる。空間１１０は、引出し、皿洗い機又はオーブンを任意にカウンターに配置できる場所を示すものである。

カウンターの付近に立つ個人が見る画像を最大のものにするため、フレネルレンズ又はプリズムスクリーン構成体を使用して、個人に向かう光の方向に役立つようにする。多くの場合カウンターが壁に接近していてカウンターの片側のみに個人が立つ場合には、より多くの光を向けることができる。

ノブ１２０のような物理的コントロール細目も示され、これは、コントロール又は他の目的で望まれるもので、例えば、近傍のレンジの温度又は時間をコントロールし、レンジは、ネットワークによりコンピュータ１０６に相互接続され、コンピュータは、カメラの画像、又はスクリーン及びワーク面からの他の光学的に感知されたデータを処理する。

コンピュータ１０６は、更に、１０５に含まれたプロジェクタ、又は他のビデオ画像ディスプレイ装置を駆動し、この場合は後方からワークボード面に画像を表示する。このボードは、必要に応じて、皿洗い機のトップ部分に位置され、皿洗い機は、自立式であるか又はカウンターに挿入され、ワークボード面は、典型的に、カウンタートップと平らにされるが、必ずしもそうでなくてもよい。コンピュータとの通信を可能にするために、マイクロホン１２１及びスピーカ１２２も設けられる。家庭内の他の器具及びサービス、及び／又はインターネットへのワイヤレス又はワイヤード接続も、しばしば望まれる（図２１を参照）。

同時係争中の特許出願に開示されたように、ユーザの指１１８、或いは他の指や手のような他の身体部分は、本発明のカメラ又は他の電子／光学的センサにより感知することができる。このように、入力コマンド及びアクションをコンピュータ１０６へ入力することもできる。

前記特許出願でも論じられたように、ワーク面は、プロジェクタ画像及びカメラ（又は使用する他の電気光学感知手段）に対して透過な材料で作ることができ、指の位置、手の位置、及びクッキーの山やピザ生地のような物体又は他の物体（ノブ１２０又は他の物理的コントロール細目を含む）を感知し、そして必要に応じて照明することができる。本発明の主たる特徴部を製造するためにワークボード面を取り外すことができる。そして、その上でカットしたりする、等のためにダメージが生じた場合は、交換することができる。全ての光学的、感知及びコンピューティング装置を下に置いて、１１１のような適当な窓で保護することができる。料理の目的で使用しないときは、ワーク面をスクリーンとして使用して、人気のあるショーのＴＶ画像や、関心のあるレシピ又は他の望ましい情報についてインターネットから引き出したデータを表示することができる。

コンピュータは、典型的に、ワイヤレスを含む既知の手段によりインターネットに接続され、そしてネットからの情報をワークボードに表示するのに使用され、ワークボードは、ここに示すケースでは、そのような情報が、ユーザや、おそらく台所にいる他の者にも見えるように透明である。又、コンピュータは、カメラを使用して得られるか又はマイクロホンを経て入力されたビデオ又は感知情報を送信することもできる。又、このようなインターネット接続は、家族のメンバーや、友人や、当人の食品調理経験の一部分としたい他の情報ソースに関するソーシャルネットワーキングの手段としての本発明の使用を容易にする。

生地の山１１５のようなワークボード上の物体は、１０５に含まれたセンサ、例えば、ＴＶカメラ、及び適当なマシンビジョンプログラム、例えば、コンピュータ１０６に常駐するＭａｔｒｏｘイメージングライブラリを使用して、ワークボードの平面内でその程度Ｘ及びＹを測定することができる。ある材料に対するこのデータを使用して、材料が水平方向にある程度存在するときに典型的にそれが典型的なマウンド高さで横たわるときに量を近似することができる。コンピュータ１０６のプログラムは、一例において、望ましいマウンドの程度及び形状の画像をワークボードのスクリーンに投影することにより、ユーザがどのようにマウンドを作るか指令する。

又、本発明の電気／光学センサは、ワークボード上の材料を加工するのに使用される幾つかの道具を見ることができる。例えば、生地の山１１５をロール掛けするのに使用されるロールピン１２５は、それがどれほど遠くへ移動し（転がり）及びどれほど多くの繰り返しがなされるかを監視することができる。その同じ装置は、例えば、肉を叩いて柔らかくするハンマーのような他の作用物体を見ることもできる。多数の繰り返し又は他のそのような情報が到着すると、信号を発生することができる。

ここに示す装置とは別に、プロジェクタ及び／又はカメラを頭上にマウントすることもできる。これは、カウンターへの深さをほとんど必要としないので、最も融通性のある構成である。一例において、ＬＣＤ又は他のフラットパネルディスプレイをワークボードに使用することができ（好ましくは、保護カバーガラスと共に）、そして頭上カメラを有する装置１３０を使用して、ワークボード領域から情報を得ることができる。別の例では、複合センサ／プロジェクタモジュール１３０を、（本出願人の同時係争中の特許出願第１１／９８０，７２２号に示されたものと同様に）投影されるビデオ画像情報に対して良好な拡散反射特性のために選択された通常の材料のワークボードと共に使用することができる。装置１３０は、例えば、天井に接続された照明トラックに目立たないように配置され、トラックから電力を受け、そして例えば、リモート配置のコンピュータへ及びコンピュータからデータをワイヤレス送信することができる。この態様は、利用できる異なる測定方法や、手又は他の身体部位が邪魔になることに対処する問題があるので、以下に論じることにする。しかしながら、空間における手のジェスチャーを使用して、システムを全体的又は部分的にコントロールするための別の機会もある。例えば、そのような手のジェスチャーは、表示されたレシピ表現に記述される品目の上で手を待機してもよく、例えば、このケースでは、ピザ生地１１５の上で手を振ってもよい。ユーザのセルラーホン１２６を使用して、コンピュータ１０６にデータを入力し、又、セルラーホンの情報を、図１５に示すように又は他の目的で表示できることにも注意されたい。スクリーンの表面を使用して、例えば、表示された電話番号リストからセルラーホンへコール命令を入力することもできる。セルラーホンは、家庭の電源に接続される間に便利に充電することができる。

図１ｂは、一体化シンク１３２のような追加特徴を有すると共に、上述したリアプロジェクションユニット１４０によりプロジェクションワーク面１３４を照射するのに使用される投影レーザビーム１３３を使用して図７に示す測定円ＭＣに置かれた容器内のレベルを検出することも含む、図１ａに関連した島又は他のカウンター１３１の斜視図である。３つのバーナーを伴うレンジユニット１３６を有するワーク面１３５も示されている（バーナーの数は、用途に適するように選択される）。ワーク面は、セラミックガラス、パイレックス、又は他の耐熱材料で作られ、この発熱要素を設けても、離間されたカメラ及びプロジェクタタユニット１３８には影響が及ばない。これは、ワーク面を、実際に、カッティングボード、ＴＶディスプレイ、インターネットディスプレイ、及びレンジトップとして使用できるようにする。スクリーン及びワーク面は、次に何を行うかの命令をバーナー付近に与えることができ、これは、パーティ等のために全てのバーナー上に食品がある場合には混乱を招く。１０６のようなコントロールシステムのコンピュータは、平なべがバーナー上にある時間を計時するか又は沸騰が生じたときを決定することができ、そしてインターネット又は他のダウンロードされたレシピからデジタルで命令を得て、いつ熱を落とすか自動的に指示することができる。これは、例えば、ステッパモータを使用して、レンジのバーナーを切るか、又は例えば、誘導式の電気装置の場合には電流を変化させることができる。

リアプロジェクションディスプレイを伴うレンジトップ１３５は、キーボード又は他のコントロール及びディスプレイとして使用することもできる。従って、バーナー上の物に付き添いながら、あるインターネットアクティビティを行うことができる。リアプロジェクションディスプレイの電気的コンポーネントは、熱の問題を最小にするために、バーナーから実際的な距離に配置するのが望ましい。或いは又、以下の図に示すフロントプロジェクションディスプレイを使用することもできる。

投影されるレンジの表示は、バーナーにおいて何かが時間切れしたときに指示を点灯するか又はアラームを鳴らすか、或いは必要に応じてその隣に熱レベルを色で示すことができるように、コンピュータ１０６にプログラムすることができる。全ての種類の他の表示又は可聴データの組み合わせが可能である。ダウンロードされたレシピからグラフィックイラストを表示して、何を行うか個人に示すことができる。プロジェクション表示（及びマシンビジョン感知）で、台所及びカウンターの設計に合うようにサイズが容易に変化される。表示は、種々の部分の縁まで延びることができる。１４３のようなコントロールノブは、上述したように、又、同時係争中の特許出願に開示されたように、レンジ又は水面を操作し或いは他の機能を行うように感知することができる。

この図は、必要に応じて食品を調理する個人の感知された行動に関連してインターネット接続のレシピ機能も許すように、装置の一般的なコントロール及び接続性を向上させるインターネット接続１４２（必要に応じてワイヤレス）も示している。本発明の素晴らしい態様は、システムに内蔵されたＴＶ接続を使用してインターネットを経て友人及び家族とソーシャルクッキング行動を許すと共に、本発明を使用して家族及び友人とのソーシャルネットワーククッキングの例を示すことである。これは、クッキングクラブを有し、遠くからの有名なコックによる教えを容易にすることができる。例えば、有名なパリジャンコックは、米国において５つの家庭という限定されたクラスで、料理クラスを実施する。彼は、最後に、彼等の行動だけでなく、重量、大きさの尺度、面積、形状、サイズ、及び色も監視し（例えば、１３０のような頭上カメラを使用して）、そして生徒の仕事を援助する。

この例では、ワークボード上での個人の行動は、感知カメラ又は他の電気光学的センサ（頭上又はワークボードの後方の）により見られてピックアップされる手の位置又は他のデータと一緒に、別の個人のワークボードへ送信することができる。一般的に、音声も、ポール１４８のウェブカメラ１４７の、台所全体の行動の個別ビデオ画像と同様に、送信される。このように、ある個人は、１人以上の他の個人に、例えば、生地の断片のような材料をどのような形状にするかについて示すことができる。そして、生地の大きさ及び他のパラメータを、説明において今日のおおよその試みより更に厳密に、感知して送信することができる。本発明は、台所環境をビデオに収めることを含むだけでなく、言葉の冗談や、ある個人から別の個人への教えをピックアップして、あたかもオンラインであるソーシャルネットワークの他のメンバーに伝達できることも含む。

或いは又、個別の水道蛇口及び排水口はあるがレンジのないシステムをもつこともできる。台所における島ではなく、半島又は従来の壁隣接カウンターでもよい。或いは又、皿洗い機の頂部が本発明のワークボードであるような「イン・シンク(in-sink)」皿洗い機と共に本発明を利用することができる。

図１ｃは、プロジェクタ／センサモジュール１５１により照明され感知されるワークボード１５０の表面を示す。ワークボードの表面は、汚れ止め領域１５２において上方にカーブし、プロジェクタ／センサ態様が充分な視界深度を有すると仮定すれば、より垂直な表面領域１５２において投影及び感知（両方とも又は個々に）を行うことができる。例えば、サムスンのＬＥＤ ＴＶに使用されるもののような広角形式は、非常に広角なレンズをもつカメラのような特性を有することが分かった（感知目的では、完全なレンズである必要はほとんどない）。カメラ（又は他のセンサ）は、典型的に、例えば、頭上の室内灯の影響を排除するように帯域フィルタされ、これは、蛍光灯である場合は、近ＩＲを透過する黒いプラスチックによってブロックされる。これは、ここに開示するように、コントロール、物体、指、等を感知するのに使用される関連近ＩＲ光源をカメラが有していると仮定する。

プロジェクタ部分は、カメラなしに使用することもできるし、又はディスプレイは、図示されたようにカーブするＯＬＥＯディスプレイのような別の形式のものでもよい。ある形式の柔軟なＬＣＤタイプもデモンストレーションされている。上方にカーブした汚れ止め領域は、一例において、読み取り易いアナウンス又は注釈ボードをなし、そして他のスクリーンと同様に、ピクチャー等を表示することができる。典型的に、汚れ止めは、垂直であり、壁に隣接して配置される。

投影されたバーチャルキーボード１５５も示されており、これは、必要に応じて、例えば、プッシュボタン１５６（必要に応じて真の物理的スイッチ又はタッチアイコン）において使用され、キー位置に浮彫特徴を有する。調理又は他の行動を遂行する間にオンラインでショッピングを行えるようにするインターネット表示のような他の投影情報は、ノブ１５７で選択することができ、この情報及びタッチ感知能力は、上述したキーボードに加えて又はそれに代わって（大文字を許す）設けることができる。データのナビゲーションは、必要に応じて、本発明のタッチ能力を使用して遂行される。

バーチャルキーボード１５５は、物理的に動くキーをもたず、従って、例えば、ワークボード上で作業を行った結果として破片がそこに入るのを防止する。しかしながら、同時係争中の特許出願に指摘されたように、触覚参照キー又は他の位置に対して、必要に応じて、小さな浮彫特徴を使用することができる。バーチャル投影キーボードに１つ以上の文字が置かれている場所を指示するために、必要に応じて、小さな隆起線１６０のような浮彫特徴を設けることができる。本出願の大きな効果は、調理のような何かを行いそしてそれを感じながら、眼の隅でキーをチラッと見ることができることである。

提示できる情報は、例えば、測定された材料からのダイエットアドバイス、料理のアドバイス又は料理作業への情報の自動的な転送、或いは決定された材料程度からのカッティングアドバイスである。ワークボードの表面における食品物体のおおよその量、面積及び程度は、全て、本発明のカメラ又は他の電子／光学的センサを使用して決定される。データが投影されるので、ワーク面は、清掃のために取り外しできるのが望ましく、これは、スクリーン表面が、破片を捕え得るくぼみ又は浮彫素子又は他の形状を触覚参照として含む場合には特に有用である。あるワーク面は、それが充分小さければ、皿洗い機で洗浄することができる。

１５７のようなノブセレクタを伴う簡単使用の態様では、「インターネット」（ＩＥのようなブラウザページを表示する）の他に、他のノブ位置は、例えば、次のものを含む。

１．ベビールーム：これは、スクリーン及びワークボード１５０の少なくとも一部分にベビールーム及びベビーベッドのＴＶモニタ画像を映し出すか、又は例えば、他の部屋で遊んでいる子供を観察する。

２．セキュリティ：セキュリティカメラから撮られた画像が表示され、任意であるが、例えば、近くに動きが生じたことを指示する赤外線センサ信号により、自動的にキューイングされる。

３．料理本（望ましいページ等を他の手段で更に選択する）。例えば、レシピ番号タッチアイコンを有することができる。

タッチアイコン又は他のタッチスクリーン機能を使用して、本発明を用いた機能を選択できるが、ノブ１５７（及びおそらくスクリーン上にある他の物理的なノブ）は、それを行うために馴染み易い触覚方法を表し、装置を操作する上で個人の助けとなる。そして、一般的に、気の散る時間中に迅速且つ容易に使用できる。

本発明の付加的な使用は、家族のメモを記録し表示することである。入力は、タッチスクリーンによるだけでなく、１７０のような書面ページをワークボード上に表面を下に向けて置くことによっても行える（或いは又、データが頭上のカメラ又は他の電気／光学センサ１３０で得られる場合には、表面を上にする）。透明領域又は分散領域（特に、分散が上面又はその付近にある場合）におけるリアプロジェクション又は他のリア感知ワークボードを使用して、ワークボード上に置かれた手書き又は他のメモを読み取り、それを、後で表示するためにコンピュータメモリに記憶することもできるし、或いは他のモニタに表示することもできるし、必要に応じて、レシピ又は他のファイルのようなファイル位置に入れることもできる。頭上で感知される場合には、例えば、カメラ１３０により撮影されたカメラ画像から書面ページを直接感知することができる。レシピ本のページもこのように記録し、希望のページのＪＰＥＧ（又は他の）画像をコンピュータメモリからコールするだけで、本に物をこぼすことなく、貴重な本を使用できることに注意されたい。この機能は、写真や、手書きのメモを読み込むことができると共に、手書きを決定するのにも使用できることに注意されたい。これも同時係争中の特許出願に開示されたように、必要に応じて、ジェスチャーシグネチャーを読み取って、例えば、オペレータ（例えば、親）が装置の特定断片を動作する資格があることを検証したり、又はコンピュータ機能を切り換えたりすることができる。

更に、スクリーンの下のカメラ又は他の電気／光学的センサは、頭上のカメラ１３０と同様に、コード化されたプログラムインストラクションを読み取るのにも使用できることに注意されたい。コード化されたプログラムインストラクションアクティビティのこの読み取りは、参考として援用するPeter Smith及び私による多数の同時係争中の特許出願において充分に取り扱われている。これら特許出願は、コンピュータを援助手段として使用して通常のタスクを実行する簡単なペーパーベースの方法であって、コンピュータに精通していない個人や、メモ、レシピ、又は他の情報を書面形態で有していて、それをデータベースにファイルしたり、それをｅ−メールしたりするように、それで迅速に何かを行いたい個人にとって特に適したものである方法を開示している。

図１ｄは、更に、野菜や肉や他の物体をスライスするためのカッティングボードとしてのワークボードの使用を示す。上述したように、ワーク面は、ガラス又は硬質プラスチック或いはそれらに対して行われる加工に耐える他の材料で作ることができる。これら材料のあるものは、例えば、カッティングボードの態様において、それらに使用されるナイフに耐えることができる。

代表的であるが余すところにないものではない例において、ワーク面１７５は、このケースでは、肉片をカットするのに使用される。このケースでは、ワークボード１７５に載せられた肉片１８０が２つの部分にカットされる。投影された輪郭１８１は、肉をその存在形態で示すコンピュータによって表される（システムのカメラ又は他の電気／光学的センサで肉の輪郭を測定し、次いで、付加的なステップを個人に示す）。例えば、肉を線ａ−ｂに沿ってカットする。個人がこのカットを行うと、カメラを使用して、今や、２つの肉片が正しいサイズにあることを決定し、そして次に何を行うか個人に命令する。このシステムの効果は、命令が個人に快適な言語であることである。絵文字又は他の命令情報も使用され、そして必要に応じて異なる言語の音声ファイルをコンピュータによりスピーカに与えることができる。コンピュータは、カットされるステーキのような肉のタイプに基づいて所与のサイズ及び形状を示すために、ユーザにより、又はネットからダウンロードされたレシピガイドから直接的に、プログラムされる。このように、肉のおおよその厚みが分かると、おおよその重量及び料理時間が分かる。カット当たりのパッケージの重量を入力し、次いで、カットデータからその後の部分を推定することができる。

上述したカッティング手順は、望ましい形状及びサイズの投影が頭上からのものである場合には容易である（例えば、図４を参照）。ここに示すように、それが下からの場合には、サイズは、実際の希望サイズより１ビット大きく投影されねばならず、従って、投影の内側へカットしながら投影を見ることができる。

肉について示したが、この技術は、魚、パン生地、ブロッコリー、野菜、又は他の品目をカットするのにも使用できる。又、投影される画像を使用して、何をカットするか、例えば、ステーキの断片を、言わば「このように」カットすることをユーザに命令してもよい。

図２ａは、本発明のカウンタートップと、家庭内の他の器具又はデータ装置との相互接続を示すと共に、器具コントロールパネルへの適用を更に示す。これは、ホームコントロールシステム用であるが、論理的な場所は、台所である。台所にいて家事を担当する個人は、次いで、理解が益々困難になる洗濯機の直接的なコントロールではなく、コントロールシステムの使用に向けて引き寄せられる。そして、その個人は、例えば、洗濯室へと階段を下りる必要なく、台所のコントロールパネルから進行を追跡することができる。加えて、おそらく、洗濯機及び乾燥機からある程度のコストを節減でき、又、提供される機能についての人間の理解力が大幅に増すために機能が改善される。更に、コントロールコスト節約の解決策は、図６に示す。

図２ａに示す１つの対話モードにおいて、ワークボード２０５（上面で示す）のスクリーン及びコントロール面にあるノブ２１０及び２０２のようなノブ（又はスイッチのような他のコントロール細目）の機能は、家の壁においてそのようなコントロール面を示した本出願人の同時係争中の多くの特許出願に論じられたように再構成される。例示のために示すように、図示されたモードでは、ノブ２０１は、装置又は機能を選択し、そしてノブ２０２は、その装置に対する動作モードを選択する。コントロールされる装置に適するようにノブ２０２のラベルを変更することができる。図示されたワードPERM PRESSは、洗濯機のサイクルに対するものである。他の非選択特徴（例えば、Normal Wash）ラベルは、１つの動作モードにおいて、より暗くすることができる。ワークボードのスクリーン面（又は全てのものを含まない場合にはワークボード内）は、装置、このケースでは、洗濯機の動作に対するグラフィック及び他の援助手段を示すことができる。洗濯機の状態の機能を表すグラフィック画像は、ワークボードのタッチスクリーンにおいて、必要に応じて操作することができる。今日、洗濯機においてボタン等でコントロールされているサイクルの特殊な設定は、それに代わって（又は任意であるが、それに加えて）ある程度の節約で台所からコントロールすることができる。機能を指示するために、ノブ又はノブの近くに又はその両方にレタリングを表示することができ、そのラベルは、サイズ又は色、或いは選択を指示する仕方、を変えることができる。装置の特徴を含むコントロールされる装置のピクチャー２１０も、必要に応じて、表示することができる。

例えば、図２ａのノブ２０１及び２０２は、例えば、本出願人の同時係争中の特許出願第１１／２７２，８６８号に示された２本指ツイスト運動で回転されたバーチャル表示ノブであることに注意されたい。この概念は、全てのシステムをこのようにコントロールするように拡張できるが、実際には、装置の実際の面上にコントロールのバーチャルマップを表示し、そしてコントロールパネル上のバーチャルコントロールを使用してそれらをマップし、１０６のようなコンピュータに、望ましい機能を実行するための信号をそれらに送信するよう命令する。そのような信号送信は、必要に応じてワイヤレス又はワイヤードである。

例えば、外部オーディオシステム（例えば、現在持っているＳＯＮＹのものであるが、リモートコントロールされる所要入力接続を有するもの）のバーチャルマップコントロールパネルの投影（又は他の表示）をワークボードスクリーンの表面に示した図２について考える。オーディオシステムの動作は、音量ノブ２２０のバーチャル回転及びバーチャルプッシュボタンの局選択ボタン２２１−２２４の動作を使用して達成される。スクリーン２３０に表示されるＳＯＮＹコントロールパネルのバックグランド画像は、必要に応じて、バーチャルコントロール機能がオーバーレイされた実際の品目のデジタルカメラで撮られたＪＰＥＧ（又はインターネットからダウンロードされたショット）だけでよい。２本指（典型的に親指及び人差し指）ツイスト運動でノブ２２０を回転することで、居間に置かれた真のＳＯＮＹオーディオシステムの物理的なノブを回転するのと同様に、音量を増減調整する。選択された局のコール文字、例えば、ＷＸＹＺは、実際の装置の場合と同様に、表示することができる。又は、必要であれば、望ましいコントロールレイアウト又は表示構成に対してシステムを再プログラムすることもできる。一般的には、家庭内の混乱を少なくするために、コントロールを同一に保持するという考え方がある。

この例では、オーディオシステムのコントロールパネルを選択する同じリアルノブ２０１が示されているが、これも、バーチャルアイコン表示の選択ボタン又は他のバーチャルコントロールでよい。又は、物理的なスイッチ、等でもよい。先に示した他のリアルノブ２０２は、このシナリオにおいて必要に応じてアクティブであり、又はシステムを無効にする他の機能を独立してコントロールするのにも使用できる。例えば、ノブ２０２の位置“Ａ”が選択された場合には、表示される全ての品目は、レンジトップ又はカッティングボードタスクに関連したものとなり、或いはベビールームのビデオモニタ画像、又はインターネット、又はどんな機能Ａが指定されたか、を示す。必要に応じて、これら全ての選択及びそれ以上がノブ２０２に設けられ、又はタッチアイコンを経て設けられ、或いはその組み合わせとなる。

図２ｃは、暖房及びエアコンディショニングサービスのためのバーチャル表示コントロールパネル２５５を示し、これは、タッチアイコンアップ及びダウン温度スイッチ２６１及び２６２、温度設定ディスプレイ２６５、並びに暖房エア及びファンオンスイッチセット２７０を含む。ワークボードスクリーンの予備空間は、例えば、コントロールを設定する上で助けとなるように、望ましい周期で、例えば、インターネットからの天気予報を表示エリア２６０に示すように使用される。ノブ２０２は、例えば、天気が提示された種々の日々の更なる情報をスクロールダウンして選択するために、選択された炉モードにおいて実際的ないずれかの機能を支援するように必要に応じて使用される。本発明の効果は、そのような関連情報を、読み易い大きな形態で、コントロール付近に正しく、そして家庭内で最も頻繁に使用される場所に付与できることである。

図２ａには、コントロールシステム又は器具のユーザがセルラーホン２８０を装置のスロット２８１へ差し込み、このケースではワークボード２０５へ差し込むという本発明の用途が更に示されている。セルラーホンは、そのようにする際に接続及び充電され、そしてシステムコンピュータ１０６にインターフェイスされる。そのシステムコンピュータは、セルラーホンに記憶された曲を再生し、又はセルラーホンを使用して、セルネットを経て他のものとコラボレートする。そして、遂行すべきタスクの迅速な選択を助けるために曲のプレイリスト及び電話番号をワークボードのスクリーンに表示することができる。セルラーホンに充分な処理パワーが得られる場合には、セルラーホンのコンピュータを使用して、コンピュータ１０６とは別に、システムの幾つか又は全部を動作することができる。又、これは、あなたのポケットで運ばれるあなたの情報で他のそのようなコントロールパネルを動作できるようにする。

表示される別のコントロールパネルは、外部衣類乾燥機のバーチャルマップパネルである。これが外部洗濯機のパネルでもあり、且つそのような両装置が台所から一般的に離れた領域に置かれることが分かると、このパネルから両方をコントロールすることができ、実際の装置におけるコストを節約することができる。階段を下りずに、洗濯機の状態を見ることもできる。

図１のプロジェクタディスプレイに代わるものが、図３に示されており、これは、（ここに示すものより今日では小さいサイズとなったが）Ｓｈａｒｐ社で製造された如き感知検出器のマトリクスをＬＣＤピクセルと共に組み込んだワーク面ＬＣＤディスプレイ３７５である。ダメージを防止するために、レキサンプラスチックの保護カバー３７７がディスプレイの頂部に設けられる。ディスプレイ又は部屋からの光がディスプレイの検出器に当たることでこのディスプレイで得られる画像は、本出願人が開示したリアプロジェクションベースシステムのカメラ画像と同様に、（ディスプレイを駆動するのにも使用される）コンピュータ３８０によって処理される。この構成は、ここに開示する本発明の他のワークボードにも使用され、リアプロジェクション装置より薄いという効果を有する。しかしながら、これを書いている時点では、あまり開発が進んでおらず、表面、サイズ、構成及び行動の選択がより制限される。又、保護カバーを通して見たときに理想的な画像が得られないほど保護カバーを厚くしない限り、例えば、重たい平なべを装置に落とすことによりＬＣＤ部分が破壊するので、修理には相当の費用がかかる。装置は、指タッチ３８３の位置を見ることができ、そしてディスプレイ３９４からの光を使用して、ディスプレイに並置された検出器は、カバー３７７にマウントされたレース３９２で回転するノブ３９１の背面のデータム３９５を見ることができる。

図４ａは、情報及びその感知の投影が、頭上から、図１ａのカメラ１３０に対して最初に述べた線に沿って行われる図１で述べたケースを更に示す。この構成は、例えば、同時係争中の特許出願第１１／１８４，０７６号、第１１／８３２，１３４号、第１１／９８０，７２２号、並びにPeter Smith及び私による参照特許出願の関連文脈において説明されている。図示されたように、ワークボード４０１のワーク面４００は、プロジェクタ４０５によって投影されそしてカメラ４０６によって見られ、それらは、両方とも、コンピュータ４１０により駆動され処理される。ワーク面における画像は、ユーザ４１２によって見られる。４１５のような１本以上のユーザの指又は手の位置も、必要に応じてカメラ４０６により感知される。この例では、個人の指先４１６がクッキー生地マウンド４１７にタッチするところが感知される。この分野で知られた構造化光線プロジェクタ４２０が設けられ、これは、カメラ４０６により撮影される画像に関連して使用されて、ユーザの指がワーク面上で生地４１７を押すときに生地の形状の輪郭を示す。それとは別に、そしてより正確には、レーザ線で表面を自動的にスイープさせることができ、これは、例えば、ワークボードそれ自体を電気モータにより移動させるか、又は回転ミラーを水平方向に使用してレーザビームをスイープさせることにより行われる。機械的な移動が望まれない場合には、線ではなく格子を投影することができる。取り出されたデータは、コンピュータ４１０によって処理され、そして投影画像又は他の表示において形状又は計算された量としてユーザに提示される。そして、後者から、生地の密度が合理的に分かれば（例えば、レシピからダウンロードできれば）、重量が推測される。これは、生地の推定カロリー含有量も計算できるようにし、そして適当な計算を通して、焼いて出来上がったクッキーのカロリー含有量も計算できる。カロリーを予想することで、中身があまり詰まっていない軽いクッキーが望まれる場合には、生地のサイズを縮小することができる。上からの光区分データを、リアベースカメラシステムを使用して下から得た面積及び形状データに関連して使用することもできる。

図４ｂは、プロジェクタ４０５により投影されてカメラ４０６により見られるワーク面４４０の斜視図であり、プロジェクタ及びカメラは、両方とも、コンピュータ４１０により駆動され処理される。プロジェクタ及びセンサは、台所の天井のトラック照明器具４３０にマウントされるが、これは、他の適当なマウントでもよい。又、面４４５上のドットマーク又はポインタ４５０のいずれかを使用したノブ４４１の感知も示されている。光線４６０／４６１は、プロジェクタ４２０によって投影されて示され、４６０と４６１との間のカメラ４０６の画像のシフトは、クッキー（このケースではフラットなクッキー）の高さｈを表す。この形式のシステムを使用する量及び形状の計算は、本出願人の米国特許第５，９４０，３０２号に示されている。フラットなクッキーのケースでは、クッキーの直径を決定し（例えば、カメラ画像を見ることにより得）、そしてそれに、全ての点で決定された高さ（このケースでは同じ数値ｈ）のπ倍を乗算することにより、量が決定される。

カメラは、直接頭上にある必要はなく、カウンターから突き出たポールにマウントすることができ（図１ｂのポール４２３のウェブカメラ４２２のように）、そしてワークボード上の物体をある角度で見ることができる。カメラ又は他の電気／光学的センサは、レンジトップ又はその付近の子供を感知し、アラームを鳴らして、バーナーをオフに切り換えるのに使用されることに注意されたい。このようなある用途では、超音波センサ又はレーダーセンサが使用されて、コンピュータ４１０にもインターフェイスされることに注意されたい。又、カメラは、コンロの上で水が沸騰しているかどうか決定し、又、自動的にコントロールのキューを出す（例えば、暖房を切る）ために通知又は使用される他の当該状態を決定するのにも使用できる。

頭上形態は、リアプロジェクション形態に勝る多数の効果を有する。例えば、引き出しや、マイクロ波や、他のもののためにカウンターの下の空間をとっておくことができる。このケースでは、プロジェクタ及びカメラの「投射(throw)」距離は、単にフリースペースにおける天井からカウンターまでの距離より短い距離である。又、ワークボードは、その上の画像を見ることができる限り、希望のものでよく、光を透過する必要はない。主たる欠点は、手や頭や他の身体部分が投影画像の妨げとなることである。というのは、それら物体が、一般的に、カウンタートップにあるためである。しかしながら、ある程度注意し、そして何をどこに投影するか思慮深く選択することで、ほぼ解消することができる。例えば、詳細な情報は、目下のワーク領域から離れた領域に投影するのがベストである。実際に、本発明は、どこで作業（例えば、ステーキをカットする）が行われるかを、カメラ及び手の動き確認ソフトウェア又は他の手段で感知し、そしてコンピュータへ信号伝送して、レシピ又は他の情報を別の領域に投影するようにプロジェクタをコントロールすることを含む。

図５ａは、器具コントロールパネル、このケースでは、洗濯機５０３又は乾燥機５０４への適用を示す。１つのパネルで両方にサービスできることに注意されたい。というのは、それが再構成可能だからである。例えば、洗濯機５０３上のコントロールパネル５０２のノブ５０１は、多数の同時係争中の特許出願に論じられたＲＴＤ発明を使用して、洗濯機プログラムのコントロールから乾燥機プログラムへ再構成することができる。このケースでは、１つのパネルで洗濯機及び乾燥機の両方にサービスできるので、コストを節減しながら、その各々に対し明確で、大きく、使い易いコントロールを与えることができる。従来設計の別の手動ロータリスイッチノブを（ソリッドステート装置に代わって）使用して、リモートコンピュータコントロールのためにモータ化することができる。

例えば、本出願人の係争中の特許出願第１１／８３２，１３４号に示されたように、ディスプレイ及びコントロール面５１０は、到来すると考えられる大容量セルラーホンアプリケーションに基づく低コストプロジェクタ／センサモジュールにより照明される。これは、既存の洗濯機と同様であるが、完全に電子的で且つ再構成可能な両触覚ノブを使用して、システムの機能の完全な再構成及び最高の融通性を許す。

上述した本発明は、ソリッドステートリレー又は他の装置を使用して必要に応じて機能を切り換える。これは、一般的に、古い形態の機械的ベースのノブロータリスイッチより高価であると考えられる。コストが重要な場合には、従来設計の手動ノブを使用し、このノブを（例えば、ステッパモータで）モータ化して、図１のようなユニットによりリモートコンピュータコントロールを行うことができる。しかしながら、プロジェクタ又は他のディスプレイシステムによりラベルを再構成することができる。スクリーン５１０に表示される情報は、コントロール機能ラベル又は告知灯だけではなく、何でもよいので、例えば、それを子供部屋のＴＶモニタにワイヤレス接続して、洗濯を行うときに、家庭内又は屋外の庭で行われるものにタブを保持することができる。上述された他の機能を任意に与えることができる。コントロールパネルをドラムの周りに巻き付けることができるという関心のある特徴、タッチ機能に使用できるスクリーンサイズの増加、ＴＶ視聴、又は点線５３０内に示された他の特徴に注目されたい。

図５ｂは、同じ構成であるが、異なる形状のコントロールパネル及びより大きなドラムをもつものを示す。更に、スクリーン及びコントロール面を、必要に応じて、洗濯機から乾燥機へ及びその逆に切り換えるための物理的な「ホットボタン」スイッチ５４０も示されている。洗濯機及び乾燥機の二重コントロールは、イタリアのようなスペースに制約のある地域で販売される複合洗濯機及び乾燥機機能を有するマシンに対して貴重である。このケースでは、コントロールパネルは、両方の機能に対して最適に情報を与えることができ、そしてマシンをもう一度又は別に動作するときに単に切り換えることができる。図６ｃも参照されたい。

同じコントロールパネルのアイデアを使用して、レンジ及びオーブンの組み合わせ、又はレンジ及びマイクロ波、或いはコントロールされるべき器具又は他の装置の他のグループをコントロールすることができる。そして、コントロールされる装置は、同じ位置にある必要はない。例えば、パネル５０２は、洗濯機及び乾燥機に加えて、オーディオシステム、又は装置のＴＶ機能をコントロールすることもできる。又は、インターネットもそうである。上述したワークボードの線に沿って行われる。

図６は、最も簡単なケースではコントロールのみに使用され、精巧な表示能力がほとんど又は全くない本発明の低コストコントロール構成体を示す。精巧な表示相互作用を要求しない器具、トラック、車、及び多数の他の用途に対して理想的である。本出願人の同時係争中の特許出願、例えば、第１１／９８０，７１０号に開示された中央家屋は、セルラーホン又は自動車の用途に使用される単一の低コストカメラ６００がＬＥＤ６０５と一緒に使用されて、コントロール面６３０上のノブ６２０及びスライドスイッチ６２５のような種々の複数の物理的コントロール細目を照明しそしてその位置を感知するというものである。カメラによって収集された画像データは、カメラと一体的なＤＳＰのような簡単なコンピュータ手段６１０により処理され、そしてユーザがノブ及びスイッチ（並びに必要に応じてダイヤル、スライダー等の他のコントロール）と相互作用することでコントロール選択を行うのに使用されるＩ／Ｏへ出力される。

このシステムは、非常に安価である。というのは、ほとんど光が要らないように逆反射体又は他の高コントラストターゲットをコントロール細目に使用した場合には、カメラ及びコンピュータ部分が大量で数ドル程度でありそしてＬＥＤが１０セントだけでよいという計画書を読んだからである。ここでのコントロールは、周囲光に曝されず、従って、高い電力も精巧なコンピュータ処理も必要とされない。又、周囲光の問題が持続する場合に使用される近ＩＲ動作もバンドパスフィルタも必要とされない。

本発明のこの態様は、安価である（１０個のコントロールをもつパネルの場合に（プラスチック品目を含まずに）制御変数又は装置当たり３０セント程度）だけでなく、設計及びカスタマイズも容易である。例えば、特殊な回路板を形成する必要はない。これは、多くのエリアにおいて甚だしい効果をもつ。非常に経済的な小さなコントロールパネルボリュームを許す。又、コンピュータは、他のセンサ及びコントロールから入力を任意に取り出し、システムをより多様性にすることができる。又、カメラは、図示されたプラスチック部材６４０のようなオーバーレイ部材のくぼみ部分を感知することもできる。これは、ラップトップのようなタッチパッドとして、又は多くの器具が今日有するようなタッチスイッチ位置をもつタッチパッドとして、この部材を使用できるようにする。適当な感知方法の例が本出願人の同時係争中の特許出願に示されている。コントロールは、側面図に示され、そしてノブスイッチ等の他のコントロールは、紙面から延びる表面に横たわることができる。

又、図５に適応した態様を使用することもでき、これは、本出願人の特許出願第１１／９８０，７１０号に開示されたような２つの固定プロジェクタ６５０（この図において紙面から離間された）を含む。例えば、その一方は、乾燥機コントロール表面画像に対するものであり、そして他方は、洗濯機に対するものである。このケースでは、画像データを投影すべきコントロール面６３０の領域は、同時係争中の特許出願に開示されたように、リアプロジェクションスクリーンを形成するために透過性及び分散性である必要がある。その追加コストは、非常に低い（例えば、５ドル）が、ＬＣＤパネル、例えば、ストリップＬＣＤ、或いはＬＥＤ型又は他のフラットパネルディスプレイ６７０のような個別のディスプレイが使用されない限り、ビデオ又はリアルタイム情報を与えることができない。個別のディスプレイが使用される場合には、コントール面６３０への電気的接続が必要になる。従って、コストに余裕がある場合には、ビデオディスプレイの駆動回路もコストがかかることに留意して、Ｉｃｄパネル又は他の従来のディスプレイ、又は低コストＬＣＯＳ、ＭＥＭＳ、或いは例えばセルラーホンに使用される他のビデオプロジェクタを使用することができる。器具におけるこのようなプロジェクタも、ＴＶ画像又はインターネット接続をユーザに与えることができる。コントロール面６３０にカーブや不規則があっても、カメラがノブ位置、指タッチ位置、等の希望のコントロール情報を見る能力に一般的に影響しないことに注意されたい。

図６ｂは、図６ａの装置を使用する乗物で夜ドライブするための照明ラベルを設ける方法を示す。図６ｂは、図６ａの装置と共に照明ラベルを設ける１つの方法を示す。図示されたように、ノブ６５１は、コントロール面６５２にマウントされ、そしてカメラ６６５によって感知されて、カメラの前方のバンドパスフィルタ６５５を通過する波長のＬＥＤ６５４、このケースではＩＲ ＬＥＤからの光を使用して、回転位置を決定し、他の波長の光は、カメラ画像に有意義に影響し得ない。夜には、白色ＬＥＤ６６０（或いは着色されたものでもよい）がターンオンされ、そして部材６５２にカットされた細いスロットを通過し、これは、レーザカットされたもので、語ＶＯＬ（又は無線ノブの場合はＶｏｌｕｍｅ）を伴う。ＬＥＤ６６０は、必要に応じて明るく又は暗くコントロールすることができ、そして多数の他の理由で、このような彫られたスロットは、他のマーキングに対してカットすることもできる。必要があれば、白色ＬＥＤが使用される場合に、あるスロットに着色フィルタを入れて、異なる色に見えるようにすることができる。もし必要があれば、乗客区画からスロットを通過する大部分の周囲光をカットするようにフィルタが使用される。

図６ｃは、本出願人の同時係争中の特許出願に開示された小型センサ／プロジェクタを使用する個々の器具のための複合洗濯機及び乾燥機システムを示す。この形式のプロジェクタ及びセンサ組み合わせは、例えば、セルラーホンアプリケーションに予定されたマイクロビジョンブランド「ピコプロジェクタ(pico projector)」をベースとする。プロジェクタ６８５は、システムのノブ、スイッチ及びタッチスクリーンコマンドから入力を受け取るコンピュータ６９０によりコントロールされる。画像をユーザに向けてターンするための３Ｍ ＴＲＡＦターンフィルムが載せられたスクリーン及びコントロール面６７５の背面にビデオ画像が斜めに投影される。投影画像は、スクリーン上でスキャンされ、望ましい全スクリーン面が照明される。

マシン又は一対のマシンの洗濯機又は乾燥機部分を動作するため、必要に応じて、電力及びコントロールボタン６７１又は６７２によって各々アクチベートされる２つの状態が示されている。メインコントロール及び選択ノブ６７６は、任意であるが、本出願人の係争中の特許出願第１１／０４５，１３１号及び他の特許出願に開示されたように、スタイリッシュな情報スクリーンをその中心に有する。このノブは、半径方向厚みｔのリングの形態であり、そして必要に応じて（同時係争中の特許出願に開示されたように）、多数の従来型ノブが今日そうであるように、押すか又は引いてサイクルをスタート又はストップすることができるように設計される。ノブインジケータは、物理的なポインタでもよいし、又は６８２のように、スクリーン表面に単に投影されてもよいし、或いはノブ面又は他のノブ表面に投影されてもよい。この例では、２つの他のノブ６７８及び６７９が設けられる。同時係争中の特許出願に示されたように、より多くのノブ又はスイッチ又はスライダー又は他のコントロールを設けてもよい。これらのコントロールは、光学的に感知できるが、それとは別に又はそれに加えて、この分野で知られた電子手段を使用して感知されてもよい。後者の多数の望ましい態様の１つは、容量性タッチスイッチである。

同時係争中の特許出願に開示されたように任意に設けられるバーチャルタッチ入力の領域は、洗濯機モードに対して６８２で示され、そして乾燥機モードにおいて６８３で示されている。それらの機能又は指示子は、必要であれば、異なるモードに対して異なるものでよい。洗濯機又は乾燥機以外の別のサービス、例えば、ＴＶを視聴するための外部プログラムソースに接続することが望まれるときは、任意のボタン６７４を押し、ノブ６７６を補助選択ノブへターンし、そして他の画像を提示する一方、全てのラベル及び他の洗濯機機能指示を削除し、或いはそれらの文字又は指示をより小さくするか又は見難くすることに注意されたい。洗濯又は乾燥動作は、もし着手した場合には、必要に応じて進行することができる。

本出願人の同時係争中の特許出願に示されたように、ＴＶの画像は、スクリーン上で、ノブ（又はスイッチ又は他のコントロール）の右に見えるように投影することができる。これは、実際上、一般的に、画像の完全な理解を過度に妨げるものではなく、特に、ノブリングの半径方向厚みが小さくて、画像を実質的に不明瞭にしない場合にはそうであることが分かった。

図示されたように、プロジェクタ６８５（ノブ、スイッチ及びタッチスクリーンコマンドからの入力を受け取るコンピュータ６９０によりコントロールされる）は、本出願人の‘８６８特許出願（米国特許第７，０８４，８５９号に関連した）並びに多数の他の係争中の特許出願の図４に示された角度でスクリーンの背面及びコントロール面へ斜めに投影するように角度付けされる。マトリクス型画像チップで一般的に望まれる図示されたケースでは、投影画像平面がスクリーン上で一端から他端へ焦点が合うようにチップが傾斜される。この技術が使用される場合には、スクリーンにわたって均一な倍率を与えるようにコンピュータにおいて画像が補正される。スクリーンは、プロジェクタからの遠方端においてスキャンされ、その近方端を完全に照明できるようにされる。

このシステムは、投影又は表示されたグラフィックを使用して器具を区別できるようにし、又、先のケースで指摘したように、カーブした形状及びカットされた周囲の使用を含めて、コントロールパネル及びスクリーン形状を容易に変更することができる。異なる市場又は買い手に合うように言語を容易に変更することができる。そして、本出願人の特許出願第１１／０４５，１３１号、等に指摘されたように、ノブ又は他のコントロール要素の面にもパターン、色、等を表示することができる。

本発明は、その最も簡単な形態において、カメラ又は他の電気／光学的センサを使用して、スクリーン及びコントロール面上のコントロール位置だけを感知する。又は、ここに開示したようにプロジェクタを使用すると共に、図２３に示すような従来のコントロール感知技術を使用してもよい。重要なことは、前記洗濯機及び乾燥機について述べたように複数の器具をコントロールするために装置の機能を使用できることである。例えば、図１４の例では、同じコンピュータ１４１０及びコントロールシステムで、レンジ、オーブン及びマイクロ波のどれでも全部でもコントロールすることができる。今日の従来型装置と同様に、図１４のものとは異なるコントロールパネルをコンロの前方又は後方に配置することができる。

又、同じ装置の異なる機能を同様にコントロールすることもできる。例えば、乾燥機における図６ｃのようなコントロールパネルは、乾燥サイクル特有のコントロールパネルから、全体的な乾燥機コントロールパネルへ、又はＴＶショーやインターネットフィードを示す娯楽パネルへ切り換えることができる。必要に応じて、本出願人の‘８６８特許出願及び米国特許第７，０８４，８５９号のマルチポイントタイプのような精巧なタッチスクリーン機能を合体してもよい。

図７ａは、ワークボード面に表示されるインストラクションを更に使用して容器内の液体レベルを測定するのに有用な本発明の実施形態を示す。ある人々にとって非常に困難なことは、特に、液体材料の測定だけでなく、通常計量カップに入れられる粒状材料の測定である。本発明は、実際に何が必要であるかというデータをレシピから得ることにより、これに支援できることが意図される。次いで、これを個人に表示するか、又は更に、個人が容器の上から入れる材料の量を監視しそして充分に入れたときにその旨知らせ、おそらくは、僅かな警報を事前に与えて、注ぎ速度を下げられるようにする。容器を置く場所の右隣りに液体情報を表示することに注意されたい。

図３に示したように表面上に（リアプロジェクションで示したが、フロントプロジェクションも行える）、投影測定円Ｍｅを表示し、そこに容器を置いて、その中の液体の高さをカメラで決定し、その量を、その容器又は容器形式（例えば、８個の同じウィスキーグラスセットの１つ）に対する予め校正された値と比較する。

コンピュータ７４５により分析されるカメラ７３０は、液体（この場合には適度に透明でなければならない）を通してドリンクグラス７２１のような容器の底へ投影されるレーザビームスポット７２０の位置を監視することにより液体レベル７４６を感知することができる。液体の屈折率のために、スポットの位置は、容器内の液体の高さに比例する。しかしながら、液体又は粒状材料が不透明である場合には、異なるレーザ三角法を使用することができ、この場合は、液体の上面におけるカメラによってレーザスポットが見られ、そしてカメラ軸に対するレーザビームの角度のために、容器内で液体（又は粒状材料）が上昇するときにカメラの画像平面がシフトする。液体の量に関する情報７４７がスクリーン上に表示され、又は必要に応じてスピーカを経てアナウンスされる。

容器が透明で、適度な無地のデザインであると仮定すれば、コンピュータ７４５により画像が処理されるカメラ７５０を使用して示すように、液体レベルを横から見ることもできることに注意されたい。この用途では、グラス及び液体をバックライトモードで照明することが最も望ましいが、例えば、カメラサイドからのＩＲ ＬＥＤ７５１からのフロント光も作用するが、容器の側壁からの直接的及び明るいバック反射を回避するようにカメラ及び光源を配置することに注意しなければならない。多くのケースでは、通常の部屋の光も作用する。液体のメニスカスは、その上下の空気又は液体より暗い部分を画像に形成する。

横から見る技術は、容器内の粒状材料の高さを決定できるようにする。というのは、そのような材料の頂部が、その上の空気に対してコントラストのある画像を形成するからである。又、横から見るシステムは、ミルクや他の不透明な液体も感知する。又、横から見るシステムは、一般的に、注がれる材料に対してより迅速に応答し、更に、注がれることがカメラの視野に捕えられないことにも注意されたい。

別の頂部感知方法は、図７ｂに示すように、容器７６５の軸７６４及びワーク面の法線に対してある角度でカメラ７７０を位置させ、そして好ましくは明るく着色され且つ拡散的に散乱する容器の側壁を見ることである。液体（又は粒状材料）と側壁との間の境界７６６は、最も光の多い状態のもとで見分けることができる。望ましい場合には、典型的にカメラと同じ位置に配置されたＩＲ ＬＥＤ（目に見えない）のような特殊な光源７７１を使用することができる。カメラ画像センサ７８４に対して処理された後の境界線の画像は、図示されたように、２つの異なる液体高さ、即ち容器の下位７８５及び上位７８６に対する挿入画（破線）となる。

容器７６５が、ドリンクグラス、メーソンジャー、等の透明な側壁を有するものである場合には、ワーク面スクリーンの下のプロジェクタ７８１から７８０のようなバックライトを使用してレベルを決定することができ、それは、境界を照明する目的で位置７８０に向けることができる。図７の装置における液体測定の校正ステップを一例として述べる。

第１に、選択された容器を、ワークボード上の指示された位置に置く。任意であるが、カメラ７３０又はプロジェクタセンサモジュールを使用して、直径Ｄ又は別の特性変数を測定し、カメラ及びコンピュータシステムによりそれを後で確認できるようにする。

第２に、容器に、第１の既知の量の液体、例えば、１００ｍｌを満たす。容器の底から液体までの範囲の変化Ｒを決定する。

第３に、別の既知の量を注ぎ、その範囲を決定する。標準的な校正量を注がない場合には、キーボードを使用して注いだ量を入力する。センサは、比例式であるから、グラス自体が一定の断面を有し且つ角度補正係数が所与の設定に対して既知である限り、全範囲にわたって量を得るのに必要なことは、これで全部である。ティーポットのように、そうでない場合には、カップ半分、カップ１／４、等の普通の量を使用して単純に校正し、それを使用して、例えば、ルックアップテーブルを作成するポイントを測定する。

この手順は、使用したい各容器形式について一度行う。全ての測定及び校正は、通常はデジタルベースであるから、それを再び行う必要は通常ない。より多くのデータポイントを伴うより精巧な校正も考えられる。

或いは又、装置の製造者又は第三者は、高さ変化対量についての既知の校正値を有する特殊な容器を提供することができる。これらの値は、例えば、ＣＤ又はフラッシュドライブによってコンピュータへ入力することもできるし、ウェブサイトからダウンロードすることもできるし、等々である。このケースでは、レンジセンサ自体がリニアであると仮定すれば、家庭での校正は要求されない。例えば、校正値は、液体なしの容器の底の初期測定の測定値でスタートする。

図８は、例えば、測定される材料を収容する既知の勾配の円錐形内部領域８０１を有する容器８００を使用するレベル測定を示し、材料の光学的特性は、容器内に存在する液体又は他の物質８１０のレベルと共に変化する。カメラ８１５は、ワーク面８２０の下にあり、ワーク面上に置かれた特殊プラスチック又はガラス容器の円錐状内壁に沿って液体の高さが終わるところの境界リングＡは、上からの光８２５がそのリングをクリアなものにする位置において、下から観察される。コンピュータ８６０のマシンビジョンソフトウェアは、カメラ８１５又は別のカメラ８５０（明瞭化のために接続ワイヤは図示せず）からの画像を分析し、そして既知の勾配値、又はルックアップテーブルに記憶された種々の量の充填に対する容器の教示応答を使用して、容器内の量を決定する。８５１及び８５２のようなＬＥＤ、情報提示及び他の目的でもし使用されればオーバーヘッドプロジェクタ、又は他のソースによって適当な照明を与えることができる。液体は、円錐の角度が鋭いほど、液体の高さの解像度が高くなる。というのは、液体は、所与の量の注ぎ込みに対して横への動きがより大きくなるからである。検出は、幾何学的であるが、少量の液体に対して最も感度が高い。しかしながら、一般的に丸い容器の片側のみに勾配を付けるだけで、より直線的な応答を得ることができる。ワーク面は、測定位置では、リング画像が不明瞭になるので、あまり拡散的であってはならない。又、表面の８２１のような部分を、拡散がほとんど又は全くないほぼ完全に透明にすることもできる。通常、このエリアでは下から投影される光がほとんど又は全くない。というのは、直接ユーザの目に入ることがあるためである。このエリアは、通常、小さい。というのは、使用する容器が、一般的に直径６インチ以下だからである。

別の態様において、後方のプロジェクタを使用して、容器の底を通して境界を照明することができる。このケースでは、容器の底を通して光が投影され、円錐の側壁と液体の頂部との間の接合は、即座に見ることができる。ワーク面の透明部分は、必要に応じて拡散性のものと置き換えることができ、又は測定が要求されないときには、その上に拡散部材を敷設できることに注意されたい。

ワーク面の下の光学要素に依存しないことを望む場合には、照明及び上から感知するカメラの両方を使用することができ、そのようなカメラ８５０は、容器８００内の液体又は材料の頂部を観察する。このケースでは、すぐ隣の側壁からの反射の差を使用して円錐の頂部における材料の巾又は直径ｗを決定することができる。

材料の量データが得られそして材料のタイプが分かる場合には、既知の材料密度から重量を計算することができる。そして、あるケースでは、ワーク面の上又は下で感知される材料の測定面積から、材料の特性を知ることにより、確かな重量を推測することができ、ピザ生地のような材料の面積は、ワーク面のカルテシアン軸において、カメラにより容易に決定することができる。そのような面積を形成しているものが典型的に分かると、確かな高さ、分布及びおおよその量をほぼ仮定することができる。しかし、それは、特に正確というのではない。あるレシピは、正確さをそれほど必要としない。より高い正確さを必要とするケースでは、例えば、秤として働く歪むワーク面を使用することができる。

例えば、図９ａは、全スクリーン及びワーク面９００又はその一部分が計量秤としても使用される直接計量能力をもつワークボードを示す。このケースでは、表面９００は、例えば、３Ｍのビキュイティ分散性材料９０１を背面に有する耐衝撃ガラスで作られ、そして４つの支持体により位置付けられ、その２つ９０５及び９０６が図示されている。それら支持体は、力に応答するピエゾ電気センサを含み、そのコンディショニングされた信号出力は、コンピュータ９２０により分析される。表面に何もない（いわゆる、風袋状態）ときの状態に比して、表面に載せられた物体により構成される力の変化を表す出力信号が与えられる。その風袋状態は、本発明のセンサによって感知され、いつでも、例えば、ゼロの読みが得られる。このシステムは、一応機能するが、スクリーンのサイズが増大して風袋重量が増すときには正確さが下がる。表面上で作業が進行するためにトランスジューサは一定の作用のもとにある。このため、表面の小さな部分が望ましく、これは、たとえこの場合に、あるゾーンの投影がその部分の支持体により妨げられても、そうである。そして、破片を回避するために、周囲にシールが使用される。

別の方法が図９ｂに示されている。この場合には、２つの撓み部９５０及び９５１が、上述した形式の堅牢な透明であるが拡散性の計量パン９５５を全スクリーン及びワーク面９６０内にサポートする。一方の撓み部９５１は、投影画像の崩壊を最小にするためにスクリーンの側部付近にある。計量パンは、物体の荷重で撓み、その撓みが測定され、そしてそのような測定は、同時係争中の特許出願に開示されたセンサ装置を使用するか又は他の手段により行われる。撓み部は、スチール又は他の弾力性材料であり、望ましい重量範囲に対して容易に選択することができる。問題は、破片がクラック部に落ちることであり（従って、ほとんどのケースでは、シールリングを必要とする）、そして表面が、行われる作業からの荷重に耐えねばならない場合には、従来の解決策に比して若干貧弱な構造になることである。従って、この部分は、表示のため、又は重たい力をかけずに物体を載せるために、全体的でないまでも主体的に使用しなければならない。

別の態様は、薄い断面のスクリーンの一部分を使用して、そこに載せられる物体が、荷重のかかったメンブレーンとして撓むようにさせることである。この撓みは、他の同時係争中の特許出願に示されたように、カメラにより測定され、そしてそこから、撓みを仮定して決定される重量は、力に比例し、予め校正されている。この解決策の問題は、典型的なスクリーン材料が特に弾力性でないことである。

本発明は、野菜をカットするときの引っかき傷による磨滅も受ける低コストの交換可能なワークボードを含む。あまり磨滅すると、スクリューやベルクロ等の既知の手段を使用してそれをカウンターから容易に取り外し、そして新品又は磨き直したものと交換することができる。又、ノブ又は他のコントロールを含めて、ワーク面及びスクリーンを容易に清掃することができ、これは、ＬＣＤ又は他のフラットパネルディスプレイをベースとするシステムでは考えられない作業であるという点で別の効果もある。更に、ワーク面は、表面の材料にダメージを与えない手段、例えば、温水、消毒槽、核放射線、等により殺菌することができる。これは、病院の台所や、無菌装置を要求する他の場所のような商業目的でも重要である。

ワーク面の寿命を延ばしそして他の利益を与えるために、ナイロンやテフロンのような耐スクラッチ材料を使用することができる。スクリーンは、リアプロジェクションに使用される場合には、光を透過し且つ拡散性である必要がある。部材１５０の材料は、あるケースでは、投影用途のためのバルクディフューサを形成することができる。拡散性であるが耐久性もあるスクリーンは、例えば、ルーサイトのような透明プラスチック材料に薄いテフロン又はナイロンをスプレー塗装又はラミネート加工することにより形成することができる。

リアプロジェクションでは、スクリーン面に合体されたマイクロ形状を使用することにより光を一方向に優先的に指向することが一般的に可能である。その一例は、３Ｍにより製造されたＴＲＡＦマイクロ複製プリズムフィルムであり、これは、島型カウンターの片側に向いた角度で、又は図１に示すようにその両側に向いた角度で、光を指向することができる。これは、カウンターの隣に立っている個人がワーク面の表面の法線に対してある角度であるときに有用である。カウンター（島）の周りに立っている個人に対応する側に光を優先的に当てるように前面又は後面をマイクロ成形することができる。任意の形状のワークボードを設けることもでき（円形、方形、長方形、不規則、ダイヤモンド、等）、そして必要に応じて、いかなるパターン又は色が投影されてもよく、それらの色及びパターンは、必要であれば、毎日変更することができる。

本出願人の米国特許第７，０８４，８５９号及び同時係争中の特許出願‘８６８号は、浴室のシャワーや、水が存在して従来型の電子装置では危険を招く他の場所に本出願人のＲＴＤ発明を使用することを示している。図１０は、小型プロジェクタセンサユニット１０１０と、タッチ及びコントロール面１０１５とをもつ浴室洗面器又は台所シンク設備１０００への別の適用を示し、コントロール面１０１５は、カーブした表示スクリーンを含み、そしてノブ１０２０及び明瞭化のため示さないが紙面に向かう別のノブを経ての物理的なコントロール入力を有する。必要に応じて、温水と冷水を混合するために１つのノブシステムを設けることもできる。表面１０１５（典型的に、フロントは拡散面をもつルーサイト又はガラスで作られ、或いはリアは３Ｍのビキュイティ又は他のビード状リアプロジェクションスクリーン材料で作られる）上での感知及び投影もコントロールするコンピュータ１０３０のコントロールのもとで作動されるバルブで水が制御されるので、センサ／プロジェクタ組み合わせ１０１０が、水レベルが高過ぎることを感知すると、自動的に水を遮断することができ、或いはレベルが設定点に近付きつつあるときには、ゆっくりと減少することができる。従来型のサーミスタ又は他の温度センサを組み込んで、水温を感知すると共に、タッチ面１０１５を使用して個人によりセットされた温度を自動的にコントロール（及び表示）する。或いは又、コントロールノブ１０２０は、例えば、必要に応じて、機能を温度ノブに切り換えることができる。投影スクリーンは、異なる言語、色、等を表示することができる。例えば、英語１０２１又はイタリア語１０２２を表示することができる。又、使用するカメラ又は他のセンサは、返送画像の変化により水のレベルを決定することもでき、これを使用して、レベルが限界を越えたときに水を遮断することができる。同時係争中の特許出願に開示されたように、スクリーン上に任意のタッチ入力を設けることができる。このような入力は、例えば、言語機能を切り換え、最大温度設定、表示すべき情報及び他の特徴を変更するためのメニューに使用することができる。

図１１は、本発明のフリップダウンキュービクルデスクの実施形態で、図２のような壁マウント型コントロール面を示す。図示されたように、個人の指１１００は、コンピュータ１１２０に接続された投影／感知モジュール１１１０の前方で動作するためにフリップダウンされた投影面１１０５にタッチすることによりタッチ感知コマンドを発する。これは、次いで、壁マウント大型スクリーン装置１１３０に関連して必要に応じて動作され、この装置１１３０は、バーチャル又はリアルコントロールを使用して、例えば、オフィスのデスク付近に配置されるファクトリ装置のような被コントロール品目を動作できるものである。このフリップダウンスクリーン（或いは又、デスクトップからフリップアップすることもできる）は、マルチタッチ又は他のオペレーションに使用でき、そしてもしあれば、物理的コントロールを操作するのにも使用できる。投影／感知モジュールは、セルラーホンプロジェクタが普及した場合には安価なものとなる。この装置は、通常のマウス、又は他の入力と共に使用でき、そしてラップトップ又はデスクコンピュータに置き換えることができる。又は、特殊なタッチ又はコントロールオペレーションに使用されるラップトップに対する補助手段と考えることもできる。

図１２は、更に、図２ａにおいて持ち上がったポイントを示すと共に、本発明のスクリーン及びワーク面において使用する指ジェスチャー及び他のオンスクリーン入力を示す。例えば、図１２ａは、ワーク面１２００を示し、その上で、衣類１２１０の画像がユーザの左手（又はその指）により洗濯機の画像１２１５へ移動され、これも洗濯機の画像１２１５へドラグされた選択サイクル“ｅ”をスタートする。洗濯機のグラフィックコントロール画像は、例えば、洗濯機を指示するアイコンに右手の指を置くことにより開始される。感知は、マルチタッチ可能であるから、左右の手の指は、必要であれば、スクリーン上で両方とも操作することができる。タッチアイコンが通常表示される洗濯機、乾燥機、等のポイントは、必要であれば、図１ｃ及び同時係争中の特許出願に示されたように、小さな浮彫特徴部を有して、それを見つけ易くすることができる。

図１２ｂは、スクリーン上にハウスプランマップを伴うコントロールパネル１２００を示す。適当にインターフェイスされた場合には、各部屋の照明及び他のサービスを示し、そしてそのタッチ感知能力を使用してこのパネルからコントロールすることができる。品目、又は例えばその付近のコントロールアイコンにタッチすることにより、状態変化させることができる。

図１２ｃは、個人が右の人差し指１２４２を使用してオーブンのバーチャルグラフィックにタッチすると同時に、クッキーのグラフィック表示、又はこのケースでは真のクッキー生地マウンド１２３８を左手でオーブンのグラフィックへ移動するところを示す。このケースでは、クッキーを焼くこと、及びその温度サイクルでオーブンをスタートすることが既に確認されている。オーブンの温度を導き出すところのインターネットからのレシピ１２６０も、必要に応じて、表示される。グラフィック１２３６に指１２４２でタッチすることを使用して、オーブンを始動することもできるし、或いは又、クッキーに関連したグラフィック又は真の物体１２３８をオーブンのグラフィックへ移動することを使用して、オーブンを始動することもできる。

コントロール面の近くにいないが、コントロール入力を発したいときに補足するために台所にいる個人による手のジェスチャーが潜在的に必要とされる。カメラは、これを感知し、そして同じコンピュータ及びビジョンプログラムを使用して、入力を決定することができる。本発明では、空間における手又は指のジェスチャーを使用してもよい。１３０のような頭上のカメラ又はセンサ／プロジェクタモジュール、又は図１ｂに示すような側部マウントカメラは、手、指、頭部、等のいずれかの身体部位を使用するか又はスパチュラのような手に保持できる物体を使用する個人のジェスチャーを観察するのに使用することができる。種々のコンピュータファシリティのそのようなジェスチャーベースのコントロールは、参考としてここに援用する同時係争中の特許出願第１１／１８６，８９８号及び米国特許第６，７５０，８４８号に説明されている。

この用途には多数の特殊な状態が存在する。第１に、頭上のカメラは、ワーク面上又はその前方での手の動きを、特に、それがディスプレイによってライトアップされた場合に見ることができる。この容易な感知は、２つの次元、即ちカメラのｘｙフィールドで行われる。従って、フィールドを通して左から右へ手を動かすことで、例えば、バーナーをオフにしたり、スクリーンのコントロール機能を洗濯場へ切り換えたり、ベビールームの画像を表示したり、等々のコマンドを構成することができる。このように指ジェスチャーを使用することができ、無限の種々の可能性が存在する。しかし、実際に有用であるためには、直観的なものでなければならない。

同時係争中の特許出願に教示されたように、特に、例えば、ユーザ又は保持される物体に関するものが分かる場合には、カメラを使用して３つ以上の次元を見ることができる。これは、単一カメラ写真測量方程式を解くのに使用できる特徴位置であり、且つ例えば、衣料品、又は平なべ、スプーン、等の器具における人為的特徴である。

又、スクリーンが緩く拡散的であるに過ぎない場合には（例えば、高利得のリアプロジェクションスクリーン）、後部からスクリーン付近のジェスチャーを見ることができる。これは、頭上と同様に、例えば、バーナーに何かを載せるときを見て、その時点で、必要に応じて計時機能をスタートすることも含む。

本発明のワークボードは、種々の特許出願及び特許に述べられたように、カウンタートップにほぼ平行な図示された平坦な形態のデスクとして使用することもできる。例えば、マルチタッチ解決策では、プロジェクタにより投影された面上で家族の写真を操作するのに使用することもできるし、或いは別の例では、スクリーン上に示す文書又は他のデータを読み取るために装置を実際に使用することもできる。そのように示す部分がそのような読み取りを行う限り、カメラでそれを行うことができる。ワーク面は、洗浄可能なものとして交換可能であるから、この目的でフラットな拡散性ワーク面を使用することもできるし、或いはそれらの形式のコンピュータ対話及びドキュメント読み取りの目的でフラットな領域を使用することもできる。それにより、食料雑貨店から得たレシート、電話の請求書、又はコンピュータに読み込みたい他のドキュメントを読み取るために装置を使用することができる。

ワークボードは、台所で使用するためのデスクとして働いでもよく、又は装置が例えば私室で使用される場合のデスクでもよい。特定のボードを、例えば、カッティングボードとして使用されるものと交換して、著述又は描写のための良好な表面を形成することができ、描写及び手書きは、同時係争中の特許出願に既に述べられたように、コンピュータにより決定されそして記憶又は送信される。ワーク面をアップ方向に傾斜させて、書き易いデスクとすることができる。そして、カウンター又は他の表面と平らにすることができるが、投影感知の視界深さが許せば、必要に応じて、ポップアップすることができる。

図１３は、家で生活する年長者、障害者、及び何らかに支援を必要とする他の者に対して毎日の生活を監視する上で役立つ本発明の別の態様を示す。例えば、上述した本発明のワーク面は、特に、それまで料理したことのない老人に対して食事の準備を楽にすることにより、この点に関して役立つと考えられる。又、ある程度の安全性も付加する。というのは、台所エリアでの行動をカメラで監視し、そして水の沸騰時間が長過ぎる、熱が残っている、等の危険状態について警報が与えられるからである。実際に、このシステムは、必要に応じてバーナー及びオーブンの自動停止を含むことができる。

この点において、年長者を支援し、彼らの健康な状態を監視するために、家での行動を一般的に監視する考え方を拡張する。以下に示す例において、本発明のカメラシステムは、上述したのとほぼ同様に使用されるが、室内の個人に対する簡単な近ＩＲ反射ターゲットの位置を監視する。（或いは又、あるケースでは、高いコントラストをもつ色付きターゲットを確実に使用することもできる。）少なくともシステムがプライバシーを侵害しない程度に、赤外線フィルタでカメラを設定し、ターゲットからの赤外線反射を除いて、光レベルが低いために個人それ自体の写真が撮れないようにする。これは、主として、家で普通に生活する人の問題に対して非常に低コストの解決策を与えるという点で、多数の効果を発揮する。例えば、４部屋の小さなアパートメント１３００について考える。中央コンピュータ１３０２、又はリモートサーバーのコンピュータが、少なくとも使用エリアにおいて部屋を見るために配置された４部屋の４つ（以上）のカメラ１３０５−１３０８を連続的に監視する。この例では、カメラは、コンピュータ１３０２にワイヤレス接続されるが、例えば、コンピュータに容易にインターフェイスされる安価なディジーチェーン型ファイアワイヤカメラでもよい。

目標は、個人の１つ以上の特徴（典型的にコントラストの高い人為的ターゲットであるが、必ずしもそうでなくてよい）を正確に追跡して、例えば、転倒、浴室への経路のような通常のルートから１日の何回も外れる、不安定な歩み、著しい頭部の揺れのような異常な動きを見ることである。又、カメラは、セキュリティの目的でも使用できる。そして、本発明は、個人の動きを見るだけでなく、空間内での物体の動き、例えば、ドアの開き、トイレの便座の持ち上げ、台所用具の使用、等を見ることもできる。

前記で参照した特許出願に指摘されたように、例えば、再帰反射材料又は高コントラスト着色材料を身体部位又は関連物体に設けるか又はそれに取り付けることができる。これらは、足首及び手首の周りのカラー、ヘッドバンドを含み、或いは又、スコッチライト(Scotch light)７６１５のようなターゲット材料を衣服の一部に組み込んで、あるエリアの輪郭としたり、単に装飾として働くようにしたり、等々をすることもできる。

簡単な用途では、家にいる個人１３０１が、単一の再帰反射ターゲット１３０３を伴う帽子又はその他、ヘアピースのようなものを着用する。このターゲットは、アパートメントの部屋の上隅に置かれたカメラ１３０５、１３０６、１３０７及び１３０８により見ることができる。個人が寝ていないとき、典型的に、カメラは、近ＩＲ光源（例えば、８８０ｎｍ、明瞭化のために図示せず）も使用する。ターゲット装置は、個人の頭部に留まり、家のどこにでも行くことができる。このターゲット部片は、突然落下しても見ることができる。ターゲットが視界の中で落下するのが見え、次いで、おそらく、全く見えないか、暫く静止するか、又は静止したままとなる。この種のシグネチャーを使用して予想することができる。潜在的に落下すると、本質的に警報を鳴らし、介護者に何かが起きたことを知らせる。このケースでは、偽警報をなくすために、誰かが直ちにそこに来なければならない。ＴＶカメラは、赤外線照明モードから可視光線照明モードに切り換わり、部屋の通常の画像が発生され、第１の画像は、起きた出来事に対するデータである。次いで、介護者がその画像を見て、何か悪いことが起きたかどうか調べるか、或いはそのことに関して、個人が実際に部屋にいることを確かめる。個人が部屋にいなければ、他の部屋を同様に見ることができる。

赤外線照明を望むのは、家の中の個人にとってシステム全体を目立たなくするためである。又、可視光線で照らされることが好きでないときには、システムを夜間に働かせることもできる。カメラを使用して可視画像も撮影する場合、カラー画像が必要であると仮定すれば、カメラに使用された赤外線バンドパスフィルタが邪魔にならぬようにしなければならない。ＩＲ画像で充分である場合には、問題を識別するに充分なＩＲ露出がなされるまで、ＩＲエネルギーをアップするだけである。この態様は、痴呆症に罹っているアルツハイマーの患者及び他の者が正しい場所にいないかどうか決定するためにも重要である。

再帰反射材料は、衣類のうね織り模様又は他の装飾にも使用できる。多くの年長者にとって、コールボタン装置を有するペンダントネックレスが望ましい。このネックレスそれ自体は、再帰反射ロープ又はバンド状材料で作られ、個人の首の周りで前方から見ることができる。シャツのカラーで視野が妨げられないと仮定すれば、後方からも見える。

このように、動きの結果として種々の形式の光学的シグネチャーを正確に見て記録することができる。例えば、個人が夜にベッドから起きて浴室へ行く通常の毎日の行動のシグネチャーを記録することができる。これは、適当なターゲット又は明確に見える自然の特徴がベッドにいる間に個人にあり、例えば、パジャマの一部分としてあると仮定すれば、ベッドからの動きの通常のシグネチャーを有する。浴室への動きは、それ自身ターゲットであるドア、例えば、カメラ１３０７により見ることのできるターゲット１３２１を伴うドア１３２０を開くことを含めて、追跡することができる。ターゲットにできる他のものは、何でもよく、特に、それらの品目は、毎日の生活に依存する。例えば、トイレ部品、水道の蛇口、台所の種々の用具、レンジ、等がある。手短に述べると、個人の振舞い又は安全性で何かを行い、そしてその振舞いが潜在的に異常であると、ある種の問題を引き起こすという意味で監視する必要のある全てのものである。冷蔵庫のドア１３４０は、台所のカメラ１３０６により観察できるターゲット１３４１を伴う別のものである。

可視光線を明確に反射しなくてもよいので、特に目障りなターゲットはない。そして、可視光線カメラと共に使用すべき場合でも、小さく及び／又は装飾的なものにすることができる。

本発明は、このように非常に低コストである。というのは、カメラ及び光源は、安価なものであり、中央制御コンピュータ１３０２は、家庭内の他の目的に及びインターネットを経て介護者のＰＣと通信するのにも使用でき、そしてターゲット又は他の画像を分析するために１３０２に使用されるマシンビジョン処理の幾つかを他のタスクにも使用できるからである。それらの１つは、ピータースミス及び本出願人の“PERSONAL INTERFACES FOR INDEPENDENT LIVING AND HEALTH”と題する特許出願に示された「ポストボックス」又はルーズリーフバインダー解決策である。実質上同じ装置の別の潜在的な出願は、センサが運動中の個人の行動を監視できる上述した運動ベースのゲームに対するものである。

前記出願では、個人の頭の頂部に単一のターゲットを設ける例が示される。その位置に対するポイントは、部屋の隅の頭上カメラによってそれが見えることである。しかしながら、多数の他の潜在的なターゲット位置もある。実際には、おそらく、２つ以上のターゲットが個人に設けられる。これは、ある程度不明瞭な場合や、又はターゲットの１つでは問題であるが、異なる有利な点からは見ることができ且つ異なる行動を見るためにも設けられる。

例えば、座った状態から起き上った後に歩くといった幾つかの形式の行動があり、これは、このように本発明を使用して見ることのできる幾つかの医療上の問題を示すことができる。室内のベッドをターゲットとすることができるので、個人がベッド又はその付近にいるのを見ることができ、そして完全な部屋画像を有する必要はない。又、特に、個人のより多くのポイントがターゲットとされる場合には、個人の不安定な動きを見ることもできる。小さなフラッシュＬＥＯも、ターゲットを構成できるが、バッテリ電力を必要とし、より目障りなものとなることに注意されたい。

薬品投与ユニット：身体的機敏さの欠如又は傷害にかかっている人や、複数の薬品を服用し又は複雑な薬品スケジュールで服用する人にとって、カメラセンサを使用して薬品の服用を観察する用途もある。これも、家庭にいる多くの年長者、特に、軽い又は中程度の痴呆症にかかっている者にとって問題である。これは、１日の異なる時間に服用する必要のある薬品の数及びタイプのためである。というのは、コンピュータは、１日の時間が分かり、そしてコンピュータに接続されたカメラは、ターゲット１３６５を伴うドア１３６１のような、容易に見えるターゲットを伴うドアを含む薬品ボックス１３６０のような薬品ボックスを見ることができるからである。何時に個人が薬品ボックスへ来て、どちらのドアを開けたか決定することができる。間違ったドアが開けられて、カメラがドアを見ることが遮られない場合には、ある種のサウンドを発して、１日のその時間に対する誤った薬品を取り出したことを個人に指示することができる。これは、決して小さな問題ではない。というのは、１日の異なる時間に１５の異なる錠剤があるからである。本発明は、その月に個人が物理的に入れる錠剤の数を実際にカウントする、等の望まれる全てのことを行えるわけではない。しかし、少なくとも、問題があるとスタートさせることができる。そして、ドアが一度に１畳の錠剤しか投与しないようにすることで、ある程度、それを行うことができる。従って、１日のその時刻に、あるタイプの３５０ｍｇ錠剤を３個取り出すべき場合には、ドアの開け閉めを３回行うことを記録しなければならない。これは、カメラで見て、コンピュータで容易に行うことができる。このシステムは、従来形式の自動薬品投与器より安価であると考えられる。

より精巧なマシンビジョン形態では、カメラは、個人の指又は他のデータム、例えば、個人の袖のターゲット又は他の特徴を見ることができ、そしてボックスに到着した後に、個人が指を少なくとも自分の口へ持ち上げて、薬品を服用したことを示すことに注目する。より正確には、個人の指及び顔を見るために配置された任意の第２のカメラを使用して個人を直接観察する。これは、薬品ボックス１３６０から薬品を服用する個人の顔を見るように配置されないカメラ１３０５の場合のように、第１のカメラがそれを行えない場合である。

本発明のマシンビジョンベースのカメラシステムは、個人の重要な兆候を容易に測定することはできないが、体温、脈拍又は他の変数を測定できるアパートメント内の場所へ行くことを個人に気付かせる上で助けとなるように使用できる。そして、個人が実際に自分の腕を血圧モニタ又は他のマシンに入れて、例えば、脈拍を得ることを観察できる。これも、個人が再帰反射ターゲット又は高コントラスト特徴と協働する場合に容易に行うことができる。これら用途の幾つかに対する個人の通常の特徴は、マシンビジョンによりそのままで経済的に処理することができる。しかし、夜、赤外線で運動を監視するために且つシステムを簡単で有効なものにするために、再帰反射器が有用である。

フェイスセーフ動作：又、この形態のシステムは、フェイルセーフであることにも注目されたい。即ち、個人に存在すると推測されるターゲットを見ることができない場合には、基本的に、警報を鳴らし（例えば、インターネットを経て介護者へ）、画像をもう一度手動でチェックして、物事がＯＫであることを確認する。換言すれば、システムは、ターゲットが見えない場合は満足な情報をレポートすることができない。介護者は、単に画像を見るだけで離れたところからシステムを無効化し、そしておそらく、赤外線画像をチェックして、なぜターゲットが存在しないか見ることができる。例えば、個人が、ターゲットを覆う帽子に花を入れた場合は、ある種の偶然である。

カメラスイッチを、ある種の警報の場合にビジュアルにするのに加えて、コンピュータは、マイクロホンもオンにして、何が起こるか記録することができる。これを使用して、心臓又は肺の音を、それらがマイクロホンのロート(louts)サウンドに対して識別可能である場合に聴取し、典型的な肺炎又は充血性出血がおそらく聞こえるようにする。本発明のカメラシステムは、スクリーン上の看護士が高鮮明度の負傷画像を送信できるようにする。

得られたデータの分析は、自動手段により完全に行われ、あるケースでは、個人の機能の評価を与えることができる。例えば、一種の評価は、肘掛椅子から起き上るに要する時間であり、これは、アップ方向に移動してその機能を表す個人のデータムを感知システムが見ることができる場合に決定することができる。不当に遅いこと、躊躇、胴体又は上肢の異常な動き、よろよろした千鳥足は、全て、患者に対して何が可能かの将来の決定及び何も不当に起きないことの単なる監視のための評価プログラムに組み込むことができる。又、本発明を使用して、家事における敏捷さ及び反応時間、或いは毎日繰り返される別の行動を監視することができる。

本発明の食品調理態様は、家庭での使用について説明した。しかしながら、その多くの態様は、レストランの厨房や他の商業的設備に使用することができる。更に、主要な器具について主として説明したが、ワークボードにより表されるコントロールセンターは、小型の器具も、適当に通信できる場合には、コントロールすることができる。それらは、例えば、ミクサ、マイクロ波、ワッフル焼き型、等である。又、それらは、台所以外の電気的サービス、例えば、ガレージドア、家の任意の場所における照明器具又はカメラ、等である。

又、図１２の例において、ワーク面上でゲームをプレイできることにも注意されたい。本出願人の同時係争中の特許出願及び引用発明、例えば、第１０／９３４，７６２号及び第１１／９８０，７２２号に開示されたように、例えば、チェッカーボードを表面に投影し、赤又は黒のチェッカーボード駒、或いは白又は黒のチェス駒を感知することにより、実際の駒で古典的なゲームをプレイすることができる。通常の台所品目を感知し、それらを駒として記憶することができる。例えば、塩入れ（その画像を、光学的プロジェクタ及びセンサメンバー１０５内に含まれたカメラにより得て記憶し、Ｍａｔｒｏｘ ＭＩＬのようなコンピュータアルゴリズムビジョンプログラムを使用して確認する）は、チェスゲームに使用されるビショップであるとシステムに教えることができる。その後、カメラが塩入れの画像を取得すると、それがビショップとして識別される、等々である。又は、映画のためのバーチャルグラフィックをスクリーンに発生するコンピュータに対してプレイすることができる。全てのバーチャル発生ゲームをプレイすることができる。このゲームアクティビティ能力は、台所のカウンターを、食事時間後に、ゲームテーブルとして二重任務を果たせるようにし、バーチャルグラフィック提示のゲームをプレイすることもできるし、或いは本出願人の同時係争中の特許出願に示されたように、電気／光学的又は感知シャフルボードパックのような真の物体を使用することもできる。

以下の実施形態は、家庭及び器具への付加的な適用を説明する。本出願及び同時係争中の特許出願並びに以前の特許の開示により種々様々な情報表示及びコントロール相互作用の可能性があることに注意されたい。

例えば、これで、数百ルーメン以上の範囲のＬＥＤベースのディスプレイを使用して低コストで情報を経済的に（例えば、＄１０００以下で）フロントプロジェクションすることができる。これは、ほとんどの家庭条件のもとで大きな画像を見るのに充分である。そのコストは、合計ルーメンと、広角レンズがもし必要であれば、その要件とに依存する。広角投入比が０．６未満のレンズは、典型的に、例えば、０．６より大きいものより製造費用がより高く、且つ得られる歪及び他のファクタを取り扱うために、より多くのコンピュータ画像補正が必要となる。

カウンタートップのスクリーン、或いは冷蔵庫ドア又は洗濯機頂部のような器具の形成部分にフロントプロジェクションを行うことができる。或いは又、コンロ又はシンクから垂直に上昇するようにモータ化できるスクリーンにフロントプロジェクションすることもできる。このような投影を利用するための主たる要件は、投影面を用途に適するに充分なほど拡散性及び反射性にすること、及び投影像を中断する物体が表面に一般的にないことである。しかしながら、あるケースでは、手や指を含む物体は、シグナリング又はコントロールの目的に有用である。娯楽及びコントロールの目的で情報を投影するのに加えて、本発明で使用される装置は、カメラ（又は他の電気光学的センサ）を使用してスクリーン上のノブ又はスイッチ或いは他のコントロール特徴を感知することができる。このカメラは、必要に応じて、プロジェクタハウジングに配置されてもよいし、或いは投影に対して垂直ではなく投影の方向にビューを与える側のどこかに配置されてもよい。そのようなフロントプロジェクションの例を、幾つかの図面に示す。

有用な情報及びコントロール特徴を与えるのに加えて、特に、他の行動に費やす方が良い時間を消費するかき混ぜ及び混合タスクに関して、台所の不必要な繰り返し労力を減少する必要もある。かき混ぜは、あるケースでは、安全性に関して潜在的な危険を招く。更に、レンジトップには、マシンビジョン技術の適用により支援できる多数の他の安全関連状態が存在する。

図１４は、レンジフード１４０５に１４０１のような１つ以上のカメラを使用し、そのカメラを、スタンドアローンであるか又はレンジ１４１５のような器具に内蔵されるコンピュータ１４１０のようなコンピュータに（ワイヤ又はワイヤレスで）インターフェイスする本発明の実施形態を示す。カメラ及びコンピュータシステムは、コンロトップにおける行動を監視するのに使用できると共に、コンロトップにおける１４２５のような鍋をかき混ぜるのに使用できる１４２０のようなロボットをコントロールするのにも使用できる。又、混合装置ロボットは、隣接カウンター及び引き出しユニット１４１６へと他の方向へ回転して、例えば、水差し１４１７へ下げることによりドリンク又は他のもののミクサとして使用することもできる。照明は、室内灯を使用して行うか、或いは、例えば、８２０ｎｍの波長で動作するＩＲ ＬＥＤ光源４０３のような特殊な光源を使用して行うことができる。そのような光源が使用された場合には、カメラは、その波長のみを通過するバンドパスフィルタを含み、システムが室内灯の変動を比較的受けないようにすることができる。これは、例えば、特殊な再帰反射ターゲット（例えば、本出願人の同時係争中の特許出願を参照）がロボットアーム１４２０のような物体に使用されるときに有用である。必要であれば、キャネスタ社(Canesta corporation)により製造されるフライト時間Ｉｉｄａｒタイプのような３Ｄカメラを使用するか、或いは１４０７及び１４０８のようなステレオカメラ対を、レンジを捕えるようにレンジの各側に使用することができる。

関連するコンピュータ１４１０を伴うこのカメラシステムは、鍋の中の水の沸騰の存在を決定し、そしてその状態（又はその不足或いは沸騰の種々の段階）をユーザに警告するのに使用することができる。又、ＰＣコンピュータ１４１０で実行されるＭａｔｒｏｘ ＭＩＬビジョンライブラリーにおける既知のマシンビジョンアルゴリズム（或いはＣｏｇｎｅｘ社製のような他の適当な専用マシンビジョンシステム）を使用して、レンジ上の鍋取手位置、及びあってはならない物体の存在、例えば、子供の腕を見て、コンピュータ１４１０に接続されたスピーカ１４１２で警報を鳴らすことができる。鍋取手１４３１がレンジ周囲の外側にあることが検出され、従って、通りがかりの人に当たるか、又は小さな子供が掴むおそれがあるときにも、警報を鳴らすことができる。又、スピーカは、レンジの適当な拡散表面に投影するのに使用されるプロジェクタ１４５２、或いは引き下げられるか、コマンドで下がるようにモータ化されるか又はレンジフードに内蔵されたスクリーン１４６０（点線）に投影するのに使用される別の又は任意のプロジェクタ（明瞭化のため図示せず）に関連した娯楽又は情報にも使用することができる。本出願人の同時係争中の特許出願第１１／９８０，７２２号、等の図１０に開示されたように、ノブ１４６１（破線）は、例えば、プロジェクタハウジング又はどこかにあるカメラ又は他の電気光学的センサにより指示ドット１４６５の位置に関して感知することができる。

カメラ及びコンピュータベースのマシンビジョンシステムは、かき混ぜに使用されるロボット１４２０をコントロールするのにも使用できる。このロボットは、コンロそれ自体に配置され、そして引き上げられて、内容物をかき混ぜるべき鍋１４２５へと下げることができる。任意であるが、他の方向へ隣接カウンターへと回転して、点線で示すようにミクサとして使用することもできる。ここに示すように、混合パドル１４２１は、明瞭化のため図示されていないモータにより駆動される軸１４２３の周りで回転する。パドル又は他の混合素子は、偏心運動又は図８の運動或いは手頃なコストで機械的に達成できる他の運動で駆動するのが望ましい。

又、家庭用システム、特に、オーブン／レンジの動作の安全性を改善できる装置が要望される。これは、特に、より多くの年長者及び障害者が家庭で生活することを勇気付けられるケースである。視覚障害があるか又は緊張状態にある人にとって、見易く、操作し易く、且つ気の散ったコントロールを少なくする必要がある。

図１５は、ｉＰｈｏｎｅ１５１０又は他のスマートホンが図１に教示されたように本発明の装置に接続され、そのスクリーン画像１５００がワーク面へ直接マップされ（風景画モード１５０５も任意である）、そして電話及びその機能がワーク面へのタッチによって直接コントロールされる図２ａの態様を示す。このケースでは、ｉＰｈｏｎｅの機能それ自体は、装置がスロット２８０へ差し込まれるか又はＢｌｕｅｔｏｏｔｈ、ＵＳＢ、ＷＩＦＩ等の他の手段により接続されたときにアクチベートされる特殊な機能と同様に、コントロールすることができる。このケースでは、ｉＰｈｏｎｅは、カウンターのスロットに差し込まれて示されている。

図１５の変形例では、プレイリストスクロールのコントロールのようなコントロール特徴は、図１ｃのスイッチ１５６又はノブ１５７のように、ワーク面上の物理的なコントロールで遂行することができる。

図１６は、図１４の装置に関連した感知技術を更に示す。Ｌｏｇｉｔｃｃｈ社により製造されたＣＭＯＳウェブカメラのような１３０万ピクセルを有するカメラ１４０１により捕獲されるコンロトップ及びその周囲の画像１６００について考える。このカメラは、室内灯が充分でない場合に１４０３のようなＬＥＤにより与えることのできる充分な照明を仮定すれば、毎秒少なくとも３０回画像を取得することができる。

第１の応用例において、カメラは、１つ以上のレンジバーナーにおける鍋の沸騰状態を決定するのに使用され、その画像は、１６２０と、１６２５と、鍋１６３５で覆われて点線で示された１６３０である。コンロコントロール及びカメラが、１４１０のような通常のコンピュータシステムによりコントロールされる場合には、カメラを使用して、バーナーがオンであるときにバーナーの画像領域を見ることができる。鍋の画像が検出され、これは、沸騰状態について鍋を監視する必要があることを指示する。又、バーナーがオンであるが、その上に鍋がないという状態も感知される（そしてスピーカ１４１２を通して聞こえるというアラーム機能に接続される）。これは、一般的に、又、経過時間が長過ぎる場合には、確実に望ましくない。

感知される第２のものは、鍋の中の水又は他の液体と、その沸騰状態である。これは、１６５０のような全ての鍋が置かれるバーナーの中央エリアにおいて画像領域１６３７を探し、そして画像において水の気泡の作用を分析することにより決定される。画像の空間的周波数変化が大きいほど、気泡が多く、沸騰状態の可能性が高い。例えば、鍋画像１６３５が存在するバーナー１６３０上の当該カメラ視野領域（ＲＯＩ）１６４７の中央領域の画像を横切る線Ａ−Ａの画像トレース１６４０は、沸騰を表す高周波数ノイズ１６５０を有するが、画像トレース１６４５には、それがない。それとは別に又はそれに加えて、このような変化は、その領域における鍋液体の画像を差し引きし続けることにより時間ベースで分析することができる。

沸騰水モニタの最も単純なアクションは、水が沸騰したという聴覚又は視覚アラームを作動することである。しかしながら、レンジに自動的に接続されるときは、それが、実際に、種々の仕方で熱を切り、例えば、低沸騰状態へ下げるか、又はバーナーを完全にオフにすることができる。逆に、沸騰が起きると推測される場合及び起きない場合に、アラームに信号を送ることもできる。

レンジのコントロールとは独立して画像を処理してアラームを鳴らすように、カメラがそれ自身の関連マイクロコンピュータを有してもよいことにも注意されたい。このケースでは、３つのバーナー領域が常時観察され、そして決定された鍋画像が、もしあれば、与えられる。これは、一般的な反射性背景における暗いリングである。１つの処理例として、鍋画像がある場合には、その鍋において沸騰状態が感知される。

カメラシステムの他の主たる使用は、安全性である。ここでの主たる問題は、コンロのエリアに人が入った、バーナーが点いているがその上に鍋がない、１６３５のような鍋の取手が危険なことにレンジの縁を越えて突き出していて小さな子供に当たるかもしれないといったコンロ上の異常状態を感知することである。

コンロトップ及びその外側のゾーンの当該領域の画像が捕獲される。又、画像１６００に示されたように、鍋の取手が縁を越えて突き出すことは、画像の分析により決定され、取手の画像１６２７は、レンジ１６２８の縁を明確に二分している。

鍋の取手のように１分以内よりは長く存在する静的な状態は、決定が容易であり、そして食品調理行動におけるコンロの周りの通常の動きとは一般的に分離できるものである。偽警報なしに決定するのがより困難であるのは、あってはならない何かがスペースに入るか又は出るかである。これを簡単に取り扱う１つの方法は、料理人がレンジのエリアを出たときにアラームをセットすることである。従って、コンロ１６００画像の周囲に入るいかなる物体も、アラームの理由として処理することができる。

比較的簡単な第２の方法は、ある値より大きな物体は、コンロの領域に著しく長い時間存在できないと言えば充分である。これは、一般的に、鍋のような円形物体を除外することができる。例えば、性質上丸くない腕より大きな物体は、アラームを作動させる。第３の方法は、かき混ぜのようなある動きを探して、それをアラームから除外することである。第４の方法は、カメラのカラー感知能力を使用して、カラー、特に、肌色を探すことである。アラームをセットする厳密な仕方は、一般的に、通常の行動中に何が予想されるか、家にいる子供は何歳か、及び料理人の習性に基づく。全ての鍋及びコンロトップが肌色でない場合には、コンロ及びバーナー付近の人の存在を見分けることが容易である。

図１７は、コンロコントロール及び種々様々な娯楽に対するリアプロジェクションの実施形態を示す。この例では、コンロ及びレンジ１７２０のコントロール及び使用に対して幾つかの新規な態様が示されている。同時係争中の特許出願に教示された広角レンズを伴うＬＥＤプロジェクタ、それに関連した感知カメラ及びディスプレイ、並びに装置コントロールコンピュータより成るリアプロジェクションエンジン１７００は、他の目的で本出願人の同時係争中の特許出願に教示された涼しいエリアにおいて、レンジフード１７０１（又は別のマイクロ波装置）の上、中又は付近にある。リアプロジェクションスクリーン部分１７１０には、コントロール、このケースでは、馴染み易いノブ及びスイッチ、例えば、ノブ１７１１がある。これらのコントロールは、物理的コントロールである（耐熱性材料で作られ、それらを通過する投影が必要でない場合でも不透明である）。スクリーンは、バーナー及びオーブンからの熱に耐えることのできるパイレックス又は他の透明材料である。又、コントロールは、どこかに及び同時係争中の特許出願に教示されたタッチ又はジェスチャーによっても作用される。インターネット又は他のデータ接続１７１５は、有名なシェフ、映画スター、又は他の望ましいシーンのビデオ又はスチールのフルサイズ画像によるレシピ、インストラクション及びソーシャルインタラクションを許す。以下に述べるように個人のアクションを決定するための任意のカメラ１７４０を含んでもよい。

図１８ａは、台所にいる１人又は複数の個人の特徴又はアクションを感知することを含むフロントプロジェクション実施形態であり、個人１８００は、島型カウンター１８０５で作業をしており、そして好ましくはライフサイズ画像を表示するスクリーン１８１０が冷蔵庫１８１５のトップフリーザ部分に設けられる。

頭上のビデオプロジェクタ１８２０は、ＴＶ画像、インターネットからのレシピ、及び本出願のどこかに説明された他の情報を投影するのに使用することができる。この場合にプロジェクタに取り付けられる（又はそれと並置される）カメラ１８２２、及びプロジェクタを制御するコンピュータ（明瞭化のために示さず）は、冷蔵庫１８０１の面にあるノブ１８１２のようなコントロールを感知する。ノブ及び他の物理的コントロール、並びにタッチについては、図１０、及び第１１／９８０，７２２号のような同時係争中の特許出願の他の図を参照されたい。

更に、台所にいる１人又は複数の個人を外方に見ているカメラ１８３０も示されている。個人１８００により行われる頭、手、又は顔のジェスチャーは、このカメラにより感知され、そしてその画像を処理してジェスチャーを決定した後、頭上プロジェクタ１８２０のＴＶ画像をコントロールするのに使用できる。冷蔵庫のドアをスクリーンにすることが望まれない場合の、別の折り返しスクリーン１８１１も示されている。このスクリーンは、冷蔵庫の上にあってもよいし、又は冷蔵庫及びその上の食器棚を覆う大きな形態であってもよい。

この実施形態では、レンジフード又は別の場所に配置されたカメラと通信するために、ジェスチャー及び音声認識が使用される。更に、台所にいる１人又は複数の個人の他の特徴を感知して、ディスプレイ、スピーカ、器具又は他の装置をコントロールするプログラムへの入力として使用することもできる。このような特徴は、顔のスマイル、個人のアイデンティティ、スパチュラのような道具、又は個人が手にもつ混合ボウル、等の存在である。特殊なグラフィック又は色が付いたフラッシュカードのような検出容易な特殊なカードを使用することもできる。これは、実質的なコンピュータ処理を要求しない頑強なシグナリング及びコントロールシステムを形成することができる。しかしながら、典型的に、背景は、カメラ１８２２で見たときに一定であるか、又はカメラ１８３０ほどではないことに注意されたい。従って、シグナリングアイテムを伴う及び伴わない画像を差し引くと、見分け易くなる。

図１８ｂは、冷蔵庫を向いた前面図であり、スクリーン１８１０が設けられた冷蔵庫１８１５の頂部にフリーザー区分１８４０を示している。このスクリーンは、永久的なものでもよいし、又は一時的なもので、必要に応じて取り外せるものでもよい。

図１８ｃは、別の冷蔵庫実施形態の前面図及び側面図である。このケースでは、下部フリーザー型冷蔵庫のドア１８７６にスクリーン１８９０が使用され、マウント１８８１にプロジェクタ１８８０（必要に応じて任意の電気光学的センサユニットをもつ）を使用して、準フル長さの実質的に生きているような画像１８７５を冷蔵庫のドアに表示できるようにする。プロジェクタは、天井マント型でもよいが、このケースでは、プロジェクタは、冷蔵庫の頂部にマウントされ、そして冷蔵庫ドアの前面のスクリーン面に斜めに投影を行う。ある別のケースでは、このようなプロジェクタは、側部マウント又は壁マウント型であり、スクリーンに横向きに斜めに投影を行うことができる。

図１９は、個人が作業する台所、風呂、洗濯場又は他の場所のシンクの後方にフロントプロジェクション表示を使用する実施形態における人間の相互作用を示す。図示されたように、個人１９００は、カウンター１９１１のキッチンシンク１９１０で作業をしている。頭上には、食器棚１９１５があってもなくてもよいが、一般的には、少なくとも食器棚は上にそして片側又は他側にある。プロジェクタ１９２０は、図１８の実施形態と同様に、スクリーン１９２５に情報を投影し、そして一体的なカメラ又は他の感知能力で、必要に応じて、スクリーン上のコントロール位置を感知して、例えば、皿洗い機、生ゴミ処理機、ゴミ圧縮器のような近傍の関連装置をコントロールすることができる。同様に、データを操作又は表示することができ、そして家庭内の他の行動も、上述したように監視又はコントロールすることができる。

又、付加されたコントロールモード及び本発明の独特のソーシャルインタラクション態様も示されている。このようなコントロールについては、カメラ１９４０が、図示されたように食器棚に取り付けられて設けられる。それとは別に又はそれに加えて、カメラ１９４５を、上述したプロジェクタに関連付けることができ、このカメラも、個人及びスクリーン上の物体を見る。カメラ及びプロジェクタは、図示されないワイヤ又はワイヤレスでコントロールコンピュータ１９５０に接続される。カメラ（１つ又は複数）は、２ｄタイプでも３ｄタイプでもよい。或いは、その２つの組み合わせでもよい。使用されるいずれか又は両方のカメラによる信号の検出を助けるために、必要に応じて、ＩＲ ＬＥＤのような補助的な光源を設けることもできる。

先に注目した効果は、本発明のスクリーンが、この環境でも、電気的な危険を伴わずに首尾良く動作できることである。スクリーンは、飛び散りを受けてもダメージを生じることがなく、又、鍋の取手や銀器等に適度に当たることも受け容れる。

上述したように、本発明の目標は、料理及び台所活動の社会的な観点を向上させることである。実物大の画像をもたせることで、画像が表示されている個人との対話の印象を向上させ、彼等が家族のメンバー、映画スター、有名なシェフ、又はペットであるかのようにもする。この対話は、上述したように、ジェスチャー又は音声によってなされ（マイク１９６０及び音声認識ソフトウェアによる）、そして画像が表示されている個人は、次いで、１９６５のようなスピーカを経てユーザに話すことができる。表示される画像は、プロジェクタ１９２０を駆動しそして必要に応じてスピーカ、インターネット及びマイクロホンにインターフェイスされるコンピュータ１９５０への例えばＳｋｙｐｅ ＴＶを経てライブである。

ノブ回転位置のような物理的な物理的コントロール位置の感知に加えて、この実施形態のカメラの２つの主たる付加的な使い方がある。その第１は、人間のジェスチャー又はコントロール物体を見て、プロジェクタのＴＶチャンネルを切り換え、又はコンロを制御してバーナーをオフにする、等のあるアクションを行わせることである。例えば、簡単なケースは、個人１９００が投影アイコンボックス１９６０をスクリーン１９２５に指示したい場合である（点線で示す）。この例では、そのボックスへの投影を遮るまで手１９５５を上げるだけであり、その遮られた状態がカメラ１９４５によって感知され、このカメラは、投影ボックスの不存在を感知する。不明瞭が生じないように選択肢が比較的僅かである限り、これは、良好に機能する。手１９５５が非常に見易い場合には、手それ自体又はその中の物体を感知することができる。しかし、手をＳ字状に振るような動きのジェスチャーが空間内にない限り、個人は、それが何を意味するかの基準がない。この動きは、例えば、カメラ１９４０又はカメラ１９４５により感知することができる。人間の対話の観点からそれを行うことに問題があるとすれば、スクリーン上の何かを遮るだけの方が良いと思われる。基準は、最も上の投影画像であり、遮られるグラフィックが図面の垂直方向における回答である。これは、個人がスクリーンの下から近付きつつあることを仮定するもので、この場合の投影の角度により実際には（そして有益なことに）イン・アウト方向又はｚ方向である。プロジェクタが、図１８のように、著しく斜めに投影する場合には、それ程でもない。

又、カメラ１９４５又は１９４０を使用して、個人が持ち上げる物体を観察し、コントロール機能を指示することもできる。これは、個人の部位、例えば、頭、手又は指であるか、或いは例えば、手に保持された何かである。例えば、個人がスプーンを振っていることをコンピュータが認識した場合には、ＴＶ投影をオンに切り換えるためのプログラムされた指示である。

行動をコントロールするのに加えて、カメラ及びコンピュータ１９５０の関連マシンビジョンプログラムを使用して、他のもの、例えば、台所（又は本発明が使用される場合には他の部屋）内の個人（１人又は複数）の状態を感知することもできる。このような感知される状態は、個人が笑ったり、顔をしかめたり、等である。個人が、頭をうなずかせたり、頭を回転したり、又は投げキッスしたり、等のアクションを行う場合には、それを感知することができる。ドレスのデザイン、衣類のタイプ、例えば、ゴム手袋又はエプロンのような衣類の対象を感知することもできる。

社会的な対話として、システムは、このように個人を見ることができ、そしてインターネットソースからのおそらくリアルタイムのプログラムは、個人のドレス又は服装についてコメントして、個人に友人がいるかどうか調べると共に、スピーカを通して話しそしてマイクロホン及び音声認識プログラムを通して個人からの情報を除外することによりシステムを双方向性とすることができる。コンピュータは、どこにでもインターネット接続できるサイトにある。この能力は、実在の誰か（例えば、スクリーンに画像が投影された家族のメンバー）或いは録音又はアニメ化されたビデオ経験又はゲームの中の誰かと話をしながら、皿に盛り付けする間に、双方向ビデオセッションを行えるようにする。

あるシンクは、その上に窓を有する。窓（又は浴室の場合にはミラー）が存在して、そこから見たい場合には、スクリーンを、例えば、モータ化によって折り上げるか又はカウンターへと下にスライドさせることにより、邪魔にならないように移動させることができる。又、プログラム可能に光を拡散する窓又はミラーを設けることもできる。装置は、浴室のシンクの上に配置された場合には、情報に対して使用できるだけでなく、種々の行動を助けるために、例えば、後部及び側部への視野からの個人のカメラ画像を与えるように使用することもできる。ほとんどの人々は、シンクの上に窓をもたないので、表示される視覚画像は、屋外をシミュレートするための屋外シーンである。このような画像は、プロジェクタだけでなく、ＬＣＤ又は他のディスプレイによって与えることもできる。しかしながら、水分環境に耐える必要があり、今日のほとんどのフラットパネルディスプレイでは非常に危険である。

図２０は、コンロ及び／又はマイクロ波コントロール、種々の娯楽及び他の用途のためのフロントプロジェクション構成を示す。プロジェクタ並びに一体的なコンピュータ及びディスプレイドライバ２００５は、マイクロ波オーブン２０１０の底部にマウントされ、そしてレンジ２０２０の後部のスクリーン２０１５に投影を行う。この装置は、上述したように、インターネット又は家庭内の他の器具及びサービスにインターフェイスされる。この例のスクリーンは、カーブした下部２０１６を底部に有する。ノブ２０２５の位置のような情報は、感知のための一体的又は個別のカメラ、或いは同時係争中の特許出願に開示された感知タイプのプロジェクタを使用して感知することができる。この例では、プロジェクタは、マイクロ波オーブンに内蔵されるが、マイクロ波オーブンが使用されない場合や、例えば、側部、天井又は食器棚の下から投影することが望まれる場合には、個別に配置することもできる。熱が問題となる場合には、プロジェクタは、マイクロ波オーブンの側部又は頂部に配置することができ、そして画像は、投影窓の位置へ光学的に搬送される。又、マイクロ波オーブンには、ロボットをコントロールすると共に、動作の安全性及び他の特徴を与えるために、図１４のようにカメラを装備できることにも注意されたい。

スクリーンの投影面は、飛び跳ね等を素早く除去できるように清掃容易な耐熱性材料で作ることができる。又、この材料は、見るためのスクリーンとしても充分に働くように光を散乱しなければならない。満足な表面は、砂吹きされた反射ガラス、又は高温ペイントを伴うスチールである。ノブ及びコントロールは、予想される鍋のレベル（点線２０４０）より上で且つ料理中にレンジを動作する場合にはレンジ面２０２０から離れて配置されねばならない。

図２１は、メインコントロール（このケースではキッチンカウンターに配置された）のソフトウェアが器具にインターフェイスするだけでなく、それら動作の細部もコントロールし、その細部及び他の個人的特徴を、種々のソースからのダウンロードを使用して製品の寿命中にソフトウェアにおいて変更できるネットワーク化された器具及び他の周辺インターフェイスの図である。

例えば、図２１に示すように、中央コントロール面に対する周辺器具としての洗濯機のコントロールを処理することができる。別のそのような周辺インターフェイスは、本出願人の特許出願第１１／８５２，６９０号に説明された「クッション」装置であり、これは、より小さいが、ここに述べる多くの実施形態に同様に組み込まれる。このような周辺インターフェイスは、例えば、全ての器具をリモートコントロールするようにＴＶリモートとして機能することができる。

投影スクリーンの特徴の１つは、邪魔にならないところに移動できることである。又、まさしくその存在がカウンタースペースに関して邪魔にならず、天井又はマイクロ波オーブンの前に取り付けられ、或いはどんなプロジェクタが天井にあってもよく、且つ地上に何も降ろさなくてよいことである。これは、貴重な占有面積である。

本発明では、今日のように、料理の進行を監視するために、マイクロ波オーブンの中を見なくてもよい。プロジェクタそれ自体（又は使用することのできる他のディスプレイ、例えば、ＬＥＤモニタ）は、マイクロ波オーブン内に配置されてそこの材料を見るためのカメラを経て、マイクロ波オーブン内に何があるか示すために画像を投影する。このカメラ画像は、メインコントロールパネル又は別の部屋のような他の場所にも遠隔送信することができる。これは、図１８の冷蔵庫ドアのスクリーンと同様に、投影スクリーンとして働くことのできるブランクドアをもつことができるようにする。これは、ある人々の目において安全な効果をもたらす。更に、マイクロ波オーブン又は他の装置をコントロールするために、この場所でマイクロ波オーブンの前方の指及びコントロールの位置の感知を行うことができる。

スクリーンは、マイクロ波オーブンの前方又は飾り棚において引き下げることも或いは振り下げることもできることに注意されたい。又、それと共にカメラを持ち運ぶこともできる。従って、カメラは、プロジェクタスクリーンが下りているときしか使用されない。

ある用途では、現実感を与えるため、食品や、個人をほぼ実物大の顔上半身で表示するのが望ましい。スクリーンは、部屋を著しく使用せずにこれを行えるようにする。大きな特徴は、プロジェクタを使用する場合に、それが邪魔にならず、或いは冷蔵庫又はマイクロ波オーブンの前方に置けることである。フロントプロジェクションスクリーンは、邪魔にならないように容易に移動することができ、又、カウンターの貴重な占有面積に何ももたなくてよい。プロジェクタは、現在、ＨＤＴＶとして使用することができる。本発明は、双方向レシピの相互作用に使用することができ、そしてプログラミングを使用して、キッチンカンパニーの個人が話を続けて、個人の料理を音声で助けるか、又はある食事をどのように作るか示す、等を行うことができる。個人は、彼等の友人をシステムに紹介することができ、そしてコンピュータの顔追跡プログラムは、双方向プログラミングに役立つ場合に誰が誰であるか告げることができる。このプログラミングは、記憶された応答からビデオクリップを使用して投影画像を発生することができる（例えば、映画スター、動き、衣類、又は台所の個人が言った言葉）。或いは、より双方向的でよいが、スクリーンディスプレイ上のキャラクタ（１人又は複数）がバーチャルの３Ｄグラフィック発生のものである場合には、現実感が低くなる。

ここに開示する本発明は、台所で作業したり風呂を使ったりしたいが装置のマーキング等の通常の情報ソースを視覚的に使用できない視覚障害者に有用である。本発明は、例えば、所与のコントロール機能について、情報を相当に大きく又は明るくすることができるようにする。

図２２は、動的な注ぎ込みを監視することによる液体又は材料交換の決定を示す。又、図２２は、容器２２０３からカップ２２０５へ注がれる液体又は粒状材料２２００を決定するシステムを示す。注ぎ込みとは別に、例えば、蛇口からカップへ液体又は他の材料を放出してもよい。注がれる材料、このケースでは、水は、コンピュータ２２２７に接続された（そして図１ｂのカメラ１４７のようにワーク面２２１５に配置された）カメラ２２１０により監視される。容器は、最良の結果を得るために、カメラ画像視野の中央領域であるとマークされた領域に配置される。コンピュータで実行されるＭａｔｒｏｘ ＭＩＬのようなマシンビジョンプログラムルーチンは、注ぎ込まれる材料の有効断面積寸法ｄを動的に監視し、注ぎ込み中（又はその後）の所与の時点に平均断面積を決定し、そしてその時点までの注ぎ込みに時間を乗算することができる。これは、断面が適当な既知の形状、例えば、丸であると仮定して、注ぎ込み量を計算することができ、このケースでは、断面積が、０．５ｄの２乗のπ倍である。注ぎ込み中に断面寸法ｄが変化する場合には、全てのｄ値の合計積分が使用される。

この簡単な例において、カメラ２２１０は、このカメラ２２１０で得られた画像２２４０において縁位置２２３０及び２２３１に関する情報を得ることにより１つの視野のみのｄを決定する。この画像処理は、通常、普通の室内照明において近代的なＰＣコンピュータで行うことができる。しかしながら、良好な画像を確保するため、縁位置画像は、注ぎ位置２２５１の後方で軸ＬＥＤ照明２２５５において２２５０のような再帰反射器と共に使用されるときに非常に明確なものとされる。より正確さを得るために、２つのカメラを互いに直角に使用して、両平面における断面寸法を得ると共に、両データセットを使用して、例えば、楕円形状の平均断面を計算する。システムは、既知の量の注ぎ込みを実行し、そして注ぎ込まれる材料をコンピュータへ入力するだけで、典型的な断面を学習できることに注意されたい。これは、注ぎ込みがワーク面からの高さ及び他の変数について比較的一貫したものであると仮定している。又、所与の材料に対する値の一般的なテーブルを使用して、コンピュータ内にルックアップテーブルを形成することもできる。注ぎ込み操作でプリセット限界に一致するに充分な材料を注ぎ込んだときには、注ぎ込みを停止するインストラクションを与えることができる。これは、おそらく、低速化段階と、停止段階との２つの段階で行われる。このインストラクションは、例えば、聴覚によるものでも、視覚によるものでもよい。どんな材料であるかについてコンピュータが命令された場合には、注ぎ込まれる材料のおおよその重量を計算することができ、そこから密度を見つけ、注ぎ込まれる量で乗算することができる。このケースでは、重量停止アラームを発することができる。

図２３は、自動車のセンタースタック又は機器、或いは従来のノブ及びスイッチを有する他の用途に適した拡散スクリーン部分２３０１を含む本発明のプロジェクタベースのコントロールパネル２３００を示すもので、これは、第１１／０４５，１３１号の図６のような本出願人の同時係争中の特許出願のある実施形態と同様にレイアウトされている。スクリーン及びコントロール面２３００は、図示された２つのノブ２３１０及び２３１５の実質的な部分並びにプッシュボタンスイッチバンク２３２２を包囲する形状とされる。このように、ラベル及び他の情報は、前記ノブ及びスイッチに対してプログラム可能に変更できるが、後者のデザインは、従来通りである。ある投影光を阻止しそしてノブの周りに均一な環状領域を設けるためにマスク部材が使用されることに注意されたい。又、表面２３００は、どこかにそして同時係争中の特許出願に指摘されたようにその表面の少なくとも一部分にわたって曲線的であってもよい。

ノブ２３１５は、ロータリエンコーダ２３６０のシャフト２３５８を回転する。このエンコーダは、接着剤２３６５により部材２３００及び／又は別の支持部材２３７０（点線）に取り付けられる。２３０５からスクリーン２３０１への光の投影を妨げないように、エンコーダへの読み出し及び信号コンディショニング接続を設けることができる。

ドット２３５０のようなノブの指示部分がノブ面にプリントされてもよいし、又は点線２３５５のように延びて、図示されたように表示の前面にオーバーラップし、ラベル又はグラフィックのようにスクリーンに投影されるデータにポインタを形成してもよい。或いは又、検出されるノブ周囲位置に対応するように、ポインタがスクリーン上に実質的に投影されてもよい。それとは別に、ノブが表示部材を有し、例えば、その面上に投影スクリーンを有するような実施形態では、ノブ面それ自体に投影がなされてもよい。スクリーン上のデータの妨げにならないように実用的に浅いノブポテンショメータ又はエンコーダ読み出しを使用することが一般的に望まれる。これは、断面ＡＡの側面図に示すようにプロジェクタ角度の極端部にノブ又はスイッチが位置されない場合に、特にそうである。あるケースでは、漂遊投影光又はディフューサがノブの周りに不快な映像を形成しないように作用するようにマスク２３８０をもたせることが望まれる。それとは別に又はそれに加えて、同時係争中の特許出願に示すようにフレネルレンズを使用して、プロジェクタ画像を実質的にコリメートし、ノブ及びスイッチ（又は他の物理的コントロール）を越えてスクリーンへ投影することができる。これは、２つの他のノブマウント方法と共に以下に例示する。

別の自動車センタースタック構成体が図２４に示されており、このケースでは、２つのノブがコントロール面部材の境界内に実質的に完全にあり、コントロール面部材は、単にそれらをしかるべき位置に置けるようにするために破断されている。ディフューサ２４０５が設けられたコントロール面部材２４００は、コンピュータ２０１４によりコントロールされるプロジェクタ２４１０によって投影され、プロジェクタの発散出力は、フレネルレンズ２４１２によってコリメートされる。部材２４００には、２つのノブ２４２０及び２４５０がマウントされる。１つのケースでは、部材２４００に穴が設けられ、ロータリエンコーダ２４３０に取り付けられたシャフトハウジング２４２４にねじ込まれるネジ付きナット２４２１を使用してノブ２４２０を取り付けることができる。他のケースでは、ノブ２４５０は、部材２４００の前面にマウントされたエンコード部材２４５１において回転し、従って、穴を形成する必要がない。しかしながら、これは、一般的に、エンコーダへのワイヤを透明導体にするか、又はトリムモールディング等のもとで何らかの仕方で隠す必要がある。投影光が見えるのを阻止するために任意の不透明マスク２４６０を使用してもよい。ノブ回転位置センサ２４３０及び２４５１とコンピュータ２４１４との電気的接続は、明瞭化のために図示されていない。

図２４の例では、３つのスイッチ、このケースでは、指の接近を感知する容量性スイッチ２４８３、２４８５及び２４８６のような非接触タイプが、コンピュータ２０１４のコントロールのもとでコントロールパネルの機能をある機器から別の機器へ切り換えるために設けられる。これらのスイッチは、部材２４００において、例えば、透明導体との電子回路接続を使用して動作される。容量性（又は他のタイプ）のスイッチは、ノブの機能と同様に、それらの機能を切り換えることができる。例えば、３つのスイッチの機能を器具選択状態から、例えば、ＴＶ、オーディオシステム及びインターネットカメラ相互作用のような他の機能のための選択装置へと切り換えるのに使用される補助スイッチ２４９０の使用について考える。それらの新たな状態において、１つ又は両方のノブの機能を切り換えることもできる。例えば、ノブ２４５０は、ＴＶ局選択のためのチューナノブとなり、一方、ノブ２４２０は、この例では、遠隔記憶されたオーディオファイルのプレイリスト選択スクロールを許すことができる。両方のケースにおいて、適当なインターフェイス及び通信ファシリティが設けられると仮定する。

軸ずれしたフレネルレンズが使用される場合には、プロジェクタからの光が斜めの角度でコントロール面に接近し、従って、装置の奥行きを減少する。本出願人の同時係争中の特許出願も参照されたい。ソレノイド２４９４のようなパルス部材は、コンピュータ２４１４のコマンドのもとで力信号Ｆを部材２４００へ送り込むようにパルス付勢され、同時係争中の特許出願に開示されたように、図示されたスイッチ又はノブの種々のアクション又は状態を指示する。ノブ、スイッチ又は他のユニットは、一般的に、コントロール面にマウントできるが、そのようにする必要はない。

本発明のスクリーン、特に、図１８に示すような垂直平面にあるスクリーンは、本出願人の同時係争中の特許出願第１２／３５８，４０４号に開示されたように、運動及びリハビリを支援するのに使用できることに注意されたい。ビデオゲームコマンドを入力するためのウェブカメラ又は他の信号カメラを使用してここに開示した簡単且つ低コストの感知技術は、このケースでは、家庭での種々の機能をコントロールするコマンドを入力するのに使用されてもよい。

以上、本発明は、多数の実施形態について説明されたが、ここに述べた特定のメカニズム及び技術は、本発明の原理を単に例示するものに過ぎず、上述した方法及び装置に対して本発明の精神及び範囲から逸脱せずに多数の変更がなされ得ることを理解されたい。

１００：キッチンカウンター
１０１：台所
１０５：センサ及びプロジェクタの組み合わせ
１０６：コンピュータ
１１０：空間
１１１：窓
１１５：生地の山
１１８：指
１２０：ノブ
１２１：マイクロホン
１２２：スピーカ
１２５：ロールピン
１２６：セルラーホン
１３０：装置（センサ／投影モジュール）
１３１：カウンター
１３２：シンク
１３３：レーザビーム
１３４：投影ワーク面
１３５：ワーク面
１３６：レンジユニット
１３８：カメラ及びプロジェクタユニット
１４０：リアプロジェクションユニット
１４２：インターネット接続
１４３：コントロールノブ
１４７：ウェブカメラ
１４８：ポール
１５０：ワークボード
１５２：汚れ止め領域
１５５：投影バーチャルキーボード
１５６：プッシュボタン
１５７：ノブ

Claims (22)

1. 少なくとも１つの家庭用装置のためのコントロールシステムにおいて、
   ビデオ画像プロジェクタと、
   画像が投影される表面を有する部材と、
   前記表面上の前記投影される画像に関するコントロール信号を感知するためのコンピュータ手段と、
   を備えたコントロールシステム。
2. 前記装置は、家庭用器具である、請求項１に記載の装置。
3. 前記部材の表面において作業が遂行される、請求項１に記載の装置。
4. 前記表面の少なくとも一部分は、曲線である、請求項１に記載の装置。
5. 前記コントロール信号を発生するためのＴＶカメラを更に備えた、請求項１に記載の装置。
6. 前記表面に取り付けられた物理的なコントロール部材を更に備えた、請求項１に記載の装置。
7. 前記コントロールシステムの機能を１つの装置から別の装置へ切り換える手段を更に備えた、請求項１に記載の装置。
8. 前記コントロール信号は、前記表面にタッチすることにより発生される、請求項１に記載の装置。
9. 前記部材は、清掃のために取り外すことができる、請求項１に記載の装置。
10. 前記表示される画像は、異なるコントロールレイアウトを有する複数の装置のコントロールパネルに関連している、請求項１に記載の装置。
11. 前記投影される画像は、前記コンピュータに接続された装置のディスプレイに関連している、請求項１に記載の装置。
12. 双方向台所活動を与える方法において、
    投影スクリーン表面を準備する段階と、
    コンピュータコントロール型のビデオ画像プロジェクタを使用して、前記表面に情報を投影する段階と、
    台所で作業している少なくとも１人の個人を観察するためのカメラ又は他の電気／光学的センサを準備する段階と、
    前記個人に関連する前記コンピュータ情報の使用を決定する段階と、
    前記情報を使用して、当該画像を前記個人に投影する段階と、
    を備えた方法。
13. コンピュータを準備する段階と、
    前記コンピュータによりコントロールされる画像表示装置を準備する段階と、
    前記表示装置を使用して、食品をカットし、形成し、又は加工するワーク面に食品関連情報を表示する段階と、
    を備えた食品調理方法。
14. コンピュータを準備する段階と、
    前記コンピュータにインターフェイスされ且つ容器に流れ込む材料を見るように配置されたビデオカメラを準備する段階と、
    前記材料の少なくとも１つの寸法を、それが流れている間に決定する段階と、
    前記材料の寸法を、流れの時間インターバルにわたって積分する段階と、
    前記積分を使用して、前記容器に蓄積される材料の量を決定する段階と、
    を備えた材料測定方法。
15. 少なくとも一部分に画像が表示される曲線表面を有する部材と、
    前記表面上に設けられ、コントロールパネルのユーザによって動作できる複数のコントロール装置と、
    前記コントロール装置の位置又は状態を決定し、そして前記画像の表示をコントロールするためのコンピュータと、
    を備えたコントロールパネル。
16. 指タッチ位置を感知するための手段を更に備えた、請求項１５に記載の装置。
17. 前記コントロール装置の少なくとも１つは、ノブである、請求項１５に記載の装置。
18. 前記表示される画像は、前記ノブの周囲位置を指示する、請求項１７に記載の装置。
19. 前記コントロール装置は、スイッチである、請求項１７に記載の装置。
20. 前記スイッチは、ユーザの指に触れずに動作する、請求項１９に記載の装置。
21. プログラム可能な触覚フィードバック手段を更に備えた、請求項１５に記載の装置。
22. １つの装置のコントロールから別の装置へ切り換えるために、前記コントロール装置の少なくとも１つに関連する表示ラベルが切り換えられる、請求項１５に記載の装置。

Images