JP2002539742A - 対話のための装置 - Google Patents

対話のための装置

Info

Publication number
JP2002539742A
JP2002539742A JP2000605959A JP2000605959A JP2002539742A JP 2002539742 A JP2002539742 A JP 2002539742A JP 2000605959 A JP2000605959 A JP 2000605959A JP 2000605959 A JP2000605959 A JP 2000605959A JP 2002539742 A JP2002539742 A JP 2002539742A
Authority
JP
Japan
Prior art keywords
camera
user
user interface
projection
processor unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000605959A
Other languages
English (en)
Inventor
マッギオーニ クリストフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2002539742A publication Critical patent/JP2002539742A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Abstract

(57)【要約】 ユーザに見えるように配置された投射面を有する、対話のための装置が示される。さらに、投射面内に配置されたカメラが設けられている。

Description

【発明の詳細な説明】
【０００１】 本発明は対話のための装置に関する。
【０００２】 ［１］US 5,528,263号明細書“Projection with gesture control and evalua
tion in the visible region”から、いわゆるヴァーチャルタッチスクリーンが
公知である。対話コンポーネント、例えば手またはポインタの撮影、および、有
利にはグラフィカルユーザインタフェースが投射される対話面によって、グラフ
ィカルユーザインタフェース上で直接対話することができ、ユーザインタフェー
スのディスプレイとタッチスクリーンとの間の上記区別は不要である。
【０００３】 フラットラウドスピーカ（パネルラウドスピーカ）が、［２］Produktbeschre
ibung: Flaechenlautsprecher: das schallende Poster-Dekorativ,leicht und
effektvoll; Siemens AG,1999から公知である。
【０００４】 対物レンズの直径が例えば１ｍｍと非常に小さい小型カメラ（いわゆる「キー
ホールカメラ」も）も、知られており、専門電気店で入手することができる。
【０００５】 例えば、２人のユーザによるヴァーチャルタッチスクリーンを介した通信では
、ユーザの顔がユーザインタフェースに投射される場合に、見ている側のユーザ
はユーザインタフェースを見ており、このユーザの顔は視線方向では撮影されな
い、という欠点がある。それゆえ、例えばテレビ電話における参加者の視線は、
受信者に向けられていないだけでなく、参加者は受信者を無視しているように見
える。
【０００６】 本発明の課題は、ディスプレイ面を注視していても、ユーザがあたかもカメラ
の方を真直ぐに見ているかのようにユーザを撮影することができる、対話のため
の装置を提供することである。
【０００７】 上記課題は、独立請求項の特徴により解決される。また、本発明の変更例は、
従属請求項から明らかである。
【０００８】 上記課題の解決のため、ユーザに見えるように配置された投射面を有する、対
話のための装置が示される。さらに、投射面内に配置されるカメラも設けられて
いる。
【０００９】 これには、対物レンズの直径が小さい、上述の小型カメラが特に適している。
有利には、対物レンズの直径の大きさのオーダーの穴が投射面内に設けられる。
この穴の背後にカメラが配置されている。対物レンズの直径が小さいので、投射
面内のこのような小さな穴は、目障りなほどに目立つことはない。これにより、
投射面を見ているユーザの顔を正面から撮影することができる。まさに、投射面
内に受信者の顔が表示されるテレビ電話のようなサービスの場合に、受信者は、
ユーザがちゃんと自分を見ているという印象を受ける。これによって、テレビ電
話の参加者の視線が互いに合わないという厄介な作用を回避することができる。
【００１０】 本発明の１つの変更例では、カメラの位置に、すくなくともこのカメラの対物
レンズを含む暗いスポットが投射される。これにより、参加者を識別する際の高
品質が保証される。
【００１１】 ここで、参加者の他に、カメラの前に置かれた対象物も撮影できることに注意
されたい。さらに、複数の（小型）カメラが投射面内に配置可能であり、これに
よって、見る人の視線に依存して、視線を最も良好に捕捉するカメラが撮影に使
用される。
【００１２】 本発明の１つの変更例では、投射面上に（対話面上にも）、（グラフィカル）
ユーザインタフェースが表示可能であるように設定されたプロセッサユニットが
設けられている。とりわけ、さらなるカメラが設けられており、このカメラを用
いて、ユーザインタフェースを撮影することができる。
【００１３】 １つの付加的な変更例では、対話コンポーネント、とりわけユーザの手または
指の、投射面上での動きまたは停留が、入力ポインタの機能として解釈できるよ
うに、プロセッサユニットが適合されている。
【００１４】 とりわけ、対話面上には、グラフィカルユーザインタフェースが投射される。
カメラがユーザインタフェースを撮影する。対話コンポーネント、例えばユーザ
の手または指が、ユーザインタフェース上に置かれると、対話コンポーネントが
撮影され、その位置に依存して、ユーザインタフェース上に表示された関数がプ
ロセッサユニットを用いて呼び出される。換言すれば、ユーザインタフェース上
の対話コンポーネントは、入力ポインタの機能、とりわけ（コンピュータ）マウ
スポインタの機能を引き受けている。（コンピュータマウス：クリックまたはダ
ブルクリックを備えた類似の例における）（トリガ）イベントは、とりわけ、関
数に関連付けられた位置における、対話コンポーネントの所定の持続時間にわた
る停留であってもよい。
【００１５】 対話面上（例えば、ユーザインタフェース上）の対話コンポーネントの識別性
能を向上させるために、対話面を赤外線で照らしてもよい。撮影カメラは、赤外
線のスペクトル領域を（特別に）感知することができるように適合させることが
できる。これにより、異質な光の影響に対する不感性の向上が達成される。
【００１６】 とりわけ、説明されている装置は、ヴァーチャルタッチスクリーンまたはテレ
ビ電話での使用に適している。この場合、テレビ電話は、ヴァーチャルタッチス
クリーンの特別な適用であることができる。
【００１７】 本発明の１つの実施形態では、投射面（対話面）はフラットラウドスピーカと
して実現されている。
【００１８】 以下の明細書において、本発明の実施例を図面を用いて示し、説明する。
【００１９】 図１は、対話のための装置を示しており、 図２は、プロセッサユニットを示している。
【００２０】 図１には、ヴァーチャルタッチスクリーンの構成が示されている。対話面（グ
ラフィカルユーザインタフェースＢＯＦ）は、予め定めることのできる領域、こ
の実施例ではプロジェクションディスプレイＰＤに投射される。この場合、この
プロジェクションディスプレイＰＤが従来のスクリーンの代わりである。入力は
、対話コンポーネントである手Ｈで直接ユーザインタフェースＢＯＦを指すこと
によって行われる。これによって、例えば従来システムのキーボード、マウス、
タッチスクリーンまたは離散化タブレットの代わりをすることができる。ジェス
チャの識別およびユーザインタフェースＢＯＦ内での位置決めは、例えば人間の
手の投射および形をリアルタイムで識別し、追跡することのできるビデオベース
のシステム（ジェスチャコンピュータ）によって実現される。さらに、図１では
、プロジェクションディスプレイＰＤは赤外線によって照らされる。赤外線源Ｉ
ＲＬは、有利には赤外線発光ダイオードによって実現してもよい。カメラＫは、
有利には、赤外スペクトル領域において感受性のある特別な赤外線フィルタＩＲ
Ｆを有しており、このカメラＫがプロジェクションディスプレイＰＤを撮影する
。この場合、ユーザインタフェースＢＯＦは、コンピュータＲのモニタ上のメニ
ューシステムとして構成してもよい。マウスポインタＭＺは、ユーザの手Ｈによ
って動かされる。手Ｈの代わりに、ポインタを対話コンポーネントとして使用す
ることもできる。
【００２１】 ユーザインタフェース上で、フィールドＦの活性化に結び付けられた関数を呼
び出したいのであれば、手ＨをフィールドＦへ動かし、マウスポインタＭＺがこ
れに続くようにしなければならない。手Ｈが、予め定めることのできる持続時間
の間、フィールドＦ上に留まっていれば、フィールドＦに結び付けられた関数が
コンピュータＲ上で呼び出される。
【００２２】 ユーザインタフェースＢＯＦは、有利にはフラットラウドスピーカとして実現
されており、その結果、音の発生がユーザインタフェースの表面から伝播する。
フラットラウドスピーカは、コンピュータＲを介して、制御ラインＳＬを用いて
駆動される。
【００２３】 図１の実施例では、「テレビ電話」サービスが利用されており、ユーザＫＰＦ
は表示されたその受信者ＧＥＳと会話する。その際、ユーザＫＰＦはこの表示に
視線を向け、受信者ＧＥＳに対して視覚的なアイコンタクト（視線ＳＥＨＬによ
って示されている）をする。投射面内、有利には受信者ＧＥＳの顔のイメージ内
にある視線カメラによって、ユーザＫＰＦは正面から撮影され、この記録が受信
者ＧＥＳに転送される。このために、ユーザＫＰＦの画像は、有利には、カメラ
ラインＫＡＭＬを用いてコンピュータＲに伝送され、そこから、例えば電話線を
介して受信者に伝送される。両方の参加者、ユーザＫＰＦと受信者ＧＥＳは、「
テレビ電話」サービスの利用によって、あたかも互いに直接的なアイコンタクト
をとっているような印象を受ける。
【００２４】 とりわけ、実質的に視線カメラＫＡＭの対物レンズの直径のサイズに相当する
暗いフィールドが、プロジェクタＰを用いて視線カメラＫＡＭの位置に投射され
ると有利である。これにより、ユーザＫＰＦの記録は、低障害かつ高品質で転送
することができる。
【００２５】 代替例として、視線カメラＫＡＭの代わりに、複数のそのようなカメラを設け
ることも可能である。また、ソフトウェアを使用して、受信者ＧＥＳの顔を検出
し、この顔を視線カメラＫＡＭの周囲に投射することもできる。この場合には、
視線カメラは直径の小さい小型カメラとして実現されるのが望ましい。
【００２６】 ここで、「視線カメラＫＡＭは投射面内に配置されている」ということによっ
て、投射の周縁も含めた全投射面を意味していることに注意されたい。
【００２７】 図２には、プロセッサユニットＰＲＺＥが示されている。プロセッサユニット
ＰＲＺＥは、１つのプロセッサＣＰＵ，１つのメモリＳＰＥおよび１つのインプ
ット／アウトプットインターフェースＩＯＳを含んでおり、このインプット／ア
ウトプットインターフェースＩＯＳは、インタフェースＩＦＣを介して、さまざ
まな仕方で利用される。グラフィックインタフェースを介して、出力は、モニタ
ＭＯＮ上に視覚化され、および／またはプリンタＰＲＴに出力される。入力は、
マウスＭＡＳまたはキーボードＴＡＳＴを介して行われる。プロセッサユニット
ＰＲＺＥはまた、メモリＭＥＭ、プロセッサＣＰＵおよびインプット／アウトプ
ットインターフェースＩＯＳの接続を保証するデータバスＢＵＳを有している。
さらに、データバスＢＵＳには、付加的なコンポーネント、例えば付加的なメモ
リ、データ記憶装置（ハードディスク）またはスキャナを接続することができる
。
【図面の簡単な説明】
【図１】 対話のための装置を示している。
【図２】 プロセッサユニットを示している。
【符号の説明】
Ｒ コンピュータ Ｐ プロジェクタ Ｋ カメラ ＩＲＦ 赤外フィルタ ＩＲＬ 赤外線源 ＫＰＦ ユーザ ＳＥＨＬ 視線 ＫＡＭ 視線カメラ ＧＥＳ 受信者 Ｆ フィールド ＭＺ マウスポインタ Ｈ 手 ＫＡＭＬ カメラライン ＳＬ 制御ライン ＰＤ プロジェクションディスプレイ ＢＯＦ ユーザインタフェース ＰＲＺＥ プロセッサユニット ＩＦＣ インタフェース
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１３年１月２４日（２００１．１．２４）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】 例えば、２人のユーザによるヴァーチャルタッチスクリーンを介した通信では
、ユーザの顔がユーザインタフェースに投射される場合に、見ている側のユーザ
はユーザインタフェースを見ており、このユーザの顔は視線方向では撮影されな
い、という欠点がある。それゆえ、例えばテレビ電話における参加者の視線は、
受信者に向けられていないだけでなく、参加者は受信者を無視しているように見
える。 “Two-Way Desk-Top Display System”IBM Technical Disclosure Bulletin,V
ol.36,No.09b,September 1993,pp.359〜360において、ユーザ間の通信のための
カメラ−投射スクリーン−ユニットが開示されており、この場合、カメラを投射
スクリーンの背後に配置することにより、「アイコンタクト」を伴う通信が可能
となる。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】 図２には、プロセッサユニットＰＲＺＥが示されている。プロセッサユニット
ＰＲＺＥは、１つのプロセッサＣＰＵ，１つのメモリＭＥＭおよび１つのインプ
ット／アウトプットインターフェースＩＯＳを含んでおり、このインプット／ア
ウトプットインターフェースＩＯＳは、インタフェースＩＦＣを介して、さまざ
まな仕方で利用される。グラフィックインタフェースを介して、出力は、モニタ
ＭＯＮ上に視覚化され、および／またはプリンタＰＲＴに出力される。入力は、
マウスＭＡＳまたはキーボードＴＡＳＴを介して行われる。プロセッサユニット
ＰＲＺＥはまた、メモリＭＥＭ、プロセッサＣＰＵおよびインプット／アウトプ
ットインターフェースＩＯＳの接続を保証するデータバスＢＵＳを有している。
さらに、データバスＢＵＳには、付加的なコンポーネント、例えば付加的なメモ
リ、データ記憶装置（ハードディスク）またはスキャナを接続することができる
。
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１３年２月２１日（２００１．２．２１）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 対話のための装置において、 ａ）ユーザに見えるように配置された投射面と、 ｂ）該投射面内に配置されたカメラと、 を有することを特徴とする対話のための装置。
  2. 【請求項２】 前記投射面内に受信者を表示することができる、請求項１に
    記載の装置。
  3. 【請求項３】 前記投射面内にユーザインタフェースを表示することができ
    るように設定されているプロセッサユニットを有する、請求項１または２に記載
    の装置。
  4. 【請求項４】 前記ユーザインタフェースを撮影するさらなるカメラが設け
    られている、請求項３に記載の装置。
  5. 【請求項５】 前記プロセッサユニットは、前記投射面上の対話コンポーネ
    ントの動きまたは停留の撮影が、入力ポインタの機能として解釈可能であるよう
    に設定されている、請求項４に記載の装置。
  6. 【請求項６】 ヴァーチャルタッチスクリーンにおいて使用される、請求項
    １から５のいずれか１項に記載の装置。
  7. 【請求項７】 テレビ電話において使用される、請求項１から６のいずれか
    １項に記載の装置。
  8. 【請求項８】 前記投射面はフラットラウドスピーカとして実現されている
    、請求項１から７のいずれか１項に記載の装置。
  9. 【請求項９】 カメラの位置に、少なくとも当該カメラの対物レンズを含む
    暗いスポットが投射される、請求項１から８のいずれか１項に記載の装置。
JP2000605959A 1999-03-17 2000-03-01 対話のための装置 Pending JP2002539742A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19911985.6 1999-03-17
DE19911985 1999-03-17
PCT/DE2000/000637 WO2000055802A1 (de) 1999-03-17 2000-03-01 Anordnung zur interaktion

Publications (1)

Publication Number Publication Date
JP2002539742A true JP2002539742A (ja) 2002-11-19

Family

ID=7901363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000605959A Pending JP2002539742A (ja) 1999-03-17 2000-03-01 対話のための装置

Country Status (4)

Country Link
US (1) US20020041325A1 (ja)
EP (1) EP1161740A1 (ja)
JP (1) JP2002539742A (ja)
WO (1) WO2000055802A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008205839A (ja) * 2007-02-20 2008-09-04 Canon Inc 映像装置および画像通信装置
WO2008111601A1 (ja) * 2007-03-13 2008-09-18 Brother Kogyo Kabushiki Kaisha プロジェクタ

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951322A1 (de) * 1999-10-25 2001-04-26 Siemens Ag Anordnung zur Interaktion
AU2002951208A0 (en) * 2002-09-05 2002-09-19 Digislide International Pty Ltd A portable image projection device
US7007236B2 (en) * 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
AU2007249116B2 (en) * 2001-09-14 2010-03-04 Accenture Global Services Limited Lab window collaboration
US20040205256A1 (en) * 2002-11-27 2004-10-14 Richard Hoffman System and method for communicating between two or more locations
NO318883B1 (no) 2003-04-07 2005-05-18 Tandberg Telecom As Arrangement og fremgangsmate for forbedret kommunikasjon mellom deltakere i en videokonferanse
KR100539904B1 (ko) * 2004-02-27 2005-12-28 삼성전자주식회사 터치 스크린을 구비한 단말기에 사용되는 포인팅 디바이스및 그 사용 방법
US7949616B2 (en) * 2004-06-01 2011-05-24 George Samuel Levy Telepresence by human-assisted remote controlled devices and robots
JP2008009572A (ja) * 2006-06-27 2008-01-17 Fuji Xerox Co Ltd ドキュメント処理システム、ドキュメント処理方法及びプログラム
US8972902B2 (en) 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8432448B2 (en) 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
US8139110B2 (en) 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US8345920B2 (en) 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
US8652368B2 (en) * 2009-07-10 2014-02-18 Bio2 Technologies, Inc. Devices and methods for tissue engineering
US20110206828A1 (en) * 2009-07-10 2011-08-25 Bio2 Technologies, Inc. Devices and Methods for Tissue Engineering

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436639A (en) * 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
DE69430967T2 (de) * 1993-04-30 2002-11-07 Xerox Corp Interaktives Kopiersystem
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
DE19708240C2 (de) * 1997-02-28 1999-10-14 Siemens Ag Anordnung und Verfahren zur Detektion eines Objekts in einem von Wellen im nichtsichtbaren Spektralbereich angestrahlten Bereich
DE19734511A1 (de) * 1997-08-08 1999-02-11 Siemens Ag Kommunikationseinrichtung

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008205839A (ja) * 2007-02-20 2008-09-04 Canon Inc 映像装置および画像通信装置
WO2008111601A1 (ja) * 2007-03-13 2008-09-18 Brother Kogyo Kabushiki Kaisha プロジェクタ

Also Published As

Publication number Publication date
WO2000055802A1 (de) 2000-09-21
US20020041325A1 (en) 2002-04-11
EP1161740A1 (de) 2001-12-12

Similar Documents

Publication Publication Date Title
JP2002539742A (ja) 対話のための装置
EP2692133B1 (en) Video conferencing display device
CN101669165B (zh) 用于在多显示器环境中展现图像的装置、系统和方法
US7134078B2 (en) Handheld portable user device and method for the presentation of images
US5239373A (en) Video computational shared drawing space
US20140198130A1 (en) Augmented reality user interface with haptic feedback
US20150227222A1 (en) Control device and storage medium
US7703926B2 (en) Projector capable of capturing images and briefing system having the same
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
JP2015115038A (ja) 情報処理装置および情報処理装置の制御方法
JP2012053584A (ja) 情報表示システムおよびプログラム
EP2034394A1 (en) Mouse pointer function execution apparatus and method in portable terminal equipped with camera
JP4455185B2 (ja) プレゼンテーションシステム及びその制御方法並びにプログラム及び記憶媒体
US20230205271A1 (en) Housing Structures and Input-Output Devices For Electronic Devices
JP2001282428A (ja) 情報処理装置
CN101714032A (zh) 一种光学控制信息处理装置
CN111343329A (zh) 锁屏显示控制方法、装置及存储介质
US6803907B2 (en) Wireless beam-pen pointing device
US20220398785A1 (en) Augmented image overlay on external panel
US20220155856A1 (en) Electronic Devices and Corresponding Methods for Initiating Electronic Communications with a Remote Electronic Device
CN111782053B (zh) 模型编辑方法、装置、设备及存储介质
WO2018176235A1 (zh) 头戴式显示设备及其显示切换方法
WO2019163169A1 (ja) 表示撮像装置
WO2011069435A1 (zh) 操作对象的操作控制的方法及终端设备
JP4296606B2 (ja) 電子装置及び表示方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040617

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041210