JP2009070400A - リアルタイムのコンテンツのストリームと対話するための装置 - Google Patents

リアルタイムのコンテンツのストリームと対話するための装置 Download PDF

Info

Publication number
JP2009070400A
JP2009070400A JP2008292291A JP2008292291A JP2009070400A JP 2009070400 A JP2009070400 A JP 2009070400A JP 2008292291 A JP2008292291 A JP 2008292291A JP 2008292291 A JP2008292291 A JP 2008292291A JP 2009070400 A JP2009070400 A JP 2009070400A
Authority
JP
Japan
Prior art keywords
user
stream
content
user interface
story
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008292291A
Other languages
English (en)
Inventor
Marcelle A Stienstra
マルセレ エイ スティエンストラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2009070400A publication Critical patent/JP2009070400A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/341—Floor sensors, e.g. platform or groundsheet with sensors to detect foot position, balance or pressure, steps, stepping rhythm, dancing movements or jumping
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/405—Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G10H2220/411—Light beams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/405—Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G10H2220/411—Light beams
    • G10H2220/415—Infrared beams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Systems (AREA)

Abstract

【課題】ユーザが単なる観客でいることを可能にする代わりに、出力される表現と対話し、該ユーザ自身の好みに従って該表現を順応させること。
【解決手段】リアルタイムのコンテンツのストリームを出力表現に変換するエンドユーザ装置１０と、ユーザが前記ストリームと対話することを可能とするユーザインタフェース３０とを含む。ユーザインタフェース３０は、ユーザによって為される動き及び／又は発せられる音声を検出するために対話領域３６を監視するセンサ３２ａ〜３２ｆを含む。センサ３２ａ〜３２ｆは、ユーザインタフェース３０が前記検出された動き及び／又は音声が生じた対話領域３６内の３次元の位置を決定することができるように、対話領域３６の周囲に配置される。異なるコンテンツのストリームが、検出された動き及び／又は音声のタイプと前記決定された位置とに基づいて、表現内で起動される。
【選択図】図２

Description

本発明は、リアルタイムのコンテンツのストリームを受信し表示するシステム及び方法に関する。特に本発明は、ユーザが表示されたリアルタイムのコンテンツのストリームと対話（interact）しパーソナライズ（personalize）することを可能とする。
ストーリ提示（storytelling）、及び他の形態のナレーションは、常に娯楽及び教育の普及した形態である。これらの初期の形態の中には、口述のナレーション、歌、書面でのコミュニケーション、劇及び印刷された出版物がある。１９世紀及び２０世紀の技術進歩の結果、今や物語は異なる場所に居る多くの人々に放送されることができる。ラジオ及びテレビジョンのような放送メディアは、エンドユーザの装置にコンテンツ又はデータのストリームを同時に送信することにより、ストーリ提示者が該ストーリ提示者の思想を聴衆に表現することを可能とする。前記装置は、前記ストリームをオーディオ及び／又はビジュアル出力に変換する。
かような放送メディアは、エンドユーザの装置にコンテンツの単一のストリームを送信し、それ故予め決められたシーケンスから逸脱し得ないストーリを伝達するという点で制約されている。これらの装置のユーザは単なる観客であって、該ストーリの結果に影響を与えることはできない。ユーザがテレビジョン又はラジオによって放送されるリアルタイムのコンテンツのストリームと為し得る唯一の対話は、コンテンツのストリーム間の切り換え、即ちチャネルの切り換えによるものである。ユーザにストーリを提示するプロセスとの対話をより提供してユーザを創造力のあるものとし、該ユーザの好みに従って筋（plot）がどのように展開するかを決定することを援助し、それ故体験をより楽しいものにすることは有利となるであろう。
現在のところ、コンピュータはユーザにリアルタイムのコンテンツのストリームと対話するための媒体を提供する。例えば、ユーザが洞窟又は城といった仮想環境におかれたキャラクタの動作を制御することを可能とするコンピュータゲームがつくられてきた。プレイヤは、他のキャラクタと対話し、障害を切り抜け、前記仮想環境内でとるべき経路を選択するために、前記プレイヤのキャラクタを制御する必要がある。オンラインのコンピュータゲームにおいては、リアルタイムなコンテンツのストリームは、サーバからネットワークによって多くのパーソナルコンピュータに放送され、そのため多くのプレイヤが同じキャラクタ、障害及び環境と対話することができる。かようなコンピュータゲームはストーリがどのように展開するか（該キャラクタに何が起こるか）を決定するための幾らかの自由度をユーザに与えるが、前記ストーリは非常にくどく、ドラマ的な価値を欠く傾向がある。なぜなら、前記キャラクタは、ゲームの時間の大部分の間、同じ動作（例えば銃を撃つこと）を繰り返すことを要求され、同じ結果に帰着するからである。
コンピュータにおいて子供がストーリ提示環境と対話することを可能にする、様々なタイプの子供向け教育ソフトウェアも開発されてきた。例えば、LivingBooks（登録商標）は、ストーリを幾つかの場面に分割し、各場面について短い動画化されたクリップを再生した後、短い動画又はギャグ（gag）を再生するために、子供が該場面において様々な要素を操作する（例えばマウスで「ポイント−クリックする」）ことを可能にする、あるタイプの「対話型の本」を発展させた。他のタイプのソフトウェアは子供に、該子供自身のストーリを創造することによって該子供自身の感情を表現するためのツールを提供する。娯楽的な価値を持つことに加え、対話型のストーリ提示は、幼い子供の言語、社会及び認識の能力を発達させるための強力なツールであることがわかっている。
しかしながら、かようなソフトウェアに関連する１つの問題は、対話のために通常子供がキーボード又はマウスのいずれかを使うことが必要とされることである。かような入力装置は独特な方法で保持される必要があり、かつある程度の手と目との協調を必要とするため、幼い子供には使うことが非常に難しいものであり得る。更に、初期の子供の認識の発達の非常に重要な要素は、身体的な環境に対処することである。「遊ぶ」ことにより子供に対話することを促すインタフェースは、従来のキーボード及びマウスのインタフェースに比べて有利である。なぜなら、教育の観点からより有益であり、より直感的で使うのに易しく、また遊ぶことは学習プロセスに参加することに対するより大きな動機付けを子供に与えるからである。また、プレイ領域（子供が対話できる領域）を拡張するインタフェース及び子供が通常遊ぶ物体と対話することを可能にすることは、より楽しい対話を促進することができる。
ActiMates（TM）Barney（TM）は、生き物のように動くフラシ天製の人形に埋め込まれた小さなコンピュータから成る、Microsoft（Ｒ）社によってつくられた対話型の学習製品である。この製品のより詳細な説明は、CHI'98のプロシーディング中のE.Strommenによる「When the Interface is a Talking Dinosaur: Learning Across Media with ActiMates Barney」（288-295頁）と題された論文において提供されている。ゲームを遊ぶために該人形の手を握る、歌を聴くために該人形の足を握る、及び「いないいないばあ」を遊ぶために該人形の目を覆い隠すことにより、子供はこのおもちゃと対話する。ActiMates Barneyはまた、パーソナルコンピュータからの無線信号を受信し、子供がActiMatesソフトウェアによって提供される教育ゲームを遊んでいる間該子供を指導することができる。この独特な製品は子供の間の対話を育成するが、該対話は指示に従うこと以上のものは含まない。前記人形は、発育上の学習において非常に重要である、創造性又は協調を教えるものではない。なぜなら該人形は子供に動作のいずれをも制御することを可能とするものではないからである。
CARESS（Creating Aesthetically Resonant Environments in Sound）は、身体的な身振りを音声に変換するコンピュータインタフェースを利用することにより、創造性及びコミュニケーション能力を発達させる動機付けを子供に与えるツールを設計するプロジェクトである。前記インタフェースは、筋肉の活動を検出し、意図された動きを検出するのに十分に感度の高い、装着可能なセンサを含む。これらのセンサはとりわけ、身体的な障害を持った子供が、自分を表現し他者とコミュニケートすることを可能にし、これによって学習プロセスに参加させる動機付けを該子供に与える点でとりわけ有用である。しかしながら、CARESSプロジェクトは、コンテンツのストリームとのいずれのタイプの対話をもユーザに許容するインタフェースを企図するものではない。
本発明の目的は、ユーザがエンドユーザ装置において受信されたリアルタイムのコンテンツのストリームと対話することを可能とすることにある。本目的は請求項１に記載されたシステムによって達成される。リアルタイムのコンテンツのストリームは、テレビジョン又はコンピュータディスプレイのような出力装置によってユーザに出力される表現に変換される。前記表現は、前記変換されたリアルタイムのコンテンツのストリームに従って筋が展開する物語を伝達し、これらのコンテンツのストリームとのユーザの対話は、コンテンツのストリームを起動若しくは停止することにより、又はこれらのストリームに伝送される情報を変更することにより、ストーリの結果を決定することを援助する。前記ユーザインタフェースは、単純で、直接的で、直感的な方法によって、ユーザがリアルタイムのコンテンツのストリームと対話することを可能にする。前記インタフェースは、リアルタイムのコンテンツのストリームとの対話の間、ユーザに精神的な刺激と同様に身体的な刺激を提供する。
本発明の一実施例では、リアルタイムのコンテンツのストリームを出力されるべき表現に変換し、ユーザがユーザインタフェースを介して前記表現内のコンテンツのストリームを起動又は停止させる。
本発明の他の実施例においては、前記ユーザインタフェースは、ユーザによって為された動き又はジェスチャを検出する少なくとも１つの動き検出器を含む。この実施例においては、前記検出された動きは、どのコンテンツのストリームが起動又は停止されるかを決定する。
他の実施例においては、前記ユーザインタフェースは、３次元空間内の異なる位置において１以上のユーザによって為された動きを検出し、該動き間を識別するように配置された複数の動きセンサを含む。
本発明の他の実施例においては、特定の動き又は特定の動きの組み合わせが、特定のコンテンツのストリームに関連付けられる。前記ユーザインタフェースの前記動きセンサが前記ユーザによる特定の動き又は特定の動きの組み合わせを検出した場合、対応するコンテンツのストリームが起動されるか又は停止される。
本発明の他の実施例においては、前記ユーザインタフェースは、音声を検出する複数のセンサを含む。この実施例においては、前記検出された音声は、どのコンテンツのストリームが起動又は停止されたかを決定する。
本発明の他の実施例においては、前記ユーザインタフェースは、３次元空間内の異なる位置における１以上のユーザによって為された特定の音声を検出し、該音声間を識別するように配置された複数の音声検出センサを含む。
他の実施例においては、前記ユーザインタフェースは、動きセンサと音声検出センサとの組み合わせを含む。この実施例においては、コンテンツのストリームは、検出されたユーザによって為された動き若しくは音声、又は検出された動きと音声との組み合わせに従って起動される。
本発明のこれらの及び他の実施例は、付随する図と共に考慮される以下の詳細な説明から明らかとなり、この説明を参照しながら説明されるであろう。これらの図は説明の目的のみのために意図されたものであって、本発明の制限の規定として意図されたものではなく、これらの図について添付する請求項へ参照が為されるべきであることは理解されるべきである。
図を参照すると、図１は、本発明の一実施例による、リアルタイムのコンテンツのストリームを表現に変換するシステムの構成を示す。エンドユーザ装置１０は、リアルタイムのデータ又はコンテンツのストリームを受信し、前記ストリームを出力装置１５においてユーザに出力するために適切な形に変換する。エンドユーザ装置１０はハードウェア、マイクロプロセッサ上で実行されるソフトウェア、又はこれら２つの組み合わせのいずれかとして構成されることができる。本発明のエンドユーザ装置１０及び出力装置１５の１つの採り得る実装は、テレビジョンセットに送信されるべきデータのストリームをデコードするセットトップボックスとしてのものである。エンドユーザ装置１０は、コンピュータのＣＲＴディスプレイ及びスピーカに出力されるべきデータストリームをデコードし処理するパーソナル・コンピュータ・システムに実装されることもできる。当業者には知られているような多くの異なる構成が可能である。
前記リアルタイムのコンテンツのストリームは、例えば動画専門家グループ（ＭＰＥＧ、Moving Picture Experts Group）シリーズの規格のような、マルチメディアデータを圧縮し送信するために適切な規格に従ってエンコードされたデータストリームであっても良い。しかしながら、前記リアルタイムのコンテンツのストリームは、いずれの特定のデータフォーマット又はエンコード方式に制限されるものではない。図１に示されるように、前記リアルタイムのコンテンツのストリームは、テレビジョン放送局５０又はコンピュータネットワークサーバのような、幾つかの異なる外部の送信源の１つから、有線又は無線ネットワークによって前記エンドユーザ装置に送信されることができる。代わりに前記リアルタイムのデータのストリームは、例えばＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、又はデジタル・バーサタイル・ディスク（ＤＶＤ）のような、前記エンドユーザ装置に接続されたデータ記憶装置７０から取得されることもできる。
上述したように、前記リアルタイムのコンテンツのストリームは、出力装置１５を介してユーザに伝達されるべき表現に変換される。本発明の一実施例においては、前記表現はユーザにストーリ即ち物語を伝達する。単に前記リアルタイムのコンテンツのストリームによって筋が予め決定されるストーリを伝達する先行技術のシステムとは異なり、本発明は前記表現に関連するコンテンツのストリームを起動又は停止することによって、ユーザが物語の前記表現と対話し該物語の結果を決定することを補助することを可能にするユーザインタフェース３０を含む。例えば、コンテンツの各ストリームは、前記物語を特定の筋書きに従うようにさせ、ユーザは特定のストリーム又は筋書きを起動することにより筋がどのように展開するかを決定する。それ故本発明は、ユーザが該ユーザ自身の希望に従って、創造性を働かせ、前記物語をパーソナライズすることを可能とする。しかしながら、本発明は、リアルタイムのコンテンツのストリームをユーザに提示されるべき物語に変換することに限定されるものではない。本発明の他の実施例によれば、前記リアルタイムなストリームは、歌、詩、楽曲、ゲーム、仮想環境、改作可能な画像、又はユーザが該ユーザの個人的な希望に従って適応させることができるいずれの他のタイプのコンテンツを伝達するために利用されても良い。
図２は本発明の一実施例によるユーザインタフェース３０を詳細に示す。上述したように、ユーザインタフェース３０は、ユーザが対話する３次元の領域中に配置された複数のセンサ３２を含む。対話領域３６は通常、出力装置１５に近接する。一実施例においては、各センサ３２は、ユーザの動き若しくはジャスチャを検出する動きセンサ３４、ユーザによって発せられた音声を検出する音声検出センサ３３（例えばマイクロフォン）、又は動きセンサ３４と音声検出センサ３３との両方の組み合わせ（図２はかような組み合わせを含むセンサ３２を示す）のいずれかを含む。
動きセンサ３４は、動きによって引き起こされる変化を検出するために、環境にエネルギーを射出するアクティブセンサを有しても良い。アクティブ動きセンサの一例は、フォトセンサによって感知される光ビームを有する。前記フォトセンサは、感知される光の量の変化を検出することにより、前記光ビームを横切りそれによって前記光ビームを遮断する人物又は物体を検出することができる。他のタイプのアクティブ動きセンサは、レーダの形式を利用する。このタイプのセンサは、マイクロ波エネルギーのバーストを送出し、跳ね返された反射エネルギーを待つ。人物が前記マイクロ波エネルギーの領域に入ってきた場合、前記センサは反射されたエネルギーの量又は到着するために費やした時間の変化を検出する。他のアクティブ動きセンサは同様に、動きを検出するために反射された超音波を利用する。
代わりに動きセンサ３４は、ユーザから放射される赤外線エネルギーを検出するパッシブセンサを有しても良い。かような装置はＰＩＲ（Passive InfraRed）検出器として知られ、９マイクロメートルと１０マイクロメートルとの間の波長を持つ赤外線エネルギーを検出するように設計される。この範囲の波長は、人間によって放射される赤外線エネルギーに相当する。検出領域に進入する又は該検出領域から出ていく人物によって引き起こされる、感知される赤外線エネルギーの変化によって動きが検出される。ＰＩＲセンサは典型的に、非常に大きな（１７５度にも及ぶ、又は１７５度を超える）検出角を持つ。
勿論、着用可能な動きセンサ及びビデオ動き検出器を含む、他のタイプの動きセンサがユーザインタフェース３０において利用されても良い。着用可能な動きセンサは、仮想現実グローブ（glove）、筋肉における電気的な活動を検出するセンサ、及び体の関節部の動きを検出するセンサを含んでも良い。ビデオ動き検出器は、ビデオカメラによって撮られた画像における動きを検出する。あるタイプのビデオ動き検出器は、動きを検出するために、前記画像の選択された領域の光レベルの急激な変化を検出する。より精巧なビデオ動き検出器は、コンピュータが動作させる画像分析ソフトウェアを利用する。かようなソフトウェアは、ユーザによって為される異なる顔の表情又は手のジェスチャを識別することが可能であっても良い。
ユーザインタフェース３０は、上述したもの及び当分野で知られた動きを検出する他のいずれのタイプのセンサのような、１以上の動きセンサを組み入れても良い。
音声検出センサ３３は、音波を電気信号に変換するいずれのタイプの変換器（マイクロフォンのような）を含んでも良い。音声センサによって受信された前記電気信号は、ユーザによって発せられた音声と周囲のノイズとを識別するため、閾値信号と比較されることができる。更に前記信号は、特定の周波数パターンを持つ音声を検出するため、アナログ装置又はコンピュータ上で実行されるソフトウェアによって増幅及び処理されても良い。それ故、音声検出センサ３４は、足の踏み鳴らし及び拍手のような異なるタイプの音声を識別し得る。
音声検出センサ３３はユーザによって話される特定の言葉を認識するスピーチ認識システムを含んでも良い。前記音波は、限られたボキャブラリの言葉を認識することができるアナログスピーチ認識システムによって処理される増幅された電気信号に変換されても良い。そうでなければ前記音波は、デジタル化され、より多くのボキャブラリの言葉を認識することができるスピーチ認識ソフトウェアによって処理されても良い。
音声検出センサ３３は、当業者には良く知られるように、種々の実施例及び変更の１つを有しても良い。一実施例によれば、ユーザインタフェース３０は、１以上の異なる実施例を採る１以上の音声検出センサ３４を組み入れても良い。
図３Ａ及び図３Ｂは、ユーザインタフェース３０の一実施例を示す。本実施例においては、複数のセンサ３２ａ乃至ｆが、ユーザが対話する対話領域３６の周囲に配置される。センサ３２ａ乃至ｆは、ユーザインタフェース３０が対話領域３６内でユーザによって動きが為された又は音声が発せられたか否か検出するだけでなく、前記動きが為された又は音声が発せられた対話領域３６における特定の位置をも決定するように配置される。図３Ａ及び３Ｂに示されるように、対話領域３６は３次元空間における複数の領域に分割されることができる。具体的には、図３Ａはユーザインタフェース３０の上面図を示し、ここでは対話領域３６の２次元平面が四半分３６ａ乃至ｄに分割される。図３Ｂは、ユーザインタフェース３０の側面図を示し、ここでは前記対話領域が更に３つ目の次元に従って（垂直方向に）、領域３６Ｕと３６Ｌとに分割される。図３Ａ及び３Ｂに示された実施例においては、対話領域３６は８個の３次元領域：（３６ａ，３６Ｕ）、（３６ａ，３６Ｌ）、（３６ｂ，３６Ｕ）、（３６ｂ，３６Ｌ）、（３６ｃ，３６Ｕ）、（３６ｃ，３６Ｌ）、（３６ｄ，３６Ｕ）及び（３６ｄ，３６Ｌ）に分割されることができる。
本実施例によれば、複数のセンサ３２ａ乃至ｆが対話領域３６の周囲に配置されているため、ユーザインタフェース３０は動き又は音声が検出された３次元の位置を決定することができる。図３Ａは、四半分３６ａ又は３６ｃにおいて為された動き又は発せられた音声が、センサ３２ｃ、３２ｄ及び３２ｅにおいてよりも、３２ａ、３２ｂ及び３２ｆにおいて強い検出信号を生成するように、センサ３２ａ乃至ｆが配置されることを示す。同様に、四半分３６ｃ及び３６ｄにおいて為された運動又は発せられた音声は、センサ３２ｂ及び３２ｃにおいてよりも、３２ｆ及び３２ｅにおいて強い検出信号を生成する。
図３Ｂは、センサ３２ａ乃至ｆが種々の高さにおいて配置されることをも示す。例えば、センサ３２ｂ、３２ｆ及び３２ｄは、センサ３２ａ、３２ｃ及び３２ｅよりも、地面近くで為された運動又は発せられたノイズを強く検出する。
ユーザインタフェース３０はそれ故、各センサの位置、及び前記センサによって生成された信号の強度に基づいて、どの３次元の領域で前記運動が為された又は音声が発せられたかを決定することができる。例として、センサ３２ａ乃至ｆがそれぞれＰＩＲセンサを含む実施例が図３Ａ及び３Ｂと関連して以下に説明される。
ユーザが位置（３６ｂ，３６Ｕ）において該ユーザの手を振った場合、センサ３２ａ乃至ｆの各ＰＩＲセンサは、感知される赤外線のエネルギーのある程度の変化を検出しても良い。しかしながら、センサ３２ｃのＰＩＲセンサは、前記動きとの近さのため、最も大きな変化の量を感知する。それ故、センサ３２ｃは最も強い検出信号を出力し、前記ユーザインタフェースは、どの３次元の位置がセンサ３２ｃに最も近いかを決定することにより、前記動きが為された３次元の位置を決定することができる。
同様に、対話領域３６においてユーザによって発せられた音声の位置は、センサ３２ａ乃至ｆにおける音声検出センサ３３によって出力される検出信号のそれぞれの位置及び強度に従って決定されることができる。
図３Ａ及び３Ｂは実施例を示すが、本発明を限定するものとして解釈されるべきではない。他の実施例によれば、ユーザインタフェース３０は、対話領域３６内の動きのタイプ及び位置を決定するためビデオ画像を分析する画像処理ソフトウェアを含むビデオ動き検出器を含んでも良い。他の実施例においては、前記ユーザインタフェースは、ユーザによって為される足踏みの位置及び強さを感知する、対話領域３６の床を被覆する圧電ケーブルのグリッドを有しても良い。
本発明の一実施例によれば、エンドユーザ装置１０は、ユーザインタフェース３０によって検出された動き及び／又は音声のタイプに基づき、前記表現においてどのコンテンツのストリームが起動又は停止されるべきかを決定する。本実施例において、エンドユーザ装置によって受信されたコンテンツの各ストリームは、前記ストリームを特定のジェスチャ又は動きに関連付ける制御データを含んでも良い。例えば、足を踏み鳴らすことは、前記物語中のキャラクタに歩行又は走行を開始させるコンテンツのストリームと関連付けられていても良い。同様に、装置又はツールの利用を模倣するジェスチャ（例えばシャベルですくう動き）は、前記キャラクタに該装置又はツールを利用させるストリームに関連付けられていても良い。
更なる実施例においては、ユーザは特定の起動されたコンテンツのストリームと関連して出力されている動き又は音声を、前記ストリームを停止するために模倣することができる。逆に前記ユーザは、特定のコンテンツのストリームの動き又は音声を、該ユーザによる更なる操作のために該ストリームを選択するために模倣することができる。
他の実施例においては、特定のコンテンツのストリームは、１以上のユーザによって話された特定の言葉、又は１以上のユーザによって発せられた特定のタイプの音声に従って起動されることができる。上述した実施例と同様に、各受信されたコンテンツのストリームは、該ストリームを特定の言葉又は音声と関連付けるための制御データを含んでも良い。例えば、動作の言葉（例えば「走る」）を話すことにより、ユーザは物語のキャラクタに、対応する動作を実行させることができる。オブジェクトに通常関連する音を発することにより、ユーザは該オブジェクトを画面上に出現させる又はキャラクタに使用させても良い。例えば、「ブタ」又は「ブーブー」と言うことにより、ユーザはブタを出現させることができる。
他の実施例においては、前記コンテンツのストリームは、動きが為された又は音声が発せられた特定の位置に前記ストリームを関連付ける制御データを含んでも良い。例えば、ユーザがキャラクタを特定の方向に移動したい場合、該ユーザは特定の方向を指すことができる。ユーザインタフェース３０は、ユーザが該ユーザの手を動かした場所を決定し、位置情報をエンドユーザ装置１０に送信する。このことは、前記キャラクタを対応する方向に移動させる前記コンテンツのストリームを起動する。
他の実施例においては、前記コンテンツのストリームは、前記ストリームを特定の動き又は音声に関連付ける制御データを含んでも良く、エンドユーザ装置１０は、前記ストリームを前記ユーザが動きを為した又は音声を発した場所に対応する画面上の位置において表示させても良い。例えば、ユーザがダンスのステップを練習している場合、ユーザによって為された各ステップは、前記対話領域内の実際のステップの位置に対応する画面の位置に足跡を表示させても良い。
他の実施例によれば、ユーザインタフェース３０は、前記ユーザによって為された動き又は発せられた音声のタイプだけでなく、動きが為された又は音声が発せられた方法を決定する。例えば、前記ユーザインタフェースは、検出された音波の強度を分析することにより、口頭の指令をどの程度大きくユーザが発したのかを決定することができる。また、ユーザインタフェース３０はユーザがジェスチャを為した力の量又は速度を決定しても良い。例えば、反射されたエネルギーを測定するアクティブ動きセンサ（例えばレーダ）は、動きの速度を検出することができる。加えて、圧電ケーブルのグリッドのような圧力ベースのセンサは、特定の動きの強さを検出するために利用されることができる。
上述の実施例において、コンテンツのストリームが出力される方法は、ユーザが該ストリームを起動する動きを為した又は音声を発した方法に依存する。例えば、ユーザの歌の大きさはストリームがどのくらいの長さ画面で見えるように維持されるかを決定するために利用されることができる。同様に、ユーザが該ユーザの足を踏み鳴らす力は、ストリームが前記画面をどれだけ高速に移動するかを決定するために利用されることができる。
本発明の他の実施例においては、コンテンツのストリームは動き及び／又は音声の連続又は組み合わせに従って起動又は停止される。本実施例は、受信されたストリーム中に、動き及び／又は音声のグループに前記ストリームを関連付ける制御データを含むことにより構成することができる。本実施例の可能な構成は、特定のシーケンス中又は一定の期間内に動き及び／又は音声のセットをセンサ３２が検出した場合に、ストリームを起動又は停止することを含む。
他の実施例によれば、制御データは、特定のコンテンツのストリームを自動的に起動又は停止する、エンドユーザ装置１０において受信されたリアルタイムのコンテンツのストリームを備える。このことは、前記リアルタイムなストリームの生成者が、どのコンテンツのストリームが起動又は停止されるかを幾分か制御することを可能とする。本実施例において、物語の作者は、送信されたリアルタイムのコンテンツのストリーム内の制御データに従って、特定のコンテンツのストリームを起動又は停止することにより、どのように筋が展開するかをある程度制御することができる。
本発明の他の実施例においては、多数のユーザが同時に本発明と対話する場合、ユーザインタフェース３０は、各ユーザによって発せられた音声又は為された動きを識別することができる。それ故各ユーザは、前記エンドユーザ装置によって異なるコンテンツのストリームを起動又は停止する権限を与えられても良い。音声検出センサ３３は、前記ユーザインタフェースがどのユーザが特定の命令を話したかを決定することを可能とする音声認識ハードウェア又はソフトウェアを装備する。ユーザインタフェース３０は各ユーザに対話領域３６の個々のセクションを割り当てることにより、異なるユーザの動きを識別しても良い。対話領域３６の特定の位置において動きが検出されるといつでも、前記ユーザインタフェースは、前記動きを前記割り当てられたユーザに帰する。更に、ビデオ動き検出器は、特定の動きを為したユーザを特定することが可能な画像分析ソフトウェアを含んでも良い。
上述の実施例において、各ユーザは対話型の物語表現における異なるキャラクタを制御しても良い。コンテンツのストリーム内の制御データは、該ストリームを起動又は停止し得る特定のユーザに該ストリームを関連付けても良い。それ故、特定のキャラクタを制御するユーザのみが、該キャラクタに関連するコンテンツのストリームを起動又は停止することができる。
他の実施例において、２以上の異なるユーザによって起動された２以上のコンテンツのストリームは、単一のコンテンツのストリームに結合されても良い。例えば、各ユーザがコンテンツのストリームを起動した後、該ユーザは口頭の命令（例えば「結合せよ」）を発することにより、又は特定の動き（例えばお互いの方向に動くこと）を為すことにより、前記起動されたストリームを結合することができる。
他の実施例によれば、ユーザインタフェース３０は、ストリームを起動又は停止するためにユーザが操作するための１以上のオブジェクトを含んでも良い。本実施例においては、ユーザは前記オブジェクトを動かし、又は前記オブジェクトに特定の音声を出させ、センサ３２は該動き又は音声を検出する。例えば、ユーザはボールを蹴る又は投げることができ、ユーザインタフェース３０は距離、方向及び／又は前記ボールが移動する速度を決定する。代わりに、ユーザは楽器を演奏しても良く、前記ユーザインタフェースは前記ユーザによって演奏された音を検出することができる。かような実施例は、スポーツのシミュレーションゲームにおいて、又はユーザに楽器の演奏のしかたを教えるプログラムにおいて、コンテンツのストリームを起動するために利用されることができる。
上述したように、本発明の一実施例は、リアルタイムのコンテンツのストリームを、出力装置１５を通してユーザに提示される物語に変換するエンドユーザ装置に向けたものである。この実施例の可能な実装は、対話型のテレビジョンシステムである。エンドユーザ装置１０はセットトップボックスとして実装されることができ、出力装置１５はテレビジョンセットである。ユーザがかようなシステムと対話するために用いる方法が、図４のフローチャート１００と関連して以下に説明される。
ステップ１１０において、エンドユーザ装置１０は物語の新たな場面に対応するデータのストリームを受信し、場面データを抽出するために即座に前記データのストリームを処理する。各物語表現は一連の場面を含む。各場面は、あるタイプの動作が行われる設定を有する。更に各場面は、該場面に関連する複数のコンテンツのストリームを持ち、各コンテンツのストリームは筋に影響を与える要素を導入する。
例えば、コンテンツのストリームの起動は、キャラクタに特定の動作を実行させ（例えば王子が特定の方向に歩き出す）、設定に影響を与えるイベントを起こさせ（例えば雷雨、地震）、又は前記物語に新たなキャラクタ（例えば蛙）を導入する。逆にコンテンツのストリームの停止は、キャラクタに特定の動作を停止させ（例えば王子が歩くのを止める）、イベントを終了させ（例えば雷雨又は地震が終わる）、又はキャラクタをストーリから離れさせる（例えば蛙が跳び去る）。
コンテンツのストリームの起動又は停止は、前記表現におけるオブジェクトの内部属性又は特性を変化させても良い。例えば、特定のストリームの起動が、王子のようなキャラクタの気持ちを、楽しいから悲しいに変化させても良い。かような変化は前記表現において即座に明らかになっても良いし（例えば前記王子の笑顔が渋い顔になる）、又は前記表現における後まで明らかにならなくても良い。かような内部の変化はキャラクタに限定されるものではなく、変化させられることができる幾つかの特性又はパラメータを含む、前記表現の一部であるいずれのオブジェクトに適用しても良い。
ステップ１２０において、前記セットトップボックスは、前記抽出された場面データをデコードする。前記設定は、ユーザインタフェース３０と対話することにより前記物語がどのように進行するかを前記ユーザが決定しなければならないとの前記ユーザに対する指示と共に、テレビジョン画面上に表示される。その結果、ステップ１３０に示されるように、前記ユーザは対話領域３６において動きを為す又は音声を発する。
ステップ１４０において、センサ３２は前記ユーザによって為された動き又は発せられた音声を検出し、為された動き又は発せられた音声のタイプについて決定を為す。このステップは、多数のユーザが対話領域３６に居る場合、どのユーザが前記音声を発したか又は動きを為したかを決定するステップを含んでも良い。ステップ１５０において、前記セットトップボックスは、どのコンテンツのストリームが前記決定された動き又は音声と関連付けられているかを決定する。このステップは、各コンテンツのストリームの制御データを、前記検出された動き又は音声が前記ストリームに関連付けられているか否かを決定するために検査するステップを含んでも良い。
ステップ１６０において、前記起動／停止されたコンテンツのストリームに従って、新たな筋書きが前記テレビジョンに再生される。この特定の例においては、各コンテンツのストリームは、起動されている間前記テレビジョンに再生されるＭＰＥＧファイルである。
ステップ１７０において、前記セットトップボックスは、前記起動されたコンテンツのストリームが必ず前記筋書きを新たな場面へ進行させるか否かを決定する。そうであるならば、前記新たな場面に対応するコンテンツのストリームを受信するため、処理はステップ１１０に戻る。しかしながら、新たな場面が前記筋書きによって必要とされない場合、ステップ１８０において前記セットトップボックスは、前記物語が適切な終結点に到達したか否かを決定する。そうでない場合は、前記ユーザはコンテンツのストリームを起動又は停止するためにユーザインタフェース３０を利用するように指示され、それによって前記物語を継続する。図４のフローチャート及び対応する上述の説明は、実施例を説明することを意図しており、決して限定することを意味するものではない。
本発明は、子供の発育教育において多くの用途を持つシステムを提供する。本発明は、ストーリのような表現と対話し適応することによって子供が自己を表現することを可能にすることにより、創造性及びコミュニケーション能力の発達を促進させる。本発明は、キーボード及びマウスのような、幼い子供にとって使用が困難であり得るユーザインタフェースを含まない。その代わり本発明は、特定のコンテンツのストリームに関連付けられるべき基本的でありふれた音声及び動きを考慮したユーザインタフェース３０を利用する。それ故、ユーザインタフェース３０との子供の対話は非常に「楽しい」ものとなり得、子供に対話へのより大きな動機を与える。更に、コンテンツのストリームは該ストリームとの論理的な関係を持つ動き又は音声と関連付けられることができ、それによって対話を子供にとってより直感的なものとする。
しかしながら、本発明の入力装置３０は、決して子供への利用に限定されるものではなく、教育的な応用に限定されるものでもないことは留意されるべきである。本発明は、全ての年齢のユーザに適合された多くの異なる種類の表現と対話するための直感的で刺激的なインタフェースを提供する。
本発明を利用することにより、ユーザは前記表現との種々の異なるタイプの対話をすることができる。上述したようにユーザは、キャラクタに特定のタイプの行動を実行させることにより、又は設定及びそこに居る全てのキャラクタに影響を与える自然災害や嵐のような特定のイベントを開始することによって、ストーリの結果に影響を与えることができる。ユーザインタフェース３０は、ビルディングの色又は森の中の木の数を変更するといった、設定内での詳細を単に変更するために利用されることもできる。しかしながらユーザは、本来物語である表現との対話に限定されるものではない。ユーザインタフェース３０は、画面に表示されるべき要素を選択するために、歌又は詩において利用されるべき歌詞を決定するために、ゲームをプレイするために、コンピュータ・シミュレーションと対話するために、又は表現内でユーザの自己表現を許容するいずれのタイプの対話を実行するために利用されることができる。更に前記表現は、身体的な能力を習得（例えば踊り方又はゴルフクラブのスイングのしかたを習得）する、又は言葉の能力を習得（例えば外国語の話し方又は歌い方を習得）するための指導プログラムを有しても良い。ここではユーザは、これらの能力を練習し、前記プログラムからフィードバックを受けることができる。
加えて、本発明のユーザインタフェース３０は、特定の領域を囲み、該特定の領域内の動きを検出する動き及び音声検出センサ３２を有する実施例に限定されるものではない。本発明は、感知されたユーザ又は物体の動きがコンテンツのストリームの起動又は停止を引き起こす、いずれのタイプのユーザインタフェースをも包含する。例えば、ユーザインタフェース３０は、前記物体のいずれのタイプの動き又はユーザの操作を検出するセンサを含む前記物体を含んでも良い。前記センサの信号は、有線又は無線信号によって前記物体からエンドユーザ装置１０に送信され、結果として前記装置がコンテンツのストリームを起動又は停止しても良い。
更に本発明は、特定の対話領域３６においてユーザによって為された動き又は発せられた音声の検出に限定されるものではない。本発明は、自身の動きを追跡する全地球測位システム（ＧＰＳ）受信器のようなセンサを有しても良い。この実施例においては、本発明は、現在の位置に対応する交通ニュース、天気予報等のようなリアルタイムのデータを表示するために、受信されたコンテンツのストリームを起動する、携帯型のエンドユーザ装置１０を有しても良い。
本発明は実施例を参照しながら説明された。当業者には明らかなように、請求項の範囲から逸脱することなく、本発明の種々の変形が上述の開示内容に照らして為される又は模倣されることができる。
リアルタイムのコンテンツのストリームを表現に変換するシステムの構成を説明するブロック図である。 実施例による本発明のユーザインタフェースを示す。 前記ユーザインタフェースの上面図を示す。 前記ユーザインタフェースの側面図を示す。 リアルタイムのコンテンツのストリームが物語に変換されることができるようにする方法を示すフローチャートである。

Claims (6)

  1. コンテンツのストリームを受信し、表現に変換するエンドユーザ装置と、
    ユーザが前記エンドユーザ装置と対話するためのユーザインタフェースと、
    前記表現をユーザに出力する出力装置と、
    を有するシステムであって、
    前記ユーザインタフェースは、
    対話領域と、
    前記対話領域内でユーザによって為された動き及び／又は発せられた音声を検出する少なくとも１つのセンサと、
    を有し、
    前記受信されたコンテンツのストリームは、物語を表現するためのものであり、
    前記エンドユーザ装置は、前記受信されたコンテンツのストリームを前記表現に変換する場合に、前記物語における該物語の筋に影響を与える要素を前記検出された動き及び／又は音声に基づいて選択する、
    システム。
  2. 前記物語を表現するためのコンテンツのストリームは前記要素に対応する特定のコンテンツのストリームを含み、前記選択が前記特定のコンテンツのストリームの起動又は停止によりなされるような請求項１に記載のシステム。
  3. 前記少なくとも１つのセンサは前記ユーザによって為された動きを検出し、
    前記検出された動きに対応する動きのタイプが、前記少なくとも１つのセンサからの検出信号を分析することにより決定され、
    前記特定のコンテンツのストリームが、前記決定された動きのタイプに基づいて起動又は停止される、
    請求項２に記載のシステム。
  4. 前記少なくとも１つのセンサは複数のセンサを含み、
    前記複数のセンサからの検出信号は、前記検出された動き及び／又は音声が生じた前記対話領域内の位置を決定するために分析され、
    前記特定のコンテンツのストリームが、前記決定された位置に基づいて起動又は停止される、
    請求項２に記載のシステム。
  5. 前記少なくとも１つのセンサは、スピーチ認識システムに接続された音声検出センサを含み、
    前記特定のコンテンツのストリームが、前記スピーチ認識システムによって認識された特定の言葉に基づいて起動又は停止される、
    請求項２に記載のシステム。
  6. 処理装置と、ユーザが前記処理装置と対話するためのユーザインタフェースと、前記処理装置により得られた表示情報を表示するための表示装置とを有するシステムにおいて前記処理装置により実行される方法であって、
    物語を表現するためのコンテンツのストリームを受信するステップと、
    前記受信されたコンテンツのストリームから、前記物語の場面を表すデータを抽出するステップと、
    前記ユーザインタフェースから、対話領域における前記ユーザの動き及び／又は音声の検出信号を入力するステップと、
    前記受信されたコンテンツのストリームから、前記物語の筋に影響を与える要素に対応する特定のコンテンツのストリームを前記検出信号に基づいて選択するステップと、
    前記抽出されたデータ及び前記特定のコンテンツのストリームに基づいて、前記表示情報を形成するステップと、
    を有する方法。
JP2008292291A 2001-05-14 2008-11-14 リアルタイムのコンテンツのストリームと対話するための装置 Pending JP2009070400A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP01201799 2001-05-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002589954A Division JP2004537777A (ja) 2001-05-14 2002-05-14 リアルタイムのコンテンツのストリームと対話するための装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012120361A Division JP5743954B2 (ja) 2001-05-14 2012-05-28 リアルタイムのコンテンツのストリームと対話するための装置

Publications (1)

Publication Number Publication Date
JP2009070400A true JP2009070400A (ja) 2009-04-02

Family

ID=8180307

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2002589954A Pending JP2004537777A (ja) 2001-05-14 2002-05-14 リアルタイムのコンテンツのストリームと対話するための装置
JP2008292291A Pending JP2009070400A (ja) 2001-05-14 2008-11-14 リアルタイムのコンテンツのストリームと対話するための装置
JP2012120361A Expired - Lifetime JP5743954B2 (ja) 2001-05-14 2012-05-28 リアルタイムのコンテンツのストリームと対話するための装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2002589954A Pending JP2004537777A (ja) 2001-05-14 2002-05-14 リアルタイムのコンテンツのストリームと対話するための装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012120361A Expired - Lifetime JP5743954B2 (ja) 2001-05-14 2012-05-28 リアルタイムのコンテンツのストリームと対話するための装置

Country Status (7)

Country Link
US (2) US20040174431A1 (ja)
EP (1) EP1428108B1 (ja)
JP (3) JP2004537777A (ja)
KR (1) KR100987650B1 (ja)
CN (1) CN1296797C (ja)
ES (1) ES2403044T3 (ja)
WO (1) WO2002093344A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101567154B1 (ko) * 2013-12-09 2015-11-09 포항공과대학교 산학협력단 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2378371A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Virtual "Big Brother" broadcasting
US20030064712A1 (en) * 2001-09-28 2003-04-03 Jason Gaston Interactive real world event system via computer networks
EP1387528A1 (en) * 2002-07-31 2004-02-04 Deutsche Thomson-Brandt Gmbh Method and device for performing communication on a bus structured network
US20050002643A1 (en) * 2002-10-21 2005-01-06 Smith Jason W. Audio/video editing apparatus
WO2005022910A1 (en) * 2003-08-29 2005-03-10 Koninklijke Philips Electronics N.V. User-profile controls rendering of content information
JP4243862B2 (ja) 2004-10-26 2009-03-25 ソニー株式会社 コンテンツ利用装置およびコンテンツ利用方法
JP4595555B2 (ja) 2005-01-20 2010-12-08 ソニー株式会社 コンテンツ再生装置およびコンテンツ再生方法
EP2458554B1 (en) 2005-01-21 2015-04-29 Qualcomm Incorporated Motion-based tracking
JP5225548B2 (ja) 2005-03-25 2013-07-03 ソニー株式会社 コンテンツ検索方法、コンテンツリスト検索方法、コンテンツ検索装置、コンテンツリスト検索装置および検索サーバ
JP4741267B2 (ja) 2005-03-28 2011-08-03 ソニー株式会社 コンテンツ推薦システム、通信端末およびコンテンツ推薦方法
JP2007011928A (ja) 2005-07-04 2007-01-18 Sony Corp コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法
JP5133508B2 (ja) 2005-07-21 2013-01-30 ソニー株式会社 コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法
FR2889395A1 (fr) * 2005-08-01 2007-02-02 France Telecom Service de personnalisation de communications par traitement des flux media audio et ou video
JP4811046B2 (ja) 2006-02-17 2011-11-09 ソニー株式会社 コンテンツの再生装置、オーディオ再生機およびコンテンツの再生方法
GB2440993C (en) * 2006-07-25 2014-03-19 Sony Comp Entertainment Europe Apparatus and method of interaction with a data processor
US8438322B2 (en) * 2007-01-31 2013-05-07 Broadcom Corporation Processing module with millimeter wave transceiver interconnection
US8280303B2 (en) * 2007-01-31 2012-10-02 Broadcom Corporation Distributed digital signal processor
US8289944B2 (en) * 2007-01-31 2012-10-16 Broadcom Corporation Apparatus for configuration of wireless operation
US20090197641A1 (en) * 2008-02-06 2009-08-06 Broadcom Corporation Computing device with handheld and extended computing units
US8238275B2 (en) * 2007-01-31 2012-08-07 Broadcom Corporation IC with MMW transceiver communications
US8254319B2 (en) * 2007-01-31 2012-08-28 Broadcom Corporation Wireless programmable logic device
US20080320293A1 (en) * 2007-01-31 2008-12-25 Broadcom Corporation Configurable processing core
US8204075B2 (en) * 2007-01-31 2012-06-19 Broadcom Corporation Inter-device wireless communication for intra-device communications
US8125950B2 (en) * 2007-01-31 2012-02-28 Broadcom Corporation Apparatus for wirelessly managing resources
US9486703B2 (en) * 2007-01-31 2016-11-08 Broadcom Corporation Mobile communication device with game application for use in conjunction with a remote mobile communication device and methods for use therewith
US8121541B2 (en) * 2007-01-31 2012-02-21 Broadcom Corporation Integrated circuit with intra-chip and extra-chip RF communication
US8200156B2 (en) * 2007-01-31 2012-06-12 Broadcom Corporation Apparatus for allocation of wireless resources
US20090011832A1 (en) * 2007-01-31 2009-01-08 Broadcom Corporation Mobile communication device with game application for display on a remote monitor and methods for use therewith
US8239650B2 (en) * 2007-01-31 2012-08-07 Broadcom Corporation Wirelessly configurable memory device addressing
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US8116294B2 (en) * 2007-01-31 2012-02-14 Broadcom Corporation RF bus controller
US8223736B2 (en) * 2007-01-31 2012-07-17 Broadcom Corporation Apparatus for managing frequency use
WO2008119004A1 (en) * 2007-03-28 2008-10-02 Core, Llc Systems and methods for creating displays
US20090198798A1 (en) * 2008-02-06 2009-08-06 Broadcom Corporation Handheld computing unit back-up system
US8117370B2 (en) * 2008-02-06 2012-02-14 Broadcom Corporation IC for handheld computing unit of a computing device
US8064952B2 (en) * 2008-02-06 2011-11-22 Broadcom Corporation A/V control for a computing device with handheld and extended computing units
US8175646B2 (en) * 2008-02-06 2012-05-08 Broadcom Corporation Networking of multiple mode handheld computing unit
US8717974B2 (en) * 2008-02-06 2014-05-06 Broadcom Corporation Handheld computing unit coordination of femtocell AP functions
US8195928B2 (en) * 2008-02-06 2012-06-05 Broadcom Corporation Handheld computing unit with merged mode
US8904430B2 (en) * 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
US8430750B2 (en) * 2008-05-22 2013-04-30 Broadcom Corporation Video gaming device with image identification
FI20095371A (fi) * 2009-04-03 2010-10-04 Aalto Korkeakoulusaeaetioe Menetelmä laitteen ohjaamiseksi
US8629866B2 (en) * 2009-06-18 2014-01-14 International Business Machines Corporation Computer method and apparatus providing interactive control and remote identity through in-world proxy
US8793727B2 (en) * 2009-12-10 2014-07-29 Echostar Ukraine, L.L.C. System and method for selecting audio/video content for presentation to a user in response to monitored user activity
US8381108B2 (en) * 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US9063704B2 (en) * 2011-05-05 2015-06-23 Net Power And Light, Inc. Identifying gestures using multiple sensors
ITMI20110898A1 (it) * 2011-05-20 2012-11-21 Lorenzo Ristori Metodo per proiezione cinematografica interattiva di una trama a sviluppo multiplo
US9159152B1 (en) * 2011-07-18 2015-10-13 Motion Reality, Inc. Mapping between a capture volume and a virtual world in a motion capture simulation environment
ITVI20110256A1 (it) * 2011-09-26 2013-03-27 Andrea Santini Apparato elettronico per la generazione di suoni e/o immagini
FR2982681A1 (fr) * 2011-11-10 2013-05-17 Blok Evenement A Systeme de commande d'un generateur de signaux sensoriels avec retour graphique evolutif
KR101234174B1 (ko) * 2011-12-08 2013-02-19 이성율 이엘 패널 광고 장치
GB2504458B (en) * 2012-06-08 2017-02-01 Microsoft Technology Licensing Llc Real-time communication
CN102722929B (zh) * 2012-06-18 2015-02-11 重庆大学 基于运动传感器的门禁控制系统
US8878043B2 (en) * 2012-09-10 2014-11-04 uSOUNDit Partners, LLC Systems, methods, and apparatus for music composition
US20140073383A1 (en) * 2012-09-12 2014-03-13 Industrial Technology Research Institute Method and system for motion comparison
US9892743B2 (en) 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
US9838824B2 (en) 2012-12-27 2017-12-05 Avaya Inc. Social media processing with three-dimensional audio
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9344773B2 (en) * 2013-02-05 2016-05-17 Microsoft Technology Licensing, Llc Providing recommendations based upon environmental sensing
US20140281849A1 (en) * 2013-03-14 2014-09-18 MindsightMedia, Inc. Method, apparatus and article for providing supplemental media content into a narrative presentation
WO2014149700A1 (en) 2013-03-15 2014-09-25 Intel Corporation System and method for assigning voice and gesture command areas
US20140282273A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System and method for assigning voice and gesture command areas
WO2014176682A1 (en) * 2013-05-01 2014-11-06 Lumo Play, Inc. Content generation for interactive video projection systems
US9390630B2 (en) * 2013-05-03 2016-07-12 John James Daniels Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
US9472119B2 (en) * 2013-08-26 2016-10-18 Yokogawa Electric Corporation Computer-implemented operator training system and method of controlling the system
KR102034587B1 (ko) * 2013-08-29 2019-10-21 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
CN105446463B (zh) * 2014-07-09 2018-10-30 杭州萤石网络有限公司 进行手势识别的方法及装置
US9993733B2 (en) 2014-07-09 2018-06-12 Lumo Interactive Inc. Infrared reflective device interactive projection effect system
PT107791A (pt) * 2014-07-21 2016-01-21 Ricardo José Carrondo Paulino Sistema integrado de divulgação multimeios com capacidade de interação em tempo real por comando natural e capacidade de acionamento e controlo de motores e atuadores elétricos e eletrónicos
WO2016019314A2 (en) 2014-07-31 2016-02-04 MindsightMedia, Inc. Method, apparatus and article for delivering media content via a user-selectable narrative presentation
US9921660B2 (en) * 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
WO2016115154A1 (en) 2015-01-14 2016-07-21 MindsightMedia, Inc. Data mining, influencing viewer selections, and user interfaces
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
US10437335B2 (en) 2015-04-14 2019-10-08 John James Daniels Wearable electronic, multi-sensory, human/machine, human/human interfaces
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
EP3885882A1 (en) 2015-04-30 2021-09-29 Google LLC Rf-based micro-motion tracking for gesture tracking and recognition
KR102229658B1 (ko) 2015-04-30 2021-03-17 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10795692B2 (en) * 2015-07-23 2020-10-06 Interdigital Madison Patent Holdings, Sas Automatic settings negotiation
US9697867B2 (en) 2015-09-25 2017-07-04 Intel Corporation Interactive adaptive narrative presentation
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US11375249B2 (en) * 2016-08-03 2022-06-28 Dejero Labs Inc. System and method for controlling data stream modifications
EP3544495A4 (en) 2016-11-25 2020-08-19 Kinaptic, LLC HAPTIC HUMAN-MACHINE INTERFACE AND METHODS AND APPARATUS WITH PORTABLE ELECTRONIC ELEMENTS
US11343545B2 (en) * 2019-03-27 2022-05-24 International Business Machines Corporation Computer-implemented event detection using sonification

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55112000A (en) * 1979-02-05 1980-08-29 Best Robert M Method and device for talking using artificial voice
JPH0838374A (ja) * 1994-07-27 1996-02-13 Matsushita Electric Works Ltd 電動式洗面台
JPH09160752A (ja) * 1995-12-06 1997-06-20 Sega Enterp Ltd 情報記憶媒体及びそれを利用する電子装置
JPH10256979A (ja) * 1997-03-13 1998-09-25 Nippon Soken Inc 車両用通信装置
JPH11259206A (ja) * 1998-03-09 1999-09-24 Fujitsu Ltd 赤外線検出式入力装置
JP2000517087A (ja) * 1997-06-20 2000-12-19 ホロプレックス インコーポレイテッド ジェスチャ認識のための方法及び装置
JP2001017738A (ja) * 1999-07-09 2001-01-23 Namco Ltd ゲーム装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4569026A (en) * 1979-02-05 1986-02-04 Best Robert M TV Movies that talk back
US5081896A (en) * 1986-11-06 1992-01-21 Yamaha Corporation Musical tone generating apparatus
US5442168A (en) 1991-10-15 1995-08-15 Interactive Light, Inc. Dynamically-activated optical instrument for producing control signals having a self-calibration means
US5598478A (en) * 1992-12-18 1997-01-28 Victor Company Of Japan, Ltd. Sound image localization control apparatus
AU677847B2 (en) * 1993-05-14 1997-05-08 Rct Systems, Inc. Video traffic monitor for retail establishments and the like
IT1273051B (it) 1993-11-24 1997-07-01 Paolo Podesta Sistema multimediale per il controllo e la generazione di musica ed animazione bidimensionali e tridimensionali in tempo reale pilotato da rilevatori di movimento.
US6947571B1 (en) * 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
JP3428151B2 (ja) * 1994-07-08 2003-07-22 株式会社セガ 画像表示装置を用いた遊戯装置
US5882204A (en) * 1995-07-13 1999-03-16 Dennis J. Lannazzo Football interactive simulation trainer
US6288704B1 (en) * 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55112000A (en) * 1979-02-05 1980-08-29 Best Robert M Method and device for talking using artificial voice
JPH0838374A (ja) * 1994-07-27 1996-02-13 Matsushita Electric Works Ltd 電動式洗面台
JPH09160752A (ja) * 1995-12-06 1997-06-20 Sega Enterp Ltd 情報記憶媒体及びそれを利用する電子装置
JPH10256979A (ja) * 1997-03-13 1998-09-25 Nippon Soken Inc 車両用通信装置
JP2000517087A (ja) * 1997-06-20 2000-12-19 ホロプレックス インコーポレイテッド ジェスチャ認識のための方法及び装置
JPH11259206A (ja) * 1998-03-09 1999-09-24 Fujitsu Ltd 赤外線検出式入力装置
JP2001017738A (ja) * 1999-07-09 2001-01-23 Namco Ltd ゲーム装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101567154B1 (ko) * 2013-12-09 2015-11-09 포항공과대학교 산학협력단 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치

Also Published As

Publication number Publication date
KR100987650B1 (ko) 2010-10-13
US20040174431A1 (en) 2004-09-09
KR20030016405A (ko) 2003-02-26
WO2002093344A1 (en) 2002-11-21
JP5743954B2 (ja) 2015-07-01
CN1296797C (zh) 2007-01-24
JP2012198916A (ja) 2012-10-18
JP2004537777A (ja) 2004-12-16
US20130086533A1 (en) 2013-04-04
EP1428108A1 (en) 2004-06-16
CN1462382A (zh) 2003-12-17
ES2403044T3 (es) 2013-05-13
EP1428108B1 (en) 2013-02-13

Similar Documents

Publication Publication Date Title
JP5743954B2 (ja) リアルタイムのコンテンツのストリームと対話するための装置
US10376785B2 (en) Audio, video, simulation, and user interface paradigms
Harada et al. Voice games: investigation into the use of non-speech voice input for making computer games more accessible
Jones et al. Acoustic emotion recognition for affective computer gaming
WO2012053371A1 (ja) アミューズメントシステム
KR20030017625A (ko) 콘텐트의 실시간 스트림들과의 상호 작용을 위한 디바이스
TWI402784B (zh) Music detection system based on motion detection, its control method, computer program products and computer readable recording media
Hugill et al. Audio only computer games–Papa Sangre
CN1251503C (zh) 与实时内容流互动的设备
Roden et al. Toward mobile entertainment: A paradigm for narrative-based audio only games
Echeverri The non-myth of the noble red: exploring Brechtian principles of storytelling and performance in the authoring of a tangible narrative
JP2004533171A (ja) リアルタイムストリームのコンテンツと対話するデバイス
Kerure et al. Audio Source Localization as an Input to Virtual Reality Environments
Al Hashimi Vocal Telekinesis: towards the development of voice-physical installations
Barlow Game Led HCI Improvements
Xie Sonic Interaction Design in Immersive Theatre
Hashimi Users as performers in vocal interactive media—the role of expressive voice visualisation
Wingren Press play: music performance & release with/in multimedia frameworks
Bekkedal Music kinection: Musical sound and motion in interactive systems
Hämäläinen Novel applications of real-time audiovisual signal processing technology for art and sports education and entertainment
Al Hashimi Paralinguistic vocal control of interactive media: how untapped elements of voice might enhance the role of non-speech voice input in the user's experience of multimedia.
Wu Responsive audio feedback for hand gesture interaction

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110928

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111228

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20111228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120127