JP2001525078A - 口頭単語発音と順序付けられた一連の視覚的単語記号を持つ視聴覚作品を制作する方法、その方法を実施するシステムおよびその視聴覚作品 - Google Patents

Abstract

(57)【要約】 視聴覚作品及びその制作方法であって、視聴覚作品は、映像上に配置された筆記物を有し、各単語又は他の発音が聞こえるときに、その聞こえるものに連想されるべき筆記物が、その筆記物の強調部と共に見えるように整合され、発音又は筆記物のいずれか一方がその後に提示されると、その他方が元の視聴者の意識に呼び出されるようにする。各単語は、適時に、発音者Ｓの口Ｍの付近に見やすい遠近法で現われる。視聴覚作品は、付加的な教育資料と共に、直線的に表示することもできるし、又は視聴者のコンピュータ制御のもとで表示することもできる。単語のグループを強調したりしなかったりして選択的に使用することができる。

Description

【発明の詳細な説明】 口頭単語発音と順序付けられた一連の視覚的単語記号を持つ視聴覚作品を制作 する方法、その方法を実施するシステムおよびその視聴覚作品 本出願は、１９９３年９月２３日に出願され現在放棄された米国特許出願第０８ ／１２６，３４１号の一部継続出願として１９９４年２月２４日に出願され現在 放棄された米国特許出願第０８／２０９，１６８号の一部継続出願として１９９ ４年９月２２日に出願され現在継続中の米国特許出願第０８／３１０，４５８号 名称「口頭単語発音と順序付けられた一連の視覚的単語記号を持つ視聴覚作品」 の一部継続出願である。 発明の背景 従来の視聴覚表現（オーディオ・ビジュアル・プレゼンテーション）と しては、説明字幕の配置（米国特許第３，１９９，１１５号、米国特許第５，０ ９７，３４９号）または風船タイプの解説（米国特許第１，２４０，７７４号、 米国特許第２，５２４，２７６号）が、プレゼンテーションの口述部分の言語的 解説に役立てるために用いられている。 従来の説明字幕では時々一つの言葉を異なる言語で同時に話すことが発 生するが、このようなことは偶然であり、稀であり、一連の言葉に一連の音を特 別に連想付けることを達成する制御されたパターンがない。さらに、説明字幕の 言葉の位置が、視覚的アクションから離れている。 従来の単語をそれぞれ表示したフラッシュ・カードは、強制と不自然な 練習の反復を通して読み方を教えることを試みる。究極的にはある効果を有する ものの、このようなカードの使用は長い期間の学習と、母親または教師いずれか の読み書きの指導者がつききっりで教えることが必要である。また、このような カードは、本発明の叙述的な視聴覚メディア内の参照対象が生徒に訴える、読み 書き教材の外における強い連想を与えるものではない。 米国特許第５，２４１，６７１号は、コンピュータ・スクリーン上に、 どんな記事の文章もある単語には下線を付し、他のものには下線を付せずに表示 することを開示している。ユーザーが文章からある単語を選ぶと、その定義がス クリーン上のウインドウに示され、その語の発音が発声される。音声アイコンが 表示されてもよい。 クローズド・キャプション作品は、単語の集まりが表示される分離され た領域または近接したボックスが提供される。クローズド・キャプション・シス テムは、話者または俳優から離れた位置またはスクリーンの下に沿って単語の集 まりを表示する。クローズド・キャプションの単語は、視覚的映像シーンの上部 または下部に沿って、異なる背景、通常は白の背景で、表示される。聴覚障害者 を助けるため視聴覚作品と共に手話のシンボル表示が別の近接したボックスに表 示される。これらボックス表示技術は、見る人にとっては邪魔になるかもしれな い。 放送される教育的視聴覚作品は、指導者がカメラに向かい言葉を話すに つれてその対応した筆記単語が話者の前に表示される。視聴者はこのような教育 的な形式には疲れる。特に、若い視聴者は表示されている主題に興味を失う。 発明の要約 要約すると、本発明は、話しまたは他の口頭の発音を伴って提示される、通常か つ普通の映像フレームまたはセグメントの一続きを持つ普通に見える作品の自然 な設定を利用した視聴覚作品およびその制作方法を含む。この視聴覚作品は、さ らに、視聴者に連続して聞かれる時に、一連の発音に対応したまたは連想付けさ れた一連の筆記物を有する。発明者はこれを「ユーセテイック」、良く置かれた、 字幕（キャプショニング）と称する。話された単語と書かれた単語は両者が同じ 語であるならばこの文脈中で一致する。ある言語で話された単語が別の言語で同 じ意味を持つ書かれた単語を伴うと、この文脈中では連想付けされた語である。 本発明のいくつかの実施例においては、口から言葉が出てくるという、 口の近くかつそれに整列した印象が作られように書き言葉、話し言葉およびそれ に付随する顔、唇および頭の動きの表現が視聴者により同時に観察できるように 、各筆記物は発音者の頭の近くまたはその上またはそれと関連して出現すること を 特徴とする。他の実施例においては、各筆記物は手話を使用する人の手の近くま たはその上またはそれと関連して出現する。さらに別の実施例では、ブライユ式 点字の筆記物が発音者の話し言葉と関連して別の装置上に「表現」される。 本発明は、娯楽、情報提供または読み書きの目的でない他の目的のため に通常制作される非教育用の視聴覚作品に使用される。本発明は、これらの素材 と共に新制作の一要素としてまたは前に制作された視聴覚作品の改作としても用 いることができる。本発明は、読み書き教育目的のために新規に制作されかつ本 発明の適用のために設計された素材に用いることができ、このような新規の制作 された本発明を実施した読み書き教育目的の作品は、現在の読み書き教育目的の 視聴覚作品と較べて、本発明により退屈でなく、押し付けがましくない。 本発明の特徴は、本発明の視聴覚作品を、プログラミングで連続して表 示または組み込んでマルチディア・コンピュータ・プラットホームを使用し、追 加の指示を与えるために視聴者により対話的に操作可能な作品を制作するために 使用できる。 さらに本発明の方法の特徴は、社会活動の多くが文盲減少のための読み 書き教育である場合に活用できる。ここに開示されるように視聴覚作品上に単語 を配置し、言語の中で基本的な語彙を用いて、人口の一部がそのような単語を読 む時に認識するように教育するため、このような作品を人々に対して繰り返し放 送するかまたは他の方法で展示をする。 最後に、本発明は、言葉を発音する源または見かけ上の発音者の近くに 出現する単語の集まりを選択的に使用して、その中の単語を選択的にまたは非選 択的に強調表示または他の方法で差区別化して、聞き取られのと同じ意味を持つ 語との連想付け、聞かれた語と見られた語の連想付け、または連想づけられるべ き語との連想付け、を含む。 図面の簡単な説明 図１は、従来技術を示す図。 図２は、異なる平面において口元で書き言葉が表示される話者を示す一連の正面 図。 図３は、全て同じ平面において口元で書き言葉が表示される話者を示す一連の正 面図。 図４は、本発明を使用するための装置の構成要素および工程を示すフロー・チャ ート図。 図５は、本発明による同時的な発音／書込みの視聴覚表現を含む対話的作品の制 作を示すフロー・チャート図。 図６は、本発明を使用するためのさらなる装置の構成要素および工程を示すフロ ー・チャート図。 図７は、音と書込みの順序付けを援助するため視聴覚作品の音声部分を拡大する 方法を示すフロー・チャート図。 図８は、口元に単語が表示される話者の前正面図。 図９は、対話面と共に示す図８の一部の図式的平面図。 図１０は、話者が様様な位置にいるテレビジョン・セット・スクリーンの透視図 。 図１１は、別の話者の別の斜視図。 図１２ａ−ｂは、本発明による、「ユーセテイック」、良く置かれた、字幕を実現 する方法を示すフロー・チャート図。 図１３ａ−ｂは、本発明による、「ユーセテイック」、良く置かれた、字幕を実現 する別のシステムと方法を示すフロー・チャート図。 図１４は、本発明による、「ユーセテイック」、良く置かれた、字幕を実現するさ らに別のシステムと方法を示すフロー・チャート図。 図１５ａ−ｂは、本発明の一つの観点による波形の拡大表現を示す図。 図１６は、本発明による、「ユーセテイック」、良く置かれた、字幕を実現するさ らに別のシステムと方法を示すフロー・チャート図。 図１７は、図１６に描かれているシステムと方法のフロー・チャートをコンピュ ータ・ワークステーションに関してさらに詳細に示す図。 図１８ａ−ｂは、図１７に示されているコンピュータ・ワークステーションに関 してさらに詳細に示すフロー・チャート図。 図１９ａ−ｄは、「ユーセテイック」、良く置かれた、字幕の適用を示す図。 図２０ａ−ｂは、本発明による「ユーセテイック」、良く置かれた、字幕を実現 する四象限配置を表示する図。 図２１ａ−ｂは、本発明による「ユーセテイック」、良く置かれた、字幕の直観的 な応用を説明するフロー・チャート図。 図２２は、本発明によるマルチメディア・プラットホームの図式的な図。 図２３は、本発明による対話的能力のフロー・チャート図。 図２４は、図２３に描かれた対話的単語発音のフロー・チャート図。 図２５は、本発明によるブロック・アウト領域の表示を図式的に示す図。 図２６は、本発明にの一実施例の手話を用いた表示を図式的に示す図。 図２７は、口元に単語“ＷＯＷ”を有する人物の斜視図。 図２８は、口元に二つの単語を有する図２７と同様な図。 図２９は、口元に三つの単語を有する図２７と同様の図。 図３０は、三つの単語を表示しその内一つの単語が他の二つよりも上に表示され ている図２７と同様の図。 図３１は、三つの単語を表示しその内上の単語が他の二つの表示された単語に対 して異なる位置にある図２７と同様の図。 図３２は、四つの異なる対話面にある人物の顔をその面内の単語と共に示した斜 視図。 図３３は、各対話面内に表示された単語の集まりのなかで選ばれた単語を強調し た図３２と同様な図。 図３４は、単語が平らなスクリーン面と平行な面に表示されてその中の単語が強 調表示されている図３２と同様な図。 図３５は、単語が平らなスクリーン面と平行な面に表示されてその中の単語が強 調表示されている図３３と同様な図。 図３６は、単語が最初の表示で区別されてどの単語も強調表示されていない図３ ２と同様な図。 図３７は、単語が平らな面上に表示される図３６と同様な図。 図３８は、どの語も強調表示されていない図３３と同様な図。 図３９は、どの語も強調表示されていない図３５と同様な図。 好ましい実施例の説明 図１は、従来のスクリーン１を示し、典型的な視聴覚（オーディオ・ビ シュアル）映像２（影のつい領域）を伝達する。この映像２は、映像２内に単語 「家の中」を持つ従来技術のクローズド・キャプションのボックス３と、従来技 術の手話のボックス４と、単語「１１時に」を持つ下部の細長い単語追跡領域５ とを有する。領域５は、矢印Ａの方向に移動する単語を伝える。映像２に付随す る対話を含む音の大部分は、音源領域６から発せられるように見える。 本発明による単語や他のシンボルは、普通は音源領域６内の視聴覚作品 の映像部分に置かれる。しかし、視聴覚作品内で視聴者の興味によりその注意が 向けられる映像２の部分、たとえば、アクションがある所、そのアクションの場 所に音源が同時的に存在するか否かにかかわらず、に単語をまた重ねてもよい。 本発明の一つの好ましい実施例においては、視聴覚作品内の話者の参照 フレーム内に単語が置かれる(すなわち、表示スクリーンの平面とは平行でない 面内に)。見る者の参照フレームは表示スクリーンであるため、そのような平面 から俳優の世界に移った単語はより容易にかつ意味深長に見え、見る者にとって は三次元のものの様に見える。 図２および３を参照すると、視聴覚作品の話者Ｓは頭Ｈと口Ｍとを持ち 、口Ｍから平面Ｐ１内に書き言葉“ｌｏｏｋ”がその単語が発音されるときに表 示される。平面Ｐ１は話し手の両耳（図示せず）を結ぶ直線とほぼ垂直である。 各単語は、好ましくはその単語が話される時または発音される時に短い時間間隔 の間に表示される。しかし、追加的に単語は話される直前または話された直後に 表示されてもよい(その表現が前後に話される単語または音と干渉しないことを 条件とする)。規準は、各単語が話される時、視聴者には書かれた単語または文 章との関連した対応付けが提供されることである。本発明は、視聴者の心の中に 話された単語または発音と文章との関連付けを、一つを一度に、達成せしめるた めに、話された単語（または他の発音）の意味の持った列と書かれた単語、数ま たは他の文章の順序付けられた列とを共に表示する。 複数の書き言葉または文書の一つを一度に、対応する話し言葉と共に表 示するという順序付けの目的は、視聴者に自然な環境の中でそのような音と光景 を［関連付ける機会］を与えることであり、そして光景と音とが関連付けられる ことを記憶し、将来に音または光景のいずれかの表示があったときに視聴者の心 中で他方が呼び起こされる様にするためである。この目的は、読み書き教育、外 国語教育および他の教育であるが、本発明の別の効果は視聴者が視聴覚作品を表 示しているユニットに関してもつ能力、注意深さ、場所に依存して単語を視覚的 にまたは音声的にまたは両方の刺激により受け取り理解することで、明確な理解 を増加することである。第二の効果は、外国の音の翻訳の追跡を翻訳された書き 言葉を口元またはその近くに位置させることで理解が強まるということである。 第三の効果は、同時的な２カ国語の文章表示を、二つの文章で、一つは発音者の 言語で他は別の言語でそして両方を発音と同時的に表示することで達成できる。 文書の視覚的な順序付けられた表現が実際的でないほど発音が連続して早く行な われる時は、視聴覚作品のそのような部分はデジタルまたはアナログ手段により 音に関しておよび視覚に関してデジタル的に伸張してもよい(連関性が理解でき るようにするため)。 目的が聴覚障害者や視聴覚作品のサウンド・トラックに記録されている 言語を話さない人達の理解にあり、一つの単語の表示では早すぎる場合では、二 連語、三連語、または四連語（二つ、三つ、四つの語の列）を同時に表示するこ とができる。両方の場合、字幕が見る者に既に理解できる言語で提供する意図で ある。この場合、問題となっている句を読んで理解する時間的な窓を十分なもの にするために、単語の数は最少の数とすべきである。この手法は、も目的が発音 との連関性にあるのではなく、叙述的または娯楽的番組の理解に限定される外国 映画の字幕またはクローズド・キャプションの代替となる。 この発明の別の実施例では、手話で話す人の手と関連して一つまたはそ れ以上の単語が置かれ、そのような単語と一つの手話の要素とが対応するように する。この方法は、視聴者がその単語と関連性のある手話の要素を記憶する目的 のために、その単語について連想する機会を与える 本発明のさらに別の実施例では、特別な読むための装置を使用した見る 者のみに単語が見える様に視聴覚作品上に単語を配置してもよい。これは、見る 者が特別なタイプの眼鏡をかけた時のみに見える三次元表示に類似している。実 際、特別なタイプの眼鏡はこの実施例を実現するための好ましい方法である。 この発明による単語は作品の映像シーン上に一体的な部分として重ね合 わせられて表示される。映像シーンは、人物の顔、家具、空、背景の市街風景、 その他の要素を含む。単語は一またはそれ以上の映像要素上に重ね合わせられる ことができ、その結果、映像要素の一部を見えなくする。書かれた単語が透明、 半透明、または単語が輪郭線でできた文字からなる場合、映像要素の一部を部分 的に見えなくする。 言葉が話されているときに一度に二つ以上の書かれた単語が視聴者に表 示されると、正しい音をその対応する書かれた単語に正確に関連付けるのは不可 能でなくとも困難にするため、各音とそれが対応する書かれた単語とは、視聴者 がこれら二つの要素を容易に関連付けることができる態様で、提示することが重 要である。当惑や混乱を避けるために、各話し言葉は、唯一それが関連する書き 言葉を伴うべきである。可能な例外としては、そのような言葉の追加的絵文字、 そのような言葉の手話表現またはそのような言葉の外国語翻訳である。そのよう な書かれた言葉または文章は、言葉が話される前、話されている時、またはその 後に表示できる。ただし、その表示は、前の言葉または後の言葉が話されている 時にはできない。 二つ以上の単語またはシンボルは、各単語およびシンボルが発音に関連 付けられるべき場合は、その発音の間に表示してもよい。たとえば、“Ｔｈａｎ ｋ−ｙｏｕ”という単語が発音されたならば、単語“Ｔｈａｎｋ−ｙｏｕ”およ び“ｍｅｒｃｉ”は同時に表示されても良い。 視聴覚作品の上映の際、単語が話される時とその中間の単語が話されな い時からなる話し時間がある。本発明の一度に一単語の手法は、書かれた単語は 、（１）前の単語が話された後に続く単語が話されない期間、（２）その単語が 話されている期間、（３）次の単語が話される前でその単語が話された後に続く 単語が話されない期間、からなる時間にのみ表示される。 映像的環境下でアルファベット文字の単語を表示することは、読み書き のできない生徒の心ににとっては、映画が光を受けて写真を作製するように、全 体的な視覚的イメージを記憶する脳の一部を使って記憶すべき略符として写る。 断片的にアルファベット単語を、話された参照対象または絵文字的な参照対象の いずれかまたは両方を伴って同時的に表示する本発明の方法によれば、生徒の心 の中に、書かれた単語（それは「正しく」書かれたものではあるが、略符として 受け留められている）と同時に表示された参照対象との間に、思い出すことが可 能な連想を形成する。数回の反復の後、その後にアルファベットの単語（略符） が表示されると生徒の心の中に参照対象、すなわち、話された単語、を思い出す 。これはもちろん、読むという行為の定義であり、この読む能力の教育が本発明 の目的である。 話し言葉と書き言葉を一対にする同じ手法は、また逆向きに、ある言語 を読み書きできる生徒にそれを話すことを教えることができる。この場合、書き 言葉または略符が参照対象であり、覚えなければならない目標は話し言葉である 。 学習の強調すべき重要な点、特に幼児の時、は連想が「自然」な、すな わち、子供が話すことを覚える環境に似た、環境下で与えられることである。子 供が話すことを覚える環境は、普通一般的には正式に話すレッスンを有せず、本 発明が視聴覚的に提供する環境と同じタイプである。この好ましい実施例の発展 形では、視聴者には主目的が読み書き教育ではない物語または他の表現の環境が 提供される。人が話しを学ぶ時、人はその人の環境下で作用体（例えば両親）に よりそれぞれ表現されるまたは黙示される視覚的イメージまたは行動にさらされ る。これが並列的な発音と連想付けられる参照対象としての役割を担う。本発明 が提供する環境は、学ぶ者の環境下で(すなわち、子供の)、作用体（例えば両親 ）によりそれぞれ表現されるまたは黙示される視覚的イメージまたは行動を、平 行的な発音を連想させる参照対象としての役割を果たさしめるのである。このよ うな環境は、学ぶ者の環境下で作用体がするように、意味ある順序で発音するこ とを含み、一般に、てあたり次第の発音をしない。このような自然な語学教育状 況は、自然なコミュニケーションの状況が描写される典型的な映画の中で、聴衆 が映画の中で自然な繰り返しが生ずることを通じて同じ言葉にさらされることに より提供される。自然環境または映画的状況は共に、行動および対象物とそれに 対応する説明的発音との間の関連を提供する。本発明は、自然環境の類似的視聴 覚状況下で、書かれた言葉に対する関連付け機会を拡大する。 本発明の方法は、音節または文字とは区別される単語全体を生徒に表示 することで読み方を教えることができる。単語全体を見ることおよび覚えること は、人の脳の中でこのような単語全体が処理される点が、シンボル、例えば猫の 絵または漢字、を見て覚えることとに類似している。各単語を全体として見るこ と（または即解力）は、アルファベット文字を音節毎に、発音通りに読む際に要 求される人の脳の分析力を介するというよりは、むしろ心の中で視覚的に記憶し 刷り込まれる連想を発展させそして連想を通じて思い出すという教育方法を提供 する。二つの書き物による表現、すなわち、一つは文章表現、他は絵画的表現、 が一つの話し言葉と対応して、表示される時、二つの表現は、互いにこれら二つ が関連しているかまたは同一であるということを示すかまたは一つに融合する。 たとえば、ビデオの中の人が単語“ｃａｔ”を話す時、書き言葉の“ｃ−ａ−ｔ ”は絵の猫に変化する。 本発明により作られた連想は既存の視聴覚作品の中であろうと新たに制 作された作品のなかであろうと、本発明により作られた連想は普通で、自然な描 写的な状況の中で生ずる。例えば、このような連想は映画劇の中で刑事と容疑者 が話しをする場面、ビデオの中で歌手が歌う場面、ＴＶニュース放送で天気予報 解説者が話し天気図を指す場面で作られ得る。上述した全ての場合において、目 的は必ずしも読み書き教育を含まない。 本発明はまた読唇術の教育に適用できる。発音されそして文章が表示さ れる時、作品の視覚的部分の一部として唇の動きが同時的に観察される。 単語を表示された映像領域内の文脈関係源上またはその近くに配置する ことの利点は、見る者にとって作品中で演じられている演技に集中を維持しなが ら、彼または彼女が単語を聞いた時に容易にその単語を見ることができる。目は 、視覚スクリーンの縁の周辺部分に置かれた文字または画面領域外に置かれた文 字さえも読むことができるが、視聴覚作品のアクション要素にそれなりの注意を なお集中しながらそれらを読むことは困難を伴なって読むことができるときだけ である。この理由が、ほかの理由の中でも、本発明がクローズド・キャプション より優れているところである。また、クローズド・キャプションは、一度に二以 上の単語を表示するが、これはある単語とある音との連想を妨げる。さらに本発 明 では、単語を話者との間に大きさの関係を持って表示する。したがって、書かれ た単語により占領されるスクリーン領域を最小にし邪魔を減少できる。 二人の人物が対面しながらまたは対面せずに会話をしている時、二人の 人物間の単一の平面が書かれた単語が表示される面としての役割を担う。この手 法は、話者の一人がカメラの外にいて、聴衆がカメラ外の話者との相対的位置関 係を知っている時にも使用できる。 書かれた各単語の文字の色、形およびその他の特性は、邪魔にならない ように設定される。例えば、もし単語が重ね合わせられる背景の絵画的要素が濃 い青であるならば、単語の文字は明るい青または他の色合いの青でよい。また、 書かれた単語を、透明または半透明に描いて背景の物が部分的にも継続して見え ることを可能にしても良い。また、単語はその源に対して色、フォントその他で 区別付けしても良い。 再び図２と図３を参照すると、話者Ｓの頭Ｈが回ると、話者の両耳間の 線とほぼ直角な面Ｐ１は三つの追加的位置Ｐ２−Ｐ４に動く。単語“ＡＴ”が話 される時、それは平面Ｐ２に遠近法的に現れる。単語“ＳＰＯＴ”が話される時 、それは平面Ｐ３にまた遠近法的に現れる。そして最後に“ＧＯ”が話される時 、それは平面Ｐ４に現れる。各単語は、頭の近くまたはその上に位置付けられる 。好ましくは、発音者が話すときその口元Ｍの上または近くに位置付けられる。 話者Ｓの頭Ｈが回ると、それはあごを上げるために（平面Ｐ４を参照）傾けられ る。書く方向は好ましくは、頭の側面対側面、上対下の位置関係を反映する。 図３においては、全ての話し言葉が、視聴覚作品が上映されるスクリー ンと平行なまたは同じ平面ＰＰ上に現れる。 図４を参照して、視聴覚作品を制作する装置を説明する。装置は、操作 者ステーション、所望の文（たとえば“ｌｏｏｋ”）を生成するためのビデオ・ テキスト発生器、文がまだ配置されていない作品を供給するための視聴覚作品入 力手段、文と視聴覚作品を結合して適当な平面方向に本発明の発音／文の一致を 提供するデジタル光学操作提供手段を含む。この操作は、本発明の視聴覚作品を 生成する。この作品では、発音／文の一致は作品全体を通じて発生し、その上映 は中断なしに見ることができ聞くことができる。これを本発明の直線的実施例と 言う。 文字の集まりは、添付、焼付、重合わせ、またはその他の方法で映画の 一部の上でその単語が話される時に最も見やすい位置に付けられる。発音者の頭 が見える時は、位置は一般的に口元またはその近くで、口から単語が発せられる ような示唆を与える。この手順は、作品全体または所望ならばその作品の一部に わたり、全てまたは実質的な数の発音に対して続けられる。文字はどんな大きさ 、フォント、色であってよい。好ましい実施例では、大きさ、フォント、色、そ の他の図形的属性は背景色、各発音の感情的および意図的内容を反映して選ばれ る。背景に関しては、書かれた各単語は、普通は透明、半透明、輪郭線形、また は背景色からは十分区別される背景色の色合いの色であって、単語が消えた後で 残像を網膜に残さずに可視性を達成する。感情については、意図、意味、怒りの 言葉は、例えば、赤みのある色で、角張ったタイプフエィスを選び、子守唄の歌 詞はパステル色合いの柔らかな曲線のタイプフエィスを選ぶ。感情的に中立な単 語は、通常の色で示される。図形的属性の目的は、視聴者に音量、音質、音域、 または他の音声的属性の変化でもって発音のニュアンスを描写するとの同様な動 的な描写を与えて、それにより、将来、心の中で思い出す連想を強めることを目 的とする。 視聴覚作品では、自然な会話状況が大部分である。このような状況は、 上述したごとく刑事が容疑者に質問することを含む。自然的な会話状況を含む場 面に単語を配置することは、視聴者が作品の自然な会話に注意を払っている間に 、音と所望の単語との間の連想を形成する機能を提供することである。 次に図５を参照すると、本発明の直線的実施例は、対話式実施例を制作 するのに用いられる。視聴者が、視聴覚作品の上映を停止して、それが上映され ているスクリーン上に選択により、言葉の定義、構文、文章文脈使用法または他 の情報を与えるメニューを見ることができるコンピュータ・プログラムを作製す る。対話式作品は、視聴者の操作によりプログラム可能な教育装置を使用して上 映される。このようなプログラムを使用して、作品を表示し選ばれた文を見るた めに作品を停止し、そしてその文に関して追加的情報を得る。 図６を参照すると、視聴覚作品が、コンピュータ・グラフイック・デザ イナーにより、その作品のビデオ信号（アナログまたはデジタル形式）がスクリ ーン上に表示されてデザイナーへ提供されるワークステーションにおいて制作さ れる。フレーム（１秒の３０分の一の画面列）を操作する際、デザイナーはコン ピュータ・グラフイックまたはテキスト（すなわち単語）を作り、それを単語を 話すのに要する時間の長さに依存して、一つまたは複数のフレームのビデオ信号 上に重ね合せる。単語を話すのに要する時間の長さは、多くの単語間で異なり、 日常英語（または他の言語）の会話では、六十分の一ないしは二分の一秒の時間 を要する。アニメーションやペイント・ボックス・ソフトウェアを使用すること で、単語中の文字フォントや選ばれた平面上の単語の方向に追加の性質を与える ことができる。 図７は、書かれた連想付き単語により長い表示を与えるため、視聴覚製 品で単語が話される時間を伸張する方法を説明する。単語が聞こえる時間を伸張 または延長することは、ハードディスク上で単語の音を波形としてデジタル化し て、そしてその後に、波形を再構成する。この技術は、ピッチやトーンを歪めな い。 図８では、頭Ｈ‘が一点鎖線のソース線ＳＬにより示されるように、見 る者の右手を向いている。線ＳＬは話者の参照対話面（Ｐ５）(図示せず)に載っ ている。見る者の垂直参照面（Ａ）は、見る者にとっては線として見れる。この 面は固定されたままである。線（ＳＬ）は単語“ＷＯＷ”をバーべキューの串の 様に串刺しにする。 単語“ＷＯＷ”の開始位置の距離は話者の頭Ｈ‘から好ましくは、鼻を Ｎ（図８を参照）を持った話者の顔Ｆの幅ｄ１の２倍の距離、ｄ２内にある。こ の単語“ＷＯＷ”の２ｄ１の範囲内に位置付けることは、話者の顔がクローズ・ アップ位置にある場面に対して良い結果を与える。顔がロング・ショットで遠方 にあるときは、単語は顔より大きくても良いがなお顔Ｈ’の近くにまたは見る者 の興味の対象物に移動しても良い。この場合、距離ｄ２は距離ｄ１の３ないしは ４倍である。 図９は、図８の図式的平面図である。対話面Ｐ５、平面Ａ（見る者の１ ８０度の参照面）およびＢ、９０度面を示す。ソース線（ＳＬ）をその中に含む 対話面Ｐ５はその方向に現れる単語“ＷＯＷ”を含む。見る者の参照面Ａ、見る 者の180度の参照面、から２５度はなれた他の対話面Ｐ６およびＰ７内に現れる 単語は、読むことができる。しかし、見る者の参照面Ａ（見る者の視覚の主面） により近い対話面に置かれた単語は読むことが難しい。このような配置（ブロッ ク・アウト領域内の）は本発明の実施例ではまれにしか使用されない。図１０は 、制御つまみ２２、２３を持つテレビジョン・セット２１のスクリーン２０を示 す。話者の頭／顔の位置は図２に示された様に多数の画で示されている。スクリ ーン２０の左の画は頭Ｈ、顔Ｆ、ソース線Ｓ１を持った対話面Ｐを有する。顔面 ＦＰ１は対話面Ｐ１に垂直である。ソース線ＳＬ１は顔面ＦＰ１に垂直である。 顔面は話者が立った姿勢または座った姿勢にある時は、一般に水平面に対して直 交する面内にある。ソース線ＳＬ１は単語“ｌｏｏｋ”を直線的に二分する。他 のソース線ＳＬ２、ＳＬ３、ＳＬ４はそれぞれそれらの対話面Ｐ２、Ｐ３、Ｐ４ 内にあり、各線はその単語を直線的に二分する。 最後に、図１１は、頭Ｈ３、顔Ｆ３、口Ｍを持つ話者Ｓ２を示す。顔面 ＦＰ２は対話面（この図では図示しない）と直交する。ソース線ＳＬ３は対話面 （図示せず）内にあり、単語“ＦＡＳＴ”を二分する。頭Ｈ３は話者Ｓ２が横に なったり、見るものに背を向けたりすると、いかなる方向も向く。そのような方 向の頭Ｈ３により話される時、ソース線ＳＬ３上の単語は、その度に対話面上に 置かれる。しかし、対話面の方向がその面に置かれた単語が見る者にとって読み 取れない場合を除く。例えば、話者が立った状態で見るものから顔を背けている 場合、単語“ＦＡＳＴ“が対話面上に置かれた場合、見る者に対して単語“ＦＡ ＳＴ“が読み取ることができない角度にある。このような読取不能を避けるため 、単語は、単語“ＦＡＳＴ“が読み取れる所でできる限り対話面に近い面上に置 かれる。このような場合、このように選ばれた平面上に遠近法的に表示された単 語“ＦＡＳＴ“は、単語は頭Ｈ３から遠ざかる印象を与える。時間が許すならば 、単語“ＦＡＳＴ“は、口元Ｍの暗い位置から最初に現れ、そしてその後に対話 面の線ＳＬ５に沿って早く移動させても良い。これに代えて、例えば、もし単語 が、スクリーン上に千分の０．０２４秒だけ現れる場合、単語は部分的に千分の ０．００８秒だけ口Ｍに現れ、そして千分の０．００８秒だけ線ＳＬ３に沿って 移動 し、そして最終的に消える前に別の千分の０．００８秒だけ線上で停止する。 上述したように、単語をソース線ＳＬ上に置きそして遠近法的な面に置 くことの目的は、単語が口から発せられてその後に視聴覚作品の三次元空間にあ る一つの物体のように見える様にすることにある。物体として、書かれた単語は 、他の物体が従う同じ物理法則に従う。 すなわち、本発明の視聴覚作品の中でもし誰かが話者の前に歩み寄ると 、話者の話しはさえぎられ、彼の書かれた単語の表示は一時的に一部または全部 が隠される。この観点に関する本発明の目的は、単語が現実の物体のように見え るようにすることであり。この考えは、特に言葉を抽象的よりはユーザー・フレ ンドリーにとらえる若い心にとても受け入れられる。 単語は、遠近法的に置かれ、単語の文字はその大きさが増大または減少 する(図８を参照すると、左の“Ｗ”は“Ｏ“よりも小さく、さらにこれは右の ”Ｗ“よりも小さい)。遠近法的に表現された単語は、見かけ上移動する方向を 持つように見える。話者の口元の近くに遠近法的に表示された単語は、口から発 せられたように見える。単語は、対話の一部である話者の顔の表情を邪魔しない 範囲で、できる限り口に近づけるように配置する。作品中で話された単語の全て を対応した書かれた単語として表示する必要は無い。作品を上映する選択された 時間は文字化するのに特別な困難さをもたらすか他の理由により文字化を要しな いからである。 本発明の好ましい実施例で、テープ上、フィルム上、コンピュータ・デ ィスケット上、ＣＤ ＲＯＭ、または他の媒体上に単語または他の英数シンボル または他の文を、上述した態様でテープまたはフィルムまたはＣＤ ＲＯＭまた はコンピュータ・ディスケットの音声成分と連想付けるのに意味ある配列で組込 むことである。この配列は、フィルムまたはテープの始まりから終わりまでの全 体にわたって続けられる。本発明の視聴覚作品は好ましくは娯楽またはその他の 文脈的に意味がある主題または内容を持つ。視聴者の学習は、特別な努力を彼ま たは彼女の側に要せず、娯楽または他の主題を楽しむ時に行なわれる。 本発明では作品の映像領域内に、話された言葉があたかも見ることがで きかのような印象を作りだすために、各単語が見た時に大きさ、色、フォント、 動きおよびその他の特性を持つ。単語の大きさは、デイスプレイ・スクリーンの 平面内またはその平面に対してある角度を持つ平面にある単語の向きである。こ のような向きを持つ単語は映画の他の要素と同じく三次元的なものである。 書き物は文字、単語、絵、その他のシンボルを含む。 本発明の他の実施例によれば、書き物はブライユ式点字であり、好まし くは人（すなわち、視覚障害者）が視聴覚作品を聞く時に使用できる別個の装置 上に表示される。他の実施例と同様に、ブライユ式点字と発音との間には一時に 一つの対応が確立され、ユーザーに書き物がその発音に関連していることを思い 出す目的のために、自然な状態においてその書き物に連想付けるための機会が与 えられる。 例 娯楽的なビデオ・ゲームが使用される。絵文字的（事実的な絵）な参照 対象のインベントリがプレイヤーに利用可能である。絵文字はカーソルによりド ラッグできる。参照対象上でマウスを一回クリックすると、参照対象は変形して （形態変化して）その書き物の等価物（略符）になる。その間に解説またはおし ゃべり頭がその単語を発音する。 ゲームの目的は、意味のある順序を作る絵文字参照対象の一列を形成す ることである。一旦、プレイヤーがそのような列を配列すると、マウスのダブル ・クリックで参照対象が、一度に一つづつ、左から右へ、書かれた単語（略符） に形態変化し、同時に、適切な話し参照対象が随伴する。そして、意味のある順 序が左から右へ発音者により大声で繰り返される。各単語は、突然に参照対象に よりバックグランドされる。 ゲーム中において、ドラッグにより形成された参照対象の配列が意味の 無い順序であると、ダブル・クリックをしても何も起こらず、得点も生じない。 色のニュアンスやフォント形状は、対話の意味ある表現の自然な流れに 従って変化する。そのようにして、本発明の全体的に「有機的な表示」は、新規 な、標準化された「感情的図形的語彙」が作製される。例として、以下の色と図 形とが以下の感情に使用できる。感情 色 図形 幸福 白またはピンク きらめく／ひかる 悲しい 青または黒 ゴシック 怒り 赤 ボールド セクシャル 紫 波形 フォントや色のニュアンスは、自然界に見られる物理的実在と関連して使用する こともできる。物理的 色 図形 冷たい 灰色／氷青 つらら あつい オレンジ／赤 炎 濡れて ミルキー しずく このような連想は、常識および／または色や肌合いやその他の連想図形効果と人 間の感情や学習記憶との結びつきに関する既存の研究に基づく。これに加えて、 現在のグラフイック・コンピュータ・ソフトウエア画持つ視覚的現象に関して持 つ能力、例えば、「白熱した」、「放射する」、は追加の連想インパクトとして組み 込んでも良い。 叙述的な文脈における本発明の、ユーセンテイック、良い場所の、字幕 は、いくつかの方法により達成できるであろう。図１２ａ−ｂは、ユーセンテイ ック字幕を手で操作して適用する工程を示す。 図１３ａ−ｂは、ビデオ指示システムおよびユーセンテイック字幕を適 用する方法を示す。 図１４は、発音をピッチやトーンの損傷無くそして見かけ上の歪み無く 遅らせる方法およびシステムを示す。図１５ａ−ｂは、図１４の方法およびシス テムにより伸張された単語“ｆｕｔｕｒｅ”の伸張された波形と通常の波形とを それぞれ示す。図１５ｂの波形は図１５ａの波形と同じピッチを持つ。波形が伸 張される時に波形の振幅が一定に保たれるからである。 本発明の別の実施例では波形が、全数乗算器ではなく、ある部分の乗算 器により伸張されるときに有用である。例えば、波形の長さを、二倍（１００パ ーセント増加）にするのではなく、二分の一だけ（５０パーセント増加）増加す ることが望まれる時、既知の方法は波形のどの部分が伸張されるかをランダムに 選択する。本発明の観点からはね波形の部分のランダム選択は母音の部分のみに 限られる。これは、当業者に知られている手段により達成できるであろう。 図１６は、単語を置くのに既知のキャラクタ・アニメーション・ソフト ウェアを使用した、ューセンテイック字幕の適用方法およびデジタル・システム を示す。 図１７−２１は、本発明の別の実施例に関する。それは、直感的ユーセ ンテイック字幕の方法およびシステムである。図１７は図１６に示される方法お よびシステムを示し、この発明によるユーセンテイック字幕ソフトウェアを利用 する。図１８は、図１６および図１７に示された方法とシステム使用されるコン ピュータ・ワークステーションをさらに詳細に示すフロー・チャートである。 図１９ａ−ｄは、本発明によるユーセンテイック字幕の適用の詳細を説 明する。図２０ａ−ｂは、ユーセンテイック字幕が存在するように見える仮想三 次元世界の４象限を示す。図２１は、仮想三次元世界のどの象限においても最善 の向きのユーセンテイック字幕を配置するソフトウエア・モジュールのフロー・ チャートを示す。ソフトウエアは好ましくは、コンピュータ・ワークステーショ ン上で動く。当業者に知られている多くの入力装置が使用できるが、好ましくは 、マウスおよびキーボード入力で象限を指定しソース線を引く。ソフトウエア・ モジュールが動くコンピュータ・システムは自動的にソース線上に単語を位置付 ける。好ましくは、下ケース文字の本体の中心（印刷工にはｘ高さと知られてい る）を、例えば文字“ｅ”の水平線のよう、ソース線が貫く。一旦、システムと ソフトウエアが単語を置くと、ソース線は削除される。 図２２は、本発明による対話式ヤーセンテイック字幕付き作品を制作す るための対話式マルチメデイア・コンピュータ・ワークステーションを組み込ん だマルチメデイア・プラットホームを示す。 図２４は、図２３に示す対話式単語発音のフロー・チャートを示す。本 発明のこの観点によれば、ユーザーがユーセンテイック字幕付き視聴覚作品を特 定の単語で停止すると、ユーザーは発音練習を受けることができる。好ましくは 、ユーザーは音声波形解析ソフトウエアを含むコンピュータにつながれたマイク ロフォンに向かって話しをする。すると、ソフトウエアはユーザーのその単語の 発音から作られた波形をコンピュータ・フアイルに記憶されている正確な発音の 標準波形と比較する。コンピュータはそして正確な発音（例えば、「十分に良い 」または「優秀」）であることを確認するかまたは単語の発音を繰り返すようにユ ーザーを催促するかの、いずれかのフィード・バックをユーザーに行う。 図２３に示されている他の選択は、ユーザーが選択できる対話式アプリ ケーションのメニューをとして好ましく提供される。例えば、ユーザーは書くア プリケーションを選択できる。これは、これはユーザーに表示されている単語を タイピングすることでまねるか、手書き文字認識ソフトウエアへの出力を生成す る電子タブレットに書きこむことでまねることを可能にする。好ましくは対話式 システムは単語が正しくタイプされたか書きこまれたかをユーザーに教えるフィ ード・バックを行う。 図２５は、図９に示す前方の「ブロック・アウト」内に単語が配置され ていることを示す。単語は選択的にこの領域、図２５の線ＡＡを通過する面上に 、あたかも話者の口から言葉が発せられたかのように示す一つの方法として、置 いても良い。 一または二以上の単語を、これらの単語と一つの手話の要素との間に対 応関係がある時、手話を行う人の手と関連付けて置いても良い。図２６は、本発 明のこの実施例を示す。ＴＶスクリーン上の話者と挿入ボックス内の人の手が手 話の同時通訳を行っている。話者が単語“Ｆｕｔｕｒｅ”を話すと、手話通訳者 がその単語のサインをし、“Ｆｕｔｕｒｅ”がその単語に対する手話の要素と関 連付けられて挿入ボックス内に配置される。 図２７−３１を参照すると、発音者の口元Ｍから発せられる一連の単語 が示されている。図２７において、単語“ＷＯＷ”がスピーチ線ＳＬに沿って口 Ｍの近くにある。口Ｍから投射するスピーチ線ＳＬは、単語が物体として口から まさに発しているように見える方向にある。図２８において、２番目の単語“Ｈ Ｅ‘Ｓ”がこの単語の“ＨＥ’Ｓ”のために空間を提供するため移動した単語“ ＷＯＷ”の後ろに現れる。単語“ＷＯＷ”は、また単語“ＨＥ‘Ｓ”から区別さ れるように強調表示がされている。そして、図２９において、３番目の単語“Ｆ ＡＳＴ”が現れ太字強調で区別されている。図３０において、単語“ＷＯＷ”は 、強調表示され、上方に移動するがまだ頭の近くにある。図３１において、単語 “ＷＯＷ”は他の表示されている単語からは遠く離れて位置し、頭の上方の右位 置にある。図２７−３１の全ての単語は頭の近くにあり。図２７−３０の全ての 単語は口の近くにある。 図３２は、本発明のさらに別の実施例を示す。この実施例では、単語は 、一時に新しいのが一つ連続して、場面表示の順序で現れる。単語は蓄積され口 の近くに束ねられて幾つかの単語が他の単語の上にくる。全ての単語は、発音者 の頭が動くにつれて異なる角度を取る対話面Ｐ１−Ｐ４上の発音者の口元近くに 表示される。単語を束ねて置くということは、単語の一列を置く場合の幅が高さ より実質的に大きい細長い長方形の領域とは形の異なる、幅と高さを持った領域 を占めるということである。２またはそれ以上の行の単語の列を使用して束ねる 目的は、全ての単語を発音された単語の源または見かけ上の源に置くということ である。 図３２に戻ると、平面Ｐ１内の単語の表示が最初に起こり、平面Ｐ２− Ｐ４内の表示がそれに続く。平面Ｐ２において、単語“ＬＯＯＫ ＡＴ”は発音 者の唇のすぐ上の１行に置かれている。発音者が彼女の頭を回した後の平面では 、単語“ＬＯＯＫ ＡＴ”は同じく１行に現れているが、単語“ＬＯＯＫ”が唇 のより近くにあり、“ＡＴ”は唇からより離れている。平面Ｐ３では単語“ＳＰ ＯＴ”が下の行に太字の文字で現れる。平面Ｐ２−Ｐ４は、対話面であり、各単 語が置かれて、視聴者にその単語が聞かれている時間は太字により他の単語また は映像物から区別される。視聴者が聞いている単語をその時間他の単語から区別 することで、聞かれている単語と視聴者の注意が集中している区別された単語の 間の連想を確立する。区別化は、視聴者が区別された単語を他の単語または表示 されている物体から認識できれば、いかなる手段でも達成できる。この実施例で は、 表示された全ての単語は、発音者の頭の近くまたは口の近くにある。単語を区別 化するための技術の例として、単語またはその部分を、特定の大きさに拡大する 、特別の色合い、色、形にする、光らせる、または単語を実際に動くように見せ る、またはその他の視覚効果を作り他の単語が存在する中でその単語に注意をひ きつけ、それによりその他の単語からその単語を区別付ける等がある。 図３３の別の実施例の場合、単語の束または集まり全体は、各対話面Ｐ １−Ｐ４内である期間内表示され、その期間の部分において、太字の強調表示に より区別された各単語は話される。区別化と発音または話しは同時に発生する。 この実施例では、発音者の口元の近くに無い表示された単語は無い。図３４、３ ５は図３２、３３と似た実施例を示す。違いは、単語が表示スクリーンに平行な 面（ＰＰ）内に現れる。 図３６に示す実施例においては、単語を区別化する手法がその導入時に 見られる。単語が話されると同時にその単語がスクリーン上に最初に導入されま たは画面上に現れる。単語が“ＬＯＯＫ”が最初にスクリーン上に現れる時、単 語“ＬＯＯＫ”が視聴者に聞かれ所望の連想が形成される。単語“ＬＯＯＫ”が スクリーン上にまだ存在する時に単語“ＡＴ”が現れ、その時単語“ＡＴ”が聞 かれる。３番目の順序において、視聴者は発音者の口元に“ＬＯＯＫ ＡＴ”を 見る。そして、視聴者が単語“ＳＰＯＴ”を聞く時、単語“ＳＰＯＴ”が最初に 現れる。図３７は、単語が傾かない平面ＰＰ上に現れることを除いて、図３６と 同じである。 図２７−３７の実施例では、一つまたはそれ以上の単語が、発音者の頭 の近くのフレーム部分と同様に発音者の口元の近辺が見えるところに好ましくは 現れる。また、単語は好ましくは単語の集まりとして、句として、言葉として、 その意味に関する順序で視聴者に表示される。単語は視聴者が発音者の頭の近く でその単語を見ている期間中、順序付けられた方法で発音され聞かれる。 本発明の最後の実施例は、スクリーン上に単語の集まり表示の技術を使 用する(図３８、３９を参照)。この実施例は二つの特別な目的がある。一つの目 的は、視聴者の知らない言語で何が話されているかの要旨を視聴者に与えること である。二つ目の目的は、視聴者が聞くことのできない音のため、または聴覚 障害またはその他の障害のため、視聴者が理解できない話された単語の要旨を提 供することである。束ねられた単語は、対話面または最初のスクリーン面に平行 な面に置かれる。この場合ね単語を強調表示する必要はない。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ， ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，Ｌ Ｓ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ ，ＡＭ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＮ，ＣＵ，ＣＺ，ＥＥ，ＧＥ，ＧＨ，ＧＷ，Ｈ Ｕ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＧ，ＫＰ，ＫＲ，ＫＺ ，ＬＣ，ＬＫ，ＬＲ，ＬＴ，ＬＶ，ＭＤ，ＭＧ，ＭＫ， ＭＮ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＲＯ，ＲＵ，ＳＧ，Ｓ Ｉ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＺ ，ＶＮ，ＹＵ

Claims (1)

1. 【特許請求の範囲】 １．視聴者に提示するための自然なコミュニケーション状況を持つ映像シーン を含む教育用視聴覚作品において、 （ａ）スクリーンに表示される視覚部分と、聞こえる音声部分とを有すること のできるフレームより成る少なくとも１つの映像シーンと、 （ｂ）上記シーン提示の連続するフレームに頭を有する少なくとも１人の発音 者による一連の単語発音と、 （ｃ）一連の視覚的単語記号とを備え、表示時間中に発音者の頭の近傍のフレ ーム部分に１つ以上の上記単語記号が表示され、このフレームの近傍部分に表示 される１つ以上の上記単語記号は、区別時間中に区別され、各々の区別された単 語記号は、 （ｉ）各々の上記単語発音に対応し且つそれに連想付けることができ、 （ii）発音された単語の視覚的な外形を視聴者に教育することができ、 （iii）上記フレームの近傍部分に上記区別を伴って現われて、視聴者が上 記連想付けを行える機会をもてるようにし、そして （iv）上記映像シーンのフレームに区別されて現われると同時に、その区別 された単語の発音が聞こえて、各々の上記発音及び各々の上記対応する区別され た単語記号を同時に且つ上記時間長さの間に視聴者によって連想付けることがで き、これにより、 視聴者は、各々の上記発音を各々の上記区別された単語記号に連想付けて、発 音された単語の視覚的外形と単語記号の音を学習することを特徴とする視聴覚作 品。 ２．１つ以上の単語記号が口から次々に出て来るように見え、選択された出て 来る単語は、その選択された単語が発音されたときに区別される請求項１に記載 の視聴覚作品。 ３．各単語記号は、最初に口に現われた後に区別される請求項１に記載の視聴 覚作品。 ４．上記区別は、単語を強調することにより行なわれ、この単語は、区別時間 の終りに強調解除され、そして第２の強調時間に第２の表示単語が強調される請 求項１に記載の視聴覚作品。 ５．単語記号は、発音者の口から出て、口から遠ざかる間に頭の近傍に保持さ れ、その後、頭から離れたスクリーンの部分へ移動する請求項１に記載の視聴覚 作品。 ６．発音者は耳を有し、そして単語記号は、発音者の耳を通る線にほぼ垂直に 通過する対話平面に現われる請求項１に記載の視聴覚作品。 ７．上記提示は、非学習用のシーンを含み、上記単語記号は、このようなシー ンに重ね合わせられる請求項１に記載の視聴覚作品。 ８．１つ以上の単語が対話平面に現われ、そしてこの対話平面は、上記平らな スクリーン平面から少なくとも６０度である請求項１に記載の視聴覚作品。 ９．少なくとも１つの単語記号は、略符である請求項１に記載の視聴覚作品。 １０．少なくとも１つの単語記号は、絵文字である請求項１に記載の視聴覚作 品。 １１．上記映像シーンは、直線的に中断なく提示される請求項１に記載の視聴 覚作品。 １２．上記映像シーンは、視聴者が操作できるコンピュータを使用することに より中断型の非直線的なやり方で提示される請求項１に記載の視聴覚作品。 １３．視聴覚作品の一部分は、１つ以上の単語記号が見える時間長さを延ばす ように伸長される請求項１に記載の視聴覚作品。 １４．対話平面は、発音者の頭を通るように配置され、そして少なくとも１つ の単語記号は、このような対話平面に現われるか又はこのような対話平面に接近 して現われる請求項８に記載の視聴覚作品。 １５．発音者の頭は、顔と唇を含み、そして単語の発音に関連した顔、唇及び 頭の動きが上記フレームに含まれる請求項１に記載の視聴覚作品。 １６．上記区別された単語記号は、選択された時間中に現われ、そしてこのよ うな時間中に、単語記号は、フレームが変化するときに映像シーンの物体により 隠される請求項１に記載の視聴覚作品。 １７．単語記号は、三次元的に見えるような形状及び角度にされる請求項１に 記載の視聴覚作品。 １８．一連の発音は、意味をもつ文形態の一連の単語である請求項１に記載の 視聴覚作品。 １９．視聴者に提示するための視聴覚作品において、 ａ）複数のシーンと、 ｂ）スクリーンに表示される視覚部分と、聞こえる音声部分とを有することの できるフレームより成る少なくとも１つのシーンと、 ｃ）上記シーン提示の連続するフレームに現われる頭を有する少なくとも１人 の発音者による１つ以上の単語発音であって、発音時間中に視聴者に聞こえる単 語発音と、 ｄ）発音時間中に発音者の頭の近傍に現われる１つ以上の単語記号とを備え、 この１つ以上の単語記号は、 （ｉ）上記１つ以上の単語発音に対応し且つそれに連想付けることができ、 （ii）発音者の口に対して配置され、そして （iii）単語発音の意味を伝達し、これにより、 視聴者は、発音された１つ以上の単語を、見られる１つ以上の単語に連想付け ることができ、これにより、見られる１つ以上の単語が、発音された１つ以上の 単語の意味を視聴者に与えることを特徴とする視聴覚作品。 ２０．発音された１つ以上の単語は、意味をもつ単語のグループであり、そし て表示される１つ以上の単語は、同じ意味をもつ請求項１９に記載の視聴覚作品 。 ２１．発音者は耳をもち、そして単語記号は、発音者の耳を通る線にほぼ垂直 に通過する対話平面に現われる請求項１９に記載の視聴覚作品。 ２２．上記提示は、非学習的なシーンを含み、上記単語記号は、このようなシ ーンに重ね合わせられる請求項１９に記載の視聴覚作品。 ２３．対話平面を有し、この対話平面は、上記平らなスクリーン平面から少な くとも６０度である請求項１９に記載の視聴覚作品。 ２４．少なくとも１つの単語記号は、略符である請求項１９に記載の視聴覚作 品。 ２５．少なくとも１つの単語記号は、絵文字である請求項１９に記載の視聴覚 作品。 ２６．上記映像シーンは、直線的に中断なく提示される請求項１９に記載の視 聴覚作品。 ２７．上記映像シーンは、視聴者が操作できるコンピュータを使用することに より中断型の非直線的なやり方で提示される請求項１９に記載の視聴覚作品。 ２８．視聴覚作品の一部分は、１つ以上の単語記号が見える時間長さを延ばす ように伸長される請求項１９に記載の視聴覚作品。 ２９．対話平面は、発音者の頭を通るように配置され、そして少なくとも１つ の単語記号は、このような対話平面に現われるか又はこのような対話平面に接近 して現われる請求項１９に記載の視聴覚作品。 ３０．発音者の頭は、顔と唇を含み、そして単語の発音に関連した顔、唇及び 頭の動きが上記フレームに含まれる請求項１９に記載の視聴覚作品。 ３１．単語記号は、選択された時間中に現われ、そしてこのような時間中に、 １つ以上の単語記号は、フレームが変化するときに映像シーンの物体により隠さ れる請求項１９に記載の視聴覚作品。 ３２．単語記号は、三次元的に見えるような形状及び角度にされる請求項１８ に記載の視聴覚作品。 ３３．メンバーを含む集団グループが、ある地域で話された言語の筆記単語の グループが分かるようにする方法において、 （ａ）複数の視聴覚作品を形成し、各視聴覚作品は、各セグメントごとに一連 の発音を含む複数の映像セグメントを備え、 （ｂ）上記発音に対応する１つ以上の筆記単語が上記セグメントに現れるよう にして、各発音と各筆記単語が区別化によって連想付けされ、あるいは、各筆記 単語が対応する発音と連想付けされるようにし、 （ｃ）筆記単語のグループにおける各単語ごとに上記視聴覚作品に少なくとも １つのセグメントを与え、そして （ｄ）上記視聴覚作品を上記地域にある時間中にある程度放送するか、さもな くば、紹介し、これにより、 上記集団グループが上記言語の筆記単語が分かるようにすることを特徴とする 方法。 ３４．生徒を教育する方法において、 （ａ）自然なコミュニケーション状況を含む１つ以上の視聴覚作品を形成し、 各視聴覚作品は、上記状況中に複数の発音をそれに対応する筆記物と同時に提示 することを含み、各視聴覚作品は、自然に生徒の注意を引く領域を含み、この領 域は、（i）発音が発せられるように見えるか又は発音の意味の招きにより生徒 の目を引く第１部分と、（ii）各発音と同時に１つ以上の筆記物を表示し、発音 と、区別された対応する筆記物との連想が生徒の意識に生じるようにする第２部 分とを含み、 （ｂ）上記視聴覚作品を生徒に使用できるようにし、そして （ｃ）ある発音がある筆記物に対応することを学習するのを支援するに充分な 回数だけ、生徒が複数の発音の各々を聞くと共にそれに対応する筆記物を見るま での時間にわたり視聴するための構成を生徒が選択できるようにすることを特徴 とする方法。 ３５．上記第１及び第２の部分が重畳する請求項３４に記載の方法。 ３６．視聴者に提示するための自然なコミュニケーション状況を伴う映像シー ンを含む視聴覚作品において、 （ａ）人間又は他の発音者により上記シーン提示に与えられる一連の発音と、 （ｂ）上記一連の発音に関連した一連の筆記物とを備え、筆記物は最初の外観 により、又は映像シーン内で強調が短く配置されることにより特定され、筆記物 は聞こえる発音に対応し、各発音と筆記物が視聴者の意識において連想付けされ ることを特徴とする視聴覚作品。 ３７．１つ以上の単語記号を対話平面に配置する付加的な段階を含む請求項３ ６に記載の方法。 ３８．一連の発音は、意味をもつ文形態の一連の単語である請求項３６に記載 の方法。 ３９．発音者に耳を設け、そして発音者の耳を通る線にほぼ垂直に通過する対 話平面に単語記号が現われるようにする請求項３６に記載の方法。 ４０．映像シーンに非学習的なシーンを提示し、このような非学習的なシーン に１つ以上の単語記号が重ね合わせられる請求項３６に記載の方法。 ４１．視聴覚作品は平らなスクリーン平面で見られ、そして対話平面を上記平 らなスクリーン平面から少なくとも６０度に配置する段階を含む請求項３６に記 載の方法。 ４２．少なくとも１つの単語記号は、略符である請求項３６に記載の方法。 ４３．少なくとも１つの単語記号は、絵文字である請求項３６に記載方法。 ４４．上記映像シーンを直線的に中断なく提示する段階を有する請求項３６に 記載の方法。 ４５．視聴者が操作できるコンピュータを使用することにより上記映像シーン を中断型の非直線的なやり方で提示する段階を有する請求項３６に記載の方法。 ４６．第１エリアの単語記号が見える時間を延ばすように視聴覚作品の一部分 を伸長する段階を含む請求項３６に記載の方法。 ４７．対話平面は、発音者の頭を通るように配置され、そして少なくとも１つ の単語記号は、このような対話平面に現われるか又はこのような対話平面に接近 して現われる請求項３６に記載の方法。 ４８．発音者の頭は、顔と唇を含み、そして単語の発音に関連した顔、唇及び 頭の動きが上記フレームに含まれる請求項３６に記載の方法。 ４９．１つ以上の単語記号が、選択された時間中に現われ、そしてこのような 時間中に、１つ以上の単語記号は、フレームが変化するときに映像シーンの物体 により隠される請求項３６に記載の方法。 ５０．単語記号は、三次元的に見えるような形状及び角度にされる請求項３６ に記載の方法。 ５１．一連の発音は、意味をもつ文形態の一連の単語である請求項３６に記載 の方法。 ５２．視聴覚作品提示の映像、フレーム又はセグメントに一連の筆記物を配置 する方法であって、上記映像、フレーム又は他のセグメントは、発音がなされた ときに人間又は非生物発音者を有し、上記方法は、 （ａ）ビデオテキスト手段を含む装置のオペレータ制御ユニットを選択し、 （ｂ）上記ビデオテキスト手段が複数の単語を表示するようにし、各単語は、 検索のために種々のサイズ、形状及び向きを有し、 （ｃ）ユニットのオペレータが見るために一連の映像の各々を配置し、 （ｄ）表示された単語を選択するようにビデオテキスト手段を動作し、 （ｅ）選択された単語を選択された映像、フレーム又はセグメントへ搬送して そこに永久的に配置し、そして （ｆ）単語が単語の発音と位置及び時間の両方に関連してセグメントに現われ るように上記選択された単語を強調する、 という段階を含むことを特徴とする方法。 ５３．単語は、発音者の頭の近傍に配置される請求項５２に記載の方法。 ５４．各セグメントごとに発音を含む複数の映像セグメントにユーセテイック に文字幕を付けるためのコンピュータベースのデータ処理システムにおいて、 （ａ）データを処理するためのコンピュータプロセッサ手段と、 （ｂ）データを記憶するための記憶手段と、 （ｃ）各セグメントごとに発音を含む複数の映像セグメントを表わすデータに １つ以上の筆記単語を表わすデータを重ね合わせるための手段とを備え、上記１ つ以上の単語は、各発音と各筆記単語が関連するように上記発音に対応するよう 強調されることを特徴とするシステム。 ５５．上記重ね合わせるための手段は、 （ａ）第１のアナログビデオ信号を入力する手段と、 （ｂ）アナログビデオ信号をデジタルビデオデータに変換する手段と、 （ｃ）デジタルビデオデータを一度に１フレームづつ表示する手段と、 （ｄ）ユーザ単語データ及び象限データから入力するための手段と、 （ｅ）象限データ及び他の所定の基準に基づいて単語データをデジタルビデオ データに組み込む手段と、 （ｆ）デジタルビデオデータを第２のアナログビデオ信号に変換する手段と、 （ｇ）第２のアナログビデオ信号を出力する手段と、 を含む請求項５４に記載のシステム。 ５６．ユーザ単語データ及び象限データから入力する上記手段は、 （ａ）ユーザが象限を選択できるようにする手段と、 （ｂ）ユーザがソース線を描けるようにする手段と、 （ｃ）ソース線に対する角度を計算する手段と、 （ｄ）ユーザが単語データを入力できるようにする手段と、 （ｅ）単語をソース線に沿って自動的に配置する手段と、 を含む請求項５４に記載のシステム。 ５７．ユーセテイックに文字幕付けされた視聴覚作品をユーザが対話式に操作 できるようにするためのコンピュータベースのシステムにおいて、 （ａ）視聴覚作品を表示する手段と、 （ｂ）視聴覚作品の表示を休止する手段と、 （ｃ）ユーザが単語を特定できるようにする手段と、 （ｄ）ユーザが特定した単語に関する更に別のデータを処理する手段と、 を備えたことを特徴とするシステム。 ５８．ユーザが単語を特定できるようにする上記手段は、視聴覚作品の表示が 休止されるときに表示される単語をユーザが特定できるようにする請求項５７に 記載のシステム。 ５９．単語に関する更に別のデータを処理する上記手段は、 （ａ）複数の単語に対する適切な発音を表わす標準データを記憶する手段と、 （ｂ）単語についてのユーザの発音を表わすユーザ音声データから入力するた めの手段と、 （ｃ）単語に対して音声データを標準データと比較する手段と、 （ｄ）上記音声データの比較手段に応答して、単語についてのユーザの発音が 正しいかどうかユーザに指示する手段と、 を備えた請求項５７に記載のシステム。 ６０．聴取時間中に視聴覚作品において視聴者が聞いたが視聴者が理解してい ない１つ以上の単語の意味を与える方法において、 １）頭と口をもつ発音者を各シーンに有する複数のシーンを上記視聴覚作品に おいて提示し、そして ２）上記聴取時間の全部又は一部分の間に上記発音者の口付近に１つ以上の単 語記号が現われるようにし、この１つ以上の単語記号は、聞こえた１つ以上の単 語の意味を伝えるものであることを特徴とする方法。 ６１．１つ以上の単語記号を対話平面に配置するという付加的な段階を含む請 求項６０に記載の方法。 ６２．一連の発音は、意味をもつ文形態の一連の単語である請求項６０に記載 の方法。 ６３．発音者に耳を設け、そして発音者の耳を通る線にほぼ垂直に通過する対 話平面に単語記号が現われるようにする更に別の段階を含む請求項６０に記載の 方法。 ６４．映像シーンに非学習的なシーンを提示する段階を更に含み、このような 非学習的なシーンに１つ以上の単語記号が重ね合わせられる請求項６０に記載の 方法。 ６５．視聴覚作品は平らなスクリーン平面で見られ、そして対話平面を上記平 らなスクリーン平面から少なくとも６０度に配置する段階を含む請求項６０に記 載の方法。 ６６．少なくとも１つの単語記号は、略符である請求項６０に記載の方法。 ６７．少なくとも１つの単語記号は、絵文字である請求項６０に記載方法。 ６８．上記映像シーンを直線的に中断なく提示する段階を有する請求項６０に 記載の方法。 ６９．視聴者が操作できるコンピュータを使用することにより上記映像シーン を中断型の非直線的なやり方で提示する段階を有する請求項６０に記載の方法。 ７０．第１エリアの単語記号が見える時間長さを延ばすように視聴覚作品の一 部分を伸長する段階を含む請求項６０に記載の方法。 ７１．対話平面は、発音者の頭を通るように配置され、そして少なくとも１つ の単語記号は、このような対話平面に現われるか又はこのような対話平面に接近 して現われる請求項６０に記載の方法。 ７２．発音者の頭は、顔と唇を含み、そして単語の発音に関連した顔、唇及び 頭の動きが上記フレームに含まれる請求項６０に記載の方法。 ７３．１つ以上の単語記号が、選択された時間中に現われ、そしてこのような 時間中に、１つ以上の単語記号は、フレームが変化するときに映像シーンの物体 により隠される請求項６０に記載の方法。 ７４．単語記号は、三次元的に見えるような形状及び角度にされる請求項６０ に記載の方法。 ７５．一連の発音は、意味をもつ文形態の一連の単語である請求項６０に記載 の方法。