JP2002366964A - 動画作成方法およびシステム - Google Patents

動画作成方法およびシステム

Info

Publication number
JP2002366964A
JP2002366964A JP2001207007A JP2001207007A JP2002366964A JP 2002366964 A JP2002366964 A JP 2002366964A JP 2001207007 A JP2001207007 A JP 2001207007A JP 2001207007 A JP2001207007 A JP 2001207007A JP 2002366964 A JP2002366964 A JP 2002366964A
Authority
JP
Japan
Prior art keywords
moving image
character string
concept
component
components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001207007A
Other languages
English (en)
Inventor
Adam Lavine
ラビン アダム
Yu-Jen Dennis Chen
デニス チェン ユジェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funmail Inc
Original Assignee
Funmail Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funmail Inc filed Critical Funmail Inc
Publication of JP2002366964A publication Critical patent/JP2002366964A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】 【課題】 文字に含まれる一般的および自然な概念に関
連づけられるアニメーションを自動的に作成し、画面に
表示する。 【解決手段】 概念解析部14は、所定の言語の文字列
12を解析して、この文字列に含まれる概念を決定す
る。動画構成要素選択器18は、取得された概念に対応
する複数の動画構成要素、たとえば、ストーリー、プロ
ット、背景、音楽、を選択する。動画作成部22は、こ
れらの動画構成要素を用いて、一連のアニメーションを
作成する。最終的なアニメーションは、表示部に表示さ
れる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、テキストから動画
を作成するシステムおよび方法に関する。
【0002】
【従来の技術】電子メールまたはショートメッセージサ
ービスにおける無線メッセージの送信は、一般的なもの
となっている。
【0003】ユーザがメッセージを作成することを可能
とするソフトウエアツールが普及しており、文字列から
なるメッセージは、ワードプロセッサに似たウインドウ
に打ち込まれる。多くの電子メールソフトウエアにおい
て、ユーザは、画像ファイルまたは他の関連情報を電子
メールに添付することができる。受信の際には、その画
像は、ウェブブラウザまたは他のソフトウエアによって
開かれることが多い。添付された画像や関連情報の主な
内容と文字列の主な内容との関連づけは、電子メールを
送信する人によって行われる。
【0004】以下に、開示される発明に関連すると考え
られる特許および/または文献を示す。
【0005】ホファート(Hoffert)らによる1999年
6月11日の「ネットワーク上のメディアコンテントの
索引付け(Indexing of Media Content on a Networ
k)」というタイトルの米国特許5,903,892号
は、分散データベースにおけるマルチメディアのファイ
ルを検索し、そのマルチメディアファイルの文脈および
内容に基づいて検索の結果を表示するための方法および
装置に関する。このように文脈や内容を解釈する技術が
知られている。
【0006】フラー(Fuller)による1998年10月
6日の「映像配信システム(VideoDistribution Syste
m)」というタイトルの米国特許5,818,512号
は、少なくとも2つの分離したデータ格納装置から集め
られ、一体化される画像および映像を含むデジタル化さ
れた映像プログラム(番組)を記憶するとともに配信す
ることを可能とするための対話型の映像サービスシステ
ムを開示する。この技術から派生して、バッファとして
の能力を持つMPEG復号器と協働するMPEG変換器
は、映像サーバのメモリ内に格納されている符号化およ
び圧縮された映像信号と、システム制御コンピュータに
よって作成され当該コンピュータ内に格納されているデ
ジタル化された画像とを一体化する。この一体化された
信号は、このシステムに接続されたテレビジョン装置に
送信されて表示される。この方法によれば、複数のコン
ピュータは、複数の画像またはマルチメディアデータを
テレビジョン装置上に表示させたり、テレビジョン装置
上に表示される映像プログラム(番組)にスーパーイン
ポーズ(すなわち、複数の画像などを重ねて1つの画像
にする処理)をさせたりするようにビデオサーバに伝送
することができる。このように、複数の構成要素を用い
て一連の画像を作成する技術が知られている。
【0007】「映像の索引付けのための実用会話におけ
るジェスチャアとアクションの解析」という題名の論文
(トロント大学コンピュータサイエンス学部、トロント
オンタリオ M5S 1A4 カナダ)があり、この
論文は、実用会話がされる場面の映像を解析し注釈する
ための自動システムを提供する。この方法は、キーフレ
ームを検出するとともに、一連の映像を、オーバヘッド
スライドを含む複数のサブ映像に分割するために、ロバ
スト動作推定技術を用いている。このサブ映像は、安定
化処理され、この結果、話し手がスライドを調整する際
に発生する無意味な動作が除去される。安定化処理され
た映像においてフレーム間に残っている変化は、話し手
が何かを指し示したり、あるいは書いたりするといった
話し手のジェスチャアである。発明者は、これらの基本
的なジャスチャアを自動的に追尾するために能動型の輪
郭線判別を用いる。このように拘束された範囲が与えら
れ、彼らは能動型の輪郭線および動きに基づいて簡単に
認識される種々の動作の単純な「言語性」を定義する。
認識された動作は、ウェブページからその会話の圧縮さ
れたバージョンへアクセスするために使用することがで
きる映像の豊富な注釈を提供する。すなわち、動作から
抽出された言語性に基づく注釈を自動的に作成して会話
の際の映像と関連づけることができるので、この注釈を
クリックすることによって会話中の特定の場面へ直ぐに
アクセスすることができる。このように、映像を簡単な
言語に関連づける技術が知られている。
【0008】グッドモンドソン(Gudmondson)らによる
1999年5月25日の「マルチメディアオーサリング
システム(複雑な会話型プログラムやマルチメディアコ
ンテンツなどを容易に作成するために設計されたソフト
ウエア、またはハードウエアとソフトウエアの組み合わ
せ)においてインスタンス生成された、オブジェクト
(インターネットアクセス可能なオブジェクトを含む)
の階層状カプセル化(Hierarchical Encapsulation of
Instantiated Objects in a Multimedia Authoring Sys
tem Including Internet Accessible Objects)」とい
うタイトルの米国特許5,907,704号は、マルチ
メディアタイトルをオーサリングするために最適化され
たアプリケーション作成システムであって、インスタン
ス生成された複数のオブジェクト間のリンクを設定する
ことのみによって、再使用可能なオブジェクトコンテナ
(オブジェクトが含まれる範囲)を選択的にユーザが作
り出すことができるシステムを開示する。階層状カプセ
ル化(Hierarchical Encapsulation)として知られる技
術を用いるこのシステムは、ユーザによって作成された
オブジェクトコンテナの外部の依存関係を自動的に分離
し、これによって、オブジェクトコンテナと、他のコン
テナ環境に含まれるオブジェクトとについての再利用性
を高める。作成者は、アプリケーション中のキーとなる
動作要素である「要素」と、この要素の性質を変更する
「変更」という、二種類の基本的なオブジェクトを作成
する。作成者によって作成された複数のオブジェクトコ
ンテナ(複数の要素と複数の挙動−すなわち、複数の変
更コンテナ)は、複数のオブジェクト間の階層性を生み
出す。この階層性には、複数の要素内における要素の階
層性である構造上の階層性、および複数の挙動の要素内
(および挙動中の他の変更)の階層性である挙動上の階
層性が含まれる。階層的なメッセージのブロードキャス
ティングとして知られる技術によれば、複数のオブジェ
クトは、それらのオブジェクトコンテナ(オブジェクト
が含まれる範囲)に送信されたメッセージを自動的に受
信する。階層的なメッセージのブロードキャスティング
は、ローカルエリアネットワーク(LAN)またはイン
ターネット(The Internet)を介して他の
場所へメッセージを送信するために有利に使用できる。
オブジェクトコンテナは、その全体が伝送されてもよ
く、また、ネットワークを経て遠隔的に再作成されても
よい。さらに、本システムは、ワールドワイドウェブ
(WWW)のページ内に埋め込まれてもよい。このよう
に、オブジェクトとして機能する「要素」と「要素の挙
動」とを階層状カプセル化する技術が知られている。
【0009】G.マサキ J.ウォールズ、およびJ.
ストックマンによって発表された「ハイパーメディア
EIS および ワールドワイドウェブ(Hypermedia E
IS and the World Wide Web)」というタイトルの論文
(System Science, 1995. Vol. IV, Proceedings of th
e 28th Hawaii International Conference of the IEE
E. ISBN: 0-8186-06940-3)は、ハイパーメディア−エ
グゼクティブ情報システム(HEIS)が、戦略的知能
の過程および製品に必要な能力を提供することができる
旨を言及する。HEISは、伝統的なエグゼクティブ情
報システム(EIS)を拡張する。HEISは、ハイパ
ーメディアおよび人工知能技術を用いる外部および内部
環境の踏査を高めるように設計される。それは、管理上
の警戒(ビジランス)を認識するビジネス情報を指向す
る。
【0010】V.バラスブラマニアン(V.Balasubraman
ian)、アルフバシアン(Alf Bashian)、およびダニエ
ル ポーチャー(Daniel Porcher)による「文書管理お
よびウェブ技術を用いた大規模ハイパーメディアアプリ
ケーション(A Large-ScaleHypermedia Application Us
ing Document Management and Web Technologies)」と
いう論文がある。
【0011】この論文では、著者は、オーサリング、管
理、およびデリバリの必要性を満足するための文書管理
およびウェブ技術を用いた大規模ハイパーメディアオー
サリングおよびパブリッシングシステムの設計法につい
てのケーススタディを示している。彼らは、技術者では
ない一般の作成者のためのオーサリング環境の分配、テ
ンプレート、矛盾ないユーザインタフェース、リンクの
管理、ワークの流れ、編集上および法律上の考察、異な
る複数のターゲットとなる聴衆のための異なるビューの
合成、および特性に基づく情報訂正などの要求を満足す
るための体系的な設計および実装方法を述べている。か
れらは、現在の技術に伴う制限による設計上のトレード
オフについても報告している。そして、大規模なウェブ
開発は、慎重な計画および体系的な設計方法論を通じて
実行されるべきであることを結論している。
【0012】
【発明が解決しようとする課題】以上のように、種々の
関連する技術が知られているが、従来、文字列に含まれ
るメッセージに概念的に関連づけられる動画を自動的に
作成し、表示することが困難であった。
【0013】したがって、本発明の目的は、文字に含ま
れる一般的な概念(コンセプト)を抜き出して決定し、
この一般的な概念を共に伝えることができる複数の動画
構成要素を選択し、選択された動画構成要素を用いて一
連のアニメーション(動画)を編集し、表示装置に表示
することができる、新規な文字−動画変換技術を提供す
ることである。
【0014】
【課題を解決する手段】(1)本発明の動画作成方法
は、所定の言語の文字列からデジタル画像作成装置を用
いて動画を作成する方法であって、(a)所定の言語の
文字列を解析して当該文字列に含まれている概念を決定
するステップと、(b)前記ステップ(a)において取
得された前記概念に対応する複数の動画構成要素を動画
構成要素の集合のなかから選択するステップと、(c)
選択された複数の動画構成要素によって動画を構成して
前記文字列に概念的に関連づけられた最終的な動画を作
成するステップと、を有し、前記文字列に概念的に関連
づけられた動画を表示部に表示することを特徴とする。 (2)上記のデジタル画像作成装置は、コンピュータで
ある。 (3)所定の文字列を解析し、前記文字列に含まれる概
念を決定するステップ(a)は、(d)前記文字列をフ
ィルタ処理して、当該文字列に含まれるメッセージの中
核とならない文字部分を除去する除去ステップと、
(e)フィルタ処理されたメッセージを、フレーズパタ
ーンライブラリと対比することによって、フィルタ処理
された文字列を1または複数の概念に整合させる整合ス
テップと、(f)概念置換ライブラリを用いて、各概念
の選択の仕方を調査することによって、不適当な複数の
概念を別の概念に置換する置換ステップと、(g)複数
の概念が前記文字列に含まれている場合に、事前に設定
された優先順位システムに基づいて各概念に重み付けを
行うことにより、最も重要な概念に最高の優先度が与え
られることを保証するように複数の概念に優先順位を付
ける優先順位付けステップと、(h)上記(d)〜
(g)のステップを用いても整合が見つからない場合
に、フレーズを、普遍的に理解される感情と対応づけら
れた複数の文字記号の結合のライブラリと対比すること
によって、フレーズを概念に整合させるステップと、を
有する。 (4)上記の整合ステップ(e)における前記フレーズ
パターンライブラリは、前記所定の言語の前記文字列に
おける複数のフレーズとそれぞれのフレーズに対応する
概念とを示すリストからなる。 (5)上記の概念置換ライブラリは、前記所定の言語に
おける特定の複数の単語または句に対応する文字列につ
いて、所定の言語において置換されるべき概念を示すリ
ストであることを特徴とする請求項4に記載の動画作成
方法。 (6)上記の概念置換ライブラリは、さらに複数の感情
と当該感情に対応する概念とを示すリストを含む。 (8)上記ステップ(a)において取得された前記概念
に対応する複数の動画構成要素を選択する上記のステッ
プ(b)は、前記文字列に概念的に関連づけられた動画
構成要素を、複数のストーリー構成要素、複数のプロッ
プ構成要素、複数の背景構成要素、複数の音楽構成要
素、および複数のスピーチ構成要素が格納されたライブ
ラリから、選択するステップからなる。 (8)上記のストーリー構成要素は、他の動画構成要素
が挿入可能な箇所であるスロットを含むことを特徴とす
る請求項7に記載の動画作成方法。 (9)上記のプロップ構成要素は、前記文字列に概念的
に関連づけられ前記ストーリーに挿入される視覚的な構
成要素を有する。 (10)上記の背景構成要素は、前記文字列に概念的に
関連づけられ動画を特定の状況におくために当該動画の
背後に置かれる背景として用いられる視覚的な構成要素
を有する。 (11)上記の音楽構成要素は、前記文字列に概念的に
関連づけられ動画を特定の状況におくために前記動画と
同時に提供される、予め録音されている音声的な構成要
素を有する。 (12)上記のスピーチ構成要素は、前記文字列に概念
的に関連づけられるとともに、前記動画と同時に提供さ
れる、予め録音されている言葉を含む。 (13)複数の動画構成構成要素によって動画を構成
し、前記文字列に概念的に関連づけられた最終的な動画
を作成する上記のステップは、動画作成部を用いて、選
択された複数の動画構成要素から最終的な動画を編集す
るステップからなる。 (14)本発明の動画作成システムは、所定の言語の文
字列からデジタル画像作成装置を用いて動画を作成する
システムであって、(a)所定の言語の文字列を解析し
て当該文字列に含まれている概念を決定する手段と、
(b)前記手段(a)において取得された前記概念に対
応する複数の動画構成要素を動画構成要素の集合のなか
から選択する手段と、(c)選択された複数の動画構成
要素によって動画を構成して前記文字列に概念的に関連
づけられた最終的な動画を作成する手段と、を有し、前
記文字列に概念的に関連づけられた動画を表示部に表示
することを特徴とする。 (15)所定の文字列を解析し、前記文字列に含まれる
概念を決定する上記の手段(a)は、(d)前記文字列
をフィルタ処理して、当該文字列に含まれるメッセージ
の中核とならないテキスト部分を除去する除去手段と、
(e)フィルタ処理されたメッセージを、フレーズパタ
ーンライブラリと対比することによって、フィルタ処理
された文字列を1または複数の概念に整合させる整合手
段と、(f)概念置換ライブラリを用いて、各概念の選
択の仕方を調べることにより、不適当な複数の概念を別
の概念に置換する置換手段と、(g)複数の概念が前記
文字列に含まれている場合に、事前に設定された優先順
位システムに基づいて各概念に重み付けを行うことによ
り、最も重要な概念に最高の優先度が与えられることを
保証するように複数の概念に優先順位を付ける優先順位
付け手段と、(h)上記(d)〜(g)の手段を用いて
も整合が見つからない場合に、フレーズを、普遍的に理
解される感情と対応づけられた文字記号の結合のライブ
ラリと対比することによって、フレーズを概念に整合さ
せる手段と、を有する。 (16)上記の整合手段(e)における前記フレーズパ
ターンライブラリは、前記所定の言語の前記文字列にお
ける複数のフレーズとそれぞれのフレーズに対応する概
念とを示すリストからなる。 (17)上記の概念置換ライブラリは、前記祖Y低の言
語における特定の複数の単語または句に対応する文字列
について、所定の言語において置換されるべき概念を示
すリストである。 (18)上記の概念置換ライブラリは、さらに複数の感
情と当該感情に対応する概念とを示すリストを含む。 (19)上位機手段(a)において取得された前記概念
に対応する複数の動画構成物要素を選択する上記の手段
(b)は、前記文字列に概念的に関連づけられた動画構
成要素を、複数のストーリー構成要素、複数のプロップ
構成要素、複数の背景構成要素、複数の音楽構成要素、
および複数のスピーチ構成要素が格納されたライブラリ
から、選択する手段からなる。 (20)上記のストーリー構成要素は、他の動画構成要
素が挿入可能な箇所であるスロットを含む。 (21)上記のプロップ構成要素は、前記文字列に概念
的に関連づけられ前記ストーリーに挿入される視覚的な
構成要素を有する。 (22)上記の背景構成要素は、前記文字列に概念的に
関連づけられ動画を特定の状況におくために当該動画の
背後に置かれる背景として用いられる視覚的な構成要素
を有する。 (23)上記の音楽構成要素は、前記文字列に概念的に
関連づけられ動画を特定の状況におくために前記動画と
同時に提供される、予め録音されている音声的な構成要
素を有する。 (24)上記のスピーチ構成要素は、前記文字列に概念
的に関連づけられるとともに、前記動画と同時に提供さ
れる、予め録音されている言葉を含む。 (25)複数の動画構成構成要素によって動画を構成
し、前記文字列に概念的に関連づけられた最終的な動画
を作成する上記の手段は、動画作成部を用いて、選択さ
れた複数の動画構成要素から最終的な動画を編集する手
段からなることを特徴とする。 (26)本発明のシステムは、さらに前記システムを実
行するようにプログラムされたコンピュータを有する。
【0015】
【発明の実施の形態】まず、本発明の概略を説明する。
本発明は、コンピュータが作る動画(アニメーション)
へ文字を変換する処理を示す。文字列であらわされたメ
ッセージは、関連する動画を作成するために使用される
「入力パラメータ」である。動画コンポジタを用いて、
ストーリー、プロップ、背景、音楽、動画構成要素、お
よびストーリー構成がそれぞれ複数用意されたライブラ
リから動画を構成する処理は、出願日が2000年5月
12日であり、「対話型の動画情報および広告を作成す
るためのシステムおよび方法」というタイトルの出願番
号がPCT/US00/13055である本出願人によ
る特許出願において記載されている。本発明では、動画
構成要素を選択するために文字列を複数の特徴に変換す
る方法をさらに加えているため、文字列を動画にする処
理が完全なものとなる。
【0016】本発明における文字からの動画の作成は、
3つのステージに分けられる。第1ステージは、文字列
の一般的な意味を決定するために文字列を解析する概念
解析である。第2ステージは、その確立された複数の概
念を通じて、種々の動画構成要素が格納されているデー
タベースから適切な構成要素を選択する動画構成要素選
択である。第3ステージは、選択された複数の動画構成
要素から最終的な動画を編集する動画作成(上記の動画
コンポジタ)であり、「メディアエンジン(Media Engi
ne)」としても知られている。これらの各ステージは、
いくつかのサブステップから構成されている。
【0017】本発明の詳しい説明を以下に詳述し、添付
図面を用いて十分に説明する。本記載においては、類似
の部材を示すためには類似の参照番号を用いる。
【0018】図1に示すように、文字−動画変換の過程
は、上述のように、3つのステージにより行われる。第
1ステージは、図2に示される概念解析部であり、第2
ステージは、図4に示される動画構成要素選択部であ
り、第3ステージは、図5に示される動画作成部であ
る。
【0019】文字をコンピュータにより作り出される動
画にする方法は、以下の記載によって開示される。複数
のストーリー、複数のプロット、複数の背景、複数の音
楽、そして複数のスピーチを内容に含むライブラリから
動画を生成する過程は、本出願人による既出願に記載さ
れているので、詳しい説明を省略する。本開示は、文字
列(プレーンテキスト)より動画構成要素を選択するた
めの基準を提供することに焦点をあてている。
【0020】通常では、文字列の目的は、メッセージを
伝えることにある。よって、文字列全体の意味は、単に
単語を抽出する処理によるのではなく、議論されている
概念を決定するための文字列解析により、決定されなけ
ればならない。文字列から伝えられる概念に関連づけら
れる視覚的イメージは、文字列に含まれるメッセージを
動画化した視覚的表現として提供される。
【0021】メッセージを視覚的に表現することは、人
間が行う場合であれば、人がメッセージを読み、意味を
決定し、概念的にメッセージに関連づけられる動画を作
成することによって行われる。コンピュータも同じ過程
で処理することができるが、この場合には、単に人間が
処理する場合と異なり、次の明確な指示が与えられなけ
ればならない。この指示には、1)メッセージに含まれ
ている概念の決定の仕方、2)その概念に適した動画要
素の選択の仕方、および、3)その動画要素から文字列
に含まれているメッセージに概念的に関係する最終的な
動画への編集の仕方が含まれていなければならない。
【0022】本発明の新規な特徴は、文字列に含まれて
いるメッセージを概念的に表示される動画に概念的に関
連づけることである。ここで「概念(コンセプト)」と
は、一般的な思想や意味内容である。したがって、概念
的な関連づけも、また、自然で一般的なものでなければ
ならない。開示される発明は、文字列における一般的な
思想や意味内容を決定し、この一般的な思想や意味内容
を、同様な一般的な概念を伝える動画構成要素に関連づ
けて、一連の動画(アニメーション)に編集し、そし
て、表示部に動画を表示する能力を有する。 (第1ステージ:概念解析部)文字列12に含まれてい
る概念16は、その文字列に込められているメッセージ
の一般的な意味内容である。「Let´s go to
the beachon your birthda
y」(あなたの誕生日に浜辺へ行きましょう)という英
語の文字列は、2つの概念を含んでいる。1つ目は、浜
辺概念であり、2つ目は、誕生日概念である。
【0023】概念理解部は、プレーンテキストを取り込
み、1または複数の適切な概念からなる組を生成する。
それは、以下のステップで行われる。 <ステップ1:テキストフィルタリング>図2に示され
るように、テキストフィルタリング26は、メッセージ
の中核とならない文字部分を取り除く。メッセージの中
核とならない文字部分は、概念理解部を混乱させ、適切
でない概念を選択させるからである。たとえば、「M
r.Knight,please join for
us dinner」(ナイトさん、私たちの夕食に参
加してください)という英語のメッセージが与えられた
場合、テキストフィルタは「Knight(ナイト、騎
士)」を無視して、「Dinner(夕食)」概念を返
すべきであり、「騎士」という中世の概念を返すべきで
はない。テキストフィルタライブラリは、このフィルタ
処理で用いられる。この場合、テキストフィルタライブ
ラリには、たとえば、姓や姓名の前(英語の場合)また
は後(日本語の場合)につける敬称および敬称と他の単
語との配置順序関係に関するデータが格納されており、
フィルタ処理においては、敬称自体を無視するととも
に、敬称の直後(英語の場合)または直前(日本語の場
合)に付加される単語、すなわち姓名を、中核とならな
い文字部分であるとして無視する。なお、本発明のテキ
ストフィルタリングライブラリは、敬称に関係するもの
に限られず、たとえば、メッセージの中核とならない特
定の単語や、特定の単語との配置関係に基づいて単語を
除去する場合の法則などに関するデータを記憶しておけ
ばよい。本発明のフィルタリングは、メッセージの中核
とならない文字部分を除去するものであれば、本実施の
形態に限定されない。
【0024】なお、テキストフィルタリングライブラリ
は、文字列を作成する人の言語で組織される。したがっ
て、言語に応じて異なる複数の異なるフィルタの集合を
用意しておき、文字列の言語を認識して認識結果に応じ
て使いわけることができるという柔軟性を許容する。敬
称を例にとって説明すれば、たとえば、英語(Mr.,
Mrs.)、ドイツ語(Herr,Frau)、日本語
(さん、様)という異なるフィルタを持つことができ
る。 <ステップ2:パターン整合>パターン整合28は、潜
在的な概念整合を見つけるために、フィルタ処理された
文字列をフレーズパターンライブラリ48と比較する。
例えば、図3に示されるように、パターン整合は、行わ
れる。
【0025】パターン整合される文字列が「Let´s
go to get a hamburger af
ter class and catch a fli
ck」(授業の後でハンバーガを食べにいき、映画を見
ましょう)という英文である場合、文字列における2つ
の主要な概念として、ハンバーガと映画が考えられる。
本発明は、文字列をフレーズパターンライブラリ48に
含まれている複数のフレーズパターン(句型)とを比較
することにより、いずれの複数のフレーズパターン50
が含まれているかを決定する。さらに文字列に含まれて
いる複数のフレーズパターン50からなる各群は、フレ
ーズパターンライブラリ52において一つの概念と関連
づけられる。このように、本実施の形態では、文字列と
句型との比較を行い、この比較の結果として得られる複
数の句型に基づいて概念(コンセプト)との整合が図ら
れる。以上のように、解析されるべき文字列を既知のフ
レーズパターンと整合させることにより、概念54は決
定される。このように、文字列をフレーズパターンライ
ブラリと比較することによりハンバーガと映画という整
合される概念が検索される。
【0026】フレーズパターンライブラリの構造を簡単
にするために、ほとんどのフレーズパターンは、一つの
形式で表現される。独自のフレーズが複数の形式を含ん
でいる場合は、そのうちの一つが比較の対象となる。
【0027】フレーズパターンライブラリは、言語と一
連のテキストを作成する人の居住地によって、組織され
る。これは、イギリス英語、アメリカ英語、カナダ英語
のために異なった複数のフレーズの集合を持つことがで
きるという柔軟性を持つことを許容する。このパターン
整合28は、本発明の鍵となる特徴である。文字列と概
念の結合は、このパターン整合を通じて行われるからで
ある。 <ステップ3:概念置換>概念置換30は、それぞれの
概念がどのようにして選択されたか、すなわちそれぞれ
の概念の選択の仕方を調査し、複数の不適切な概念を適
切な1つの概念に置換することによって、不適切な概念
を取り除く。たとえば,選択された複数の概念を選択し
た理由となる複数の単語または句と、それら単語の相対
的な位置関係が調査される。たとえば、「Let´s
have a hot dog.」(ホットドックを食
べに行きましょう)という英語の文字列があれば、「食
べ物」概念が選択されるべきであって、「犬(do
g)」概念は、選択されるべきではない。概念置換ライ
ブラリは、本ステップで用いられる。概念置換ライブラ
リは、特定の複数の単語または句に対応する文字列につ
いて、置換されるべき概念を示すリストであり、たとえ
ば、所定の位置関係および順序関係にある複数の単語ま
たは句が組み合わされて本来の概念とは異なる別の概念
に置換されるべき場合に関するデータが予め登録されて
いる。したがって、この置換ライブラリを用いることに
よって、不適当な複数の概念を別の概念に置換すること
ができる。
【0028】概念置換ライブラリは、一連のテキストを
作成する人の言語で組織される。これは、それぞれの言
語のために異なった置換の組を持てるという柔軟性を持
つことを許容する。たとえば、日本語で「水母」(クラ
ゲ)という文字には、「水」と「母」が含まれている。
しかしながら、もし、文字列の原本に、「水母」という
文字があれば、水母(クラゲ)概念が選択されるべきで
あり、母概念は選択されるべきでない。このステップで
は、水概念と母概念がどのように選択されたかを調査す
る。そして、概念置換ライブラリを参照することによっ
て、これらの選択された水概念や母概念が不適当である
ことを判断し、不適当な水概念や母概念を水母(クラ
ゲ)概念に置換する。 <ステップ4:概念の優先付け>概念の優先付け32
は、いずれの概念を最も優先するかを決めるために予め
設定されている優先順位に基づき、概念の重み付けを行
う。「Let´ go to Hawaii this
summer」(この夏、ハワイに行きましょう)と
いう英語の文字列においては、「summer(夏)」
概念よりも、「Hawaii(ハワイ)」概念の方がよ
り重要であると判断される。これは、「summer
(夏)」概念よりも「Hawaii(ハワイ)」概念の
方が高い優先順位が予め設定されていることに基づく。
すなわち、フレーズパターンライブラリや概念置換ライ
ブラリに登録されているすべての概念について、予めそ
の優先順位データが定められており、この優先順位デー
タが格納されている。 <ステップ5:ユニバーサルフレーズ整合>ユニバーサ
ルフレーズ整合34は、好適には、上記ステップ1〜4
を施しても、整合するフレーズが見つからなかったとき
に実行される。文字列、フレーズは、普遍的に理解され
る感情と対応づけられた複数の文字記号の結合のライブ
ラリと比較される。より具体的には、このライブラリに
は、文字記号を組み合わせて人の表情をあらわした文字
列(いわゆる顔文字)と、その文字列が表す感情とが関
連づけて記憶されており、このライブラリを参照するこ
とによって、所定の文字列を特定の感情という概念に整
合することができる場合がある。たとえば、”:)”ま
たは”(^−^)”という文字列は、笑顔を表す顔文字
であり、嬉しいという感情概念と整合される。さら
に、”:(”という文字列は、悲しいという感情概念と
整合される。 (第2ステージ:動画構成要素選択部)図4に示される
ように、動画構成要素選択部18は、概念解析部が適切
な概念を認識した後に、関連する概念を通じて、適切な
複数の構成要素、すなわち複数のデータやプログラムを
選択する。一つの動画構成要素毎に一つまたはそれ以上
の概念が関連づけられている。動画構成要素のいくつか
の例は、以下の通りである。
【0029】ストーリー構成要素20A−ストーリー
は、動画(音声を含むアニメーション)の全体構成を提
供するものであり、ストーリー選択部18によって選択
される。より具体的には、ストーリー構成要素は、動画
の全体構成を提供するためのデータおよびプログラムで
ある。ストーリー構成要素は、動画あるいはメディア構
成要素が挿入される箇所であるスロットを有している。
【0030】音楽構成要素20B−音楽は、動画の全体
にわたって見受けられることもあり、完全にメッセージ
の媒体となっている。音楽構成要素は、雰囲気を創出し
たり、意味を伝達したりするといった形で、特別な状況
を作り出すことができる。音楽構成要素は、音楽選択部
18Bで選択される。より具体的には、音楽構成要素
は、文字列に概念的に関連づけられ動画を特定の状況に
おくために前記動画と同時に提供される、予め録音され
ている音声データである。
【0031】背景構成要素20C−背景は、動画を特別
な状況におくために、動画の背後に置かれる背景部分と
して用いられる画像データである。背景は、背景選択部
18Cによって、選択される。
【0032】プロップ構成要素20D−プロップは、ス
トーリーに挿入される特別な視覚的構成要素としての画
像データである。プロップ選択部18Dにより選択され
る。たとえば、プロップは、動画に登場する人や物に対
応する画像データである。
【0033】スピーチ構成要素20E−スピーチは、ス
トーリーに挿入されている俳優によってあらかじめ録音
されている言葉を含み、動画と同時に提供される音声デ
ータである。たとえば、スピーチ構成要素20Eは、動
画をよりおもしろくするための何か愉快な言葉を含む。
【0034】選択されるストーリー36は、特定概念
用、あるいは汎用なデータおよびプログラムであっても
よい。特定概念用のストーリーは、1または複数の特定
の概念用に設計されている。たとえば、バーベキュー
(BBQ)アウトドアの動画データは、バーベキュー
(BBQ)概念用、および父の日概念用に特定されるよ
うに設計されている。
【0035】汎用的なストーリーは、プロップが挿入可
能な箇所であるオープンプロップ用スロット、あるい
は、背景が挿入可能な箇所であるオーブン背景用スロッ
トを有している。以下に、汎用的なストーリーの例を示
す。たとえば、「Let´smeet in Pari
s」(パリで会いましょう)という英語のメッセージで
あれば、エッフェル塔の背景構成要素を一般的な動画に
挿入したものが用いられる。「Let´s have
tea in London」(ロンドンでお茶を飲み
ましょう)という英語のメッセージであれば、ビックベ
ンの背景構成要素の挿入と、プロット構成要素として機
能するティーカップの挿入とが生じる。同様に、「Le
t´s celebrate our anniver
saryIn Hawaii」(私たちの記念日をハワ
イでお祝いしましょう)という英語のメッセージであれ
ば、浜辺の動画と、動画化されたハートマークとを表示
し、最後にハワイアンミュージックを出力する。
【0036】音楽構成要素20Bは、ストーリー、すな
わち動画(アニメーション)の全体構成を提供するプロ
グラムおよびデータが選択された後に加えられる。もし
音楽構成要素が選択されれば、音楽選択器18Bは概念
に適した音楽を選択し、動画コンポジタ22に音楽構成
要素20Bを送信する。
【0037】もし、背景構成要素20Cが要求される場
合には、背景選択器18Cは概念16に適した背景を選
択し、動画作成部22に背景構成要素20Bを送信す
る。
【0038】もし、プロップ構成要素20Dが要求され
れば、プロップ選択器18Dは概念16に適したプロッ
プを選択し、動画作成部22にプロップ構成要素20D
を送信する。
【0039】もし、スピーチ構成要素が要求されれば、
スピーチ選択器18Eは概念16に適したスピーチを選
択し、動画作成部22上にスピーチ構成要素20Eを送
信する。(第3ステージ:動画作成部)動画作成部22
は、選択された動画構成要素20A−Dから最終的な動
画24を編集する。動画作成部は、既に出願日が200
0年5月12日であり、「対話型の動画情報および広告
を作成するためのシステムおよび方法」というタイトル
の出願番号がPCT/US00/12055である本出
願人による特許出願で開示されている。上述したよう
に、取得された概念に対応するストーリー構成要素が選
択され、さらに必要に応じて、要求された音楽構成要
素、プロップ構成要素、背景構成要素が選択され、選択
されたこれら複数の構成要素によって最終的な動画(ア
ニメーション)が編集され、最終的な動画を表示部(ビ
ューア)に表示することができる。
【0040】上述のように本発明の最適な実施の形態を
説明したが、本発明は、上記の実施の形態に限られるも
のではなく、本発明の精神と請求の範囲から離脱しない
範囲内においてシステムおよび方法の改良が可能である
ことは、本発明の属する技術分野における通常の知識を
有する者にとって明らかである。
【0041】
【発明の効果】上述したように、文字のみに沿って表現
される動画では、十分な動画表現を行うことができな
い。本発明によれば、動画は、文字列のメッセージに含
まれる一般的な思想や意味内容に自動的に関連づけられ
た動画を作成し、これによって、表示部によって文字を
表示するのみならず、マルチメディアの表示を実行する
ことができ、メッセージを強調することができる。文字
列のメッセージに動画を付け加えることは、加えられた
動画を通じて、言葉に息吹を与えるものである。
【図面の簡単な説明】
【図1】 文字列を動画に変換する処理における第1〜
第3ステージの全体構成を説明するフローチャートであ
る。
【図2】 第1ステージである概念解析を説明するフロ
ーチャートである。
【図3】 図2のフローチャートにおけるパターン整合
の詳細を示すフローチャートである。
【図4】 第2ステージである動画構成要素選択を説明
するフローチャートである。
【図5】 第3ステージである動画作成を説明するフロ
ーチャートである。
【符号の説明】
14…概念解析部 18…動画構成要素選択部 22…動画作成装置。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 アダム ラビン アメリカ合衆国,カリフォルニア州 94550,リバーモア,アリアン ウエイ 5576 (72)発明者 ユジェン デニス チェン アメリカ合衆国,カリフォルニア州 944550,リバーモア,フェリシア アベニ ュー 5588 Fターム(参考) 5B050 AA10 BA08 BA11 BA20 EA24 FA02 FA19 5B075 ND12 NK10 PP28 QM07 QP01 UU40

Claims (26)

    【特許請求の範囲】
  1. 【請求項1】 所定の言語の文字列からデジタル画像作
    成装置を用いて動画を作成する方法であって、 (a)所定の言語の文字列を解析して当該文字列に含ま
    れている概念を決定するステップと、 (b)前記ステップ(a)において取得された前記概念
    に対応する複数の動画構成要素を動画構成要素の集合の
    なかから選択するステップと、 (c)選択された複数の動画構成要素によって動画を構
    成して前記文字列に概念的に関連づけられた最終的な動
    画を作成するステップと、を有し、 前記文字列に概念的に関連づけられた動画を表示部に表
    示することを特徴とする動画作成方法。
  2. 【請求項2】 前記デジタル画像作成装置は、コンピュ
    ータであることを特徴とする請求項1に記載の動画作成
    方法。
  3. 【請求項3】 所定の文字列を解析し、前記文字列に含
    まれる概念を決定するステップ(a)は、 (d)前記文字列をフィルタ処理して、当該文字列に含
    まれるメッセージの中核とならない文字部分を除去する
    除去ステップと、 (e)フィルタ処理されたメッセージを、フレーズパタ
    ーンライブラリと対比することによって、フィルタ処理
    された文字列を1または複数の概念に整合させる整合ス
    テップと、 (f)概念置換ライブラリを用いて、各概念の選択の仕
    方を調査することによって、不適当な複数の概念を別の
    概念に置換する置換ステップと、 (g)複数の概念が前記文字列に含まれている場合に、
    事前に設定された優先順位システムに基づいて各概念に
    重み付けを行うことにより、最も重要な概念に最高の優
    先度が与えられることを保証するように複数の概念に優
    先順位を付ける優先順位付けステップと、 (h)上記(d)〜(g)のステップを用いても整合が
    見つからない場合に、フレーズを、普遍的に理解される
    感情と対応づけられた複数の文字記号の結合のライブラ
    リと対比することによって、フレーズを概念に整合させ
    るステップと、 を有することを特徴とする請求項2に記載の動画作成方
    法。
  4. 【請求項4】 前記整合ステップ(e)における前記フ
    レーズパターンライブラリは、前記所定の言語の前記文
    字列における複数のフレーズとそれぞれのフレーズに対
    応する概念とを示すリストからなることを特徴とする請
    求項3に記載の動画作成方法。
  5. 【請求項5】 前記概念置換ライブラリは、前記所定の
    言語における特定の複数の単語または句に対応する文字
    列について、所定の言語において置換されるべき概念を
    示すリストであることを特徴とする請求項4に記載の動
    画作成方法。
  6. 【請求項6】 前記概念置換ライブラリは、さらに複数
    の感情と当該感情に対応する概念とを示すリストを含む
    ことを特徴とする請求項5に記載の動画作成方法。
  7. 【請求項7】 前記ステップ(a)において取得された
    前記概念に対応する複数の動画構成要素を選択する前記
    ステップ(b)は、前記文字列に概念的に関連づけられ
    た動画構成要素を、複数のストーリー構成要素、複数の
    プロップ構成要素、複数の背景構成要素、複数の音楽構
    成要素、および複数のスピーチ構成要素が格納されたラ
    イブラリから、選択するステップからなることを特徴と
    する請求項6に記載の動画作成方法。
  8. 【請求項8】 前記ストーリー構成要素は、他の動画構
    成要素が挿入可能な箇所であるスロットを含むことを特
    徴とする請求項7に記載の動画作成方法。
  9. 【請求項9】 前記プロップ構成要素は、前記文字列に
    概念的に関連づけられ前記ストーリーに挿入される視覚
    的な構成要素を有することを特徴とする請求項8に記載
    の動画作成方法。
  10. 【請求項10】 前記背景構成要素は、前記文字列に概
    念的に関連づけられ動画を特定の状況におくために当該
    動画の背後に置かれる背景として用いられる視覚的な構
    成要素を有することを特徴とする動画作成方法。
  11. 【請求項11】 前記音楽構成要素は、前記文字列に概
    念的に関連づけられ動画を特定の状況におくために前記
    動画と同時に提供される、予め録音されている音声的な
    構成要素を有することを特徴とする動画作成方法。
  12. 【請求項12】 前記スピーチ構成要素は、前記文字列
    に概念的に関連づけられるとともに、前記動画と同時に
    提供される、予め録音されている言葉を含むことを特徴
    とする動画作成方法。
  13. 【請求項13】 複数の動画構成構成要素によって動画
    を構成し、前記文字列に概念的に関連づけられた最終的
    な動画を作成するステップは、動画作成部を用いて、選
    択された複数の動画構成要素から最終的な動画を編集す
    るステップからなることを特徴とする請求項12に記載
    の動画作成方法。
  14. 【請求項14】 所定の言語の文字列からデジタル画像
    作成装置を用いて動画を作成するシステムであって、 (a)所定の言語の文字列を解析して当該文字列に含ま
    れている概念を決定する手段と、 (b)前記手段(a)において取得された前記概念に対
    応する複数の動画構成要素を動画構成要素の集合のなか
    から選択する手段と、 (c)選択された複数の動画構成要素によって動画を構
    成して前記文字列に概念的に関連づけられた最終的な動
    画を作成する手段と、を有し、 前記文字列に概念的に関連づけられた動画を表示部に表
    示することを特徴とする動画作成システム。
  15. 【請求項15】 所定の文字列を解析し、前記文字列に
    含まれる概念を決定する手段(a)は、 (d)前記文字列をフィルタ処理して、当該文字列に含
    まれるメッセージの中核とならないテキスト部分を除去
    する除去手段と、 (e)フィルタ処理されたメッセージを、フレーズパタ
    ーンライブラリと対比することによって、フィルタ処理
    された文字列を1または複数の概念に整合させる整合手
    段と、 (f)概念置換ライブラリを用いて、各概念の選択の仕
    方を調べることにより、不適当な複数の概念を別の概念
    に置換する置換手段と、 (g)複数の概念が前記文字列に含まれている場合に、
    事前に設定された優先順位システムに基づいて各概念に
    重み付けを行うことにより、最も重要な概念に最高の優
    先度が与えられることを保証するように複数の概念に優
    先順位を付ける優先順位付け手段と、 (h)上記(d)〜(g)の手段を用いても整合が見つ
    からない場合に、フレーズを、普遍的に理解される感情
    と対応づけられた文字記号の結合のライブラリと対比す
    ることによって、フレーズを概念に整合させる手段と、 を有することを特徴とする請求項14に記載の動画作成
    システム。
  16. 【請求項16】 前記整合手段(e)における前記フレ
    ーズパターンライブラリは、前記所定の言語の前記文字
    列における複数のフレーズとそれぞれのフレーズに対応
    する概念とを示すリストからなることを特徴とする請求
    項15に記載の動画作成システム。
  17. 【請求項17】 前記概念置換ライブラリは、前記祖Y
    低の言語における特定の複数の単語または句に対応する
    文字列について、所定の言語において置換されるべき概
    念を示すリストであることを特徴とする請求項16に記
    載の動画作成システム。
  18. 【請求項18】 前記概念置換ライブラリは、さらに複
    数の感情と当該感情に対応する概念とを示すリストを含
    むことを特徴とする請求項17に記載の動画作成システ
    ム。
  19. 【請求項19】 前記手段(a)において取得された前
    記概念に対応する複数の動画構成物要素を選択する前記
    手段(b)は、前記文字列に概念的に関連づけられた動
    画構成要素を、複数のストーリー構成要素、複数のプロ
    ップ構成要素、複数の背景構成要素、複数の音楽構成要
    素、および複数のスピーチ構成要素が格納されたライブ
    ラリから、選択する手段からなることを特徴とする請求
    項18に記載の動画作成システム。
  20. 【請求項20】 前記ストーリー構成要素は、他の動画
    構成要素が挿入可能な箇所であるスロットを含むことを
    特徴とする請求項19に記載の動画作成システム。
  21. 【請求項21】 前記プロップ構成要素は、前記文字列
    に概念的に関連づけられ前記ストーリーに挿入される視
    覚的な構成要素を有することを特徴とする請求項20に
    記載の動画作成システム。
  22. 【請求項22】 前記背景構成要素は、前記文字列に概
    念的に関連づけられ動画を特定の状況におくために当該
    動画の背後に置かれる背景として用いられる視覚的な構
    成要素を有することを特徴とする請求項21に記載の動
    画作成システム。
  23. 【請求項23】 前記音楽構成要素は、前記文字列に概
    念的に関連づけられ動画を特定の状況におくために前記
    動画と同時に提供される、予め録音されている音声的な
    構成要素を有することを特徴とする請求項22に記載の
    動画作成システム。
  24. 【請求項24】 前記スピーチ構成要素は、前記文字列
    に概念的に関連づけられるとともに、前記動画と同時に
    提供される、予め録音されている言葉を含むことを特徴
    とする請求項23に記載の動画作成システム。
  25. 【請求項25】 複数の動画構成構成要素によって動画
    を構成し、前記文字列に概念的に関連づけられた最終的
    な動画を作成する手段は、動画作成部を用いて、選択さ
    れた複数の動画構成要素から最終的な動画を編集する手
    段からなることを特徴とする請求項24に記載の動画作
    成システム。
  26. 【請求項26】 前記システムは、さらに前記システム
    を実行するようにプログラムされたコンピュータを有す
    ることを特徴とする請求項25に記載の動画作成システ
    ム。
JP2001207007A 2001-05-30 2001-07-06 動画作成方法およびシステム Withdrawn JP2002366964A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/870317 2001-05-30
US09/870,317 US20010049596A1 (en) 2000-05-30 2001-05-30 Text to animation process

Publications (1)

Publication Number Publication Date
JP2002366964A true JP2002366964A (ja) 2002-12-20

Family

ID=25355134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001207007A Withdrawn JP2002366964A (ja) 2001-05-30 2001-07-06 動画作成方法およびシステム

Country Status (4)

Country Link
US (1) US20010049596A1 (ja)
JP (1) JP2002366964A (ja)
KR (1) KR20020091744A (ja)
WO (1) WO2002099627A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004093044A1 (ja) * 2003-04-14 2004-10-28 Sharp Kabushiki Kaisha テキストデータを適切に表示することのできるテキストデータ表示装置
US7382372B2 (en) 2003-07-23 2008-06-03 Matsushita Electric Industrial Co., Ltd. Apparatus and method for creating moving picture
US10158625B2 (en) 2013-09-27 2018-12-18 Nokia Technologies Oy Methods and apparatus of key pairing for D2D devices under different D2D areas
JP2019133603A (ja) * 2018-02-02 2019-08-08 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7712024B2 (en) 2000-06-06 2010-05-04 Microsoft Corporation Application program interfaces for semantically labeling strings and providing actions based on semantically labeled strings
US7788602B2 (en) 2000-06-06 2010-08-31 Microsoft Corporation Method and system for providing restricted actions for recognized semantic categories
US7770102B1 (en) 2000-06-06 2010-08-03 Microsoft Corporation Method and system for semantically labeling strings and providing actions based on semantically labeled strings
US7716163B2 (en) 2000-06-06 2010-05-11 Microsoft Corporation Method and system for defining semantic categories and actions
US6990452B1 (en) 2000-11-03 2006-01-24 At&T Corp. Method for sending multi-media messages using emoticons
US6963839B1 (en) * 2000-11-03 2005-11-08 At&T Corp. System and method of controlling sound in a multi-media communication application
US7203648B1 (en) 2000-11-03 2007-04-10 At&T Corp. Method for sending multi-media messages with customized audio
US7035803B1 (en) 2000-11-03 2006-04-25 At&T Corp. Method for sending multi-media messages using customizable background images
US7091976B1 (en) 2000-11-03 2006-08-15 At&T Corp. System and method of customizing animated entities for use in a multi-media communication application
US6976082B1 (en) 2000-11-03 2005-12-13 At&T Corp. System and method for receiving multi-media messages
US20080040227A1 (en) * 2000-11-03 2008-02-14 At&T Corp. System and method of marketing using a multi-media communication system
KR100377936B1 (ko) 2000-12-16 2003-03-29 삼성전자주식회사 이동통신 단말기의 감정 아이콘 입력방법
JP2002207671A (ja) * 2001-01-05 2002-07-26 Nec Saitama Ltd 携帯電話機及び電子メール文章送信/再生方法
JP2002268665A (ja) * 2001-03-13 2002-09-20 Oki Electric Ind Co Ltd テキスト音声合成装置
US7778816B2 (en) 2001-04-24 2010-08-17 Microsoft Corporation Method and system for applying input mode bias
US7725604B1 (en) * 2001-04-26 2010-05-25 Palmsource Inc. Image run encoding
GB0113537D0 (en) * 2001-06-05 2001-07-25 Superscape Plc Improvements in message display
US20030128214A1 (en) * 2001-09-14 2003-07-10 Honeywell International Inc. Framework for domain-independent archetype modeling
US7671861B1 (en) 2001-11-02 2010-03-02 At&T Intellectual Property Ii, L.P. Apparatus and method of customizing animated entities for use in a multi-media communication application
US7707496B1 (en) 2002-05-09 2010-04-27 Microsoft Corporation Method, system, and apparatus for converting dates between calendars and languages based upon semantically labeled strings
US7707024B2 (en) 2002-05-23 2010-04-27 Microsoft Corporation Method, system, and apparatus for converting currency values based upon semantically labeled strings
US7742048B1 (en) 2002-05-23 2010-06-22 Microsoft Corporation Method, system, and apparatus for converting numbers based upon semantically labeled strings
US7827546B1 (en) 2002-06-05 2010-11-02 Microsoft Corporation Mechanism for downloading software components from a remote source for use by a local software application
US7356537B2 (en) 2002-06-06 2008-04-08 Microsoft Corporation Providing contextually sensitive tools and help content in computer-generated documents
US7716676B2 (en) 2002-06-25 2010-05-11 Microsoft Corporation System and method for issuing a message to a program
US7209915B1 (en) 2002-06-28 2007-04-24 Microsoft Corporation Method, system and apparatus for routing a query to one or more providers
US7275215B2 (en) * 2002-07-29 2007-09-25 Cerulean Studios, Llc System and method for managing contacts in an instant messaging environment
US20040024822A1 (en) * 2002-08-01 2004-02-05 Werndorfer Scott M. Apparatus and method for generating audio and graphical animations in an instant messaging environment
GB2391648A (en) * 2002-08-07 2004-02-11 Sharp Kk Method of and Apparatus for Retrieving an Illustration of Text
JP2004198872A (ja) * 2002-12-20 2004-07-15 Sony Electronics Inc 端末装置およびサーバ
US7874983B2 (en) * 2003-01-27 2011-01-25 Motorola Mobility, Inc. Determination of emotional and physiological states of a recipient of a communication
US7783614B2 (en) 2003-02-13 2010-08-24 Microsoft Corporation Linking elements of a document to corresponding fields, queries and/or procedures in a database
US7711550B1 (en) 2003-04-29 2010-05-04 Microsoft Corporation Methods and system for recognizing names in a computer-generated document and for providing helpful actions associated with recognized names
US7739588B2 (en) 2003-06-27 2010-06-15 Microsoft Corporation Leveraging markup language data for semantically labeling text strings and data and for providing actions based on semantically labeled text strings and data
US20050090239A1 (en) * 2003-10-22 2005-04-28 Chang-Hung Lee Text message based mobile phone configuration system
US20070097126A1 (en) * 2004-01-16 2007-05-03 Viatcheslav Olchevski Method of transmutation of alpha-numeric characters shapes and data handling system
US20050168485A1 (en) * 2004-01-29 2005-08-04 Nattress Thomas G. System for combining a sequence of images with computer-generated 3D graphics
US20060085515A1 (en) * 2004-10-14 2006-04-20 Kevin Kurtz Advanced text analysis and supplemental content processing in an instant messaging environment
US20060109273A1 (en) * 2004-11-19 2006-05-25 Rams Joaquin S Real-time multi-media information and communications system
EP1667031A3 (en) * 2004-12-02 2009-01-14 NEC Corporation HTML-e-mail creation system
US7613613B2 (en) * 2004-12-10 2009-11-03 Microsoft Corporation Method and system for converting text to lip-synchronized speech in real time
US7512537B2 (en) * 2005-03-22 2009-03-31 Microsoft Corporation NLP tool to dynamically create movies/animated scenes
KR20060116880A (ko) * 2005-05-11 2006-11-15 엔에이치엔(주) 메신저에서 텍스트 애니메이션 디스플레이 방법 및 이를위한 기록 매체
US7788590B2 (en) 2005-09-26 2010-08-31 Microsoft Corporation Lightweight reference user interface
US7992085B2 (en) 2005-09-26 2011-08-02 Microsoft Corporation Lightweight reference user interface
US20080215310A1 (en) * 2005-10-28 2008-09-04 Pascal Audant Method and system for mapping a natural language text into animation
EP1943585A4 (en) * 2005-10-31 2010-01-06 Fontip Ltd SENDING AND RECEIVING ALPHABETICAL MESSAGES USING VARIOUS CHARACTER POLICES
KR100767575B1 (ko) * 2005-12-23 2007-10-17 원종민 단어의 구성 철자에 부여된 이미지 캐릭터의 연상에 따라학습하는 외국어 학습 시스템, 외국어 학습 방법 및 그기록 매체
US20070171226A1 (en) * 2006-01-26 2007-07-26 Gralley Jean M Electronic presentation system
US7983910B2 (en) * 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
US20070266090A1 (en) * 2006-04-11 2007-11-15 Comverse, Ltd. Emoticons in short messages
US8166418B2 (en) * 2006-05-26 2012-04-24 Zi Corporation Of Canada, Inc. Device and method of conveying meaning
US7756536B2 (en) * 2007-01-31 2010-07-13 Sony Ericsson Mobile Communications Ab Device and method for providing and displaying animated SMS messages
JP2010529542A (ja) * 2007-06-06 2010-08-26 エクストラノーマル テクノロジー インコーポレーテッド テキスト・トゥ・アニメーションシステムに対する時系列テンプレート
KR101391599B1 (ko) * 2007-09-05 2014-05-09 삼성전자주식회사 컨텐트에서의 등장 인물간의 관계에 대한 정보 생성 방법및 그 장치
US8335988B2 (en) * 2007-10-02 2012-12-18 Honeywell International Inc. Method of producing graphically enhanced data communications
GB0800578D0 (en) * 2008-01-14 2008-02-20 Real World Holdings Ltd Enhanced message display system
CA2715805A1 (en) * 2008-03-07 2009-09-11 Unima Logiciel Inc. Method and apparatus for associating a plurality of processing functions with a text
US9953450B2 (en) * 2008-06-11 2018-04-24 Nawmal, Ltd Generation of animation using icons in text
US8542237B2 (en) * 2008-06-23 2013-09-24 Microsoft Corporation Parametric font animation
WO2010081225A1 (en) * 2009-01-13 2010-07-22 Xtranormal Technology Inc. Digital content creation system
US8788943B2 (en) * 2009-05-15 2014-07-22 Ganz Unlocking emoticons using feature codes
US20120182309A1 (en) * 2011-01-14 2012-07-19 Research In Motion Limited Device and method of conveying emotion in a messaging application
US8731339B2 (en) 2012-01-20 2014-05-20 Elwha Llc Autogenerating video from text
CN102662568B (zh) * 2012-03-23 2015-05-20 北京百舜华年文化传播有限公司 一种图画输入方法及装置
US20130332859A1 (en) * 2012-06-08 2013-12-12 Sri International Method and user interface for creating an animated communication
US9152219B2 (en) * 2012-06-18 2015-10-06 Microsoft Technology Licensing, Llc Creation and context-aware presentation of customized emoticon item sets
GB2519312A (en) * 2013-10-16 2015-04-22 Nokia Technologies Oy An apparatus for associating images with electronic text and associated methods
US20150327033A1 (en) * 2014-05-08 2015-11-12 Aniways Advertising Solutions Ltd. Encoding and decoding in-text graphic elements in short messages
CN104537036B (zh) * 2014-12-23 2018-11-13 华为软件技术有限公司 一种分析语言特征的方法及装置
US10943036B2 (en) 2016-03-08 2021-03-09 Az, Llc Virtualization, visualization and autonomous design and development of objects
US10152462B2 (en) * 2016-03-08 2018-12-11 Az, Llc Automatic generation of documentary content
US9973456B2 (en) 2016-07-22 2018-05-15 Strip Messenger Messaging as a graphical comic strip
US9684430B1 (en) * 2016-07-27 2017-06-20 Strip Messenger Linguistic and icon based message conversion for virtual environments and objects
US10223639B2 (en) 2017-06-22 2019-03-05 International Business Machines Corporation Relation extraction using co-training with distant supervision
US10229195B2 (en) 2017-06-22 2019-03-12 International Business Machines Corporation Relation extraction using co-training with distant supervision
US10719545B2 (en) * 2017-09-22 2020-07-21 Swarna Ananthan Methods and systems for facilitating storytelling using visual media
US10970910B2 (en) * 2018-08-21 2021-04-06 International Business Machines Corporation Animation of concepts in printed materials
KR102005829B1 (ko) * 2018-12-11 2019-07-31 이수민 디지털 라이브 북 제작 시스템
WO2022213088A1 (en) * 2021-03-31 2022-10-06 Snap Inc. Customizable avatar generation system
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2943447B2 (ja) * 1991-01-30 1999-08-30 三菱電機株式会社 テキスト情報抽出装置とテキスト類似照合装置とテキスト検索システムとテキスト情報抽出方法とテキスト類似照合方法、及び、質問解析装置
US5265065A (en) * 1991-10-08 1993-11-23 West Publishing Company Method and apparatus for information retrieval from a database by replacing domain specific stemmed phases in a natural language to create a search query
JPH07325934A (ja) * 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
FR2717978B1 (fr) * 1994-03-28 1996-04-26 France Telecom Procédé de restitution d'une séquence, notamment animée, d'images successivement reçues d'une source distante, sous forme numérisée, et appareil correspondant.
US5729279A (en) * 1995-01-26 1998-03-17 Spectravision, Inc. Video distribution system
US5680619A (en) * 1995-04-03 1997-10-21 Mfactory, Inc. Hierarchical encapsulation of instantiated objects in a multimedia authoring system
US6069622A (en) * 1996-03-08 2000-05-30 Microsoft Corporation Method and system for generating comic panels
US5903892A (en) * 1996-05-24 1999-05-11 Magnifi, Inc. Indexing of media content on a network
US6064383A (en) * 1996-10-04 2000-05-16 Microsoft Corporation Method and system for selecting an emotional appearance and prosody for a graphical character
US6121981A (en) * 1997-05-19 2000-09-19 Microsoft Corporation Method and system for generating arbitrary-shaped animation in the user interface of a computer
US5983190A (en) * 1997-05-19 1999-11-09 Microsoft Corporation Client server animation system for managing interactive user interface characters
US6324511B1 (en) * 1998-10-01 2001-11-27 Mindmaker, Inc. Method of and apparatus for multi-modal information presentation to computer users with dyslexia, reading disabilities or visual impairment
US6480843B2 (en) * 1998-11-03 2002-11-12 Nec Usa, Inc. Supporting web-query expansion efficiently using multi-granularity indexing and query processing
US6522333B1 (en) * 1999-10-08 2003-02-18 Electronic Arts Inc. Remote communication through visual representations

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004093044A1 (ja) * 2003-04-14 2004-10-28 Sharp Kabushiki Kaisha テキストデータを適切に表示することのできるテキストデータ表示装置
US7382372B2 (en) 2003-07-23 2008-06-03 Matsushita Electric Industrial Co., Ltd. Apparatus and method for creating moving picture
US10158625B2 (en) 2013-09-27 2018-12-18 Nokia Technologies Oy Methods and apparatus of key pairing for D2D devices under different D2D areas
JP2019133603A (ja) * 2018-02-02 2019-08-08 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP7225541B2 (ja) 2018-02-02 2023-02-21 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム

Also Published As

Publication number Publication date
KR20020091744A (ko) 2002-12-06
WO2002099627A1 (en) 2002-12-12
US20010049596A1 (en) 2001-12-06

Similar Documents

Publication Publication Date Title
JP2002366964A (ja) 動画作成方法およびシステム
Labatut et al. Extraction and analysis of fictional character networks: A survey
US10325397B2 (en) Systems and methods for assembling and/or displaying multimedia objects, modules or presentations
US10679063B2 (en) Recognizing salient video events through learning-based multimodal analysis of visual features and audio-based analytics
KR101715971B1 (ko) 키워드 및 스트링 입력에 기초한 애니메이트된 미디어를 어셈블링하는 방법 및 시스템
US7051048B2 (en) Data management system, data management method, and program
CN104994921A (zh) 用于分布式故事阅读的视觉内容修改
Matamala The VIW project: Multimodal corpus linguistics for audio description analysis
CN115580758A (zh) 视频内容生成方法及装置、电子设备、存储介质
JP2006163604A (ja) 記憶装置およびコンピュータ読取り可能な記録媒体
KR101818107B1 (ko) 스토리텔링 저작지원 장치 및 그 방법
JP6603929B1 (ja) 動画編集サーバおよびプログラム
US20070101267A1 (en) Template-based multimedia capturing
JP2006139382A (ja) 情報処理装置及びその制御方法、プログラム
CA3208553A1 (en) Systems and methods for transforming digital audio content
Shim et al. CAMEO-camera, audio and motion with emotion orchestration for immersive cinematography
EP1274046A1 (en) Method and system for generating animations from text
JP4291294B2 (ja) ビデオコンテンツ作成装置およびビデオコンテンツ作成プログラム
KR101647442B1 (ko) 비주얼 컨텐츠 제작 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
JP2007143030A (ja) ビデオコンテンツ作成装置
Lee PRESTIGE: MOBILIZING AN ORALLY ANNOTATED LANGUAGE DOCUMENTATION CORPUS
Schmidt How films convey meaning through alternating structures (with an illustrative analysis of The Sunbeam)
JP2006202301A (ja) 記憶装置およびコンピュータ読取り可能な記録媒体
JP2008299493A (ja) コンテンツ作成支援システム及びコンピュータプログラム
JP2006085379A (ja) 情報処理装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20081007