JP2008523759A - Method and system for synthesizing video messages - Google Patents

Method and system for synthesizing video messages Download PDF

Info

Publication number
JP2008523759A
JP2008523759A JP2007546269A JP2007546269A JP2008523759A JP 2008523759 A JP2008523759 A JP 2008523759A JP 2007546269 A JP2007546269 A JP 2007546269A JP 2007546269 A JP2007546269 A JP 2007546269A JP 2008523759 A JP2008523759 A JP 2008523759A
Authority
JP
Japan
Prior art keywords
user
clip
message
content
archive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007546269A
Other languages
Japanese (ja)
Inventor
バルビーリ,マウロ
アニホトリ,ラリサ
ディミトロワ,ネヴェンカ
ギュッタ,スリニヴァス
ファン,ジュン
ハニャリク,アラン
トゥレツキー,ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US63602304P priority Critical
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Priority to PCT/IB2005/054190 priority patent/WO2006064455A1/en
Publication of JP2008523759A publication Critical patent/JP2008523759A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/42382Text-based messaging services in telephone networks such as PSTN/ISDN, e.g. User-to-User Signalling or Short Message Service for fixed networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/58Message adaptation for wireless communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/50Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/5307Centralised arrangements for recording incoming messages, i.e. mailbox systems for recording messages comprising any combination of audio and non-audio components
    • H04M3/5315Centralised arrangements for recording incoming messages, i.e. mailbox systems for recording messages comprising any combination of audio and non-audio components where the non-audio components are still images or video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/50Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/533Voice mail systems
    • H04M3/53366Message disposing or creating aspects
    • H04M3/53383Message registering commands or announcements; Greetings

Abstract

方法(図1)及びシステム(図2)は、1又はそれ以上のアクション又はコンセプトを伝えるSMS予備的メッセージ34から取り出された高度なMMSメッセージ10を合成する。ユーザ12は、客観的に理にかなったコンテンツに従って包括的に、且つ、ユーザ本位のコンテンツに従って個人的に、意味的に注釈を付されたユーザ取得の映像クリップ20をアーカイブ28に保存する。サービス提供者18は、包括的に意味的に注釈を付されたサービス提供者取得のMMSクリップ20をアーカイブ28に保存する。注釈付記は存在論118に従って達成される。ユーザ12がMMSメッセージ10を受信者16へ送信したい場合に、予備的メッセージ34はサービス提供者18へ送信される。サービス提供者18は、意味的に注釈を付されてアーカイブ28に保存されたクリップを取り出す。クリップは、存在論118に従って、予備的メッセージのアクション又はコンセプトのユーザ選択の態様に整合する。ユーザが、ユーザへ渡されたクリップの最終選択をする場合に、クリップは、お互い及び予備的メッセージに結合され、受信者へ送信される。
The method (FIG. 1) and system (FIG. 2) synthesizes an advanced MMS message 10 extracted from an SMS preliminary message 34 that conveys one or more actions or concepts. The user 12 stores in the archive 28 user-acquired video clips 20 that are semantically annotated comprehensively according to objectively reasonable content and personally according to user-oriented content. The service provider 18 stores in the archive 28 a service provider-acquired MMS clip 20 that is comprehensively annotated semantically. Annotation is accomplished according to ontology 118. A preliminary message 34 is sent to the service provider 18 when the user 12 wishes to send the MMS message 10 to the recipient 16. The service provider 18 retrieves clips that are semantically annotated and stored in the archive 28. The clip conforms to the user-selected aspect of the action or concept of the preliminary message according to ontology 118. When the user makes the final selection of the clip passed to the user, the clips are combined with each other and the preliminary message and sent to the recipient.

Description

本発明は、映像メッセージを合成する方法及びシステムに関する。更に具体的には、本発明は、ユーザによって作られた予備的メッセージと、その予備的メッセージによって伝えられるコンセプト又はアクションに整合する注釈付きの記憶された映像又は他のMMSコンテンツとの結合を含む合成MMSメッセージをユーザが受信者へ送信することに関する。記憶されたコンテンツの一部は、合成を実行する第3のパーティに端を発し、一方、記憶されたコンテンツの他の部分は、ユーザに端を発する。   The present invention relates to a method and system for synthesizing video messages. More specifically, the present invention includes a combination of a preliminary message created by a user and an annotated stored video or other MMS content that matches the concept or action conveyed by the preliminary message. It relates to a user sending a composite MMS message to a recipient. Some of the stored content originates from the third party performing the synthesis, while other parts of the stored content originate from the user.

映像を作成及び編集することは、技術的訓練を受けていない者にとっては困難であり、特に、携帯電話の簡単なユーザインターフェースを用いる者にとっては困難である。更に、大きな映像アーカイブから場面にアクセスし、選択し、構成することは、それらが携帯電話を用いて試みられようとなかろうと、不可能でないならば、平均的な人にとって困難な仕事である。   Creating and editing video is difficult for those who are not technically trained, especially for those who use the simple user interface of a mobile phone. Furthermore, accessing, selecting and composing scenes from large video archives is a difficult task for the average person if they are not possible, whether or not they are attempted using a mobile phone.

例えば携帯電話のような携帯通信装置の一般的且つ使用頻度の高い機能は、SMS(Short Message Service)メッセージを作成及び送信する能力である。この大衆性及び実用性のための主な理由は、SMSが、例えばコンピュータ電子メールの作成及び送信のような、他の使いやすい標準的な(natural)機能に類似することである。   A common and frequently used function of a mobile communication device such as a mobile phone is the ability to create and send SMS (Short Message Service) messages. The main reason for this popularity and practicality is that SMS is similar to other easy-to-use standard features such as composing and sending computer emails.

最近、MMS(Multimedia Message Service)機能、即ち、映像及び音声並びに他の構成要素を含むメッセージを作成及び送信する能力を有する携帯電話をユーザへ提供する動きがある。MMS機能を備える装置は、ユーザがその能力に熟知していることが不足しているために、また、平均的な人にとって標準的な機能とは言えないアーカイブの音声−映像材料から場面を作成、編集及び構成することに関する上記困難のために、SMS機能を備える装置のような早期の成功を納めていない、と考えられる。   Recently, there has been a move to provide users with mobile phones that have MMS (Multimedia Message Service) capabilities, ie, the ability to create and send messages including video and audio and other components. Devices with MMS capability create scenes from archive audio-video materials that are not standard features for the average person due to lack of familiarity with their capabilities Because of the difficulties associated with editing and configuring, it is believed that early successes such as devices with SMS functionality have not been met.

米国公開出願2004/0092250A1は、MMSに基づくフォトアルバム出版システムを開示する。第1の人の電話番号に関連付けられたリッチメディアコンテンツが記憶される。第2の人がMMS携帯装置からMMSメッセージを送信し、そのメッセージが所定のインジケータと、メッセージの宛先としての第1の人の電話番号とを含む場合に、記憶されたリッチメディアコンテンツは、第2の人の携帯MMS装置へ送信される。   US Published Application 2004 / 0092250A1 discloses a photo album publishing system based on MMS. Rich media content associated with the first person's telephone number is stored. If the second person sends an MMS message from the MMS mobile device and the message includes a predetermined indicator and the first person's phone number as the destination of the message, the stored rich media content is Sent to the second person's portable MMS device.

国際公開出願WO2004/019583A2には、感情アイコン(emoticons)を含むSMSテキストメッセージをMMSメッセージとしての映像コンテンツに結合する通信ネットワーク上でメッセージを送信する方法及びシステムが開示されている。このメッセージは、受信端末へ送信される。SMSメッセージの文字部分及び口話(oral)部分は、合成口話コンテンツに変形される。仮想キャラクタ(アバター)及び背景は、その記憶されたギャラリーから選択され、結合され、所望のシナリオにカスタマイズされる。アバターは合成口話コンテンツを話し、アバターの語強勢及び表情は感情アイコンに関連する。アバターの会話のシナリオは、MMSメッセージとして送信される。   International published application WO 2004/019583 A2 discloses a method and system for sending a message over a communication network that combines an SMS text message containing emotion icons with video content as an MMS message. This message is transmitted to the receiving terminal. The text part and the oral part of the SMS message are transformed into synthetic spoken content. The virtual character (avatar) and background are selected from the stored gallery, combined and customized to the desired scenario. The avatar speaks synthetic spoken content, and the avatar's word strength and facial expression are associated with the emotion icon. Avatar conversation scenarios are sent as MMS messages.

欧州特許出願EP1077414A2は、指示されたテキストに関連する画像を有するデータベースから画像を取り出す方法及びシステムを開示する。日本特許英文抄録の公開2002−007415号は、映像コンテンツが取り出されることを除いて、この欧州特許出願に類似すると思われる。米国公開出願2002/0080162A1は、映像から意味的に重要なイベントを自動的に抽出するための方法、特に、特徴的なスローモーション部分を通常動作部分と区別することによって、録画されたスポーツイベントのスローモーション部分のみを識別してダウンロードするための方法を開示する。米国特許6,108,674号は、識別子がテキスト部分に対応する場合に、記憶された意味的に識別された画像をメモリから取り出して表示するよう、テキストを用いることによって、選択された画像を文書テキストに組み入れる機器を開示する。対応する画像のうちの選択されたものは、テキストにペースト(pasted)される。国際公開出願WO99/45483は、画像及び映像検索のための意味的な視覚テンプレートを発生させる方法及びシステムを開示する。
米国公開出願2004/0092250A1 国際公開出願WO2004/019583A2 欧州特許出願EP1077414A2 特開2002−007415号(公報) 米国公開出願2002/0080162A1 米国特許6,108,674号 国際公開出願WO99/45483
European patent application EP 1077414 A2 discloses a method and system for retrieving images from a database having images associated with indicated text. Japanese patent abstract publication 2002-007415 appears to be similar to this European patent application except that video content is retrieved. US Published Application 2002 / 0080162A1 is a method for automatically extracting semantically important events from a video, in particular by distinguishing a characteristic slow motion part from a normal motion part. A method for identifying and downloading only the slow motion part is disclosed. US Pat. No. 6,108,674 uses a text to display a selected image by retrieving the stored semantically identified image from memory and displaying it when the identifier corresponds to a text portion. Disclose the device to be included in the document text. The selected one of the corresponding images is pasted into the text. International published application WO 99/45483 discloses a method and system for generating semantic visual templates for image and video retrieval.
US Published Application 2004 / 0092250A1 International Published Application WO2004 / 019583A2 European patent application EP 1077414 A2 JP2002007415 (publication) US Published Application 2002 / 0080162A1 US Pat. No. 6,108,674 International Published Application WO99 / 45483

本発明は、創作ツールとしての、例えば携帯電話のような携帯通信装置及び、例えばPCのような他の装置の平均的なユーザにとってより簡便なMMSメッセージの作成を提供することを目的とする。   The present invention aims to provide a simpler MMS message creation for an average user of a mobile communication device such as a mobile phone and other devices such as a PC as a creation tool.

本発明は、3つのエンティティ、即ち、メッセージ送信者(ユーザ)、メッセージ受信者、及びサービス提供者を含む。サービス提供者は、視聴覚コンテンツを含む複数の映像クリップを生成又は取得する。前記クリップは、そのコンテンツに対応する意味的に基づいたタグを付加されることによって注釈を付され、ユーザから遠いアーカイブに記憶される。1よりも多いタグが、1つのクリップに付加されても良い。例えば、キスしている2人の人を示すクリップは、例えば「ラブ」、「キス」、「愛情」及び「ロマンス」などのタグを有しても良い。幾つかの実施例で、ユーザは、また、映像クリップを作成又は取得しても良い。これらのクリップは、同様に注釈を付され、ユーザの近くのアーカイブに又は、サービス提供者とユーザとの間の同意によって、遠くのアーカイブに記憶されうる。ユーザが作成したクリップへ付加された意味的(semantic)タグは、サービス提供者のクリップに付加されたタグに類似しており、通常、ユーザの経験及び知識に基づく付加的なタグを含みうる。例えば、ユーザは、ビデオカメラ又は機能的に類似する装置を用いてクリップを作成し、あるいは、ユーザと他者がキスしているところを示すクリップを友人から取得しても良い。このクリップは、キスしている2人の人を示すサービス提供者のクリップと同様にタグ(即ち、「ラブ」、「キス」などのタグ)を付され、例えば、キスが行われた場所若しくはイベント又はキスをしているカップルの名前などの付加的なタグを含む。このようにして、ユーザのクリップは、例えば「ジョン」、「メアリー」及び「卒業パーティ」などの付加的なタグを含んでも良い。   The present invention includes three entities: a message sender (user), a message recipient, and a service provider. The service provider generates or acquires a plurality of video clips including audiovisual content. The clip is annotated by adding a semantically based tag corresponding to its content and stored in an archive remote from the user. More than one tag may be added to one clip. For example, a clip indicating two people who are kissing may have tags such as “love”, “kiss”, “love” and “romance”. In some embodiments, the user may also create or obtain a video clip. These clips are similarly annotated and can be stored in an archive near the user or in a remote archive with consent between the service provider and the user. A semantic tag added to a user-created clip is similar to a tag added to a service provider's clip and may typically include additional tags based on the user's experience and knowledge. For example, a user may create a clip using a video camera or a functionally similar device, or obtain a clip from a friend that indicates where the user and others are kissing. This clip is tagged in the same way as the service provider's clip showing the two people who are kissing (ie, a tag such as “love”, “kiss”), for example, Includes additional tags, such as the name of the couple kissing the event or kiss. In this way, the user's clip may include additional tags such as “John”, “Mary”, and “Graduation Party”.

全ての利用可能なクリップのアーカイブは、サービス提供者のクリップ及び注釈を含む(遠くのアーカイブと同一の)第1のサブアーカイブと、ユーザのクリップ及び注釈を含む(近くのアーカイブと同一の)第2のサブアーカイブとを有する。第2のアーカイブ(近くのアーカイブ)がサービス提供者へ送信される場合に、サービス提供者は、例えば「愛情」など、ユーザによって不注意に削除された付加的な関連する一般的な(general)タグを付加することができる。いずれにしても、意味的に注釈を付されたクリップのアーカイブが最終的に作成される。   All available clip archives include a first sub-archive (identical to the remote archive) containing the service provider's clips and annotations, and a first (identical to the nearby archive) containing user clips and annotations. 2 sub-archives. When a second archive (nearby archive) is sent to the service provider, the service provider will add additional general information that has been inadvertently deleted by the user, eg, “love”. Tags can be added. In any case, an archive of clips that are semantically annotated is ultimately created.

アーカイブの作成後、ユーザは、高度な(smart)MMSメッセージを送信することを望むことがある。このイベントでは、言語に基づく予備的メッセージを、ユーザは送信し、サービス提供者は受信する。この予備的メッセージは、ここでは行為(アクション)、コンセプト、主題、状況、場所、イベント、名前、目的、又は同様の情報を意味する「アクション又はコンセプト」を説明する。ユーザは、メッセージ及びそのアクション又はコンセプトが、指名された受信者へ伝えられることを望む。サービス提供者は、アーカイブ(第1のサブアーカイブ及び第2のサブアーカイブ)から、例えば予備的メッセージで説明されるアクション又はコンセプト、送信者及び/又は受信者の名前、又はイベント若しくは特別な出来事などの予備的メッセージ内の項目に意味的に整合するタグを有するそれらのクリップを取り出す。整合は、簡単なキーワード整合によって、又は、より高度な存在論に基づく整合によって達成可能である。存在論的整合が使用される場合に、存在論はRDF(Resource Descriptive Framework)存在論、XML(Extensible Markup Language)、又は他の適切な存在論であっても良い。整合は、ユーザによる介入を伴わずに達成可能であり、あるいは、ユーザは、SMS予備的メッセージのどの部分が、又はどのタグが、存在論的に重要であるべきかを特定することができる。   After creating the archive, the user may wish to send a smart MMS message. In this event, the user sends a preliminary message based on language and the service provider receives it. This preliminary message here describes an “action or concept”, which means an action, concept, subject, situation, location, event, name, purpose, or similar information. The user wants the message and its action or concept to be communicated to the designated recipient. The service provider may, from the archive (first sub-archive and second sub-archive), for example the action or concept described in the preliminary message, the name of the sender and / or the receiver, or the event or special event, etc. Those clips with tags that semantically match the items in the preliminary message are retrieved. Matching can be achieved by simple keyword matching or by a more advanced ontological matching. If ontological matching is used, the ontology may be a Resource Descriptive Framework (RDF) ontology, XML (Extensible Markup Language), or other suitable ontology. Matching can be achieved without user intervention, or the user can specify which part of the SMS preliminary message or which tag should be ontologically important.

ユーザの予備的メッセージは、MMSメッセージに含まれるよう意図されたボイスコンテンツを含むか、あるいは、そのようなボイスコンテンツから全体に構成されることが考えられる。このボイスコンテンツは、サービス提供者への簡単なボイスメールメッセージ、又は他の音声コンテンツを含みうる。この場合に、例えばASR(自動音声認識)のような適切な技術が、ボイス録音をSMS形式のテキストに変換するために使用されても良い。これはまた、整合過程でも使用される。予備的メッセージが視聴覚コンテンツを有する場合に、ASR及び/又はAVA(自動映像解析)は、意味的タグの付与及び整合のためのベースを提供するために使用されても良い。   The user's preliminary message may include voice content that is intended to be included in the MMS message, or may consist entirely of such voice content. This voice content may include a simple voicemail message to the service provider or other audio content. In this case, a suitable technique, for example ASR (Automatic Speech Recognition), may be used to convert the voice recording into text in SMS format. This is also used in the matching process. If the preliminary message has audiovisual content, ASR and / or AVA (Automatic Video Analysis) may be used to provide a base for semantic tagging and matching.

サービス提供者によって取り出されたクリップ、又はそのサマリー(summary)は、ユーザへ渡される。ユーザがMMS機能を備えていない場合に、サービス提供者によって作成されたテクスチャサマリーは、SMSコンテンツとしてユーザへ渡される。ユーザがMMS機能を有する場合には、取り出されたクリップ又はそのサマリー(例えば、夫々のクリップからのキーフレーム)のいずれか一方が、MMSコンテンツとしてユーザへ渡される。この点で、ユーザは、クリップの幾つか若しくは全て又はその一部を選択し、あるいは、予備的メッセージの元の意味的なコンテンツに整合する付加的なクリップを取り出すようサービス提供者に指示し、あるいは、関連があるとみなされたその付加的な意味的タグを要求しても良い。   The clip retrieved by the service provider or its summary is passed to the user. When the user does not have the MMS function, the texture summary created by the service provider is passed to the user as SMS content. If the user has an MMS function, either the retrieved clip or its summary (eg, keyframes from each clip) is passed to the user as MMS content. At this point, the user can select some or all of the clips, or a portion thereof, or instruct the service provider to retrieve additional clips that match the original semantic content of the preliminary message, Alternatively, the additional semantic tag deemed relevant may be requested.

最終的に、ユーザがクリップの数及びコンテンツに満足する場合に、ユーザはそれらを識別して選択する。この選択に応答して、サービス提供者は、予備的メッセージをユーザが選択したクリップと結合して一体化し、その後、完成したMMSメッセージとしての結合を指定された受信者へ送信する。   Eventually, when the user is satisfied with the number of clips and content, the user identifies and selects them. In response to this selection, the service provider combines and integrates the preliminary message with the user selected clip and then sends the combination as a completed MMS message to the designated recipient.

図1及び2を参照すると、創作ツールとしての装置12の使用を有効に可能にする、例えば、携帯電話又はPCのような通信装置12の平均的ユーザにとってより簡便な方法で更にMMSメッセージ10を作成する、本発明に従う方法及びシステムが示される。   With reference to FIGS. 1 and 2, the MMS message 10 can be further transmitted in a more convenient manner for an average user of the communication device 12, such as a mobile phone or a PC, effectively enabling the use of the device 12 as a creation tool. A method and system according to the present invention for creating is shown.

本発明は、3つのエンティティ、即ち、メッセージ送信者(ユーザ)14、メッセージの受信者16、及びサービス提供者18を含む。サービス提供者18は、視聴覚コンテンツを含む複数の映像クリップ20を生成又は取得する。クリップ20は、映像若しくは映画(又はその一部若しくは予告)、録音された音楽、ウェブから取得された又は取得可能な材料、広告用材料、宣伝用材料、又はいずれかの他の適切な材料から取り出された、あるいはそれらを含むコンテンツを有しても良い。   The present invention includes three entities: a message sender (user) 14, a message recipient 16, and a service provider 18. The service provider 18 generates or acquires a plurality of video clips 20 including audiovisual content. Clip 20 may be from a video or movie (or part or trailer thereof), recorded music, material obtained or obtainable from the web, advertising material, promotional material, or any other suitable material. You may have the content which was taken out or contains them.

ステップ50で、クリップ20は、その観測される一般的なコンテンツに対応する意味的に基づいたタグ22を付加されることにより、サービス提供者18によって包括的に注釈を付され、次に、ステップS52で、ユーザ14から遠いアーカイブ24に記憶される。1よりも多いタグ22は、夫々のクリップ20へ付加されても良い。例えば、キスしている2人の人を示すクリップ20は、例えば「ラブ」、「キス」、「愛情」及び「ロマンス」などのタグ22を有しても良い。   At step 50, the clip 20 is comprehensively annotated by the service provider 18 by adding a semantically based tag 22 corresponding to its observed general content, and then the step In S52, it is stored in the archive 24 far from the user 14. More than one tag 22 may be added to each clip 20. For example, the clip 20 indicating two people kissing may have tags 22 such as “love”, “kiss”, “love”, and “romance”.

幾つかの実施例で、ユーザ14は、また、映像クリップ20を作成又は取得しても良い。これらのクリップ20は、ステップ54で同様に注釈を付され、ステップ56でユーザ14の近くのアーカイブ26に記憶されうる。ユーザが作成したクリップ20へユーザ14によって付加された包括的なタグ22は、サービス提供者のクリップ20に付加されたタグに類似すべきであり、また、それらに関するユーザの個人的経験及び知識に基づく付加的なタグ22を含みうる。   In some embodiments, user 14 may also create or obtain video clip 20. These clips 20 are similarly annotated at step 54 and may be stored in the archive 26 near the user 14 at step 56. The generic tag 22 added by the user 14 to the user-created clip 20 should be similar to the tag added to the service provider's clip 20 and to the user's personal experience and knowledge about them. Based on additional tags 22 may be included.

例えば、ユーザ14は、ビデオカメラ又は機能的に類似する装置を用いてクリップ20を作成し、あるいは、ユーザ14と他者がキスしているところを示すクリップ20を他者から取得しても良い。このような個人的なコンテンツのクリップ20は、類似する客観的に決定可能なコンテンツを有するサービス提供者のクリップ20と同様に包括的にタグを付されても良い(あるいは、以下で説明されるように、サービス提供者18によって後に包括的にタグを付されても良い。)。例えば、キスしている2人の人を示す、ユーザが生成して、ユーザがタグを付したクリップ20は、通常、「ラブ」、「キス」、「愛情」、「ロマンス」などの包括的なタグ22を有するべきであり、例えば、キスが行われた場所若しくはイベント又はキスをしているカップルの名前などの付加的な個人的な又はユーザ固有のタグ22を含みうる。これらのタグ22は、例えば「ジョン」、「メアリー」及び「卒業パーティ」など、クリップ20の個人的なアクション又はコンセプトに関連する情報を含みうる。このようにして、サービス提供者のタグ22は、サービス提供者によってアーカイブに記憶されたユーザクリップ20の包括的なコンテンツに関連し、ユーザのタグ22は、この同じ包括的なコンテンツと、ユーザ14の個人的な知識の範囲内にある明示的又は潜在的な個人的なコンテンツとに関する。   For example, the user 14 may create a clip 20 using a video camera or a functionally similar device, or may obtain a clip 20 from another person indicating that the user 14 and the other person are kissing. . Such personal content clips 20 may be comprehensively tagged as well as service provider clips 20 having similar objectively determinable content (or will be described below). As described above, the tag may be comprehensively added later by the service provider 18). For example, a user-generated clip 20 that shows two people kissing and tagged by the user is typically inclusive of “love”, “kiss”, “love”, “romance”, etc. Should include additional personal or user-specific tags 22 such as, for example, the location or event where the kiss was made or the name of the kissing couple. These tags 22 may include information related to the personal action or concept of the clip 20, such as “John”, “Mary”, and “Graduation Party”. In this way, the service provider tag 22 is associated with the generic content of the user clip 20 stored in the archive by the service provider, and the user tag 22 is associated with this same generic content and the user 14. And any explicit or potential personal content that is within the scope of personal knowledge.

このようにして、ステップ58で、近くのアーカイブ26及び遠くのアーカイブを同時に見ることによって、全ての利用可能な意味的にタグを付されたクリップ20を含むアーカイブ28が作られる。アーカイブ28は、最初に、実際には、分散型であり(2つの異なった物理的な位置を有し)、近くのアーカイブ26は、サービス提供者18へ送信されるまではユーザ14に残され、遠くのアーカイブ24は、サービス提供者18に配置されている。アーカイブ28は、また、非分散型であっても良く、望ましくは、サービス提供者18とともに配置される。ユーザ14及びサービス提供者18は、MMSメッセージ10を作成するためのサービス提供者へのユーザ要求の前に、又はそれと同時に、どのユーザ14が近くのアーカイブ26のコンテンツ(ユーザが注釈を付したクリップ)をサービス提供者18へ送信することを許可されたかに従って同意に達することができる。これらの後のイベントで、サービス提供者18は、ステップ60で、付加的な又は訂正済みの一般的なタグ22を、ユーザがタグを付したクリップ20へ付加する。従って、類似するアクション及びコンセプトを伝える両方のパーティのクリップ20における包括的なタグ22は、同じとなりうる。   In this way, at step 58, an archive 28 containing all available semantically tagged clips 20 is created by viewing the near archive 26 and the distant archive simultaneously. The archive 28 is initially decentralized (having two different physical locations) and the nearby archive 26 is left to the user 14 until it is sent to the service provider 18. The remote archive 24 is located at the service provider 18. The archive 28 may also be non-distributed and is preferably located with the service provider 18. The user 14 and the service provider 18 may determine which user 14 has the contents of the nearby archive 26 (a user-annotated clip) before or at the same time as the user request to the service provider to create the MMS message 10. ) Can be reached according to whether it is permitted to be transmitted to the service provider 18. At these later events, the service provider 18 adds an additional or corrected generic tag 22 to the clip 20 that the user has tagged in step 60. Thus, the generic tag 22 in both party clips 20 that convey similar actions and concepts can be the same.

留意すべきは、図1で前に示されたステップは、時系列では説明されない点である。ステップ50で、サービス提供者18は、ユーザがMMSメッセージ10を合成するようサービス提供者18に要求するよりずっと前から、遠くのアーカイブ24を作成していても良い。費用に関する又は他の理由のために、サービス提供者18は、また、ユーザのMMS合成要求を受信した後にのみ、遠くのアーカイブ24を作成しても良い。既に述べられたように、ユーザのクリップ20は、MMSメッセージ10を合成するための要求の前又は、それと同時に、サービス提供者18へ送信されても良い。上記は、また、クリップ20がステップ50、54で注釈を付される時間、近く/遠くにあるアーカイブ26/24がステップ56/52で作成される時間、アーカイブ28(分散型又は非分散型)がステップ58で作成される時間、及び、サービス提供者18がステップ60でユーザが注釈を付したクリップ上のタグを修正する時間が、可変であって、必ずしもいずれかの特定の系列にあるわけではないことを意味する。   It should be noted that the steps shown previously in FIG. 1 are not described in time series. At step 50, service provider 18 may have created remote archive 24 long before the user requested service provider 18 to compose MMS message 10. For cost or other reasons, the service provider 18 may also create the remote archive 24 only after receiving the user's MMS composite request. As already mentioned, the user's clip 20 may be sent to the service provider 18 before or at the same time as the request to synthesize the MMS message 10. The above is also the time when the clip 20 is annotated at steps 50, 54, the time when the near / far archive 26/24 is created at step 56/52, the archive 28 (distributed or non-distributed) The time that is created in step 58 and the time that the service provider 18 modifies the tag on the clip annotated by the user in step 60 is variable and not necessarily in any particular series. Means not.

ユーザ14が高度な(smart)MMSメッセージ10を送信することを決定する場合に、ステップ62で、言語に基づく予備的メッセージ34を、ユーザは送信し、サービス提供者は受信する。この予備的メッセージは、ここでは行為(アクション)、コンセプト、主題、状況、場所、イベント、名前、目的、又は同様の情報を意味する「アクション又はコンセプト」を説明する。これ(ステップ62)は、予備的メッセージ34及び付加的且つ装飾された材料が受信者16へ送信されるよう要求するサービス提供者18へのユーザ要求を構成する。サービス提供者18は、ステップ64で、アーカイブ28から、予備的メッセージ34のアクション又はコンセプト、送信者(ユーザ)及び/又は受信者の名前、又は、例えばイベント、特別な出来事、若しくはユーザと受信者との間の関係など、有意性を有するとユーザによって示されたいずれかの他の情報に意味的に整合するタグ22を有するそれらのクリップ20を取り出す。望ましくは、整合は、存在論、即ち、例えばRDF(Resource Descriptive Framework)存在論、XML(Extensible Markup Language)、又は他の適切な存在論などの概念化の特定によって達成される。キーワード整合が、また、使用されても良く、例えば、整合は、単純に、クリップ20のタグ22と、予備的メッセージ34に含まれる名詞及び動詞との間で達成可能である。整合は、ユーザ14による介入を伴わずに達成可能であり、あるいは、ユーザ14は、予備的メッセージ34のどの部分が、又はどのタグが、存在論的に重要であるべきかを特定することができる。   If the user 14 decides to send a smart MMS message 10, at step 62, the user sends a preliminary message 34 based on language and the service provider receives it. This preliminary message here describes an “action or concept”, which means an action, concept, subject, situation, location, event, name, purpose, or similar information. This (step 62) constitutes a user request to the service provider 18 requesting that the preliminary message 34 and additional and decorated material be sent to the recipient 16. The service provider 18, in step 64, retrieves from the archive 28 the action or concept of the preliminary message 34, the name of the sender (user) and / or recipient, or the event, special event, or user and recipient, for example. Those clips 20 having tags 22 that are semantically matched to any other information indicated by the user as significant, such as the relationship between, are retrieved. Desirably, matching is achieved by specifying ontology, i.e. conceptualization such as Resource Descriptive Framework (RDF) ontology, Extensible Markup Language (XML), or other suitable ontology. Keyword matching may also be used, for example, matching can simply be achieved between the tag 22 of the clip 20 and the nouns and verbs included in the preliminary message 34. Matching can be achieved without intervention by the user 14, or the user 14 can specify which part of the preliminary message 34 or which tag should be ontologically important. it can.

ユーザの予備的メッセージ34は、MMSメッセージ10に含まれるよう意図された録音されたボイスコンテンツを含んでも良いことが考えられる。この場合に、例えばASR(自動音声認識)のような適切な技術が、ボイス録音をテキストに変換するために使用されても良い。このテキストは、次に、そのアクション又はコンテンツに従ってタグを付され、また、整合過程でも使用される。   It is contemplated that the user's preliminary message 34 may include recorded voice content that is intended to be included in the MMS message 10. In this case, a suitable technique such as ASR (Automatic Speech Recognition) may be used to convert the voice recording into text. This text is then tagged according to its action or content and is also used in the matching process.

ステップ66で、サービス提供者18によって取り出されたクリップ20、又はその一部若しくはサマリー(summary)は、ユーザ14へ渡される。ユーザ14がMMS機能を備えていない場合には、サービス提供者18によって作成されたテクスチャサマリーがユーザへ渡される。ユーザ14がMMS機能を有する場合には、クリップ20自体又はそのサマリー(例えば、選択フレーム)がユーザ14へ渡される。この点で、ステップ68で、ユーザ14は、クリップ20の幾つか若しくは全て又はその一部を選択し、あるいは、予備的メッセージ34の元の意味的なコンテンツに整合する付加的なクリップ20、又は付加的な意味的整合を取り出すようサービス提供者に指示しても良い。ステップ66及び68は、ユーザ14が、サービス提供者が取り出した材料に満足するまで繰り返される。   At step 66, the clip 20 retrieved by the service provider 18, or a portion or summary thereof, is passed to the user 14. If the user 14 does not have the MMS function, the texture summary created by the service provider 18 is passed to the user. When the user 14 has the MMS function, the clip 20 itself or a summary thereof (for example, a selected frame) is passed to the user 14. In this regard, at step 68, the user 14 selects some or all or a portion of the clip 20, or additional clips 20 that match the original semantic content of the preliminary message 34, or The service provider may be instructed to retrieve additional semantic matches. Steps 66 and 68 are repeated until the user 14 is satisfied with the material removed by the service provider.

最終的に、ユーザ14が、渡されたクリップ20の数及びコンテンツに満足する場合に、ユーザ14は、ステップ70で、それらをサービス提供者18と同一視し、それによってそれらを選択する。ユーザの選択に応答して、ステップ72で、サービス提供者18は、予備的メッセージ34をユーザが選択したクリップ20と結合して一体化し、その後、ステップ74で、完成したMMSメッセージ10としての結合を、指定された受信者16によって操作されるMMS装置36へ送信する。   Eventually, if user 14 is satisfied with the number and content of clips 20 passed, user 14 identifies them with service provider 18 and thereby selects them at step 70. In response to the user's selection, at step 72, the service provider 18 combines and integrates the preliminary message 34 with the user selected clip 20, and then at step 74, as a completed MMS message 10. Are transmitted to the MMS device 36 operated by the designated recipient 16.

1つの例で、ジョンと名付けられたユーザ14は、メアリーと名付けられた受信者16へ、語「I love you」を含むバレンタインカード(MMSメッセージ10)を送信することを望み、この情報を予備的メッセージ34を介してサービス提供者18へ転送する。アーカイブ28は、レット=バトラーがスカーレット=オハラにキスする「風とともに去りぬ」からのセグメントを含め、2人の役者がキスしている映画セグメントの幾つかのクリップ20を有する。これらのクリップ20は、全て、「キス」、「ラブ」及び「ロマンス」並びに同様のコンテクストをタグとして付される。アーカイブ28は、また、同様の包括的なタグ22(「キス」、「ラブ」等。)並びに「ジョン」及び「メアリー」のタグ22を含む、ジョンがメアリーにキスしている幾つかのクリップ20を有しても良い。また、アーカイブ28には、歌「I Love You Truthly」を含め、「ラブ」及び「ロマンス」によりタグを付されたロマンティックな歌が記憶されている。   In one example, a user 14 named John wants to send a Valentine card (MMS message 10) containing the word “I love you” to a recipient 16 named Mary and reserves this information. The message is forwarded to the service provider 18 via the automatic message 34. Archive 28 has several clips 20 of a movie segment that two actors are kissing, including a segment from “Gone with the Wind” where Rett Butler kisses Scarlett OHARA. These clips 20 are all tagged with “kiss”, “love” and “romance” and similar contexts. Archive 28 also includes a number of clips that John kisses Mary, including similar generic tags 22 ("kiss", "love", etc.) and "John" and "Mary" tags 22. 20 may be included. The archive 28 also stores romantic songs tagged with “love” and “romance”, including the song “I Love You Truly”.

アーカイブ28におけるクリップ20のタグ22に対する予備的メッセージ34のアクション又はコンセプトの意味的整合(又は、予備的メッセージ34のアクション又はコンセプトに対するクリップ20のタグ22の意味的整合)は、ジョンとメアリーがキスしている写真、レットとスカーレットがキスしている写真、及び録音された歌「I Love You Truly」を含め、複数の項目のアーカイブ28からの取り出しをもたらしうる。取り出された項目又は(ユーザ14がSMS装置を用いているならば)そのサマリーは、ユーザ14へ渡される。ユーザ14がジョン/メアリー及びレット/スカーレットのクリップ20を選択して、サービス提供者18へ確認するとともに、レット/スカーレットのクリップが最初に示され、次に、ジョン/メアリーのクリップがフェードインすると、最初のクリップがフェードアウトするよう要求し、また、それらのクリップが表示されるのに要する時間は約1分である、と仮定する。ユーザ14は、また、歌の最初の1分が同時に再生されるよう要求する。従って、サービス提供者18は、これらのもの(desiderata)を予備的メッセージ34から文字「I love you」に結合して、完成した高度なMMSメッセージ10を生成する。   The semantic matching of the action or concept of the preliminary message 34 to the tag 22 of the clip 20 in the archive 28 (or the semantic matching of the tag 22 of the clip 20 to the action or concept of the preliminary message 34) is kissed by John and Mary. Can result in the retrieval of multiple items from the archive 28, including the photograph that is kissing, the photograph that Klett and Scarlet are kissing, and the recorded song “I Love You Truly”. The retrieved item or its summary (if user 14 is using an SMS device) is passed to user 14. When user 14 selects John / Mary and Rett / Scarlet clip 20 and confirms to service provider 18, Rett / Scarlet clip is shown first, then John / Mary clip fades in Assume that the first clip requests to fade out, and that it takes about one minute for the clips to be displayed. User 14 also requests that the first minute of the song be played simultaneously. Thus, the service provider 18 combines these dessertates from the preliminary message 34 with the letters “I love you” to generate a complete advanced MMS message 10.

完成したMMSメッセージ10の合成は、サービス提供者18への予備的メッセージ34の送信以外に、ユーザ14からの入力をほとんど又は全く伴わずに、完全に自動であっても良い。しかし、望ましくは、当該方法は、程度の差はあっても相互作用的である。特に、予備的メッセージ34の送信及び、場合により、アーカイブ28に対する幾つかの個人的なクリップ20の提供に加えて、ユーザは、以下の作業のうちの1又はそれ以上に従事することによって、当該方法の様々な態様を特定、変更又は限定することができる:
(1)予備的メッセージ34とアーカイブに記憶されたクリップ20の意味的タグ22との間の起こり得る許容可能な整合として、サービス提供者18によって与えられる複数のクリップ20のうちの1又はそれ以上を選択すること(ステップ68);
(2)アーカイブ28からの意味的に整合する音楽トラック又は他の音声コンテンツの付加と、音声コンテンツが完成したメッセージ10の視覚コンテンツに合成されるべきであるかどうか、及び、どのように合成されるべきであるかとを要求すること;
(3)予備的メッセージ34のある態様(アクション又はコンセプト)のみにタグ22の意味的整合を限定すること、あるいは、アーカイブ28内でタグを付されたクリップ20に対する可能な整合として、予備的メッセージ34から当然に存在論的に包括的に取り出し可能なアクション又はコンセプトに加えて、意味的なアクション又はコンセプトを特定すること;
(4)幾つかのクリップ20の供給源又は形式(1950年前の映画の予告編対1950年以後の映画の予告編;モノクロ映画セグメント対カラーセグメント;個人的な映像のみ;非個人的な映像のみ)及び、サービス提供者18によって組み込まれるべき音楽コンテンツ(ジャズ対ロックンロール)を特定すること;
(5)サービス提供者18によって取り出されて渡されたクリップ20を、少なくとも特定されたコンテンツを含むクリップに限定すること、例えば、渡されたクリップ20を、ブラッド=ピットが女性にキスしていることを示すクリップ、又は、ユーザ14及び受信者16が一緒に観たことのある有名な映画からのキスシーンを示すクリップに限定すること。例えば「一緒に観た映画」のうちの選択された1つのような、ある所望のコンテンツは、第3のパーティの機関への許されたアクセスを要求することができる。
(6)意味的整合の目的のために予備的メッセージ34のある形式のコンテンツ(アクション又はコンセプト)の意味的重要性を予め定めること。例えば、「私のベスト」、「結婚の申込み」、「親しい人へ」、「親友へ」、「おばあちゃんへの挨拶状」及び「親族へ」といったメッセージを含む形式の予備的メッセージ34が予め決定され得る。「私のベスト」という予備的メッセージは、他者が存在しない状況で受信者16が伝えられるクリップに、及び、同一又は類似の状況にある有名人を示すクリップにのみ意味的に整合するように、予め決定され得る。特定の状況が、通常の域を超えることがある。語「通常の域を超える」は、ユーザ14によって意味的に重み付けられている。事前定義は、ユーザ14が最初にアーカイブ26のコンテンツをサービス提供者18へ送信する場合に、あるいは、完成したメッセージ10の形成の前の他のいずれかの時点に、起こり得る。予備的メッセージは、取り出されたクリップ20が、一般的にユーザ14及び受信者16に伝えるか、あるいは、以前の同様の行事でユーザ14及び受信者16に同時に伝えることを要求することによって、意味的に重要である誕生日、バレンタインデー、記念日、又は他の重要な行事を祝うために親友又は親族に向けられる。更に、ユーザ14は、映画又は映像の中で役者による同様の重要な行事への参加を示すアーカイブ24から、意味的重要性を有するクリップ20を有すると指定される;
(7)第2のサブアーカイブ26からの個人的なクリップ20が、第1のサブアーカイブ24からのクリップ20及び/又は付加された音楽又は他の音響材料に結合される方法を特定すること。これらの仕様の範囲の中には、フェードイン/フェードアウト、セグメントインターレース走査、音楽の種類及びテンポ、プレゼンテーションの順序、完成したメッセージ34及びその個々の部分の長さ、他の視聴覚混合性能などがある。
The composition of the completed MMS message 10 may be fully automatic with little or no input from the user 14 other than sending a preliminary message 34 to the service provider 18. Desirably, however, the method is interactive to some degree. In particular, in addition to sending the preliminary message 34 and possibly providing some personal clips 20 to the archive 28, the user can perform the task by engaging in one or more of the following tasks: Various aspects of the method can be identified, modified or limited:
(1) One or more of the plurality of clips 20 provided by the service provider 18 as a possible acceptable match between the preliminary message 34 and the semantic tag 22 of the clip 20 stored in the archive. (Step 68);
(2) Addition of semantically consistent music tracks or other audio content from the archive 28, and whether and how audio content should be synthesized into the visual content of the completed message 10 Requesting whether it should be;
(3) Limit the semantic matching of the tag 22 to only certain aspects (actions or concepts) of the preliminary message 34, or as a possible match for the clip 20 tagged in the archive 28, the preliminary message Identifying semantic actions or concepts in addition to actions or concepts that can naturally be extracted from 34 naturally ontologically;
(4) Source or type of several clips 20 (1950 years old movie trailer vs. 1950 movie trailer after; black and white movie segment vs color segment; personal video only; non-personal video only) And identifying the music content (jazz vs rock and roll) to be incorporated by the service provider 18;
(5) Limiting the clip 20 taken out and delivered by the service provider 18 to a clip including at least the specified content, for example, Brad Pitt is kissing a woman with the delivered clip 20 Or clips showing kiss scenes from famous movies that the user 14 and recipient 16 have watched together. For example, certain desired content, such as a selected one of “movies watched together”, may require allowed access to a third party institution.
(6) Predetermining the semantic significance of some form of content (action or concept) in the preliminary message 34 for the purpose of semantic matching. For example, preliminary messages 34 in a format including messages such as “my best”, “application for marriage”, “to a close person”, “to a best friend”, “greeting to grandma” and “to relatives” are predetermined. Can be done. The “My Best” preliminary message is semantically matched only to clips that the recipient 16 is told in the absence of others and clips that show celebrities in the same or similar situation, It can be predetermined. Certain situations can exceed the normal range. The word “beyond normal range” is semantically weighted by the user 14. The pre-definition can occur when the user 14 first sends the contents of the archive 26 to the service provider 18 or at some other time prior to the formation of the completed message 10. Preliminary messages are meant by requesting that the retrieved clip 20 generally communicate to the user 14 and recipient 16 or at the same time to the user 14 and recipient 16 at a previous similar event. Directed to best friends or relatives to celebrate birthdays, Valentine's Day, anniversaries, or other important events that are important. In addition, the user 14 is designated to have a clip 20 with semantic significance from an archive 24 showing participation by actors in similar important events in a movie or video;
(7) Identify how the personal clip 20 from the second sub-archive 26 is combined with the clip 20 from the first sub-archive 24 and / or added music or other acoustic material. Within the scope of these specifications are fade-in / fade-out, segmented interlaced scanning, music type and tempo, presentation order, length of completed message 34 and its individual parts, other audio-visual mixing capabilities, etc. .

上記作業(2)〜(7)、及び、あるコンテンツがMMSメッセージ10に含まれる(あるいは、含まれない)ことをユーザが特定するための他の作業は、ステップ72から74の前の如何なる時点で起こっても良い。結果として、作業(2)〜(7)及び更なる作業は、集合的に、しかし単に一般的に、ステップ76で示される。特に、ステップ62〜70が第1の時間シーケンスを構成し、ステップ72、74が第2の時間シーケンスを表す一方で、ステップ76は、ステップ62〜70の間であって、ステップ72、74の前の如何なる時点でも起こり得る。   The above operations (2) to (7) and other operations for the user to specify that a certain content is included (or not included) in the MMS message 10 are performed at any time before steps 72 to 74. It may happen at. As a result, operations (2)-(7) and further operations are collectively, but generally indicated at step 76. In particular, steps 62-70 constitute a first time sequence and steps 72, 74 represent a second time sequence, while step 76 is between steps 62-70, It can happen at any time before.

上述されたように、サービス提供者18は、その後に意味的にタグを付されたダウンロードされたウェブコンテンツを、遠くのアーカイブ24へ加えることができる。ウェブコンテンツは、また、第1のサブアーカイブ24へ加えられ、更に、予備的メッセージ34の受信後、ユーザ14へ渡された整合するクリップの提示及び見直しの前又は後で意味的にタグを付された材料を含みうる。更に、サービス提供者18が予備的メッセージ34の音声部分へASRを適用する能力を有することに加えて、サービス提供者18は、また、顔及び声の識別を行う能力を有することができる。顔及び声の識別は、特に、ユーザ14個人のクリップ20に関連し、更に、クリップ20へ対応するタグ22を付加して、予備的メッセージ34にクリップ20を意味的に整合させる目的のためにアーカイブ24に含まれる。また、サービス提供者18は、予備的メッセージ34に直接には意味的に整合せず、予備的メッセージ34に意味的に整合する他のタグ22を有するクリップ20のタグ22に整合するクリップを、ユーザ14へ渡されたクリップ20へ加える能力を処理することができる。例えば、「ラブ」のタグ22を有するクリップ20が、「I love you」を含む予備的メッセージ34への整合として取り出されるとする。更に、取り出されたクリップ20が、また、クリップが、エッフェル塔の前に位置するユーザ14及び受信者16を示すので、「パリ」のタグ22を含むとする。タグ「パリ」は、予備的メッセージ34が意味的なコンテンツとして「パリ」を含まないとしても、その題名若しくは歌詞に「パリ」を含む歌又はパリの有名な場所の短時間の旅行を示すビデオクリップを、渡されたクリップ20へ付加することをもたらす。   As described above, the service provider 18 can then add the downloaded web content that is semantically tagged to the remote archive 24. Web content is also added to the first sub-archive 24 and further tagged semantically after receipt of the preliminary message 34 and before or after presentation and review of matching clips passed to the user 14. Material may be included. Further, in addition to the service provider 18 having the ability to apply ASR to the audio portion of the preliminary message 34, the service provider 18 can also have the ability to perform face and voice identification. Face and voice identification is particularly relevant to the user's 14 personal clip 20 and for the purpose of adding a corresponding tag 22 to the clip 20 to semantically match the clip 20 to the preliminary message 34. It is contained in the archive 24. Also, the service provider 18 does not directly match the preliminary message 34 semantically with a clip that matches the tag 22 of the clip 20 that has other tags 22 that semantically match the preliminary message 34. The ability to add to the clip 20 passed to the user 14 can be handled. For example, suppose that a clip 20 having a tag 22 of “Love” is retrieved as a match to a preliminary message 34 containing “I love you”. Further, assume that the retrieved clip 20 also includes a “Paris” tag 22 because the clip shows the user 14 and the receiver 16 located in front of the Eiffel Tower. The tag “Paris” is a video showing a short trip to a famous place in Paris or a song that includes “Paris” in its title or lyrics even though the preliminary message 34 does not include “Paris” as semantic content. This results in adding the clip to the passed clip 20.

上述されたように、受信者16は、完成した高度なMMSメッセージ10を受信するためにMMS装置へのアクセスを有する。ユーザ14がこのようなアクセスを有することが望ましい。適切なMMS装置は、PC、ラップトップ、例えばノキア7650又はソニーエリクソンT68iなどの携帯装置、及び、これらに類似する携帯型又は非携帯型のMMS装置を含む。更に、上述されたように、ユーザ14は、SMS装置のみへアクセスを有することがある。この場合には、ステップ66で、取り出されたクリップのサマリーしか渡されない。   As described above, the recipient 16 has access to the MMS device to receive the completed advanced MMS message 10. It is desirable for the user 14 to have such access. Suitable MMS devices include portable devices such as PCs, laptops such as Nokia 7650 or Sony Ericsson T68i, and similar portable or non-portable MMS devices. Further, as described above, the user 14 may have access only to the SMS device. In this case, at step 66, only a summary of the retrieved clip is passed.

ここで、図2を参照すると、上述した方法を実行するための一般化されたシステム100が示されている。図1の参照番号10〜34は、システム40の様々な要素の幾つかを区別するために図2で使用される。他の要素は、図1の方法の、上記機能を実行する能力を有する列挙ステップに対応する参照番号によって区別される要素として表される。   Referring now to FIG. 2, a generalized system 100 for performing the method described above is shown. Reference numerals 10-34 in FIG. 1 are used in FIG. 2 to distinguish some of the various elements of the system 40. Other elements are represented as elements distinguished by reference numbers corresponding to the enumeration steps having the ability to perform the above functions of the method of FIG.

ユーザ14によって従来の機関101を介して取得されるクリップ20は、経路106で提供される意味的タグ22を加えるために、経路104に沿って注釈器102へ送信される(ステップ54)。注釈を付されたクリップ20は、経路108で、近くにあるアーカイブ26に置かれる(ステップ56)。同様に、サービス提供者18のクリップ20は、経路112で注釈器110へ送信されて(ステップ50)、経路114でタグ22を受信し、注釈を付されたクリップ20は、経路116で、遠くにあるアーカイブ24へ送信される(ステップ52)。経路120によって表されるように、サービス提供者18は、存在論(ontology)118に、経路122に沿って注釈器110へガイダンスを提供させることができる。   The clip 20 obtained by the user 14 via the conventional institution 101 is sent along the path 104 to the annotator 102 to add the semantic tag 22 provided in the path 106 (step 54). The annotated clip 20 is placed in the nearby archive 26 by path 108 (step 56). Similarly, the clip 20 of the service provider 18 is sent on path 112 to the annotator 110 (step 50), receives the tag 22 on path 114, and the annotated clip 20 is far on path 116. (Step 52). As represented by path 120, service provider 18 may cause ontology 118 to provide guidance to annotator 110 along path 122.

近く/遠くのアーカイブ26/24は、アーカイブ28を形成するよう結合され(ステップ58)、それらのコンテンツは経路124及び126を通る。近くのアーカイブ26のコンテンツは、最初に、経路128に沿ってサービス提供者の注釈器110へ送信されても良い。注釈器110では、ユーザの注釈付記が、プロトコル118との合致のために、更に、サービス提供によって使用されたタグに一致する包括的なタグが付加されたことを確かにするために、確認される(ステップ60)。その後、近くのアーカイブ26のコンテンツは、経路116及び126を介してアーカイブ28へ送信される。   Near / far archives 26/24 are combined to form archive 28 (step 58), and their content follows paths 124 and 126. The contents of the nearby archive 26 may first be sent along the path 128 to the service provider's annotator 110. In the annotator 110, the user's annotation notes are checked to ensure that a generic tag matching the tag used by the service offer has been added for conformance with the protocol 118. (Step 60). Thereafter, the contents of the nearby archive 26 are transmitted to the archive 28 via paths 116 and 126.

予備的メッセージ34は、経路130に沿ってサービス提供者18へ送信される(ステップ62)。また、経路130で提供されるサービス、とりわけ、予備的メッセージ34に添付された(又は、予備的メッセージ34の後で送信された)いずれかのユーザ命令、渡されるクリップに関するユーザフィードバック、及び取り出されたクリップの最終的な選択が、送信される(ステップ68、70、76)。   The preliminary message 34 is sent along the path 130 to the service provider 18 (step 62). Also, any service provided on path 130, in particular any user command attached to (or sent after) preliminary message 34, user feedback regarding the clip passed, and retrieved. The final selection of the clip is sent (steps 68, 70, 76).

機関132は、予備的メッセージ34のアクション又はコンセプトにクリップを存在論的に整合して、整合したクリップを取り出すために、経路134で存在論118を、及び経路136に沿ってアーカイブ28内の注釈を付されたクリップを使用する(ステップ64)。取り出されたクリップは、見直し(review)のために経路138でユーザへ送信される(ステップ66)。この最後の動作に応答して、ユーザは、クリップ選択と、経路130に沿った更なる又は変更されたクリップ及び整合の要求とを終了する(ステップ68)。最終的に、ユーザは、自身の最終選択及び命令を経路130でサービス提供者へ送信する(ステップ70)。その場合に、サービス提供者は、経路140に沿って、経路140からの予備的メッセージ34に経路144からの選択されたクリップを結合するよう結合機関142の動作を達成して(ステップ72)、MMSメッセージ10を形成する。次に、MMSメッセージ10は、経路146に沿って、受信者のMMS通信装置36へ送信される。   The agency 132 ontologically aligns the clip to the action or concept of the preliminary message 34 and retrieves the matched clip from the ontology 118 along the path 134 and the annotations in the archive 28 along the path 136. The clip marked with is used (step 64). The retrieved clip is sent to the user on path 138 for review (step 66). In response to this last action, the user finishes the clip selection and request for further or changed clips and alignments along path 130 (step 68). Eventually, the user sends his final selection and command over path 130 to the service provider (step 70). In that case, the service provider accomplishes the operation of the coupling facility 142 to merge the selected clip from path 144 to the preliminary message 34 from path 140 along path 140 (step 72), An MMS message 10 is formed. The MMS message 10 is then transmitted along the path 146 to the recipient's MMS communication device 36.

図2を参照して記載された様々な経路及び要素は、当該分野において通常の知識を有する者によって選択された如何なる都合の良い形をとっても良く、これらの経路及び要素の、(必ずしも構造に限らず)機能が最も重要である。   The various pathways and elements described with reference to FIG. 2 may take any convenient form selected by those having ordinary skill in the art and are not necessarily limited to structures. I) Function is the most important.

上記は、本発明を図示及び記載されたその正確な形に限定しない。更に、本発明の属する技術的分野において通常の知識を有する者には明らかなように、上述された(本発明の均等とみなされる)本発明の変形及び変更は、本発明の技術的範囲を逸脱することなく達成され得る。このような変形及び変更は、特許請求の範囲によって表される範囲内にある。   The above does not limit the invention to the precise form shown and described. Further, as will be apparent to those skilled in the art to which the present invention pertains, variations and modifications of the present invention described above (which are considered equivalent to the present invention) are intended to cover the technical scope of the present invention. It can be achieved without departing. Such variations and modifications are within the scope of the claims.

本発明の原理に従って予備的メッセージの受信に応答して映像メッセージを合成する方法を実行する一般化されたフローチャートである。4 is a generalized flowchart for performing a method of compositing a video message in response to receiving a preliminary message in accordance with the principles of the present invention. 図1によって表された方法を実行するシステムの一般化された配置図である。FIG. 2 is a generalized layout diagram of a system for performing the method represented by FIG.

Claims (38)

MMSメッセージを合成する方法であって:
視聴覚コンテンツを含む複数のクリップを生成するステップ;
前記クリップに該クリップのコンテンツに対応する意味的に基づいたタグを付加することによって前記クリップに注釈を付すステップ;
前記意味的に基づいたクリップのアーカイブを作るステップ;
アクション又はコンセプトを受信者へ伝えるために前記受信者へ送信されるよう意図された予備的メッセージをユーザから受信するステップ;
前記予備的メッセージに含まれる少なくとも前記アクション又はコンセプトに意味的に整合するタグを有するクリップを前記アーカイブから取り出すステップ;
前記取り出されたクリップを前記ユーザへ渡すステップ;
前記ユーザが前記渡されたクリップのうちの1又はそれ以上の最終選択をすることに応答して、完成したMMSメッセージを生成するよう前記選択されたクリップ及び前記予備的メッセージを結合するステップ;及び
前記完成したMMSメッセージを前記受信者へ送信するステップ;
を有する方法。
A method for synthesizing an MMS message comprising:
Generating a plurality of clips containing audiovisual content;
Annotating the clip by adding a semantically based tag corresponding to the clip's content;
Creating an archive of said semantically based clips;
Receiving a preliminary message from a user intended to be sent to the recipient to convey an action or concept to the recipient;
Retrieving from the archive a clip having a tag that semantically matches at least the action or concept included in the preliminary message;
Passing the retrieved clip to the user;
Combining the selected clip and the preliminary message to generate a completed MMS message in response to the user making a final selection of one or more of the passed clips; and Sending the completed MMS message to the recipient;
Having a method.
前記予備的メッセージは言語に基づき、文字コンテンツ及び/又は音声コンテンツを含む、請求項1記載の方法。   The method of claim 1, wherein the preliminary message is based on language and includes textual content and / or audio content. 前記予備的メッセージの音声コンテンツの自動音声認識を行って、前記音声コンテンツを、対応する言語に基づく文字コンテンツへ変換するステップを更に有する、請求項2記載の方法。   The method of claim 2, further comprising performing automatic speech recognition of the audio content of the preliminary message to convert the audio content to character content based on a corresponding language. 前記予備的メッセージは視聴覚コンテンツを含む、請求項1記載の方法。   The method of claim 1, wherein the preliminary message includes audiovisual content. 前記予備的メッセージの音声コンテンツの自動音声認識及び視覚コンテンツの自動映像解析を行って、前記音声コンテンツ及び前記視覚コンテンツの夫々を、対応する言語に基づく文字コンテンツへ変換するステップを更に有する、請求項4記載の方法。   The method further comprises the steps of converting each of the audio content and the visual content into character content based on a corresponding language by performing automatic voice recognition of the audio content of the preliminary message and automatic video analysis of the visual content. 4. The method according to 4. 意味的整合は、また、前記ユーザ及び/又は前記受信者の名を含む、請求項1記載の方法。   The method of claim 1, wherein semantic matching also includes the name of the user and / or the recipient. 意味的整合は、キーワード整合又は存在論的プロトコルによって達成される、請求項6記載の方法。   The method of claim 6, wherein semantic matching is achieved by keyword matching or an ontological protocol. 意味的整合は、キーワード整合又は存在論的プロトコルによって達成される、請求項1記載の方法。   The method of claim 1, wherein semantic matching is achieved by keyword matching or an ontological protocol. 前記クリップは、前記ユーザ及び/又は1又は複数の第3のパーティによって生成されて、注釈を付され、
前記ユーザが注釈を付したクリップは、前記ユーザの近くのアーカイブにあり、
前記第3のパーティが注釈を付したクリップは、前記ユーザから遠いアーカイブにある、
請求項1記載の方法。
The clip is generated and annotated by the user and / or one or more third parties,
The clip annotated by the user is in an archive near the user;
The clip annotated by the third party is in an archive remote from the user,
The method of claim 1.
前記ユーザから遠いアーカイブの視聴覚コンテンツは、映像、広告用材料、宣伝用資料、映像又は映画の一部又は予告、音楽、インターネット又はWWWから得られる材料、及び同様の材料を含む、請求項9記載の方法。   10. The audiovisual content of the archive remote from the user includes video, advertising material, promotional material, video or movie part or trailer, music, material obtained from the Internet or WWW, and similar materials. the method of. 前記ユーザは、前記結合ステップの前に、夫々の渡されたクリップの一部又は全てを選択する、請求項1記載の方法。   The method of claim 1, wherein the user selects some or all of each passed clip prior to the combining step. 前記結合ステップの前に、前記ユーザは、
(i)意味的に整合させられるべき前記アクション又はコンセプト、又は
(ii)前記取り出しステップで使用された意味的基準、
の一方若しくは両方を特定する、あるいは加える、請求項1記載の方法。
Prior to the combining step, the user
(I) the action or concept to be semantically matched, or (ii) the semantic criteria used in the retrieval step,
The method of claim 1, wherein one or both of is specified or added.
前記ユーザは、前記最終選択をする前に、前記渡されたクリップを見直して、削除又は修正する、請求項12記載の方法。   The method of claim 12, wherein the user reviews and deletes or modifies the passed clip before making the final selection. 前記送信された完成したメッセージは、MMSケーブル装置において前記受信者によって受信される、請求項1記載の方法。   The method of claim 1, wherein the transmitted completed message is received by the recipient at an MMS cable device. 前記MMSケーブル装置は移動通信装置である、請求項14記載の方法。   The method of claim 14, wherein the MMS cable device is a mobile communication device. 前記MMSケーブル装置はコンピュータである、請求項14記載の方法。   The method of claim 14, wherein the MMS cable device is a computer. 前記予備的メッセージは、SMSケーブル装置、MMSケーブル装置を介して、又はボイスメールによって、前記ユーザによって送信される、請求項1記載の方法。   The method of claim 1, wherein the preliminary message is sent by the user via an SMS cable device, an MMS cable device, or by voice mail. 前記取り出されたクリップを前記ユーザへ渡した後、前記結合ステップの前に、
ユーザから命令を取得し、該命令に従って前記取り出しステップのパラメータを変更し、該変更されたパラメータに従って取り出されたそれらのクリップを前記ユーザへ渡すステップを更に有する、請求項1記載の方法。
After passing the retrieved clip to the user and before the combining step,
The method of claim 1, further comprising: obtaining instructions from a user, changing parameters of the retrieval step according to the instructions, and passing the clips retrieved according to the modified parameters to the user.
前記取得、変更、及び譲渡ステップは、前記最終選択がなされるまで繰り返される、請求項18記載の方法。   The method of claim 18, wherein the obtaining, modifying, and assigning steps are repeated until the final selection is made. MMSメッセージを合成するためのシステムであって:
視聴覚コンテンツを含む複数のクリップを生成する手段;
前記クリップに該クリップのコンテンツに対応する意味的に基づいたタグを付加することによって前記クリップに注釈を付す手段;
前記意味的に基づいたクリップのアーカイブを作る手段;
アクション又はコンセプトを受信者へ伝えるためにユーザから前記受信者へ送信されるよう意図された予備的メッセージを前記ユーザから受信する手段;
前記予備的メッセージに含まれる少なくとも前記アクション又はコンセプトに意味的に整合するタグを有するクリップを前記アーカイブから取り出す手段;
前記取り出されたクリップを前記ユーザへ渡す手段;
前記ユーザが、完成したMMSメッセージを生成するよう、選択されたクリップ及び前記予備的メッセージを結合するために、前記渡されたクリップのうちの1又はそれ以上を選択することに応答する手段;及び
前記完成したMMSメッセージを前記受信者へ送信する手段;
を有するシステム。
A system for synthesizing MMS messages comprising:
Means for generating a plurality of clips containing audiovisual content;
Means for annotating the clip by adding a semantically based tag to the clip corresponding to the content of the clip;
Means for creating an archive of said semantically based clips;
Means for receiving a preliminary message from the user intended to be transmitted from the user to the recipient to convey the action or concept to the recipient;
Means for retrieving from the archive a clip having a tag that semantically matches at least the action or concept contained in the preliminary message;
Means for passing the retrieved clip to the user;
Means responsive to the user selecting one or more of the passed clips to combine the selected clip and the preliminary message to generate a completed MMS message; and Means for sending the completed MMS message to the recipient;
Having a system.
前記予備的メッセージは言語に基づき、文字コンテンツ及び/又は音声コンテンツを含む、請求項20記載のシステム。   21. The system of claim 20, wherein the preliminary message is based on language and includes text content and / or audio content. 前記音声コンテンツを対応する言語に基づく文字コンテンツへ変換するよう前記音声コンテンツの自動音声認識を行う手段を更に有する、請求項21記載のシステム。   The system of claim 21, further comprising means for performing automatic speech recognition of the audio content to convert the audio content into character content based on a corresponding language. 前記予備的メッセージは視聴覚コンテンツを含む、請求項20記載のシステム。   21. The system of claim 20, wherein the preliminary message includes audiovisual content. 前記予備的メッセージの音声コンテンツ及び視覚コンテンツの夫々を対応する言語に基づく文字コンテンツへ変換するよう前記音声コンテンツの自動音声認識及び前記視覚コンテンツの自動映像解析を行う手段を更に有する、請求項23記載のシステム。   24. The system further comprises means for performing automatic speech recognition of the audio content and automatic video analysis of the visual content to convert each of the audio content and visual content of the preliminary message into text content based on a corresponding language. System. 前記取り出す手段は、また、前記ユーザ及び/又は前記受信者の名を整合するクリップを前記アーカイブから取り出す、請求項20記載のシステム。   21. The system of claim 20, wherein the means for retrieving also retrieves from the archive a clip that matches the name of the user and / or the recipient. 前記取り出す手段は、キーワード整合又は存在論的プロトコルによって意味的整合を達成する、請求項25記載のシステム。   26. The system of claim 25, wherein the means for retrieving achieves semantic matching by keyword matching or an ontological protocol. 前記取り出す手段は、キーワード整合又は存在論的プロトコルによって意味的整合を達成する、請求項20記載のシステム。   21. The system of claim 20, wherein the means for retrieving achieves semantic matching by keyword matching or an ontological protocol. 前記クリップを生成して、注釈を付すために、且つ
前記ユーザの近くのアーカイブに前記ユーザが注釈を付したクリップを置き、前記ユーザから遠いアーカイブに第3のパーティが注釈を付したクリップを置くために、
前記ユーザ及び/又は1又は複数の前記第3のパーティからの入力に応答する手段を更に有する、請求項20記載のシステム。
Generate and annotate the clip, and place the user-annotated clip in an archive near the user, and a third party place the annotated clip in an archive far from the user for,
21. The system of claim 20, further comprising means for responding to input from the user and / or one or more third parties.
前記ユーザから遠いアーカイブの視聴覚コンテンツは、映像、広告用材料、宣伝用資料、映像又は映画の一部又は予告、音楽、インターネット又はWWWから得られる材料、及び同様の材料を含む、請求項28記載のシステム。   29. The audiovisual content of the archive remote from the user includes video, advertising material, promotional material, video or movie part or trailer, music, material obtained from the Internet or WWW, and similar materials. System. 前記選択されたクリップ及び前記予備的メッセージの結合の前に、夫々の渡されたクリップの一部又は全てを選択することを前記ユーザに許可する手段を更に有する、請求項20記載のシステム。   21. The system of claim 20, further comprising means for allowing the user to select some or all of each passed clip prior to combining the selected clip and the preliminary message. 前記選択されたクリップ及び前記予備的メッセージの結合の前に、前記ユーザが、
(i)意味的に整合させられるべき前記アクション又はコンセプト、又は
(ii)前記取り出す手段によって使用された意味的基準、
の一方若しくは両方を特定する、あるいは加えることを可能にする手段を更に有する、請求項20記載のシステム。
Prior to combining the selected clip and the preliminary message, the user
(I) the action or concept to be semantically matched, or (ii) the semantic criteria used by the retrieving means,
21. The system of claim 20, further comprising means for allowing one or both of the two to be specified or added.
最終的なクリップ選択の前に、前記渡されたクリップを見直して、削除又は修正することを前記ユーザに許可する手段を更に有する、請求項31記載のシステム。   32. The system of claim 31, further comprising means for allowing the user to review and delete or modify the passed clip prior to final clip selection. 前記受信者が前記送信された完成したメッセージを受信するMMSケーブル装置を更に有する、請求項20記載のシステム。   21. The system of claim 20, further comprising an MMS cable device for the recipient to receive the transmitted completed message. 前記MMSケーブル装置は移動通信装置である、請求項33記載のシステム。   34. The system of claim 33, wherein the MMS cable device is a mobile communication device. 前記MMSケーブル装置はコンピュータである、請求項33記載のシステム。   34. The system of claim 33, wherein the MMS cable device is a computer. 前記ユーザによって前記予備的メッセージを送信するために、SMSケーブル装置、MMSケーブル装置、又はボイスメールを更に有する、請求項20記載のシステム。   21. The system of claim 20, further comprising an SMS cable device, an MMS cable device, or voice mail to send the preliminary message by the user. 前記ユーザが前記取り出されたクリップを渡された後、前記取り出されたクリップが前記予備的メッセージに結合される前に、前記ユーザから命令を取得し、該命令に従って前記取り出す手段のパラメータを変更し、該変更されたパラメータに従って取り出されたクリップを前記ユーザへ渡す手段を更に有する、請求項20記載のシステム。   After the user is passed the retrieved clip, and before the retrieved clip is combined with the preliminary message, obtain an instruction from the user and change the parameters of the retrieval means according to the instruction 21. The system of claim 20, further comprising means for passing a clip retrieved according to the modified parameter to the user. 前記選択することに応答する手段が作動するまで、前記取得する手段並びに前記変更及び譲渡手段の動作を繰り返す手段を更に有する、請求項37記載のシステム。   38. The system of claim 37, further comprising means for repeating the operations of the obtaining means and the changing and assigning means until the means responsive to the selection is activated.
JP2007546269A 2004-12-14 2005-12-12 Method and system for synthesizing video messages Pending JP2008523759A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US63602304P true 2004-12-14 2004-12-14
PCT/IB2005/054190 WO2006064455A1 (en) 2004-12-14 2005-12-12 Method and system for synthesizing a video message

Publications (1)

Publication Number Publication Date
JP2008523759A true JP2008523759A (en) 2008-07-03

Family

ID=36129859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007546269A Pending JP2008523759A (en) 2004-12-14 2005-12-12 Method and system for synthesizing video messages

Country Status (4)

Country Link
EP (1) EP1829344A1 (en)
JP (1) JP2008523759A (en)
CN (1) CN101080918A (en)
WO (1) WO2006064455A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2427527B (en) * 2005-06-21 2010-04-14 Vodafone Plc Content delivery in a telecommunications network
US8311337B2 (en) 2010-06-15 2012-11-13 Cyberlink Corp. Systems and methods for organizing and accessing feature vectors in digital images
CN102455847A (en) * 2010-10-15 2012-05-16 宏碁股份有限公司 Visual effect generation system based on semanteme
WO2013063745A1 (en) * 2011-10-31 2013-05-10 Nokia Corporation On-demand video cut service
CN103078937B (en) * 2012-12-31 2015-07-22 合一网络技术(北京)有限公司 Method, client terminal, server and system for implementing multi-video cloud synthesis on basis of information network

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020137507A1 (en) * 2001-03-20 2002-09-26 Techimage, Llp., System and method for providing automatic multimedia messages service
ITTO20020724A1 (en) * 2002-08-14 2004-02-15 Telecom Italia Lab Spa PROCEDURE AND SYSTEM FOR THE TRANSMISSION OF MESSAGES TO
BRPI0407187A (en) * 2003-02-04 2006-02-07 Koninkl Philips Electronics Nv Method for transmitting multimedia message, computer program, recording carrier, communication system

Also Published As

Publication number Publication date
WO2006064455A1 (en) 2006-06-22
EP1829344A1 (en) 2007-09-05
CN101080918A (en) 2007-11-28

Similar Documents

Publication Publication Date Title
JP3927962B2 (en) Data processing apparatus and data processing program
EP2390783B1 (en) Method and apparatus for annotating a document
US6748421B1 (en) Method and system for conveying video messages
US8819533B2 (en) Interactive multimedia diary
TWI379207B (en) Methods and systems for generating a media program
KR101513888B1 (en) Apparatus and method for generating multimedia email
US20100223314A1 (en) Apparatus and method for creating and transmitting unique dynamically personalized multimedia messages
US20060136556A1 (en) Systems and methods for personalizing audio data
JP2003076647A (en) Mail transmitting/receiving method, and device using it
WO2008001500A1 (en) Audio content generation system, information exchange system, program, audio content generation method, and information exchange method
KR20080097361A (en) Creating annotated recordings and transcripts of presentations using a mobile device
KR20070005671A (en) Method and system for editing a multimedia message
KR100630017B1 (en) Information trnasfer system, terminal unit and recording medium
US8682938B2 (en) System and method for generating personalized songs
JP2008523759A (en) Method and system for synthesizing video messages
JP2005228297A (en) Production method of real character type moving image object, reproduction method of real character type moving image information object, and recording medium
JP2003223178A (en) Electronic song card creation method and receiving method, electronic song card creation device and program
JP4587966B2 (en) Data processing device
KR20090000121A (en) Method for managing content forwarding server
JP2003216186A (en) Speech data distribution management system and its method
JP2001350704A (en) Electronic device, storage medium and computer program
JP2006209782A (en) Data processor
TWI317492B (en)
KR20100010369A (en) Playback apparatus, playback method and playback system
JP2004265146A (en) Electronic dictionary managing device and dictionary data transmitting program