JP2010171747A - 動画生成装置 - Google Patents

Abstract

【課題】 現在の電子メールは、主に文字や静止画を情報として送信しているが、テレビ等の動画を見る機器においては、単純な文字や静止画では視聴上寂しく感じる。
【解決手段】 本発明では、動画生成装置が、文字や静止画の電子メールをサーバ上で動画に変換して配信する。文字や静止画を擬似的に動画に配信することで、テレビにおいて、電子メールを見る場合、違和感の少ないコミュニケーションが実現できるようになる。
【選択図】図１

Description

電子メールを用いた通信に関するものもであり、特にストリーミング視聴機能を持つ、テレビ向けの動画生成装置関するものである。

近年、デジタル放送の普及により、テレビ、レコーダ機器に加え、コンピュータネットワークの普及に伴い、通信機能を持ったテレビジョンシステムが開発されている。今後、更に高度な映像音声を含む通信機能を持ったテレビジョンシステムが普及するものと思われる。

特開２００３−３３３５６８号公報

一般に、電子メールを用いたコミュニケーションでは、文字や静止画によるものが主であり、動画を見る事が前提であるテレビでは、単純な文字や静止画の表示では物足りなさを感じることが指摘されている。

動画生成装置が、文字や静止画の電子メールをサーバ上で動画に変換して配信する機能を持つ構成としている。

テレビにおいて、電子メールを見る場合、違和感の少ないコミュニケーションが実現できるようになる。

以下、実施の形態を図面に基づいて詳細に説明する。

図１は、実施例の形態１を示すシステム構成図の例である。
図１は、送信側端末１、受信側端末２、ネットワーク３及び、メール受信５、動画変換７、ストリーミング送信６からなる動画生成サーバ４から構成されている。

図１は、送信側端末１から、受信側端末２宛てに、電子メール（以下、メール）を送った場合、ネットワーク３を介して、動画生成サーバ７のメール受信５で、メールを受付、その内容を動画変換７で動画データに変換し、ストリーミング送信６より、ネットワーク３を介して、受信側端末２にストリーミング送信するように構成したものである。

実施例の形態１の効果としては、一般に文字情報から成るメールを、動画として受信できる為、受信側端末２が、動画を見る目的に適しているテレビの場合、視聴環境を考慮した動画によるメールの伝達が可能となる。

図２は、実施の形態１における動画変換のブロック図である。
図２は、図１中の動画変換７の内部構成ブロック図であり、文字→静止画変換処理部８、静止画→動画変換処理部９、音声データ蓄積部１０から構成されている。

図２は、文字→静止画変換処理部８の入力として、図１のメール受信５から文字情報を受け取り、文字情報を静止画に変換する一方、音声データ蓄積部１０から該当する音声データを選択し、静止画→動画変換処理９へ入力することで、ストリーミング・データを生成し、図１のストリーミング送信６に出力するように構成したものである。

ここでの効果としては、動画変換７において、メールの文字情報から、ストリーミング用の動画データを生成することができる。

図３は、実施の形態１における送信側端末の操作画面例であり、具体的に携帯電話におけるメール作成画面１１を示したものである。
図３は、メールの宛先として「abc@xyz.co.jp」、件名として「ご無沙汰」、本文として「お元気ですか。旅行に行きました。」という内容で、メールを作成したもので、「メール送信」のボタンを押す操作により、メールを送信する事ができる。

図４は、実施の形態１におけるメール変換のフロー図であり、図２中の文字→静止画変換処理部８のメール変換の処理フローを示した図である。

図４は、メール変換開始１２、ＤＡＴＡ部分の抽出１３、文字列の解析１４、「Ｄａｔｅ：」に続く文字列抽出１５、「Ｆｒｏｍ：」に続く文字列抽出１６、「Ｓｕｂｊｅｃｔ：」に続く文字列抽出１７、本文（ＢＯＤＹ）文字列抽出１８、対象外文字列１９、「．」（ピリオド）の文字検出２０、テンプレート１に従いビットマップ作成２１、テンプレート２に従いビットマップ作成２２、テンプレート３に従いビットマップ作成２３、メール変換終了２４から構成されている。

ここでは、メールとして標準的なＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を用いた場合についての処理フローとして記載している。

図４は、メール変換開始１２から始まり、メールのＤＡＴＡ部分の抽出１３により、メールの本体を取り出し、文字列の解析１４と、「Ｄａｔｅ：」に続く文字列抽出１５、「Ｆｒｏｍ：」に続く文字列抽出１６、「Ｓｕｂｊｅｃｔ：」に続く文字列抽出１７、本文（ＢＯＤＹ）文字列抽出１８、対象外文字列１９、「．」（ピリオド）の文字検出２０が実行され、それぞれの文字列は、テンプレート１に従いビットマップ作成２１、テンプレート２に従いビットマップ作成２２、テンプレート３に従いビットマップ作成２３の動作が行われ、「．」（ピリオド）の文字検出２０により、メールのＤＡＴＡ部分の終了を検出し、メール変換終了２４で処理を終了するよう構成したものである。

ここでの効果としては、メール変換のフローにより、メールの特定の要素の文字列をテンプレートに従いビットマップ作成することで、静止画データを生成することができる。

図５は、実施の形態１における文字→静止画変換処理の例であり、模式的に、メール（ＤＡＴＡ部分）を入力として、図４中のテンプレート１に従いビットマップ作成２１、テンプレート２に従いビットマップ作成２２、テンプレート３に従いビットマップ作成２３、それぞれのテンプレートと、得られるビットマップ・データの関係を示した図である。

図５は、メール（ＤＡＴＡ部分）２５、テンプレート１の２６、テンプレート２の２７、テンプレート３の２８、ビットマップ・データ１の２９、ビットマップ・データ２の３０、ビットマップ・データ３の３１から構成されている。

図５は、メール（ＤＡＴＡ部分）２５の入力の各要素が、テンプレート１の２６、テンプレート２の２７、テンプレート３の２８により、処理されることで、出力として、ビットマップ・データ１の２９、ビットマップ・データ２の３０、ビットマップ・データ３の３１が得られることを示したものである。

ここでの効果としては、テンプレートの処理内容を変更することで、同じメール（ＤＡＴＡ部分）２５の入力に対しても、異なった任意の形式のビットマップ作成することができ、柔軟に静止画データを生成することができる。

本実施例では、テンプレートの各要素として、テンプレート１の２６は、「表示文字のフォントサイズ、表示座標、切捨て文字数、文字揃え位置」、テンプレート２の２７は、「表示文字のフォントサイズ、表示座標、文字揃え位置」、テンプレート３の２８は、「表示文字のフォントサイズ、表示座標、文字揃え位置、一行当りの文字数、一ページ当りの文字数」の情報を含んでいる。

図６は、実施の形態１における音声データ選択のフロー図であり、図２中の静止画→動画変換処理部９において、音声データ蓄積部１０からの音声データの選択処理フローを示した図である。

図６は、音声データ選択開始３２、ＤＡＴＡ部分の抽出１３、文字列の解析１４、「Ｄａｔｅ：」に続く文字列抽出１５、「Ｄａｔｅ：」、「．」以外の文字検出３３、「．」（ピリオド）の文字検出２０、「Ｄａｔａ：」に続く文字列の月情報より該当月の音声データを選択３４、音声データが選択されているか３５、現在日時の月情報より該当月の音声データを選択３６、音声データ選択終了３７から構成されている。
ここでは、音声データの選択方法として、メールの中に含まれる月情報を元としている。

図６は、音声データ選択開始３２から始まり、メールのＤＡＴＡ部分の抽出１３により、メールの本体を取り出し、文字列の解析１４と、「Ｄａｔｅ：」に続く文字列抽出１５、「Ｄａｔｅ：」、「．」以外の文字検出３３、「．」（ピリオド）の文字検出２０が実行され、「Ｄａｔｅ：」に続く文字列抽出ができた場合には、その中の月情報から、該当する音声データを選択し、「．」（ピリオド）の文字検出２０により、メールのＤＡＴＡ部分の終了を検出し、音声データが選択されているか３５で、音声データが選択されていない場合は、現在日時の月情報より該当月の音声データを選択３６で実行し、音声データ選択終了３７で処理を終了するよう構成したものである。

ここでの効果としては、メールのＤＡＴＡ部分に含まれる月情報、又は、現在の日時の月情報により、異なった音声データが選択される為、季節に合った音声データ（音楽）を選択できることができる。

また、月別の音声情報を複数用意しておき、該当月の中でランダムに音声データを選択したり、月日まで判定し、特定の日（クリスマスや、お正月、予め設定した送信先の人物の誕生日）に合せて、個別の音楽データが選択されるように処理フローや音楽データを用意するようにしても良い。

図７は、実施の形態１における静止画→動画変換の例であり、模式的に、ビットマップ・データと音声データを、図２中の静止画→動画変換処理部３９に入力し、動画変換されたストリーミング・データが得られる関係を示した図である。

図７は、静止画→動画変換処理３９と、入力画像である、ビットマップ・データ１の２９、ビットマップ・データ２の３０、ビットマップ・データ３の３１、入力音声である、音声データ３８と、出力であるストリーミング・データ４０から構成されている。

図７は、入力画像である、ビットマップ・データ１の２９、ビットマップ・データ２の３０、ビットマップ・データ３の３１をＧＯＰ（Group of Picutres）の整数倍とし、変換後の符号化方式をＭＰＥＧとして、ＧＯＰを「ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ」（Ｉ：Ｉピクチャ、Ｐ：Ｐピクチャ、Ｂ：Ｂピクチャ）の１５フレーム単位、Ｎ１＝２０、Ｎ２＝２０、Ｎ３＝２０、映像フレームレート＝３０フレーム/秒をとした場合、静止画→動画変換処理３９の入力映像は、
１）ビットマップ・データ１の２９ ： ３００フレーム ＝ １０秒間
２）ビットマップ・データ２の３０ ： ３００フレーム ＝ １０秒間
３）ビットマップ・データ３の３１ ： ３００フレーム ＝ １０秒間
となり、合計で３０秒間の映像となる。

この映像期間と音声データの長さの整合を取る為、音声データの長さを３０秒となるように切り出した音声データ３８を上記の３０秒の映像と同期して、静止画→動画変換処理３９に入力すると、３０秒間の音声付の動画データをストリーミング・データとして生成することができる。

ここでの効果としては、静止画像であるビットマップ・データの動画変換の単位をＧＯＰの整数倍としている為、映像の符号化単位と、ビットマップ・データの切換タイミングが同期できるので、画質的な劣化を最小限に抑えることができる。
また、映像期間と音声データの長さの整合を取ることで、自然な動画データを生成することができる。

図８は、実施の形態１における受信側端末の映像音声の出力の例であり、模式的に、ストリーミング・データを、図１の受信端末入力２し、デコード処理した結果、受信側端末２上で再生される映像出力・音声出力を示した図である。

図８は、ストリーミング・データ４０、デコード処理４１、映像出力４２、音声出力４３から構成されている。

図８は、図７の出力として得られたストリーミング・データ４０が、図１のネットワーク３を介して受信されたものであり、デコード処理４１では、図７の静止画→動画変換処理３９の逆の処理が行われ、映像出力４２と、音声出力４３が得られるように構成されている。

ここでは、ＭＰＥＧ符号化の時点で、ＧＯＰが１５フレーム単位としており、Ｎ１＝２０、Ｎ２＝２０、Ｎ３＝２０、映像フレームレート＝３０フレーム/秒となっているので、ＭＰＥＧ復号して得られる映像出力は、
１）ビットマップ・データ１の２９ ： ３００フレーム ＝ １０秒間
２）ビットマップ・データ２の３０ ： ３００フレーム ＝ １０秒間
３）ビットマップ・データ３の３１ ： ３００フレーム ＝ １０秒間
となり、合計で３０秒間の映像となる。（ただし、ＭＰＥＧ映像は非可逆符号化なので、元のビットマップ・データと完全には一致しない）
この映像期間と音声データの長さの整合を取った３０秒の音声データ３８が音声出力として得られる。（ただし、ＭＰＥＧ音声は非可逆符号化なので、元の音声データと完全には一致しない）
図９は、実施の形態１における受信側端末の内部ブロック図である。
図９は、ディスプレイドライバ５７、スケーリング処理５６、映像デコード処理５５、音声ドライバ５９、音声デコード処理５８、AVパケット分離処理５４からなる映像・音声復号部６０と、スピーカ６２、ディスプレイパネル６１からなる映像・音声復号化出力部位と、ネットワーク５０と接続したネットワーク処理５１、アンテナ４９と接続したチューナ処理５２、ネットワーク処理５１の出力とチューナ処理５２の出力とを、CPU４６、プログラムROM４７、RAM４８のプログラム制御により選択出力する入力切換処理５３と、ユーザ操作の為のリモコン４４、リモコン処理４５から構成されている。

図９において、一般にテレビの視聴の動作は、ユーザがリモコン４４を操作、リモコン処理４５で受信し、CPU４６、プログラムROM４７、RAM４８上で動作する制御ソフトウェアが、チューナ処理５２に選局制御を行い、入力切換処理５３の出力としてチューナ処理５２からの信号を選択し、映像・音声復号部６０を制御することで、スピーカ６２および、ディスプレイパネル６１にテレビ放送が出力される。

また、ストリーミングの視聴の動作は、同様に、ユーザがリモコン４４を操作、リモコン処理４５で受信し、CPU４６、プログラムROM４７、RAM４８上で動作する制御ソフトウェアが、ネットワーク処理５１でネットワーク５０を介してネットワーク上のストリーミングサーバにデータを要求し、得られたストリーミング・データをネットワーク処理５１で受信し、入力切換処理５３の出力として、ネットワーク処理５１からの信号を選択し、映像・音声復号部６０を制御することで、スピーカ６２および、ディスプレイパネル６１にテレビ放送が出力される。

図１０は、実施の形態２における送信側端末の操作画面例であり、具体的に携帯電話におけるメール作成画面６３を示したものである。

図１０は、メールの宛先として「abc@xyz.co.jp」、件名として「ご無沙汰」、添付ファイルとして「20080402.jpg」、本文として「旅行に行きました。写真を送ります。」という内容で、メールを作成したもので、「メール送信」のボタンを押す操作により、メールを送信する事ができる。

図１１は、実施の形態２におけるメール変換のフロー図であり、
図２中の文字→静止画変換処理部８のメール変換の処理フローを示した図である。

図１１は、メール変換開始１２、ＤＡＴＡ部分の抽出１３、文字列の解析１４、「Ｄａｔｅ：」に続く文字列抽出１５、「Ｆｒｏｍ：」に続く文字列抽出１６、「Ｓｕｂｊｅｃｔ：」に続く文字列抽出１７、本文（ＢＯＤＹ）文字列抽出１８、対象外文字列１９、「．」（ピリオド）の文字検出２０、テンプレート１に従いビットマップ作成２１、テンプレート２に従いビットマップ作成２２、テンプレート３に従いビットマップ作成２３、添付写真があるか６４、テンプレート４に従いビットマップを作成６５、メール変換終了２４から構成されている。

ここでは、メールとして標準的なＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を用いた場合についての処理フローとして記載している。

図１１は、メール変換開始１２から始まり、メールのＤＡＴＡ部分の抽出１３により、メールの本体を取り出し、文字列の解析１４と、「Ｄａｔｅ：」に続く文字列抽出１５、「Ｆｒｏｍ：」に続く文字列抽出１６、「Ｓｕｂｊｅｃｔ：」に続く文字列抽出１７、本文（ＢＯＤＹ）文字列抽出１８、対象外文字列１９、「．」（ピリオド）の文字検出２０が実行され、それぞれの文字列は、テンプレート１に従いビットマップ作成２１、テンプレート２に従いビットマップ作成２２、テンプレート３に従いビットマップ作成２３の動作が行われ、「．」（ピリオド）の文字検出２０により、メールのＤＡＴＡ部分の終了を検出し、添付写真の有無を、添付写真があるか６４で判定し、添付写真がある場合には、テンプレート４に従いビットマップを作成６５で実行し、メール変換終了２４で処理を終了するよう構成したものである。

ここでの効果としては、メール変換のフローにより、メールの特定の要素の文字列をテンプレートに従いビットマップ作成することで、静止画データを生成することができる
と共に、メールに添付写真がある場合には、写真をテンプレートに従い、ビットマップ化することで、文字列をビットマップ化したものと整合性を取る事が可能となる。

図１２は、実施の形態２における文字→静止画変換処理の例であり、模式的に、メール（ＤＡＴＡ部分）および、メール（添付写真：20080401.jpg）を入力として、図１１中のテンプレート１に従いビットマップ作成２１、テンプレート２に従いビットマップ作成２２、テンプレート３に従いビットマップ作成２３、テンプレート４に従いビットマップ作成６５、それぞれのテンプレートと、得られるビットマップ・データの関係を示した図である。

図１２は、メール（ＤＡＴＡ部分）６６、メール（添付写真：20080401.jpg）６７、テンプレート１の２６、テンプレート２の２７、テンプレート３の２８、テンプレート４の６８、ビットマップ・データ１の２９、ビットマップ・データ２の３０、ビットマップ・データ３の６９、ビットマップ・データ４の７０から構成されている。

図１２は、メール（ＤＡＴＡ部分）６６及び、メール（添付写真：20080401.jpg）６７の入力の各要素が、テンプレート１の２６、テンプレート２の２７、テンプレート３の２８、テンプレート４の６８により、処理されることで、出力として、ビットマップ・データ１の２９、ビットマップ・データ２の３０、ビットマップ・データ３の６９、ビットマップ・データ４の７０が得られることを示したものである。

ここでの効果としては、テンプレートの処理内容を変更することで、同じメール（ＤＡＴＡ部分）６６の入力に対しても、異なった任意の形式のビットマップ作成することができ、柔軟に静止画データを生成することができ、メール（添付写真：20080401.jpg）６７についても、テンプレートに従った任意のビットマップ作成することができる。

本実施例では、テンプレートの各要素として、テンプレート１の２６は、「表示文字のフォントサイズ、表示座標、切捨て文字数、文字揃え位置、壁紙データの使用の有無」、テンプレート２の２７は、「表示文字のフォントサイズ、表示座標、文字揃え位置、壁紙データの使用の有無」、テンプレート３の２８は、「表示文字のフォントサイズ、表示座標、文字揃え位置、一行当りの文字数、一ページ当りの文字数」、テンプレート４の６８は、「スケーリング実行による画像の変換後表示画素数」の情報を含んでいる。

図１３は、実施の形態２における音声データ選択のフロー図であり、図２中の静止画→動画変換処理部９において、音声データ蓄積部１０からの音声データの選択処理フローを示した図である。

図１３は、音声データ選択開始３２、添付写真はあるか６４、日時情報があるか７１、添付写真の月情報より該当月の音声データを選択７２、ＤＡＴＡ部分の抽出１３、文字列の解析１４、「Ｄａｔｅ：」に続く文字列抽出１５、「Ｄａｔｅ：」、「．」以外の文字検出３３、「．」（ピリオド）の文字検出２０、「Ｄａｔａ：」に続く文字列の月情報より該当月の音声データを選択３４、音声データが選択されているか３５、現在日時の月情報より該当月の音声データを選択３６、音声データ選択終了３７から構成されている。
ここでは、音声データの選択方法として、メールに添付されている写真の月情報または、メールの中に含まれる月情報を元としている。

図１３は、音声データ選択開始３２から始まり、添付写真があるか６４により判定し、更に日付情報があるか７１にて、写真から日付情報が取れる場合は、添付写真の月情報より該当月の音声データを選択７２で実行し、添付写真がない場合及び、添付写真から日付情報が取れない場合は、メールのＤＡＴＡ部分の抽出１３により、メールの本体を取り出し、文字列の解析１４と、「Ｄａｔｅ：」に続く文字列抽出１５、「Ｄａｔｅ：」、「．」以外の文字検出３３、「．」（ピリオド）の文字検出２０が実行され、「Ｄａｔｅ：」に続く文字列抽出ができた場合には、その中の月情報から、該当する音声データを選択し、「．」（ピリオド）の文字検出２０により、メールのＤＡＴＡ部分の終了を検出し、音声データが選択されているか３５で、音声データが選択されていない場合は、現在日時の月情報より該当月の音声データを選択３６で実行し、音声データ選択終了３７で処理を終了するよう構成したものである。

ここでの効果としては、メールに添付写真があり、その写真の日付情報が取得できる場合は、その日付を優先し、添付写真がないか、添付写真の日付情報が取得できない場合は、メールのＤＡＴＡ部分に含まれる月情報、又は、現在の日時の月情報により、異なった音声データが選択される為、写真の撮影した季節に合った音声データ（音楽）を優先的に選択できることができる。

また、月別の音声データを複数用意しておき、該当月の中でランダムに音声データを選択したり、月日まで判定し、特定の日（クリスマスや、お正月、予め設定した送信先の人物の誕生日）に合せて、個別の音楽データが選択されるように処理フローや音楽データを用意するようにしても良い。

図１４は、実施の形態２における静止画→動画変換の例であり、模式的に、ビットマップ・データと音声データを、図２中の静止画→動画変換処理部３９に入力し、動画変換されたストリーミング・データが得られる関係を示した図である。

図１４は、静止画→動画変換処理３９と、入力画像である、ビットマップ・データ１の２９、ビットマップ・データ２の３０、ビットマップ・データ３の６９、ビットマップ・データ４の７０、入力音声である、音声データ７３と、出力であるストリーミング・データ７４から構成されている。

図１４は、入力画像である、ビットマップ・データ１の２９、ビットマップ・データ２の３０、ビットマップ・データ３の６９、ビットマップ・データ４の７０をＧＯＰ（Group of Picutres）の整数倍とし、変換後の符号化方式をＭＰＥＧとして、ＧＯＰを「ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ」（Ｉ：Ｉピクチャ、Ｐ：Ｐピクチャ、Ｂ：Ｂピクチャ）の１５フレーム単位、Ｎ１＝２０、Ｎ２＝２０、Ｎ３＝２０、Ｎ４＝４０、映像フレームレート＝３０フレーム/秒をとした場合、静止画→動画変換処理３９の入力映像は、
１）ビットマップ・データ１の２９ ： ３００フレーム ＝ １０秒間
２）ビットマップ・データ２の３０ ： ３００フレーム ＝ １０秒間
３）ビットマップ・データ３の６９ ： ３００フレーム ＝ １０秒間
４）ビットマップ・データ４の７０ ： ６００フレーム ＝ ２０秒間
となり、合計で５０秒間の映像となる。

この映像期間と音声データの長さの整合を取る為、音声データの長さを５０秒となるように切り出した音声データ７３を上記の５０秒の映像と同期して、静止画→動画変換処理３９に入力すると、５０秒間の音声付の動画データをストリーミング・データとして生成することができる。

ここでの効果としては、静止画像であるビットマップ・データの動画変換の単位をＧＯＰの整数倍としている為、映像の符号化単位と、ビットマップ・データの切換タイミングが同期できるので、画質的な劣化を最小限に抑えることができる。
また、映像期間と音声データの長さの整合を取ることで、自然な動画データを生成することができる。
更に、メールに添付写真があった場合には、その写真の画像も自動的に動画変換することができる。

図１５は、実施の形態２における受信側端末の映像音声の出力の例であり、模式的に、ストリーミング・データを、図１の受信端末入力２し、デコード処理した結果、受信側端末２上で再生される映像出力・音声出力を示した図である。

図１５は、ストリーミング・データ７４、デコード処理４１、映像出力７５、音声出力７６から構成されている。

図１５は、図１４の出力として得られたストリーミング・データ７４が、図１のネットワーク３を介して受信されたものであり、デコード処理４１では、図１４の静止画→動画変換処理３９の逆の処理が行われ、映像出力７５と、音声出力７６が得られるように構成されている。

ここでは、ＭＰＥＧ符号化の時点で、ＧＯＰが１５フレーム単位としており、Ｎ１＝２０、Ｎ２＝２０、Ｎ３＝２０、Ｎ４＝４０、映像フレームレート＝３０フレーム/秒となっているので、ＭＰＥＧ復号して得られる映像出力は、
１）ビットマップ・データ１の２９ ： ３００フレーム ＝ １０秒間
２）ビットマップ・データ２の３０ ： ３００フレーム ＝ １０秒間
３）ビットマップ・データ３の６９ ： ３００フレーム ＝ １０秒間
４）ビットマップ・データ３の７０ ： ６００フレーム ＝ ２０秒間
となり、合計で５０秒間の映像となる。（ただし、ＭＰＥＧ映像は非可逆符号化なので、元のビットマップ・データと完全には一致しない）
この映像期間と音声データの長さの整合を取った５０秒の音声データ７６が音声出力として得られる。（ただし、ＭＰＥＧ音声は非可逆符号化なので、元の音声データと完全には一致しない）
図１６は、実施例の形態３を示すシステム構成図である。
図１６は、送信側端末１、受信側端末２、ネットワーク３及び、メール受信５、動画変換７、ストリーミング送信７８、メール送信７９からなる動画生成サーバ７７から構成されている。

図１６は、送信側端末１から、受信側端末２宛てに、電子メール（以下、メール）を送った場合、ネットワーク３を介して、動画生成サーバ７のメール受信５で、メールを受付、その内容を動画変換７で動画データに変換し、ストリーミング送信７８より、メール送信７９を制御すると共に、ネットワーク３を介して、受信側端末２にメール送信及び、ストリーミング送信するように構成したものである。

実施例の形態３の効果としては、一般に文字情報から成るメールを、動画として受信できる為、受信側端末２が、動画を見る目的に適しているテレビの場合、視聴環境を考慮した動画によるメールの伝達が可能となるが、更に、メール送信機能を持つ事で、ストリーミング送信の準備ができた事を通知する機能を実現することができる。

図１７は、実施の形態３における文字→静止画変換処理の例であり、模式的に、メール（ＤＡＴＡ部分）を入力として、図１６中のメール送信７９の内容を示した例である。
図１７は、メール（ＤＡＴＡ部分）６６、メール（添付写真：20080401.jpg）６７、メール（情報通知）８０から構成されている。

図１７は、メール（ＤＡＴＡ部分）６６の入力の各要素内、日付情報以外の情報は、予め定型のフォーマットとして、定義しており、メール（情報通知）８０では、「動画メールが届いている」事だけを、受信側端末に通知するようにしたものである。

ここでの効果としては、メール（情報通知）８０を生成することで、「動画メールが届いている」ことを、受信側端末に積極的通知することができるようになる。

図１８は、実施の形態４における動画変換のブロック図である。
図１８は、図１中の動画変換に相当する動画変換８１の内部構成ブロック図であり、文字→静止画変換処理部８、静止画→動画変換処理部８２、壁紙データ蓄積部８３から構成されている。

図１８は、文字→静止画変換処理部８２の入力として、図１のメール受信５から文字情報を受け取り、文字情報を静止画に変換する一方、壁紙データ蓄積部８３から該当する壁紙データを選択し、静止画→動画変換処理８２へ入力することで、ストリーミング・データを生成し、図１のストリーミング送信６に出力するように構成したものである。

ここでの効果としては、動画変換８１において、メールの文字情報から、ストリーミング用の動画データを生成する際、文字情報を一旦静止画像に変換する必要があるが、その静止画像の背景に壁紙データを付加ことができる。

図１９は、実施の形態４における壁紙データ選択のフロー図であり、図１８中の静止画→動画変換処理部８２において、壁紙データ蓄積部８３からの音声データの選択処理フローを示した図である。

図１９は、壁紙データ選択開始８４、添付写真はあるか６４、日時情報があるか７１、添付写真の月情報より該当月の壁紙データを選択８５、ＤＡＴＡ部分の抽出１３、文字列の解析１４、「Ｄａｔｅ：」に続く文字列抽出１５、「Ｄａｔｅ：」、「．」以外の文字検出３３、「．」（ピリオド）の文字検出２０、「Ｄａｔａ：」に続く文字列の月情報より該当月の壁紙データを選択８６、壁紙データが選択されているか８７、現在日時の月情報より該当月の壁紙データを選択８８、壁紙データ選択終了８９から構成されている。

ここでは、壁紙データの選択方法として、メールに添付されている写真の月情報または、メールの中に含まれる月情報を元としている。

図１９は、壁紙データ選択開始３２から始まり、添付写真があるか６４により判定し、更に日付情報があるか７１にて、写真から日付情報が取れる場合は、添付写真の月情報より該当月の壁紙データを選択８５で実行し、添付写真がない場合及び、添付写真から日付情報が取れない場合は、メールのＤＡＴＡ部分の抽出１３により、メールの本体を取り出し、文字列の解析１４と、「Ｄａｔｅ：」に続く文字列抽出１５、「Ｄａｔｅ：」、「．」以外の文字検出３３、「．」（ピリオド）の文字検出２０が実行され、「Ｄａｔｅ：」に続く文字列抽出ができた場合には、その中の月情報から、該当する壁紙データを選択し、「．」（ピリオド）の文字検出２０により、メールのＤＡＴＡ部分の終了を検出し、壁紙データが選択されているか８７で、壁紙データが選択されていない場合は、現在日時の月情報より該当月の壁紙データを選択８８で実行し、壁紙データ選択終了８９で処理を終了するよう構成したものである。

ここでの効果としては、メールに添付写真があり、その写真の日付情報が取得できる場合は、その日付を優先し、添付写真がないか、添付写真の日付情報が取得できない場合は、メールのＤＡＴＡ部分に含まれる月情報、又は、現在の日時の月情報により、異なった壁紙データが選択される為、写真の撮影した季節に合った壁紙データを優先的に選択できることができる。

また、月別の壁紙データを複数用意しておき、該当月の中でランダムに壁紙データを選択したり、月日まで判定し、特定の日（クリスマスや、お正月、予め設定した送信先の人物の誕生日）に合せて、個別の壁紙データが選択されるように処理フローや壁紙データを用意するようにしても良い。

更に、図２と図６により音声データの選択と、図１８と図１９により壁紙データの選択は、独立して実行可能なので、音声データの選択と、壁紙データの選択の両方が実行されるように、両方の機能を実装しても全く問題ない。

図２と図６の実施例では予め音声データを用意しておき、その中から選択する例を示したが、文字→音声変換機能を用い、メールの文自体を音声データに変換する方式としても良い。

また、図３及び、図１０において、携帯電話におけるメール作成を例に説明したが、これらのメール作成機能は極めて一般的なので、パソコンや専用の機器においてもメール機能がある場合には、全く同様に処理を行う事ができる。

図７及び、図１４において、実施例では、ビットマップ・データの切換は、単純にビットマップ・データを切換ものとして説明したが、モーフィングやワイプ等により、動きのある切換を行っても良い。

図１２のテンプレート４の６８では、「添付写真のスケーリングを実行」としているが、スケーリングを行わず、添付写真から画素に応じた画像の切り出しを行ったり、画像の切り出しの座標を滑らかに変更することで、パンニングを行い、１枚の静止画像から擬似的な動画を生成するようにしても良い。

実施の形態１を示すシステム構成図の例である。 実施の形態１における動画変換のブロック図の例である。 実施の形態１における送信側端末の操作画面例である。 実施の形態１におけるメール変換のフロー図の例である。 実施の形態１における文字→静止画変換処理の例である 実施の形態１における音声データ選択のフロー図の例である。 実施の形態１における静止画→動画変換の例である。 実施の形態１における受信側端末の映像音声の出力の例である。 実施の形態１における受信側端末の内部ブロック図の例である。 実施の形態２における送信側端末の操作画面例である。 実施の形態２におけるメール変換のフロー図の例である。 実施の形態２における文字→静止画変換処理の例である 実施の形態２における音声データ選択のフロー図の例である。 実施の形態２における静止画→動画変換の例である。 実施の形態２における受信側端末の映像音声の出力の例である。 実施の形態３を示すシステム構成図の例である。 実施の形態３における送信メールの例である。 実施の形態４における動画変換のブロック図の例である。 実施の形態４における壁紙データ選択のフロー図の例である。

１ 送信側端末
２ 受信側端末
３ ネットワーク
４ 動画生成サーバ
５ メール受信
６ ストリーミング送信
７ 動画変換
８ 文字→静止画変換処理部
９ 静止画→動画変換処理部
１０ 音声データ蓄積部
１１ メール作成画面
１２ メール変換開始
１３ ＤＡＴＡ部分の抽出
１４ 文字列の解析
１５ 「Ｄａｔｅ：」に続く文字列抽出
１６ 「Ｆｒｏｍ：」に続く文字列抽出
１７ 「Ｓｕｂｊｅｃｔ：」に続く文字列抽出
１８ 本文（ＢＯＤＹ）文字列抽出
１９ 対象外文字列
２０ 「．」（ピリオド）の文字検出
２１ テンプレート１に従いビットマップ作成
２２ テンプレート２に従いビットマップ作成
２３ テンプレート３に従いビットマップ作成
２４ メール変換終了
２５ メール（ＤＡＴＡ部分）
２６ テンプレート１
２７ テンプレート２
２８ テンプレート３
２９ ビットマップ・データ１
３０ ビットマップ・データ２
３１ ビットマップ・データ３
３２ 音声データ選択開始
３３ 「Ｄａｔｅ：」、「．」以外の文字検出
３４ 「Ｄａｔｅ：」に続く文字列の月情報より該当月の音声データを選択
３５ 音声データが選択されているか
３６ 現在日時の月情報より該当月の音声データを選択
３７ 音声データ選択終了
３８ 音声データ
３９ 静止画→動画変換処理
４０ ストリーミング・データ
４１ デコード処理
４２ 映像出力
４３ 音声出力
４４ リモコン
４５ リモコン処理
４６ ＣＰＵ
４７ プログラムＲＯＭ
４８ ＲＡＭ
４９ アンテナ
５０ ネットワーク
５１ ネットワーク処理
５２ チューナ処理
５３ 入力切換処理
５４ ＡＶパケット分離処理
５５ 映像デコード処理
５６ スケーリング処理
５７ ディスプレイドライバ
５８ 音声デコード処理
５９ 音声ドライバ
６０ 映像・音声復号部
６１ ディスプレイパネル
６２ スピーカ
６３ メール作成画面
６４ 添付写真があるか
６５ テンプレート４に従いビットマップ作成
６６ メール（ＤＡＴＡ部分）
６７ メール（添付写真：20080401.jpg）
６８ テンプレート４
６９ ビットマップ・データ４
７０ ビットマップ・データ５
７１ 日時情報があるか
７２ 添付写真の月情報より該当月の音声データを選択
７３ 音声データ
７４ ストリーミング・データ
７５ 映像出力
７６ 音声出力
７７ 動画生成サーバ
７８ ストリーミング送信
７９ メール送信
８０ メール（情報通知）
８１ 動画変換
８２ 静止画→動画変換処理
８３ 壁紙データ蓄積部
８４ 壁紙データ選択開始
８５ 添付写真の月情報より該当月の壁紙データを選択
８６ 「Ｄａｔｅ：」に続く文字列の月情報より該当月の壁紙データを選択
８７ 壁紙データが選択されているか
８８ 現在日時の月情報より該当月の壁紙データを選択
８９ 壁紙データ選択終了

Claims (5)

1. メール受信部、ストリーミング送信部、及び、動画変換部を有する動画生成装置において、
   前記メール受信部は、ネットワークを介して、送信側端末からのメールを受け取り、
   前記動画変換部は、前記メール受信部からメールの内容を受け取り、受け取った内容を動画情報に変換し、前記ストリーミング送信部に出力し、
   前記ストリーミング送信部は、前記動画変換から動画情報を受け取ると共に、
   前記ネットワークを介した、受信側端末からのストリーミング要求に対して、前記動画情報をストリーミング配信することを特徴とする
   動画生成装置。
2. 請求項１の動画変換部は、
   予め複数の音声データを蓄積しており、
   前記メール受信部から受け取ったメールの日付情報に応じて前記複数の音声データの中から一つを選択し、
   動画変換する際、前記選択音声データを含め動画変換する
   ことを特徴とする動画生成装置。
3. 請求項１の動画変換部は、
   予め複数の音声データを蓄積しており、
   前記メール受信部から受け取ったメールに添付されている写真データの日付情報に応じ前記複数の音声データの中から一つを選択し、
   動画変換する際、前記選択音声データを含め動画変換する
   ことを特徴とする動画生成装置。
4. 請求項１の動画変換部は、
   予め複数の壁紙データを蓄積しており、
   前記メール受信部から受け取ったメールの日付情報に応じ前記複数の壁紙データの中から1つを選択し、
   動画変換する際、前記選択壁紙データを用いて動画変換する
   ことを特徴とする動画生成装置。
5. 請求項１の動画変換部は、
   予め複数の壁紙データを蓄積しており、
   前記メール受信部から受け取ったメールに添付されている写真データの日付情報に応じ前記複数の壁紙データの中から一つを選択し、
   動画変換する際、前記選択壁紙データを用いて動画変換する
   ことを特徴とする動画生成装置。

Images