JP2002325238A - 簡易動画送受信システム及び動画送受信方法 - Google Patents
簡易動画送受信システム及び動画送受信方法Info
- Publication number
- JP2002325238A JP2002325238A JP2001129888A JP2001129888A JP2002325238A JP 2002325238 A JP2002325238 A JP 2002325238A JP 2001129888 A JP2001129888 A JP 2001129888A JP 2001129888 A JP2001129888 A JP 2001129888A JP 2002325238 A JP2002325238 A JP 2002325238A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image
- simple moving
- transmitting
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 比較的容易に動画を送受信することのできる
簡易動画送受信システム及び動画送受信方法を提供す
る。 【解決手段】 カメラからの画像情報を送信して受信側
のモニタに表示する簡易動画送受信システムにおいて、
顔の画像情報から特徴部分を抽出し、当該特徴部分の動
きを時系列でベクトルデータ化すると共に当該ベクトル
データを所定形式の特徴抽出データとする特徴抽出手段
１４と、この特徴抽出データを送信する送信手段１５
と、この特徴抽出データを受信する受信手段１６と、受
信した特徴抽出データに含まれる前記特徴部分の動きの
ベクトルデータから簡易動画を作成して表示装置６に表
示する再生手段１８とを具備する。
簡易動画送受信システム及び動画送受信方法を提供す
る。 【解決手段】 カメラからの画像情報を送信して受信側
のモニタに表示する簡易動画送受信システムにおいて、
顔の画像情報から特徴部分を抽出し、当該特徴部分の動
きを時系列でベクトルデータ化すると共に当該ベクトル
データを所定形式の特徴抽出データとする特徴抽出手段
１４と、この特徴抽出データを送信する送信手段１５
と、この特徴抽出データを受信する受信手段１６と、受
信した特徴抽出データに含まれる前記特徴部分の動きの
ベクトルデータから簡易動画を作成して表示装置６に表
示する再生手段１８とを具備する。
Description
【０００１】
【発明の属する技術分野】本発明は、動画を送受信する
ための簡易動画送受信システム及び動画送受信方法に関
し、特に、携帯端末間での動画の送受信に適した簡易動
画送信システム及び動画送信方法に関する。
ための簡易動画送受信システム及び動画送受信方法に関
し、特に、携帯端末間での動画の送受信に適した簡易動
画送信システム及び動画送信方法に関する。
【０００２】
【従来の技術】従来から、パーソナルコンピュータ（以
下、パソコン）、携帯電話、ＰＤＡ等の通信装置を使
い、インターネットを介して電子メールを送受信するこ
とによる情報交換が一般的に行われている。また、この
電子メールに、デジタルカメラ、デジタルビデオカメラ
等から取り込んだ画像のファイルを添付して送信するこ
とも行われている。
下、パソコン）、携帯電話、ＰＤＡ等の通信装置を使
い、インターネットを介して電子メールを送受信するこ
とによる情報交換が一般的に行われている。また、この
電子メールに、デジタルカメラ、デジタルビデオカメラ
等から取り込んだ画像のファイルを添付して送信するこ
とも行われている。
【０００３】さらに、近年、例えば、パソコン間でイン
ターネットを介して画像を送受信しながら会話する、い
わゆるテレビ電話も実用化が進んでいる。
ターネットを介して画像を送受信しながら会話する、い
わゆるテレビ電話も実用化が進んでいる。
【０００４】
【発明が解決しようとする課題】しかしながら、現在の
インターネットのインフラ状況では、回線の通話能力が
貧弱である。このため、電子メールに動画ファイル等の
比較的データ量の大きい画像ファイルを添付すると、送
受信に著しく時間がかかってしまうという問題がある。
また、画像データを送受信するのに時間がかるため、テ
レビ電話として用いる場合でも、１秒当たり５フレーム
程度の画像しか送ることがでず、動画をスムーズに表示
できないという問題もある。
インターネットのインフラ状況では、回線の通話能力が
貧弱である。このため、電子メールに動画ファイル等の
比較的データ量の大きい画像ファイルを添付すると、送
受信に著しく時間がかかってしまうという問題がある。
また、画像データを送受信するのに時間がかるため、テ
レビ電話として用いる場合でも、１秒当たり５フレーム
程度の画像しか送ることがでず、動画をスムーズに表示
できないという問題もある。
【０００５】さらに、今後、インターネット上に流れる
データ量が増加することが予想され、一度に動画ファイ
ル等の比較的大きいデータファイルをインターネット上
に流すことによって回線が不通になる等の障害が多発す
る虞もある。
データ量が増加することが予想され、一度に動画ファイ
ル等の比較的大きいデータファイルをインターネット上
に流すことによって回線が不通になる等の障害が多発す
る虞もある。
【０００６】本発明は、このような事情に鑑み、比較的
容易に動画を送受信することのできる簡易動画送受信シ
ステム及び動画送受信方法を提供することを課題とす
る。
容易に動画を送受信することのできる簡易動画送受信シ
ステム及び動画送受信方法を提供することを課題とす
る。
【０００７】
【課題を解決するための手段】上記課題を解決する本発
明の第１の態様は、カメラからの画像情報を送信して受
信側のモニタに表示する簡易動画送受信システムにおい
て、顔の画像情報から特徴部分を抽出し、当該特徴部分
の動きを時系列でベクトルデータ化すると共に当該ベク
トルデータを所定形式の特徴抽出データとする特徴抽出
手段と、この特徴抽出データを送信する送信手段と、こ
の特徴抽出データを受信する受信手段と、受信した特徴
抽出データに含まれる前記特徴部分の動きのベクトルデ
ータから簡易動画を作成して表示装置に表示する再生手
段とを具備することを特徴とする簡易動画送受信システ
ムにある。
明の第１の態様は、カメラからの画像情報を送信して受
信側のモニタに表示する簡易動画送受信システムにおい
て、顔の画像情報から特徴部分を抽出し、当該特徴部分
の動きを時系列でベクトルデータ化すると共に当該ベク
トルデータを所定形式の特徴抽出データとする特徴抽出
手段と、この特徴抽出データを送信する送信手段と、こ
の特徴抽出データを受信する受信手段と、受信した特徴
抽出データに含まれる前記特徴部分の動きのベクトルデ
ータから簡易動画を作成して表示装置に表示する再生手
段とを具備することを特徴とする簡易動画送受信システ
ムにある。
【０００８】本発明の第２の態様は、第１の態様におい
て、前記再生手段は、前記画像情報の元となる顔の静止
画像情報に前記特徴抽出データをテクスチャマッピング
することにより簡易動画を作成することを特徴とする簡
易動画送受信システムにある。
て、前記再生手段は、前記画像情報の元となる顔の静止
画像情報に前記特徴抽出データをテクスチャマッピング
することにより簡易動画を作成することを特徴とする簡
易動画送受信システムにある。
【０００９】本発明の第３の態様は、第１の態様におい
て、前記再生手段は、予め所定のキャラクタ画像を用意
しておき、前記特徴抽出データから把握した前記特徴部
分の動きに応じた前記キャラクタ画像を用いて簡易動画
を作成することを特徴とする簡易動画送受信システムに
ある。
て、前記再生手段は、予め所定のキャラクタ画像を用意
しておき、前記特徴抽出データから把握した前記特徴部
分の動きに応じた前記キャラクタ画像を用いて簡易動画
を作成することを特徴とする簡易動画送受信システムに
ある。
【００１０】本発明の第４の態様は、第１〜３の何れか
の態様において、前記所定形式は、マークアップ言語に
よるファイル形式であることを特徴とする簡易動画送受
信システムにある。
の態様において、前記所定形式は、マークアップ言語に
よるファイル形式であることを特徴とする簡易動画送受
信システムにある。
【００１１】本発明の第５の態様は、インターネットを
介して画像及び音声を相互に送受信する簡易動画付き通
信装置であって、顔の画像情報から特徴部分を抽出し、
当該特徴部分の動きを時系列でベクトルデータ化すると
共に当該ベクトルデータを所定形式の特徴抽出データと
して当該特徴抽出データを相互に送受信し、受信した特
徴抽出データに含まれる前記特徴部分の動きのベクトル
データから簡易動画を作成して表示装置に表示するよう
にしたことを特徴とする簡易動画付き通信装置にある。
介して画像及び音声を相互に送受信する簡易動画付き通
信装置であって、顔の画像情報から特徴部分を抽出し、
当該特徴部分の動きを時系列でベクトルデータ化すると
共に当該ベクトルデータを所定形式の特徴抽出データと
して当該特徴抽出データを相互に送受信し、受信した特
徴抽出データに含まれる前記特徴部分の動きのベクトル
データから簡易動画を作成して表示装置に表示するよう
にしたことを特徴とする簡易動画付き通信装置にある。
【００１２】本発明の第６の態様は、第５の態様におい
て、前記画像情報の元となる顔の静止画像情報を前記特
徴抽出データに基づいてテクスチャマッピングすること
により簡易動画を作成するようにしたことを特徴とする
簡易動画付き通信装置にある。
て、前記画像情報の元となる顔の静止画像情報を前記特
徴抽出データに基づいてテクスチャマッピングすること
により簡易動画を作成するようにしたことを特徴とする
簡易動画付き通信装置にある。
【００１３】本発明の第７の態様は、第５の態様におい
て、予め所定のキャラクタ画像を用意しておき、前記特
徴抽出データから把握した前記特徴部分の動きに応じた
前記キャラクタ画像を用いて簡易動画を作成するように
したことを特徴とする簡易動画付き通信装置にある。
て、予め所定のキャラクタ画像を用意しておき、前記特
徴抽出データから把握した前記特徴部分の動きに応じた
前記キャラクタ画像を用いて簡易動画を作成するように
したことを特徴とする簡易動画付き通信装置にある。
【００１４】本発明の第８の態様は、第５〜７の何れか
の態様において、マークアップ言語によるファイル形式
により送受信を行うことを特徴とする簡易動画付き通信
装置にある。
の態様において、マークアップ言語によるファイル形式
により送受信を行うことを特徴とする簡易動画付き通信
装置にある。
【００１５】本発明の第９の態様は、カメラからの画像
情報を送信して受信側のモニタに表示する簡易動画送受
信方法において、顔の画像情報から特徴部分を抽出し、
当該特徴部分の動きを時系列でベクトルデータ化すると
共に当該ベクトルデータを所定形式の特徴抽出データと
して送信し、受信した特徴抽出データに含まれる前記特
徴部分の動きのベクトルデータから簡易動画を作成して
表示装置に表示するようにしたことを特徴とする簡易動
画送受信方法にある。
情報を送信して受信側のモニタに表示する簡易動画送受
信方法において、顔の画像情報から特徴部分を抽出し、
当該特徴部分の動きを時系列でベクトルデータ化すると
共に当該ベクトルデータを所定形式の特徴抽出データと
して送信し、受信した特徴抽出データに含まれる前記特
徴部分の動きのベクトルデータから簡易動画を作成して
表示装置に表示するようにしたことを特徴とする簡易動
画送受信方法にある。
【００１６】本発明の第１０の態様は、第９の態様にお
いて、前記画像情報の元となる顔の静止画像情報に前記
特徴抽出データをテクスチャマッピングすることにより
簡易動画を作成することを特徴とする簡易動画送受信方
法にある。
いて、前記画像情報の元となる顔の静止画像情報に前記
特徴抽出データをテクスチャマッピングすることにより
簡易動画を作成することを特徴とする簡易動画送受信方
法にある。
【００１７】本発明の第１１の態様は、第９の態様にお
いて、予め所定のキャラクタ画像を用意しておき、前記
特徴抽出データから把握した前記特徴部分の動きに応じ
た前記キャラクタ画像を用いて簡易動画を作成すること
を特徴とする簡易動画送受信方法にある。
いて、予め所定のキャラクタ画像を用意しておき、前記
特徴抽出データから把握した前記特徴部分の動きに応じ
た前記キャラクタ画像を用いて簡易動画を作成すること
を特徴とする簡易動画送受信方法にある。
【００１８】本発明の第１２の態様は、第９〜１１の何
れかの態様において、マークアップ言語によるファイル
形式で前記特徴抽出データを送信することを特徴とする
簡易動画送受信方法にある。
れかの態様において、マークアップ言語によるファイル
形式で前記特徴抽出データを送信することを特徴とする
簡易動画送受信方法にある。
【００１９】かかる本発明では、動画を送信する際に、
そのファイルの大きさを比較的小さくして容易に送信す
ることができる。したがって、テレビ電話等、タイムラ
グを少なくしてオンタイムでの動画の送受信が可能であ
る。
そのファイルの大きさを比較的小さくして容易に送信す
ることができる。したがって、テレビ電話等、タイムラ
グを少なくしてオンタイムでの動画の送受信が可能であ
る。
【００２０】
【発明の実施の形態】以下、本発明を一実施形態に基づ
いて説明する。
いて説明する。
【００２１】図１は、本発明の一実施形態に係る簡易動
画送受信システムを説明する概略図であり、図２は、簡
易動画付き通信装置の概略構成を示すブロック図であ
る。
画送受信システムを説明する概略図であり、図２は、簡
易動画付き通信装置の概略構成を示すブロック図であ
る。
【００２２】本発明の一実施形態に係る簡易動画送受信
システムを有する通信装置１は、図１に示すように、イ
ンターネットを介して画像及び音声を相互に送受信が可
能な装置であり、例えば、携帯電話、ＰＨＳ、パソコ
ン、ＰＤＡ等が挙げられる。以下、簡易動画付き通信装
置１として、携帯電話を例示して説明する。
システムを有する通信装置１は、図１に示すように、イ
ンターネットを介して画像及び音声を相互に送受信が可
能な装置であり、例えば、携帯電話、ＰＨＳ、パソコ
ン、ＰＤＡ等が挙げられる。以下、簡易動画付き通信装
置１として、携帯電話を例示して説明する。
【００２３】本実施形態に係る携帯電話１は、図２に示
すように、中央処理装置（ＣＰＵ）２を有し、このＣＰ
Ｕ２によって、この携帯電話１全体の制御が司られてい
る。このＣＰＵ２には、ＲＯＭ３、不揮発性記憶装置
４、ＲＡＭ５、ディスプレイ６、各種キー７、音声制御
部８、通信制御部９が接続されている。
すように、中央処理装置（ＣＰＵ）２を有し、このＣＰ
Ｕ２によって、この携帯電話１全体の制御が司られてい
る。このＣＰＵ２には、ＲＯＭ３、不揮発性記憶装置
４、ＲＡＭ５、ディスプレイ６、各種キー７、音声制御
部８、通信制御部９が接続されている。
【００２４】ＲＯＭ３は、読み出し専用の不揮発性メモ
リであり、ＣＰＵ２が実行する各種コンピュータプログ
ラム及び必要なデータを格納している。
リであり、ＣＰＵ２が実行する各種コンピュータプログ
ラム及び必要なデータを格納している。
【００２５】不揮発性記憶装置４は、書き換え可能な記
憶装置であり、ユーザが記憶しておきたい各種のデータ
を格納しておくためのものである。各種データには、電
話番号、ＦＡＸ番号、電子メールアドレス、ＵＲＬ等の
ダウンロードした、例えば、画像ファイル等の各種ファ
イルのデータを含む。この不揮発性記憶装置としては、
フラッシュメモリのような静的記憶媒体の他、通信端末
によっては、各種ディスクのような動的記録媒体を用い
うる。
憶装置であり、ユーザが記憶しておきたい各種のデータ
を格納しておくためのものである。各種データには、電
話番号、ＦＡＸ番号、電子メールアドレス、ＵＲＬ等の
ダウンロードした、例えば、画像ファイル等の各種ファ
イルのデータを含む。この不揮発性記憶装置としては、
フラッシュメモリのような静的記憶媒体の他、通信端末
によっては、各種ディスクのような動的記録媒体を用い
うる。
【００２６】ＲＡＭ５は、ＣＰＵ２がプログラムの実行
処理を行う上で必要とされる一時記憶領域、作業領域
や、プログラム実行に必要な各種データを格納する領域
を提供する。
処理を行う上で必要とされる一時記憶領域、作業領域
や、プログラム実行に必要な各種データを格納する領域
を提供する。
【００２７】ディスプレイ６は、その画面上にこの携帯
電話１における各種情報をユーザに対して知らしめるた
めの表示を行うデバイスである。
電話１における各種情報をユーザに対して知らしめるた
めの表示を行うデバイスである。
【００２８】各種キー７は、ユーザが携帯電話１に対し
て、各種のデータや操作指示を入力するためのテンキー
や各種制御キーである。
て、各種のデータや操作指示を入力するためのテンキー
や各種制御キーである。
【００２９】音声処理部８は、マイク９及びスピーカー
１０に接続されて、音声の入出力の処理を行う。
１０に接続されて、音声の入出力の処理を行う。
【００３０】通信制御部１１は、音声及びデータの無線
通信を制御する部位であり、ＲＦ部１２を介してアンテ
ナ１３に接続され、無線信号の処理を行う。また、通信
制御部１１は、簡易動画送受信部１４を含み、この簡易
動画送受信部１４は、特徴抽出手段１５、送信手段１
６、受信手段１７及び再生手段１８を有する。
通信を制御する部位であり、ＲＦ部１２を介してアンテ
ナ１３に接続され、無線信号の処理を行う。また、通信
制御部１１は、簡易動画送受信部１４を含み、この簡易
動画送受信部１４は、特徴抽出手段１５、送信手段１
６、受信手段１７及び再生手段１８を有する。
【００３１】特徴抽出手段１５は、デジタルカメラ等か
ら取り込んだ画像の特徴部分を抽出し、この特徴部分の
動きを時系列でベクトルデータ化すると共に、このベク
トルデータを所定形式の特徴抽出データを形成する。な
お、本実施形態では、特徴抽出手段１５は、人物の顔の
特徴部分を抽出する。
ら取り込んだ画像の特徴部分を抽出し、この特徴部分の
動きを時系列でベクトルデータ化すると共に、このベク
トルデータを所定形式の特徴抽出データを形成する。な
お、本実施形態では、特徴抽出手段１５は、人物の顔の
特徴部分を抽出する。
【００３２】送信手段１６は、特徴抽出手段１５によっ
て形成された特徴抽出データを他の携帯電話等に送信
し、受信手段１７は、他の携帯電話等の送信手段によっ
て送信された特徴抽出データを受信する。
て形成された特徴抽出データを他の携帯電話等に送信
し、受信手段１７は、他の携帯電話等の送信手段によっ
て送信された特徴抽出データを受信する。
【００３３】再生手段１８は、受信手段１７が受信した
特徴抽出データに含まれる特徴部分の動きのベクトルデ
ータから簡易動画を作成してディスプレイ６に表示させ
る。
特徴抽出データに含まれる特徴部分の動きのベクトルデ
ータから簡易動画を作成してディスプレイ６に表示させ
る。
【００３４】ここで、このような携帯電話１における簡
易動画送受信方法の一例について詳しく説明する。
易動画送受信方法の一例について詳しく説明する。
【００３５】まず、図３（ａ）に示すように、ユーザ
は、デジタルカメラ等によって撮影した人物の顔の静止
画像を所定枚数だけ携帯電話１に取り込み、各種キー７
を操作することによってこれらの静止画像を簡易動画と
して所定の携帯電話に送信する指令を出す。特徴抽出手
段１５は、この指令に基づいて、取り込まれた各画像を
それぞれ２値化し、顔の輪郭及び目、鼻、口、眉毛等の
所定部位のそれぞれ輪郭を抽出する。なお、携帯電話１
に取り込む画像は、勿論、静止画像に限定されず、デジ
タルビデオカメラ等で撮影した動画であってもよい。
は、デジタルカメラ等によって撮影した人物の顔の静止
画像を所定枚数だけ携帯電話１に取り込み、各種キー７
を操作することによってこれらの静止画像を簡易動画と
して所定の携帯電話に送信する指令を出す。特徴抽出手
段１５は、この指令に基づいて、取り込まれた各画像を
それぞれ２値化し、顔の輪郭及び目、鼻、口、眉毛等の
所定部位のそれぞれ輪郭を抽出する。なお、携帯電話１
に取り込む画像は、勿論、静止画像に限定されず、デジ
タルビデオカメラ等で撮影した動画であってもよい。
【００３６】次いで、特徴抽出手段１５は、図３（ｃ）
に示すように、抽出した各部位の各特徴点の位置を特定
する。例えば、本実施形態では、顔の輪郭の略中心を原
点として各特徴点をＸ，Ｙ座標系によって特定する。
に示すように、抽出した各部位の各特徴点の位置を特定
する。例えば、本実施形態では、顔の輪郭の略中心を原
点として各特徴点をＸ，Ｙ座標系によって特定する。
【００３７】ここで、特徴点とは、例えば、顔の輪郭
上、及び目、口、鼻、眉、頬等、顔の動きを認識可能な
位置のなかから予め決定した点であり、特徴点の位置及
び数は、適宜決定されればよい。
上、及び目、口、鼻、眉、頬等、顔の動きを認識可能な
位置のなかから予め決定した点であり、特徴点の位置及
び数は、適宜決定されればよい。
【００３８】その後、特徴抽出手段１５は、各画像毎に
各特徴点の座標を算出したあと、これら各特徴点の座標
の差異から、顔の各部位の動きを時系列でベクトルデー
タ化する。具体的には、例えば、図４に示すように、１
枚目の画像における眉上の特徴点Ｍ１，Ｍ２，Ｍ３の座
標と、２枚面の画像における眉上の各特徴点Ｍ１’，Ｍ
２’，Ｍ３’の座標とを特定し、これら各点の差分から
眉の移動量を算出してベクトルデータ化する。このよう
に、特徴抽出手段１５は、それぞれの静止画像における
各特徴点毎の座標の差異から、各部位の移動量を算出し
てベクトルデータ化する。なお、特徴点が移動したもの
についてのみベクトルデータ化すればよく、特徴点Ｍ
１，Ｍ１’のように特徴点の移動がない場合はベクトル
データ化する必要はない。
各特徴点の座標を算出したあと、これら各特徴点の座標
の差異から、顔の各部位の動きを時系列でベクトルデー
タ化する。具体的には、例えば、図４に示すように、１
枚目の画像における眉上の特徴点Ｍ１，Ｍ２，Ｍ３の座
標と、２枚面の画像における眉上の各特徴点Ｍ１’，Ｍ
２’，Ｍ３’の座標とを特定し、これら各点の差分から
眉の移動量を算出してベクトルデータ化する。このよう
に、特徴抽出手段１５は、それぞれの静止画像における
各特徴点毎の座標の差異から、各部位の移動量を算出し
てベクトルデータ化する。なお、特徴点が移動したもの
についてのみベクトルデータ化すればよく、特徴点Ｍ
１，Ｍ１’のように特徴点の移動がない場合はベクトル
データ化する必要はない。
【００３９】その後、特徴抽出手段１５は、さらに、こ
のベクトルデータをインターネット形式フォーマット化
する。具体的には、このベクトルデータをマークアップ
言語、例えば、ＨＴＭＬ，ＸＭＬ，ＳＶＧ等を用いたフ
ァイル形式に変換する。
のベクトルデータをインターネット形式フォーマット化
する。具体的には、このベクトルデータをマークアップ
言語、例えば、ＨＴＭＬ，ＸＭＬ，ＳＶＧ等を用いたフ
ァイル形式に変換する。
【００４０】そして、このように特徴抽出手段１５によ
って所定ファイル形式とした特徴抽出データに変換され
ると、送信手段１６が、インターネットを介して送り先
の携帯電話にこの特徴抽出データを送信する。このと
き、簡易動画を作成するための元画像を一枚添付するこ
とが好ましい。勿論、元画像は、予め送付しておくよう
にしてもよいが、何れにしても、簡易動画を作成する際
に、送り先の携帯電話に少なくとも一枚の元画像が保存
されていることが好ましい。
って所定ファイル形式とした特徴抽出データに変換され
ると、送信手段１６が、インターネットを介して送り先
の携帯電話にこの特徴抽出データを送信する。このと
き、簡易動画を作成するための元画像を一枚添付するこ
とが好ましい。勿論、元画像は、予め送付しておくよう
にしてもよいが、何れにしても、簡易動画を作成する際
に、送り先の携帯電話に少なくとも一枚の元画像が保存
されていることが好ましい。
【００４１】そして、送信手段１６によって送信された
特徴抽出データが、送り先の携帯電話の受信手段１７に
よって受信されると、再生手段１８は、この受信された
特徴抽出データを添付された元画像にテクスチャマッピ
ングして簡易的な動画を作成する。すなわち、ベクトル
データと元画像とから、相手の顔の動きをブラウザで音
声と共に再生する。これにより、特徴点のベクトルデー
タに合わせて表情のモルフォリズムを同期して行うこと
を実現できる。
特徴抽出データが、送り先の携帯電話の受信手段１７に
よって受信されると、再生手段１８は、この受信された
特徴抽出データを添付された元画像にテクスチャマッピ
ングして簡易的な動画を作成する。すなわち、ベクトル
データと元画像とから、相手の顔の動きをブラウザで音
声と共に再生する。これにより、特徴点のベクトルデー
タに合わせて表情のモルフォリズムを同期して行うこと
を実現できる。
【００４２】このように、本発明では、画像の位置情報
のみで構成される特徴抽出データを送受信し、この特徴
抽出データと元画像である静止画像とから動画を簡易的
に作成するようにしたので、動画自体を送受信するより
もデータ量が少なく、送受信時間を著しく短縮すること
ができる。したがって、携帯電話同士であっても、容易
に動画の送受信をリアルタイムで行うことができ、且つ
通信料も比較的低く抑えることができる。
のみで構成される特徴抽出データを送受信し、この特徴
抽出データと元画像である静止画像とから動画を簡易的
に作成するようにしたので、動画自体を送受信するより
もデータ量が少なく、送受信時間を著しく短縮すること
ができる。したがって、携帯電話同士であっても、容易
に動画の送受信をリアルタイムで行うことができ、且つ
通信料も比較的低く抑えることができる。
【００４３】さらに、本発明の簡易動画送受信システム
では、画像データを一旦、位置情報である特徴抽出デー
タに変換した状態でインターネット上に流すため、余計
な情報が省かれ、画像自体を流すよりも情報の漏洩等が
抑えられる。
では、画像データを一旦、位置情報である特徴抽出デー
タに変換した状態でインターネット上に流すため、余計
な情報が省かれ、画像自体を流すよりも情報の漏洩等が
抑えられる。
【００４４】なお、本実施形態では、特徴抽出データを
実写した元画像にテクスチャマッピングすることにより
簡易動画を作成するようにしたが、これに限定されず、
例えば、実写した画像から得られた特徴抽出データか
ら、キャラクタ画像を用いて簡易動画を作成するように
してもよい。
実写した元画像にテクスチャマッピングすることにより
簡易動画を作成するようにしたが、これに限定されず、
例えば、実写した画像から得られた特徴抽出データか
ら、キャラクタ画像を用いて簡易動画を作成するように
してもよい。
【００４５】具体的には、各携帯電話１に、動画を構成
できる複数の表情のキャラクタ画像を保存しておき、実
写した画像における顔の各特徴点の動きから表情を判別
し、判別した表情に適したキャラクタ画像を順次選択し
て表示させることによって、簡易動画を作成するように
してもよい。例えば、所定のキャラクタを選択し、ベク
トルデータにより口を開いたという情報を得ている場合
には、口を徐々に開いていく動作を表示するキャラクタ
画像を順次選択することにより、動画を表示するように
する。
できる複数の表情のキャラクタ画像を保存しておき、実
写した画像における顔の各特徴点の動きから表情を判別
し、判別した表情に適したキャラクタ画像を順次選択し
て表示させることによって、簡易動画を作成するように
してもよい。例えば、所定のキャラクタを選択し、ベク
トルデータにより口を開いたという情報を得ている場合
には、口を徐々に開いていく動作を表示するキャラクタ
画像を順次選択することにより、動画を表示するように
する。
【００４６】また、実写した顔の画像とキャラクタ画像
とを組み合わせることもでき、例えば、図５（ａ）及び
（ｂ）に示すように、テクスチャマッピングによって、
２次元平面である実写した顔の画像データを、例えば、
球形の３次元モデルに貼り付けて動画を形成することも
できる。
とを組み合わせることもでき、例えば、図５（ａ）及び
（ｂ）に示すように、テクスチャマッピングによって、
２次元平面である実写した顔の画像データを、例えば、
球形の３次元モデルに貼り付けて動画を形成することも
できる。
【００４７】なお、本実施形態では、携帯電話を一例と
して説明したが、本発明の簡易動画付き通信装置として
は、例えば、パソコン、ＰＤＡ等、インターネットを介
して接続可能であり且つ画像を表示できる装置であれば
よい。
して説明したが、本発明の簡易動画付き通信装置として
は、例えば、パソコン、ＰＤＡ等、インターネットを介
して接続可能であり且つ画像を表示できる装置であれば
よい。
【００４８】以上説明したように、本発明の簡易動画送
受信システムでは、画像の位置情報のみで構成される特
徴抽出データを送受信し、この特徴抽出データと元画像
である静止画像とから動画を簡易的に作成するようにし
たのでデータ量を小さくなり、実質的にリアルタイム動
画を容易に送受信できるという効果を奏するものであ
る。
受信システムでは、画像の位置情報のみで構成される特
徴抽出データを送受信し、この特徴抽出データと元画像
である静止画像とから動画を簡易的に作成するようにし
たのでデータ量を小さくなり、実質的にリアルタイム動
画を容易に送受信できるという効果を奏するものであ
る。
【００４９】なお、本実施形態では、簡易動画付き通信
装置として、簡易動画を作成するための簡易動画アプリ
ケーションを内蔵した携帯電話を例示し、画像は外部の
デジタルカメラ等から取り込む例について説明したが、
本発明の簡易動画送受信システムの使用形態は、これに
限定されるわけではない。
装置として、簡易動画を作成するための簡易動画アプリ
ケーションを内蔵した携帯電話を例示し、画像は外部の
デジタルカメラ等から取り込む例について説明したが、
本発明の簡易動画送受信システムの使用形態は、これに
限定されるわけではない。
【００５０】例えば、図６に示すように、簡易画像付き
通信装置１Ａは、簡易動画アプリケーションと共に、デ
ジタルカメラ５０が内蔵された携帯電話であってもよ
い。
通信装置１Ａは、簡易動画アプリケーションと共に、デ
ジタルカメラ５０が内蔵された携帯電話であってもよ
い。
【００５１】また、図７に示すように、簡易動画付き通
信装置１Ｂは、デスクトップ型あるいはノート型のパソ
コン６０と、デジタルカメラ５０と、マイク７０とで構
成されていてもよく、この場合、簡易動画アプリケーシ
ョンは、パソコン６０に予め組み込まれていてもよい
し、ＣＤ等の外部記憶装置（図示なし）、あるいはイン
ターネットからダウンロードするようにしてもよい。
信装置１Ｂは、デスクトップ型あるいはノート型のパソ
コン６０と、デジタルカメラ５０と、マイク７０とで構
成されていてもよく、この場合、簡易動画アプリケーシ
ョンは、パソコン６０に予め組み込まれていてもよい
し、ＣＤ等の外部記憶装置（図示なし）、あるいはイン
ターネットからダウンロードするようにしてもよい。
【００５２】さらに、図８に示すように、簡易動画付き
通信装置１Ｃは、マイク５１及びＬＣＤ等の表示部５２
を有し、且つ簡易動画アプリケーションが組み込まれた
デジタルカメラ５０Ａと、このデジタルカメラ５０Ａに
接続される携帯電話とで構成されていてもよい。この場
合、デジタルカメラ５０Ａ内で画像の特徴抽出データを
作成すると共に、デジタルカメラ５０Ａのマイク５１か
ら入力した音声と特徴抽出データとを合成し、合成した
データを携帯電話によって送信すればよい。なお、この
ように簡易動画アプリケーションが組み込まれたデジタ
ルカメラ５０Ａを携帯電話に接続して使用する場合、デ
ジタルカメラ５０Ａが表示部５２を有することが望まし
いが、例えば、パソコン６０に接続する場合には、表示
部５２はなくてもよい。
通信装置１Ｃは、マイク５１及びＬＣＤ等の表示部５２
を有し、且つ簡易動画アプリケーションが組み込まれた
デジタルカメラ５０Ａと、このデジタルカメラ５０Ａに
接続される携帯電話とで構成されていてもよい。この場
合、デジタルカメラ５０Ａ内で画像の特徴抽出データを
作成すると共に、デジタルカメラ５０Ａのマイク５１か
ら入力した音声と特徴抽出データとを合成し、合成した
データを携帯電話によって送信すればよい。なお、この
ように簡易動画アプリケーションが組み込まれたデジタ
ルカメラ５０Ａを携帯電話に接続して使用する場合、デ
ジタルカメラ５０Ａが表示部５２を有することが望まし
いが、例えば、パソコン６０に接続する場合には、表示
部５２はなくてもよい。
【００５３】また、本発明の簡易動画送受信システムの
使用例としては、あらゆるものが考えられるが、上述し
た携帯電話等間でのいわゆるテレビ電話としての使用の
他に、例えば、図９に示すように、インターネットを介
して接続可能な所定のサーバ１００を設けることによっ
て種々のサービスを提供できる。具体的には、パソコン
又は携帯電話等の通信装置からこのサーバ１００に接続
することによって、別々の場所に居る複数人による電子
会議を行うサービスを提供することができる。また、例
えば、サーバ１００に音声と共に動画を保存できるよう
にすれば、新規な伝言サービスを提供することもでき
る。
使用例としては、あらゆるものが考えられるが、上述し
た携帯電話等間でのいわゆるテレビ電話としての使用の
他に、例えば、図９に示すように、インターネットを介
して接続可能な所定のサーバ１００を設けることによっ
て種々のサービスを提供できる。具体的には、パソコン
又は携帯電話等の通信装置からこのサーバ１００に接続
することによって、別々の場所に居る複数人による電子
会議を行うサービスを提供することができる。また、例
えば、サーバ１００に音声と共に動画を保存できるよう
にすれば、新規な伝言サービスを提供することもでき
る。
【００５４】何れにしても、小さいデータ量で動画を送
受信できるため、インターネットを介して動画を送受信
する場合には、本発明の簡易動画送受信システムを好適
に使用することができる。
受信できるため、インターネットを介して動画を送受信
する場合には、本発明の簡易動画送受信システムを好適
に使用することができる。
【００５５】
【発明の効果】以上説明したように、本発明では、通信
機器間で画像の特徴抽出データのみを送受信することに
より、簡易的に動画を作成できるようにしたので、各通
信機器間で、音声と共にリアルタイム動画を容易に送受
信することができる。このように音声と共に画像を容易
に送受信できれば、言葉と共に表情や身振りも伝えるこ
とができ、より密接なコミュニケーションを図ることが
できるようになる。
機器間で画像の特徴抽出データのみを送受信することに
より、簡易的に動画を作成できるようにしたので、各通
信機器間で、音声と共にリアルタイム動画を容易に送受
信することができる。このように音声と共に画像を容易
に送受信できれば、言葉と共に表情や身振りも伝えるこ
とができ、より密接なコミュニケーションを図ることが
できるようになる。
【図１】本発明の簡易動画送受信システムを説明する概
略図である。
略図である。
【図２】本発明の簡易動画付き通信装置の概略構成の一
例を示すブロック図である。
例を示すブロック図である。
【図３】画像の特徴点を抽出する方法を説明する図であ
る。
る。
【図４】画像の特徴点の情報をベクトルデータ化する方
法を説明する図である。
法を説明する図である。
【図５】本発明に係る簡易動画送受信方法の一例を説明
する概略図である。
する概略図である。
【図６】本発明の簡易動画付き通信装置の他の例を示す
概略図である。
概略図である。
【図７】本発明の簡易動画付き通信装置の他の例を示す
概略図である。
概略図である。
【図８】本発明の簡易動画付き通信装置の他の例を示す
概略図である。
概略図である。
【図９】本発明の簡易動画送受信システムの使用例を示
す概略図である。
す概略図である。
１ 簡易動画付き通信装置 ２ ＣＰＵ ３ ＲＯＭ ４ 不揮発性記憶装置 ５ ＲＡＭ ６ ディスプレイ ７ キー ８ 音声処理部 ９ マスク １０ スピーカー １１ 通信制御部 １２ ＲＦ部 １３ アンテナ １４ 簡易動画送受信部 １５ 特徴抽出手段 １６ 送信手段 １７ 受信手段 １８ 再生手段
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA08 BA08 BA12 CA05 CA06 DA02 DA07 EA05 EA06 EA07 EA24 FA02 5B057 AA20 BA02 BA11 CA02 CA12 CA16 CB06 CB12 CB17 CE12 CF01 DA07 DA17 DB02 DB08 DC02 DC08 DC09 DC16 DC30 5C059 MB03 MB05 MB12 NN01 NN34 PP04 SS07 SS08 SS10 UA02 UA05 UA33 UA35 UA38 5C064 AA01 AB04 AC04 AC11 AC12 AD01 AD08 AD14 5L096 AA06 BA18 CA02 DA02 EA23 EA43 FA06 FA62 FA67 FA69 GA08 HA04
Claims (12)
- 【請求項１】 カメラからの画像情報を送信して受信側
のモニタに表示する簡易動画送受信システムにおいて、
顔の画像情報から特徴部分を抽出し、当該特徴部分の動
きを時系列でベクトルデータ化すると共に当該ベクトル
データを所定形式の特徴抽出データとする特徴抽出手段
と、この特徴抽出データを送信する送信手段と、この特
徴抽出データを受信する受信手段と、受信した特徴抽出
データに含まれる前記特徴部分の動きのベクトルデータ
から簡易動画を作成して表示装置に表示する再生手段と
を具備することを特徴とする簡易動画送受信システム。 - 【請求項２】 前記再生手段は、前記画像情報の元とな
る顔の静止画像情報に前記特徴抽出データをテクスチャ
マッピングすることにより簡易動画を作成することを特
徴とする請求項１に記載の簡易動画送受信システム。 - 【請求項３】 前記再生手段は、予め所定のキャラクタ
画像を用意しておき、前記特徴抽出データから把握した
前記特徴部分の動きに応じた前記キャラクタ画像を用い
て簡易動画を作成することを特徴とする請求項１に記載
の簡易動画送受信システム。 - 【請求項４】 前記所定形式は、マークアップ言語によ
るファイル形式であることを特徴とする請求項１〜３の
何れかに記載の簡易動画送受信システム。 - 【請求項５】 インターネットを介して画像及び音声を
相互に送受信する簡易動画付き通信装置であって、顔の
画像情報から特徴部分を抽出し、当該特徴部分の動きを
時系列でベクトルデータ化すると共に当該ベクトルデー
タを所定形式の特徴抽出データとして当該特徴抽出デー
タを相互に送受信し、受信した特徴抽出データに含まれ
る前記特徴部分の動きのベクトルデータから簡易動画を
作成して表示装置に表示するようにしたことを特徴とす
る簡易動画付き通信装置。 - 【請求項６】 前記画像情報の元となる顔の静止画像情
報に前記特徴抽出データをテクスチャマッピングするこ
とにより簡易動画を作成するようにしたことを特徴とす
る請求項５に記載の簡易動画付き通信装置。 - 【請求項７】 予め所定のキャラクタ画像を用意してお
き、前記特徴抽出データから把握した前記特徴部分の動
きに応じた前記キャラクタ画像を用いて簡易動画を作成
するようにしたことを特徴とする請求項５に記載の簡易
動画付き通信装置。 - 【請求項８】 マークアップ言語によるファイル形式に
より送受信を行うことを特徴とする請求項５〜７の何れ
かに記載の簡易動画付き通信装置。 - 【請求項９】 カメラからの画像情報を送信して受信側
のモニタに表示する簡易動画送受信方法において、顔の
画像情報から特徴部分を抽出し、当該特徴部分の動きを
時系列でベクトルデータ化すると共に当該ベクトルデー
タを所定形式の特徴抽出データとして送信し、受信した
特徴抽出データに含まれる前記特徴部分の動きのベクト
ルデータから簡易動画を作成して表示装置に表示するよ
うにしたことを特徴とする簡易動画送受信方法。 - 【請求項１０】 前記画像情報の元となる顔の静止画像
情報に前記特徴抽出データをテクスチャマッピングする
ことにより簡易動画を作成することを特徴とする請求項
９に記載の簡易動画送受信方法。 - 【請求項１１】 予め所定のキャラクタ画像を用意して
おき、前記特徴抽出データから把握した前記特徴部分の
動きに応じた前記キャラクタ画像を用いて簡易動画を作
成することを特徴とする請求項９に記載の簡易動画送受
信方法。 - 【請求項１２】 マークアップ言語によるファイル形式
で前記特徴抽出データを送信することを特徴とする請求
項９〜１１の何れかに記載の簡易動画送受信方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001129888A JP2002325238A (ja) | 2001-04-26 | 2001-04-26 | 簡易動画送受信システム及び動画送受信方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001129888A JP2002325238A (ja) | 2001-04-26 | 2001-04-26 | 簡易動画送受信システム及び動画送受信方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002325238A true JP2002325238A (ja) | 2002-11-08 |
Family
ID=18978352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001129888A Pending JP2002325238A (ja) | 2001-04-26 | 2001-04-26 | 簡易動画送受信システム及び動画送受信方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002325238A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008097621A (ja) * | 2007-11-01 | 2008-04-24 | Casio Comput Co Ltd | 携帯端末、及び、合成画像表示プログラム |
| JP2014529233A (ja) * | 2012-03-29 | 2014-10-30 | テンセント テクノロジー （シェンツェン） カンパニー リミテッド | ビデオシミュレーション画像のための通信方法及びデバイス |
| JP2016116174A (ja) * | 2014-12-17 | 2016-06-23 | オムロン株式会社 | 画像センシングシステム |
| JP2018201198A (ja) * | 2017-05-26 | 2018-12-20 | Ｌｉｎｅ株式会社 | 映像圧縮方法、映像復元方法及びコンピュータプログラム |
-
2001
- 2001-04-26 JP JP2001129888A patent/JP2002325238A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008097621A (ja) * | 2007-11-01 | 2008-04-24 | Casio Comput Co Ltd | 携帯端末、及び、合成画像表示プログラム |
| JP2014529233A (ja) * | 2012-03-29 | 2014-10-30 | テンセント テクノロジー （シェンツェン） カンパニー リミテッド | ビデオシミュレーション画像のための通信方法及びデバイス |
| JP2016116174A (ja) * | 2014-12-17 | 2016-06-23 | オムロン株式会社 | 画像センシングシステム |
| WO2016098547A1 (ja) * | 2014-12-17 | 2016-06-23 | オムロン株式会社 | 画像センシングシステム |
| US10262125B2 (en) | 2014-12-17 | 2019-04-16 | Omron Corporation | Image sensing system |
| JP2018201198A (ja) * | 2017-05-26 | 2018-12-20 | Ｌｉｎｅ株式会社 | 映像圧縮方法、映像復元方法及びコンピュータプログラム |
| US11463718B2 (en) | 2017-05-26 | 2022-10-04 | Line Corporation | Image compression method and image decompression method |
| JP7176861B2 (ja) | 2017-05-26 | 2022-11-22 | Ｌｉｎｅ株式会社 | 映像処理方法、映像復元方法及びコンピュータプログラム |
| JP7441926B2 (ja) | 2017-05-26 | 2024-03-01 | Ｌｉｎｅヤフー株式会社 | 映像コーディングを行うコンピュータプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021203902A1 (zh) | 虚拟影像实现方法、装置、存储介质与终端设备 | |
| KR101450580B1 (ko) | 이미지 합성 방법 및 장치 | |
| US8284233B2 (en) | Utilizing image sequences to perform video streaming during video conferencing | |
| US9661265B2 (en) | Method of conveying emotion in video telephone mode and wireless terminal implementing the same | |
| JP4241053B2 (ja) | コミュニケーションシステムおよびその端末装置 | |
| US6943794B2 (en) | Communication system and communication method using animation and server as well as terminal device used therefor | |
| CN100359941C (zh) | 可视电话终端 | |
| US7228124B2 (en) | Method and device for speeding up and simplifying information transfer between electronic devices | |
| US7865833B2 (en) | Data processing apparatus, data processing server, data processing system, method of controlling data processing apparatus, method of controlling data processing server, computer program, and computer readable storage medium | |
| EP1473937A1 (en) | Communication apparatus | |
| CN101669352A (zh) | 用于语音-文本和文本-面部动画转换的通信网络和设备 | |
| JP2002354436A (ja) | テレビ電話装置 | |
| US20040189791A1 (en) | Videophone device and data transmitting/receiving method applied thereto | |
| EP1347646A2 (en) | Communication terminal for transmission of facial information | |
| US20050059433A1 (en) | Portable telephone including an animation function and a method of controlling the same | |
| US8290299B2 (en) | Object outputting method and information processing apparatus | |
| KR20100041108A (ko) | Ｕｄｔａ 정보를 이용한 ＭＰ4 동영상 연속 촬영 방법 및 이를 지원하는 휴대 단말기 | |
| KR100606080B1 (ko) | 휴대용단말을 이용한 애니메이션 생성 장치 및 방법 | |
| JP4973908B2 (ja) | 通信端末およびその表示方法 | |
| JP2002325238A (ja) | 簡易動画送受信システム及び動画送受信方法 | |
| KR102058190B1 (ko) | 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치 | |
| JP4082704B2 (ja) | 情報端末装置，情報提供装置及びナビゲーションサービスの提供方法 | |
| US20080052631A1 (en) | System and method for executing server applications in mobile terminal | |
| JP2005215158A (ja) | 画像表示装置およびその制御方法 | |
| JP2004118563A (ja) | 文字画像処理方法および装置並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040303 |