JP2002247585A - 動画像送信方法と、動画像受信方法と、動画像送信処理用プログラム及びそのプログラムの記録媒体と、動画像受信処理用プログラム及びそのプログラムの記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、ネットワークを介して動画像を高速
かつ高品質に送信できるようにする動画像配信技術の提
供を目的とする。 【解決手段】送信側は、動画像の送信に先立って、様々
なカメラ姿勢により撮影される背景画像とそのカメラ姿
勢情報との対情報を取得してそれを送信し、動画像を送
信するときには、その対情報に従って、動画像の撮影に
用いられたカメラ姿勢情報の指す背景画像を取得し、そ
の取得した背景画像と動画像とから動く画像部分を切り
出して、その切り出した動く画像部分及びその位置情報
と、動画像の撮影に用いられたカメラ姿勢情報とを受信
側に送信する。これを受けて、受信側は、動画像の送信
に先立って送られてくる対情報に従って、受信したカメ
ラ姿勢情報の指す背景画像を取得して、受信した位置情
報に従って、受信した動く画像部分をその取得した背景
画像に上書きする形で合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ネットワークを介
して動画像を高速かつ高品質に送信できるようにする動
画像送信方法と、その動画像送信方法により送信されて
くる動画像を受信する動画像受信方法と、その動画像送
信方法の実現に用いられる動画像送信処理用プログラム
と、そのプログラムを記録した動画像送信処理用プログ
ラムの記録媒体と、その動画像受信方法の実現に用いら
れる動画像受信処理用プログラムと、そのプログラムを
記録した動画像受信処理用プログラムの記録媒体とに関
する。

【０００２】

【従来の技術】動画像をネットワークを介して送信する
ことが広く行われるようになりつつある。

【０００３】従来では、動画像をリアルタイムで送信す
る場合には、フレーム全体をその場で符号化して送信す
るように処理している。

【０００４】

【発明が解決しようとする課題】しかしながら、従来技
術のように、動画像をリアルタイムで送信する場合に、
フレーム全体をその場で符号化して送信するように処理
していると、回線の容量に応じた品質しか送信できない
ことで、高品質の動画像を送信できないという問題点が
ある。

【０００５】動画像の送信の中には、サッカー中継のよ
うに、サッカー場のような変化の少ない背景を持った映
像を送信する場合もあるが、従来技術では、このような
場合にも、フレーム全体をその場で符号化して送信する
ように処理している。

【０００６】本発明はかかる事情に鑑みてなされたもの
であって、変化の少ない背景画像を持つ大容量の動画像
を処理対象として、そのような動画像をネットワークを
介して高速かつ高品質に送信できるようにする新たな動
画像配信技術の提供を目的とする。

【０００７】

【課題を解決するための手段】この目的を達成するため
に、本発明の動画像送信方法では、背景画像とその中で
動く画像部分とで構成される動画像をネットワークを介
して送信するという構成を採るときにあって、様々なカ
メラ姿勢により撮影される背景画像を取得して、そのと
きのカメラ姿勢情報と対応をとりつつ記憶装置に格納す
る第１の処理過程と、記憶装置に格納される情報を送信
する第２の処理過程と、記憶装置に格納される情報を参
照することで、送信対象の動画像の撮影に用いられたカ
メラ姿勢情報の指す背景画像を取得する第３の処理過程
と、送信対象の動画像と第３の処理過程で取得した背景
画像とから、動く画像部分を切り出す第４の処理過程
と、第４の処理過程で切り出した画像部分及びその位置
情報と、送信対象の動画像の撮影に用いられたカメラ姿
勢情報とを送信する第５の処理過程とを備える。

【０００８】そして、これに合わせて、本発明の動画像
受信方法では、様々なカメラ姿勢により撮影された背景
画像と、そのときのカメラ姿勢情報とを受信して記憶装
置に格納する第１の処理過程と、送信対象の動画像から
切り出された動く画像部分及びその位置情報と、その動
画像の撮影に用いられたカメラ姿勢情報とを受信する第
２の処理過程と、記憶装置に格納される情報を参照する
ことで、第２の処理過程で受信したカメラ姿勢情報の指
す背景画像を取得する第３の処理過程と、第２の処理過
程で受信した位置情報に従って、第２の処理過程で受信
した動く画像部分を第３の処理過程で取得した背景画像
に上書きする形で合成する第４の処理過程とを備える。

【０００９】このように構成される本発明の動画像配信
システムでは、送信側及び受信側に用意される記憶装置
に、様々なカメラ姿勢により撮影された背景画像と、そ
のときのカメラ姿勢情報との対で構成される情報が記憶
される。

【００１０】送信側は、この記憶装置に格納される情報
の構築を受けて、送信対象の動画像が与えられると、先
ず最初に、記憶装置に格納される情報を参照すること
で、送信対象の動画像の撮影に用いられたカメラ姿勢情
報の指す背景画像を取得し、続いて、その取得した背景
画像と送信対象の動画像との差分画像を求めることで、
送信対象の動画像の中から動く画像部分を切り出し、続
いて、その切り出した動く画像部分と、その動く画像部
分の位置情報と、送信対象の動画像の撮影に用いられた
カメラ姿勢情報とを受信側に送信する。

【００１１】一方、受信側は、この記憶装置に格納され
る情報の構築を受けて、送信対象の動画像から切り出さ
れた動く画像部分及びその位置情報と、その動画像の撮
影に用いられたカメラ姿勢情報とを受信すると、先ず最
初に、記憶装置に格納される情報を参照することで、そ
の受信したカメラ姿勢情報の指す背景画像を取得し、続
いて、受信した位置情報に従って、受信した動く画像部
分をその取得した背景画像に上書きする形で合成する。

【００１２】また、この目的を達成するために、本発明
の動画像送信方法では、背景画像とその中で動く画像部
分とで構成される動画像をネットワークを介して送信す
るという構成を採るときにあって、背景画像の三次元モ
デルを生成して記憶装置に格納する第１の処理過程と、
記憶装置に格納される背景画像の三次元モデルを送信す
る第２の処理過程と、送信対象の動画像の撮影に用いら
れたカメラ姿勢情報と記憶装置に格納される背景画像の
三次元モデルとから、送信対象の動画像の背景画像を生
成する第３の処理過程と、送信対象の動画像と第３の処
理過程で生成した背景画像とから、動く画像部分を切り
出す第４の処理過程と、第４の処理過程で切り出した動
く画像部分及びその位置情報と、送信対象の動画像の撮
影に用いられたカメラ姿勢情報とを送信する第５の処理
過程とを備える。

【００１３】そして、これに合わせて、本発明の動画像
受信方法では、背景画像の三次元モデルを受信して記憶
装置に格納する第１の処理過程と、送信対象の動画像か
ら切り出された動く画像部分及びその位置情報と、その
動画像の撮影に用いられたカメラ姿勢情報とを受信する
第２の処理過程と、第２の処理過程で受信したカメラ姿
勢情報と記憶装置に格納される背景画像の三次元モデル
とから、送信対象の動画像の背景画像を生成する第３の
処理過程と、第２の処理過程で受信した位置情報に従っ
て、第２の処理過程で受信した動く画像部分を第３の処
理過程で生成した背景画像に上書きする形で合成する第
４の処理過程とを備える。

【００１４】このように構成される本発明の動画像配信
システムでは、送信側及び受信側に用意される記憶装置
に、背景画像の三次元モデルが記憶される。

【００１５】送信側は、この記憶装置に格納される背景
画像の三次元モデルを受けて、送信対象の動画像が与え
られると、先ず最初に、送信対象の動画像の撮影に用い
られたカメラ姿勢情報と記憶装置に格納される背景画像
の三次元モデルとから、送信対象の動画像の背景画像を
生成し、続いて、その生成した背景画像と送信対象の動
画像との差分画像を求めることで、送信対象の動画像の
中から動く画像部分を切り出し、続いて、その切り出し
た動く画像部分と、その動く画像部分の位置情報と、送
信対象の動画像の撮影に用いられたカメラ姿勢情報とを
受信側に送信する。

【００１６】一方、受信側は、この記憶装置に格納され
る背景画像の三次元モデルを受けて、送信対象の動画像
から切り出された動く画像部分及びその位置情報と、そ
の動画像の撮影に用いられたカメラ姿勢情報とを受信す
ると、先ず最初に、その受信したカメラ姿勢情報と記憶
装置に格納される背景画像の三次元モデルとから、送信
対象の動画像の背景画像を生成し、続いて、受信した位
置情報に従って、受信した動く画像部分をその生成した
背景画像に上書きする形で合成する。

【００１７】このようにして、本発明の動画像配信シス
テムでは、変化の少ない背景画像を持つ大容量の動画像
を送信する場合に、送信対象の動画像を全部送信するの
ではなくて、その動画像の中に含まれる動く画像部分及
びその位置情報と、その動画像の撮影に用いられたカメ
ラ姿勢情報とを送信するだけでもって動画像を配信でき
るようになることから、回線容量の制限を受けることな
く、動画像を高速かつ高品質に送信できるようになる。

【００１８】

【発明の実施の形態】以下、実施の形態に従って本発明
を詳細に説明する。

【００１９】図１に、本発明の一実施形態例を図示す
る。

【００２０】図中、１は本発明を具備する動画像送信装
置、２は本発明を具備する動画像受信装置、３は動画像
送信装置１に接続されるカメラ、４は動画像受信装置２
に接続される出力装置、５は動画像送信装置１と動画像
受信装置２との間を接続するネットワークである。

【００２１】本発明の動画像送信装置１は、カメラ３の
撮影する背景画像とその中で動く画像部分とで構成され
る動画像を入力として、それをネットワーク５を介して
本発明の動画像受信装置２に送信し、これを受けて、本
発明の動画像受信装置２は、その送られてくる動画像を
受信して、出力装置４に出力するように処理する。

【００２２】本発明の動画像送信装置１は、本発明を実
現するために、動画像送信プログラム１０と背景画像デ
ータベース１１と背景画像登録送信プログラム１２とを
備え、一方、本発明の動画像受信装置２は、本発明を実
現するために、動画像受信プログラム２０と背景画像デ
ータベース２１とを備える。

【００２３】ここで、動画像送信プログラム１０や背景
画像登録送信プログラム１２や動画像受信プログラム２
０は、計算機が読み取り可能な半導体メモリなどの適当
な記録媒体に記録して提供することができる。

【００２４】図２に、背景画像登録送信プログラム１２
の実行する処理フローの一実施形態例を図示し、図３
に、動画像送信プログラム１０の実行する処理フローの
一実施形態例を図示し、図４に、動画像受信プログラム
２０の実行する処理フローの一実施形態例を図示する。

【００２５】次に、これらの処理フローに従って、本発
明により実現される動画像の配信処理について説明す
る。

【００２６】先ず最初に、背景画像登録送信プログラム
１２及び動画像送信プログラム１０の実行する処理につ
いて説明する。

【００２７】背景画像登録送信プログラム１２は、動画
像の送信に先立って実行する背景画像の登録要求（動く
画像部分が存在しない背景画像のみの登録要求）が発行
されることで起動されると、図２の処理フローに示すよ
うに、先ず最初に、ステップ１で、背景画像の登録処理
で要求される全てのカメラ姿勢（カメラ角度とズーム量
とでカメラ姿勢が決められる）を選択したのか否かを判
断する。

【００２８】この判断処理により、背景画像の登録処理
で要求される全てのカメラ姿勢を選択していないことを
判断するときには、ステップ２に進んで、未選択のカメ
ラ姿勢の中から１つを選択して、カメラ３の姿勢を制御
する機構に指示することで、カメラ３の姿勢をその選択
したものに制御する。

【００２９】続いて、ステップ３で、カメラ３の撮影す
る背景画像を入力する。例えば、サッカー中継の動画像
を送信するときには、動画像の送信に先立って、背景画
像となるサッカー場の画像を取得して背景画像データベ
ース１１に登録することになるので、選択した姿勢を持
つカメラ３の撮影するサッカー場の画像を入力するので
ある。

【００３０】続いて、ステップ４で、入力した背景画像
を、そのときのカメラ姿勢の情報と対応をとりつつ背景
画像データベース１１に登録して、ステップ１に戻る。

【００３１】そして、ステップ１で、背景画像の登録処
理で要求される全てのカメラ姿勢を選択したことを判断
するときには、ステップ５に進んで、背景画像データベ
ース１１に登録した情報を動画像受信装置２に送信し
て、処理を終了する。

【００３２】このようにして、背景画像登録送信プログ
ラム１２は、動画像の送信に先立って、背景画像データ
ベース１１に対して、様々なカメラ姿勢で撮影された背
景画像とそのときのカメラ姿勢情報との対応関係を登録
することで、図５に示すような背景画像データベース１
１を構築して、その構築が完了すると、それらの登録情
報を動画像受信装置２に送信していくように処理するの
である。

【００３３】動画像送信プログラム１０は、この背景画
像登録送信プログラム１２による背景画像データベース
１１の構築後に、動画像の送信要求が発行されることで
起動されると、図３の処理フローに示すように、先ず最
初に、ステップ１で、送信終了指示が発行されたのか否
かを判断して、発行されていないことを判断するときに
は、ステップ２に進んで、カメラ３により撮影される送
信フレームの動画像と、そのときのカメラ３の姿勢情報
とを入力する。

【００３４】続いて、ステップ３で、その入力したカメ
ラ姿勢情報を検索キーにして背景画像データベース１１
を検索することで、その入力したカメラ姿勢情報の指す
背景画像を取得する。すなわち、背景画像データベース
１１に格納されている背景画像の中から、送信フレーム
の撮影時と同じカメラ姿勢により撮影された背景画像を
取得するのである。

【００３５】続いて、ステップ４で、入力した動画像と
取得した背景画像との差分画像を作成し、規定の閾値よ
りも大きな差分値を持つ画像部分を抽出することで、動
画像の中に含まれる動く画像部分を抽出する。すなわ
ち、差分値が小さい画像部分は背景画像を示しているこ
とから、それ以外の画像部分を抽出することで、動画像
の中に含まれる動く画像部分を抽出するのである。

【００３６】続いて、ステップ５で、その抽出した動く
画像部分に外接する矩形を特定することで、その抽出し
た動く画像部分の画像領域を切り出す。すなわち、図６
に示すように、動く画像部分に外接する矩形を特定する
ことで、動く画像部分の画像領域を切り出すのである。

【００３７】続いて、ステップ６で、入力したカメラ姿
勢情報と、切り出した画像領域の画像と、切り出した画
像領域の位置情報（例えば外接矩形の１つの頂点位置と
その矩形の大きさ）とを動画像受信装置２に送信して、
ステップ１に戻る。

【００３８】そして、ステップ１で、送信終了指示が発
行されたことを判断するときには、ステップ７に進ん
で、送信終了を動画像受信装置２に通知して、処理を終
了する。

【００３９】このようにして、動画像送信プログラム１
０は、カメラ３から送信フレームを入力すると、その送
信フレームの動画像の中から動く画像部分の画像領域を
抽出して、その抽出した画像領域の画像と、その画像領
域の位置情報と、その動画像の撮影に用いられたカメラ
姿勢情報とを動画像受信装置２に送信していくように処
理するのである。

【００４０】次に、動画像受信プログラム２０の実行す
る動画像受信処理について説明する。

【００４１】動画像受信プログラム２０は、動画像送信
装置１の発行する動画像の送信指示などに応答して起動
されると、図４の処理フローに示すように、先ず最初
に、ステップ１で、動画像送信装置１から送信されてく
る情報が背景画像であるのか否かを判断する。

【００４２】すなわち、背景画像登録送信プログラム１
２の処理に従って、動画像の送信に先立って、動画像送
信装置１から背景画像データベース１１の登録情報が送
信されてくることになるので、動画像送信装置１からそ
の登録情報が送信されてきたのか否かを判断するのであ
る。

【００４３】この判断処理により、背景画像が送信され
てきたことを判断するときには、ステップ２に進んで、
背景画像登録送信プログラム１２の処理に従って送信さ
れてくる背景画像とカメラ姿勢情報との対情報を受信
し、続くステップ３で、その受信した情報を背景画像デ
ータベース２１に登録して、処理を終了する。

【００４４】このようにして、動画像送信装置１から背
景画像データベース１１の登録情報が送信されてくると
きには、その登録情報に従って、その背景画像データベ
ース１１と同一の情報を管理する背景画像データベース
２１を構築して、処理を終了するのである。

【００４５】一方、ステップ１で、動画像送信装置１か
ら送信されてくる情報が背景画像でないことを判断する
とき、すなわち、動画像送信プログラム１０の送信する
情報が送られてきたことを判断するときには、ステップ
４に進んで、送信終了通知が送信されてきたのか否かを
判断する。

【００４６】この判断処理により、送信終了通知が送信
されてきたのではないことを判断するとき、すなわち、
動画像送信プログラム１０の送信処理に従って、動く画
像部分の画像領域の画像と、その画像領域の位置情報
と、動画像の撮影に用いられたカメラ姿勢情報とが送信
されてくることを判断するときには、ステップ５に進ん
で、それらの情報を受信する。

【００４７】続いて、ステップ６で、その受信したカメ
ラ姿勢情報を検索キーにして背景画像データベース２１
を検索することで、その受信したカメラ姿勢情報の指す
背景画像を取得する。すなわち、背景画像データベース
２１に格納されている背景画像の中から、送信フレーム
の撮影時と同じカメラ姿勢により撮影された背景画像を
取得するのである。

【００４８】続いて、ステップ７で、受信した画像（動
く画像部分の画像）を、受信した画像領域の位置情報の
指定に従って、取得した背景画像に上書きする形で合成
して出力装置４に出力する。

【００４９】そして、ステップ４で、送信終了通知が送
信されてきたことを判断するときには、動画像の受信処
理を終了する。

【００５０】このようにして、動画像受信プログラム２
０は、図７（ａ）に示すような動く画像部分の画像が送
られてくると、その画像とともに送られてくるカメラ姿
勢情報の指す図７（ｂ）に示すような背景画像を取得し
て、その画像とともに送られてくる位置情報の指定に従
って、図７（ｃ）に示すように、その送られてくる画像
をその取得した背景画像に上書きする形で合成して出力
することで、動画像の受信を実現するのである。

【００５１】以上に説明したことから分かるように、図
１に示した本発明の動画像送信装置１は、図８に示すよ
うに、カメラ３の撮影する画像を入力する撮影画像入力
手段３０と、カメラ３の撮影する背景画像を蓄積する背
景画像蓄積手段３１と、動画像の送信に先立って、カメ
ラ３の撮影する背景画像を入手して背景画像蓄積手段３
１に登録する背景画像登録手段３２と、動画像撮影時の
カメラ３の姿勢情報を使って、背景画像蓄積手段３１か
ら背景画像を取得する背景画像取得手段３３と、背景画
像取得手段３３の取得する背景画像とカメラ３の撮影す
る動画像とから動く画像部分を切り出す動き画像切出手
段３４と、動画像の送信に先立って、背景画像蓄積手段
３１に蓄積される背景画像を送信するとともに、動画像
の送信時に、動き画像切出手段３４の切り出す画像部分
及びその位置情報と、カメラ３の姿勢情報とを本発明の
動画像受信装置２に送信する伝送手段３５とを備えるこ
とになる。

【００５２】そして、図１に示した本発明の動画像受信
装置２は、図８に示すように、本発明の動画像送信装置
１から送られてくる情報を受信する伝送手段４０と、本
発明の動画像送信装置１から送られてくる背景画像を蓄
積する背景画像蓄積手段４１と、本発明の動画像送信装
置１から送られてくる背景画像を入手して背景画像蓄積
手段４１に登録する背景画像登録手段４２と、本発明の
動画像送信装置１から送られてくるカメラ姿勢情報を使
って、背景画像蓄積手段４１から背景画像を取得する背
景画像取得手段４３と、本発明の動画像送信装置１から
送られてくる動く画像部分の画像と背景画像取得手段４
３の取得する背景画像とを合成することで動画像を再生
する動画像合成手段４４とを備えることになる。

【００５３】図９に、本発明の他の実施形態例を図示す
る。

【００５４】この実施形態例に従う本発明の動画像送信
装置１は、本発明を実現するために、動画像送信プログ
ラム５０と三次元モデルデータベース５１と三次元モデ
ル生成送信プログラム５２とを備え、一方、本発明の動
画像受信装置２は、本発明を実現するために、動画像受
信プログラム６０と三次元モデルデータベース６１とを
備える。

【００５５】ここで、動画像送信プログラム５０や三次
元モデル生成送信プログラム５２や動画像受信プログラ
ム６０は、計算機が読み取り可能な半導体メモリなどの
適当な記録媒体に記録して提供することができる。

【００５６】図１０に、三次元モデル生成送信プログラ
ム５２の実行する処理フローの一実施形態例を図示し、
図１１に、動画像送信プログラム５０の実行する処理フ
ローの一実施形態例を図示し、図１２に、動画像受信プ
ログラム６０の実行する処理フローの一実施形態例を図
示する。

【００５７】次に、これらの処理フローに従って、本発
明により実現される動画像の配信処理について説明す
る。

【００５８】先ず最初に、三次元モデル生成送信プログ
ラム５２及び動画像送信プログラム５０の実行する処理
について説明する。

【００５９】三次元モデル生成送信プログラム５２は、
動画像の送信に先立って実行する背景画像の三次元モデ
ルの生成要求（仮想空間上に構築される背景画像の三次
元モデルの生成要求）が発行されることで起動される
と、図１０の処理フローに示すように、先ず最初に、ス
テップ１で、背景画像の三次元モデルを生成する。

【００６０】例えば、サッカー中継の動画像を送信する
ときには、動画像の送信に先立って、背景画像となるサ
ッカー場の三次元モデルを生成するのである。

【００６１】続いて、ステップ２で、その生成した背景
画像の三次元モデルを三次元モデルデータベース５１に
登録し、続くステップ３で、三次元モデルデータベース
５１に登録した背景画像の三次元モデルを動画像受信装
置２に送信して、処理を終了する。

【００６２】このようにして、三次元モデル生成送信プ
ログラム５２は、動画像の送信に先立って、背景画像の
三次元モデルを生成して、それを三次元モデルデータベ
ース５１に登録するとともに、動画像受信装置２に送信
していくように処理するのである。

【００６３】動画像送信プログラム５０は、この三次元
モデル生成送信プログラム５２による三次元モデルデー
タベース５１の構築後に、動画像の送信要求が発行され
ることで起動されると、図１１の処理フローに示すよう
に、先ず最初に、ステップ１で、送信終了指示が発行さ
れたのか否かを判断して、発行されていないことを判断
するときには、ステップ２に進んで、カメラ３により撮
影される送信フレームの動画像と、そのときのカメラ３
の姿勢情報とを入力する。

【００６４】続いて、ステップ３で、三次元モデルデー
タベース５１に格納される背景画像の三次元モデルと、
その入力したカメラ姿勢情報とから、そのカメラ姿勢情
報をを持つカメラ３により撮影されることになる背景画
像を生成する。すなわち、カメラ３から見た背景画像を
シミュレートするのである。

【００６５】続いて、ステップ４で、入力した動画像と
生成した背景画像との差分画像を作成し、規定の閾値よ
りも大きな差分値を持つ画像部分を抽出することで、動
画像の中に含まれる動く画像部分を抽出する。すなわ
ち、差分値が小さい画像部分は背景画像を示しているこ
とから、それ以外の画像部分を抽出することで、動画像
の中に含まれる動く画像部分を抽出するのである。

【００６６】続いて、ステップ５で、その抽出した動く
画像部分に外接する矩形を特定することで、その抽出し
た動く画像部分の画像領域を切り出す。すなわち、図６
に示すように、動く画像部分に外接する矩形を特定する
ことで、動く画像部分の画像領域を切り出すのである。

【００６７】続いて、ステップ６で、入力したカメラ姿
勢情報と、切り出した画像領域の画像と、切り出した画
像領域の位置情報（例えば外接矩形の１つの頂点位置と
その矩形の大きさ）とを動画像受信装置２に送信して、
ステップ１に戻る。

【００６８】そして、ステップ１で、送信終了指示が発
行されたことを判断するときには、ステップ７に進ん
で、送信終了を動画像受信装置２に通知して、処理を終
了する。

【００６９】このようにして、動画像送信プログラム５
０は、カメラ３から送信フレームを入力すると、その送
信フレームの動画像の中から動く画像部分の画像領域を
抽出して、その抽出した画像領域の画像と、その画像領
域の位置情報と、その動画像の撮影に用いられたカメラ
姿勢情報とを動画像受信装置２に送信していくように処
理するのである。

【００７０】次に、動画像受信プログラム６０の実行す
る動画像受信処理について説明する。

【００７１】動画像受信プログラム６０は、動画像送信
装置１の発行する動画像の送信指示などに応答して起動
されると、図１２の処理フローに示すように、先ず最初
に、ステップ１で、動画像送信装置１から送信されてく
る情報が背景画像の三次元モデルであるのか否かを判断
する。

【００７２】すなわち、三次元モデル生成送信プログラ
ム５２の処理に従って、動画像の送信に先立って、動画
像送信装置１から背景画像の三次元モデルが送信されて
くることになるので、動画像送信装置１からその三次元
モデルが送信されてきたのか否かを判断するのである。

【００７３】この判断処理により、背景画像の三次元モ
デルが送信されてきたことを判断するときには、ステッ
プ２に進んで、送信されてくる背景画像の三次元モデル
を受信し、続くステップ３で、その受信した三次元モデ
ルを三次元モデルデータベース６１に登録して、処理を
終了する。

【００７４】このようにして、動画像送信装置１から三
次元モデルデータベース５１に管理される背景画像の三
次元モデルが送信されてくるときには、その三次元モデ
ルに従って、その三次元モデルデータベース５１と同一
の三次元モデルを管理する三次元モデルデータベース６
１を構築して、処理を終了するのである。

【００７５】一方、ステップ１で、動画像送信装置１か
ら送信されてくる情報が背景画像の三次元モデルでない
ことを判断するとき、すなわち、動画像送信プログラム
５０の送信する情報が送られてきたことを判断するとき
には、ステップ４に進んで、送信終了通知が送信されて
きたのか否かを判断する。

【００７６】この判断処理により、送信終了通知が送信
されてきたのではないことを判断するとき、すなわち、
動画像送信プログラム５０の送信処理に従って、動く画
像部分の画像領域の画像と、その画像領域の位置情報
と、動画像の撮影に用いられたカメラ姿勢情報とが送信
されてくることを判断するときには、ステップ５に進ん
で、それらの情報を受信する。

【００７７】続いて、ステップ６で、三次元モデルデー
タベース６１に格納される背景画像の三次元モデルと、
その受信したカメラ姿勢情報とから、そのカメラ姿勢情
報をを持つカメラ３により撮影されることになる背景画
像を生成する。すなわち、カメラ３から見た背景画像を
シミュレートするのである。

【００７８】続いて、ステップ７で、受信した画像（動
く画像部分の画像）を、受信した画像領域の位置情報の
指定に従って、生成した背景画像に上書きする形で合成
して出力装置４に出力する。

【００７９】そして、ステップ４で、送信終了通知が送
信されてきたことを判断するときには、動画像の受信処
理を終了する。

【００８０】このようにして、動画像受信プログラム２
０は、図７（ａ）に示すような動く画像部分の画像が送
られてくると、その画像とともに送られてくるカメラ姿
勢情報と、予め送られてきている背景画像の三次元モデ
ルとから図７（ｂ）に示すような背景画像を生成して、
その画像とともに送られてくる位置情報の指定に従っ
て、図７（ｃ）に示すように、その送られてくる画像を
その生成した背景画像に上書きする形で合成して出力す
ることで、動画像の受信を実現するのである。

【００８１】以上に説明したことから分かるように、図
９に示した本発明の動画像送信装置１は、図１３に示す
ように、カメラ３の撮影する画像を入力する撮影画像入
力手段７０と、背景画像の三次元モデルを管理する三次
元モデル管理手段７１と、動画像の送信に先立って、背
景画像の三次元モデルを生成して三次元モデル管理手段
７１に登録する三次元モデル生成手段７２と、動画像撮
影時のカメラ３の姿勢情報と、三次元モデル管理手段７
１の管理する背景画像の三次元モデルとから動画像の背
景画像を生成する背景画像生成手段７３と、背景画像生
成手段７３の生成する背景画像とカメラ３の撮影する動
画像とから動く画像部分を切り出す動き画像切出手段７
４と、動画像の送信に先立って、三次元モデル管理手段
７１の管理する背景画像の三次元モデルを送信するとと
もに、動画像の送信時に、動き画像切出手段７４の切り
出す画像部分及びその位置情報と、カメラ３の姿勢情報
とを本発明の動画像受信装置２に送信する伝送手段７５
とを備えることになる。

【００８２】そして、図９に示した本発明の動画像受信
装置２は、図１３に示すように、本発明の動画像送信装
置１から送られてくる情報を受信する伝送手段８０と、
本発明の動画像送信装置１から送られてくる背景画像の
三次元モデルを管理する三次元モデル管理手段８１と、
本発明の動画像送信装置１から送られてくる背景画像の
三次元モデルを入手して三次元モデル管理手段８１に登
録する三次元モデル登録手段８２と、本発明の動画像送
信装置１から送られてくるカメラ姿勢情報と、三次元モ
デル管理手段８１の管理する背景画像の三次元モデルと
から動画像の背景画像を生成する背景画像生成手段８３
と、本発明の動画像送信装置１から送られてくる動く画
像部分の画像と背景画像生成手段８３の生成する背景画
像とを合成することで動画像を再生する動画像合成手段
８４とを備えることになる。

【００８３】図示実施形態例に従って本発明を説明した
が、本発明はこれに限定されるものではない。例えば、
実施形態例では、動く画像部分に外接する矩形の規定す
る画像領域を送信対象とするという構成を採ったが、動
く画像部分そのものを送信対象とするという構成を採っ
てもよい。

【００８４】但し、実施形態例のように、動く画像部分
に外接する矩形の規定する画像領域を送信対象とすると
いう構成を採ると、動く画像部分を切り出す際に、厳密
な切り出しを行う必要がないので処理量を削減できると
いうメリットや、離散的に存在する動く画像部分を１つ
にまとめた形で送信できるというメリットがある。

【００８５】

【発明の効果】以上説明したように、本発明では、変化
の少ない背景画像を持つ大容量の動画像を送信する場合
に、送信対象の動画像を全部送信するのではなくて、そ
の動画像の中に含まれる動く画像部分及びその位置情報
と、その動画像の撮影に用いられたカメラ姿勢情報とを
送信するだけでもって動画像を配信できるようになるこ
とから、回線容量の制限を受けることなく、動画像を高
速かつ高品質に送信できるようになる。

【図面の簡単な説明】

【図１】本発明の一実施形態例である。

【図２】背景画像登録送信プログラムの実行する処理フ
ローである。

【図３】動画像送信プログラムの実行する処理フローで
ある。

【図４】動画像受信プログラムの実行する処理フローで
ある。

【図５】背景画像データベースのデータ構造の説明図で
ある。

【図６】動く画像部分の画像領域の切り出し処理の説明
図である。

【図７】動画像受信プログラムの実行する動画像合成処
理の説明図である。

【図８】図１に示した実施形態例の機能ブロック構成図
である。

【図９】本発明の他の実施形態例である。

【図１０】三次元モデル生成送信プログラムの実行する
処理フローである。

【図１１】動画像送信プログラムの実行する処理フロー
である。

【図１２】動画像受信プログラムの実行する処理フロー
である。

【図１３】図９に示した実施形態例の機能ブロック構成
図である。

【符号の説明】

１ 動画像送信装置 ２ 動画像受信装置 ３ カメラ ４ 出力装置 ５ ネットワーク １０ 動画像送信プログラム １１ 背景画像データベース １２ 背景画像登録送信プログラム ２０ 動画像受信プログラム ２１ 背景画像データベース ５０ 動画像送信プログラム ５１ 三次元モデルデータベース ５２ 三次元モデル生成送信プログラム ６０ 動画像受信プログラム ６１ 三次元モデルデータベース

───────────────────────────────────────────────────── フロントページの続き (72)発明者 大森 信行 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 稲垣 博人 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C025 BA25 BA27 CA10 CA11 DA05 5C054 DA09 DA10 EA01 EG05 EG09 EJ07 FC13 FE14 HA16 HA19 5C059 MA09 MB08 NN24 PP04 PP26 PP29 RC11 RC19 RC33 SS08 SS09 SS20 SS26 UA06 UA38 5C063 AB03 AC02 BA12 CA23 CA29 CA34 DA07

Claims (8)

【特許請求の範囲】
1. 【請求項１】 背景画像とその中で動く画像部分とで構
   成される動画像をネットワークを介して送信する動画像
   送信方法であって、 様々なカメラ姿勢により撮影される背景画像を取得し
   て、そのときのカメラ姿勢情報と対応をとりつつ記憶装
   置に格納する過程と、 上記記憶装置に格納される情報を送信する過程と、 上記記憶装置に格納される情報を参照することで、送信
   対象の動画像の撮影に用いられたカメラ姿勢情報の指す
   背景画像を取得する過程と、 送信対象の動画像と上記取得した背景画像とから、動く
   画像部分を切り出す過程と、 上記切り出した動く画像部分及びその位置情報と、送信
   対象の動画像の撮影に用いられたカメラ姿勢情報とを送
   信する過程とを備えることを、 特徴とする動画像送信方法。
2. 【請求項２】 ネットワークを介して送られてくる、背
   景画像とその中で動く画像部分とで構成される動画像を
   受信する動画像受信方法であって、 様々なカメラ姿勢により撮影された背景画像と、そのと
   きのカメラ姿勢情報とを受信して記憶装置に格納する過
   程と、 送信対象の動画像から切り出された動く画像部分及びそ
   の位置情報と、その動画像の撮影に用いられたカメラ姿
   勢情報とを受信する過程と、 上記記憶装置に格納される情報を参照することで、上記
   受信したカメラ姿勢情報の指す背景画像を取得する過程
   と、 上記受信した位置情報に従って、上記受信した動く画像
   部分を上記取得した背景画像に上書きする形で合成する
   過程とを備えることを、 特徴とする動画像受信方法。
3. 【請求項３】 背景画像とその中で動く画像部分とで構
   成される動画像をネットワークを介して送信する動画像
   送信方法であって、 背景画像の三次元モデルを生成して記憶装置に格納する
   過程と、 上記記憶装置に格納される三次元モデルを送信する過程
   と、 送信対象の動画像の撮影に用いられたカメラ姿勢情報と
   上記記憶装置に格納される三次元モデルとから、その動
   画像の背景画像を生成する過程と、 送信対象の動画像と上記生成した背景画像とから、動く
   画像部分を切り出す過程と、 上記切り出した動く画像部分及びその位置情報と、送信
   対象の動画像の撮影に用いられたカメラ姿勢情報とを送
   信する過程とを備えることを、 特徴とする動画像送信方法。
4. 【請求項４】 ネットワークを介して送られてくる、背
   景画像とその中で動く画像部分とで構成される動画像を
   受信する動画像受信方法であって、 背景画像の三次元モデルを受信して記憶装置に格納する
   過程と、 送信対象の動画像から切り出された動く画像部分及びそ
   の位置情報と、その動画像の撮影に用いられたカメラ姿
   勢情報とを受信する過程と、 上記受信したカメラ姿勢情報と上記記憶装置に格納され
   る三次元モデルとから、送信対象の動画像の背景画像を
   生成する過程と、 上記受信した位置情報に従って、上記受信した動く画像
   部分を上記生成した背景画像に上書きする形で合成する
   過程とを備えることを、 特徴とする動画像受信方法。
5. 【請求項５】 請求項１又は３に記載される動画像送信
   方法の実現に用いられる処理をコンピュータに実行させ
   るための動画像送信処理用プログラム。
6. 【請求項６】 請求項１又は３に記載される動画像送信
   方法の実現に用いられる処理をコンピュータに実行させ
   るためのプログラムを記録した動画像送信処理用プログ
   ラムの記録媒体。
7. 【請求項７】 請求項２又は４に記載される動画像受信
   方法の実現に用いられる処理をコンピュータに実行させ
   るための動画像受信処理用プログラム。
8. 【請求項８】 請求項２又は４に記載される動画像受信
   方法の実現に用いられる処理をコンピュータに実行させ
   るためのプログラムを記録した動画像受信処理用プログ
   ラムの記録媒体。