JP2002010230A - 映像配信方法及び装置 - Google Patents

映像配信方法及び装置

Info

Publication number
JP2002010230A
JP2002010230A JP2000182011A JP2000182011A JP2002010230A JP 2002010230 A JP2002010230 A JP 2002010230A JP 2000182011 A JP2000182011 A JP 2000182011A JP 2000182011 A JP2000182011 A JP 2000182011A JP 2002010230 A JP2002010230 A JP 2002010230A
Authority
JP
Japan
Prior art keywords
video
feature amount
user
image
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000182011A
Other languages
English (en)
Inventor
Ryuji Yamamoto
隆二 山本
Kazuhiro Otsuka
和弘 大塚
Tsutomu Horikoshi
力 堀越
Haruhiko Kojima
治彦 児島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000182011A priority Critical patent/JP2002010230A/ja
Publication of JP2002010230A publication Critical patent/JP2002010230A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【課題】 多くの時間と労力及び解析のためのノウハウ
を必要するとする内容解析の部分をサービスセンタ側で
行い、その結果、得られた特徴量をネットワークを介し
て視聴者へ配信するための映像配信方法及び装置を提供
する。 【解決手段】 本発明は、利用者から映像コンテンツ及
び該映像コンテンツの特徴量の配信要求をセンタに発行
し、センタでは、映像の種類の情報を含む特定の項目か
らなる映像コンテンツを記憶する映像アーカイブから、
配信要求に対応する映像コンテンツを抽出すると共に、
該映像コンテンツに対応する特徴量を特徴量記憶手段か
ら抽出して、該配信要求の発行元の利用者に配信する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像配信方法及び
装置に係り、特に、利用者の要求に応じて、映像に含ま
れる特徴量を配信するための映像配信方法及び装置に関
する。
【0002】詳しくは、予めサービスセンタ側にて映像
を解析してその特徴量を生成し、その生成した特徴量お
よび映像をクライアント側の利用者に送信する映像特徴
量の生成、配信、放送及び双方向マルチメディア通信サ
ービスのための映像配信方法及び装置に関する。
【0003】
【従来の技術】従来の技術の第1の方法として、放送局
等により1台もしくは、複数台のカメラを用いて、対象
を撮影し、その撮影された映像を編集加工して、視聴者
へ配信することが知られている。
【0004】また、従来技術の第2の方法として、視聴
者の要求に応じてその都度視聴者の望む映像情報をネッ
トワークを介して配信するシステムが提案されてる。こ
れは、ビデオオンデマンドシステムと呼ばれ、双方向の
マルチメディア通信サービスの1つである。
【0005】従来の技術の第3の方法として、映像内容
を解析してその特徴量を抽出し、利用者が指定した視点
から見た映像を再構成する方法がいくつか提案されてい
る。例えば、スポーツ映像において、プレイ中の選手の
コート上での3次元位置情報を抽出し、任意視点から見
た適当な方向のシーンの動画像を生成する方法が提案さ
れている。この方法は、「松井、平野、田中、大西:任
意視点からサッカーシーンを復元する仮想カメラシステ
ム、信学技報、PRMU97-253, pp.15/22, 1998年3 月」に
提案されている。
【0006】この提案では、時系列画像から画像処理手
法を用いて選手及びボールの画像上での位置を追跡し、
画像上の座標値から実空間上の座標値への変換式を用い
て、プレイ中の選手及び、ボールのコート上での3次元
位置情報を抽出する。さらに、選手の3次元位置情報か
ら、コンピュータグラフィック手法により、任意視点か
ら見たサッカー映像を再構成する。また、画像空間から
実空間への変換式は、コート上のラインの交点からカメ
ラキャリブレーション手法により求めることができる。
【0007】
【発明が解決しようとする課題】しかしながら、上記従
来の技術の第1の方法では、1台もしくは複数台のカメ
ラで撮影された映像を放送局側で独自に編集し、その編
集した映像を一方向的に視聴者へ配信する。そのため、
個々の視聴者の好みを反映することができないという問
題がある。
【0008】また、上記従来の技術の第2の方法では、
視聴者の要求に応じてその都度映像を配信するという点
において、従来の技術の第1の方法に比べて、個々の視
聴者の好みを反映している。しかしながら、この方法
は、予め編集された映像のアーカイブの中から視聴者の
選択した映像を配信するため、視聴者が望む映像がアー
カイブの中に存在しない場合には、十分に視聴者の好み
を反映することができない。例えば、視聴者が見たい視
点からの映像というのは、視聴者によって異なるため、
それら全ての映像をアーカイブとして保持しておくのは
非現実的であるので、すべての視聴者が自分の好みの視
点から映像を鑑賞することはできない。
【0009】また、上記従来の第3の方法では、映像内
容を解析し、特徴量を抽出することにより、実際にカメ
ラを配置できないようなアングルや、プレイ中の選手の
目から見たシーン等を再現することが可能となる。つま
り、視聴者は、自分の好みの視点から映像を自由に見る
ことができ、あたかもその場所に居るような感覚で映像
を楽しむことができるようになる。しかしながら、映像
から前述のような特徴量を抽出するためには、一般的に
多くの時間と労力、または、解析のためのノウハウが必
要となる。つまり、前述の例で言えば、時系列画像から
例えば、被写体として選手がボールを追跡する場合にお
いて、選手同士もしくは、選手とボールが交錯した場
合、画像処理により、選手位置を追跡することは困難で
あり、追跡に失敗した場合には、その都度人手による修
正が必要となる。また、画像処理のための閾値の決定
や、画像空間から実空間への変換式を求めるためのカメ
ラキャリブレーションなどは専門的であり、解析のため
のノウハウを必要とする。そのため、一般の視聴者が自
宅のPC等を使い、映像から前述のような特徴量を抽出
して、その特徴量から自分の好みの視点の映像を生成す
るのは困難である。
【0010】本発明は、上記の点に鑑みなされたもの
で、多くの時間と労力及び解析のためのノウハウを必要
するとする内容解析の部分をサービスセンタ側で行い、
その結果、得られた特徴量をネットワークを介して視聴
者へ配信するための映像配信方法及び装置を提供するこ
とを目的とする。
【0011】
【課題を解決するための手段】図1は、本発明の原理を
説明するための図である。
【0012】本発明(請求項1)は、映像中の被写体に
ついて特徴量を抽出し、該特徴量と映像をネットワーク
を介して配信する映像配信方法において、利用者から映
像コンテンツ及び該映像コンテンツの特徴量の配信要求
をセンタに発行し(ステップ1)、センタでは、映像の
種類の情報を含む特定の項目からなる映像コンテンツを
記憶する映像アーカイブから、配信要求に対応する映像
コンテンツを抽出する(ステップ2)と共に、該映像コ
ンテンツに対応する特徴量を特徴量記憶手段から抽出し
て(ステップ3)、該配信要求の発行元の利用者に配信
する(ステプ4)。本発明(請求項2)は、映像アーカ
イブから解析対象の時系列画像を取得し、時系列画像か
ら画像中に写っている移動物体領域を抽出し、移動物体
領域の移動物体抽出画像列から複数の移動物体を追跡
し、画像上の座標値から実空間上の座標値へ変換し、変
換された座標値を映像特徴量として特徴量記憶手段に登
録する。
【0013】本発明(請求項3)は、利用者から配信要
求が発行されると、利用者とセンタとのインタフェース
の役割を有し、前記ネットワークに接続され、利用者端
末のブラウザからのドキュメント取得要求を受け付け、
個々の要求から必要なファイルや動作を決定し、該利用
者端末のブラウザに結果を送信するWebエンジンを用
いて特徴量記憶手段にアクセスし、利用者の要求する映
像特徴量を特徴量記憶手段から取得し、利用者に映像特
徴量を配信する。
【0014】本発明(請求項4)は、映像特徴量とし
て、映像中の被写体の移動履歴情報を用いる。
【0015】本発明(請求項5)は、時系列画像を取得
する際に、利用者の各映像コンテンツに対する特徴量の
要求度合により、映像アーカイブから解析対象の時系列
画像を取得する。
【0016】本発明(請求項6)は、移動物体の追跡に
おいて、追跡に失敗したかを判断し、失敗した場合に
は、修正要求を提示し、修正された内容を受け付ける。
【0017】本発明(請求項7)は、移動物体の追跡の
失敗を判断する際に、対象物のパターンがテンプレート
として表現され、該テンプレートを探索範囲内で動かし
て最もよくマッチングする場所を探すテンプレートマッ
チングにおける相関値を利用する。
【0018】本発明(請求項8)は、映像中の被写体に
ついて特徴量を抽出し、該特徴量と映像をネットワーク
を介して配信する映像配信方法において、利用者とセン
タを接続し、利用者からセンタに特徴量コンテンツメニ
ューを要求し、センタから特徴量コンテンツメニューを
利用者に送信し、利用者は、特徴量コンテンツメニュー
画面を受信して表示し、特徴量コンテンツメニュー画面
から要求するメニューを選択して、センタに送信し、セ
ンタは、選択されたメニューを受信して、該メニューに
対応する映像特徴量を映像の特徴量を蓄積する映像特徴
量記憶手段から取得して、利用者に送信し、利用者は、
映像特徴量を取得する。
【0019】本発明(請求項9)は、映像アーカイブか
ら利用者の各映像コンテンツに対する特徴量の要求度合
により、解析対象の時系列画像を取得し、時系列画像か
ら画像中に写っている移動物体領域を抽出し、移動物体
領域の移動物体抽出画像列から複数の移動物体を追跡
し、画像上の座標値から実空間上の座標値へ変換し、変
換された座標値を映像特徴量として特徴量記憶手段に登
録しておき、利用者から配信要求が発行されると、利用
者とセンタとのインタフェースの役割を持つWebエン
ジンを用いて特徴量記憶手段にアクセスし、利用者の要
求する映像特徴量を特徴量記憶手段から取得し、利用者
に映像特徴量を配信する。
【0020】本発明(請求項10)は、移動物体の追跡
において、対象物のパターンがテンプレートとして表現
され、該テンプレートを探索範囲内で動かして最もよく
マッチングする場所を探すテンプレートマッチングにお
ける相関値を利用して追跡に失敗したかを判断し、失敗
した場合には、修正要求を提示し、修正された内容を受
け付ける。
【0021】図2は、本発明の原理構成図である。
【0022】本発明(請求項11)は、利用者端末と、
映像中の被写体について特徴量を抽出し、該特徴量と映
像をネットワークを介して該利用者端末に配信するセン
タからなる映像配信システムであって、利用者端末10
1は、利用者から映像コンテンツ及び該映像コンテンツ
の特徴量の配信要求をセンタに発行する配信要求手段1
00を有し、センタ103は、映像の種類の情報を含む
特定の項目からなる映像コンテンツを記憶する映像アー
カイブ105と、映像コンテンツに対応する特徴量を蓄
積する特徴量記憶手段107と、映像アーカイブ105
から、配信要求に対応する映像コンテンツを抽出すると
共に、該映像コンテンツに対応する特徴量を特徴量記憶
手段107から抽出して、該配信要求の発行元の利用者
に配信する配信手段202を有する配信サーバ104と
を有する。
【0023】本発明(請求項12)は、映像アーカイブ
105から解析対象の時系列画像を取得する時系列画像
取得手段と、時系列画像から画像中に写っている移動物
体領域を抽出する移動物体抽出手段と、移動物体領域の
移動物体抽出画像列から複数の移動物体を追跡する移動
物体追跡手段と、画像上の座標値から実空間上の座標値
へ変換する座標変換手段と、変換された座標値を映像特
徴量として特徴量記憶手段107に登録する特徴量記憶
手段とを有する内容解析サーバを更に有する。
【0024】本発明(請求項13)は、映像特徴量とし
て、映像中の被写体の移動履歴情報を用いる。
【0025】本発明(請求項14)は、時系列画像取得
手段において、利用者の各映像コンテンツに対する特徴
量の要求度合により、映像アーカイブから解析対象の時
系列画像を取得する手段を含む。
【0026】本発明(請求項15)は、移動物体追跡手
段において、対象物のパターンがテンプレートとして表
現され、該テンプレートを探索範囲内で動かして最もよ
くマッチングする場所を探すテンプレートマッチングに
おける相関値を利用して追跡に失敗したかを判断する手
段と、失敗した場合には、修正要求を提示し、修正され
た内容を受け付ける手段とを含む。
【0027】上記のように、本発明では、映像の内容解
析を予めサービスセンタ側で行い、映像特徴量としてデ
ータベースに登録しておき、利用者の要求に応じて当該
データベースにアクセスし、映像特徴量を配信すること
が可能となるため、利用者は多くの時間や労力、また、
解析のためのノウハウ等を費やすことなく、新しいコン
テンツ生成のために必要な映像の特徴量を取得し、利用
することが可能となる。
【0028】また、配信された特徴量を利用して自分の
好みの視点からの映像を生成することが可能となる。
【0029】
【発明の実施の形態】図3は、本発明のシステム構成を
示す。
【0030】同図に示すシステムは、利用者端末10
1、ネットワーク102、サービスセンタ103から構
成される。
【0031】サービスセンタ103は、配信サーバ10
4、映像アーカイブ105、内容解析サーバ106、映
像特徴量データベース107から構成される。
【0032】配信サーバ104は、映像特徴量を映像特
徴量データベース107から取得し、インターネット等
のネットワーク102を通じて利用者に配信する。
【0033】映像アーカイブ105は、映像の種類の情
報を含む特定の項目からなる時系列画像を有し、内容解
析サーバ106へ解析対象の時系列画像を提供する。
【0034】内容解析サーバ106は、映像の特徴量を
計算し、その映像特徴量を映像特徴量データベース10
7へ登録する。
【0035】映像特徴量データベース107は、映像特
徴量を蓄積する。
【0036】次に、上記の各サーバについて詳細に説明
する。
【0037】図4は、本発明のシステムの詳細構成を示
す。同図において、図3と同一構成部分には同一符号を
付し、その説明を省略する。
【0038】配信サーバ104は、利用者とサービスセ
ンタ103とのインタフェースの役割を有し、ネットワ
ークに接続され、利用者端末101のブラウザからのド
キュメント取得要求を受け付け、個々の要求から必要な
ファイルや動作を決定し、該利用者端末のブラウザに結
果を送信するWebエンジン202と、利用者の要求に
応じて映像特徴量データベース107へアクセスし、利
用者の要求する映像特徴量を取得し、利用者へ配信を行
う配信制御部203と、利用者からの要求により、利用
者の各映像コンテンツに対する特徴量の要求度合を計算
する要求計数部201とを有する。
【0039】内容解析サーバ106は、利用者の各映像
コンテンツに対する特徴量の要求度合を考慮して、映像
アーカイブ105から解析対象の時系列画像を取得する
時系列画像取得部204と、時系列画像から画像中に写
っている移動物体領域を抽出する移動物体領域抽出部2
05、移動物体領域抽出画像列から複数の移動物体を追
跡する移動物体追跡部206、画像上の座標値から実空
間上の座標値へ変換する座標変換部213と、映像特徴
量を映像特徴量データベース107に登録する特徴量登
録部214から構成される。
【0040】上記の移動物体追跡部206は、初期テン
プレート設定部207、テンプレートマッチング部20
8、追跡失敗判定部209、移動物体位置修正部21
0、座標出力部211、テンプレート更新部212から
構成される。
【0041】以下に、上記の構成における動作を説明す
る。
【0042】最初に、サービスセンタ103の配信サー
バ104から利用者端末101が映像特徴量を取得する
処理について説明する。
【0043】配信サーバ104は、Webエンジン20
2によりインターネット上にホームページを立ち上げ
る。利用者端末101は、ネットワーク102に接続し
た利用者端末101のWWWブラウザ等のアクセス手段
により、当該ホームページをインタフェースとする配信
制御部203にアクセスし、欲しい映像の映像特徴量を
要求する。配信制御部203は、映像特徴量データベー
ス107にアクセスし、要求された映像特徴量を取り出
し、ネットワーク102を介して利用者端末101に送
信する。利用者端末101は、サービスセンタ103か
ら送られてくる映像特徴量を受信し、新しいコンテンツ
生成に利用する。
【0044】上記の処理を以下に詳細に説明する。
【0045】図5は、本発明のサービスセンタから利用
者が映像特報量を取得する処理を示す。
【0046】ステップ301) 利用者端末101から
サービスセンタ103へ接続する。ステップ302)
サービスセンタ103では、利用者端末101へ特徴量
コンテンツメニュー画面を送信する。
【0047】ステップ303) 利用者端末101で
は、特徴量コンテンツメニュー画面を受信する。
【0048】ステップ304) 受信した特徴量コンテ
ンツメニュー画面を表示する。
【0049】ステップ305) 利用者は、特徴量コン
テンツメニュー画面から要求する特徴量コンテンツメニ
ューを選択する。
【0050】ステップ306) 選択した要求メニュー
選択の指示情報をサービスセンタ103に送信する。
【0051】ステップ307) サービスセンタ103
では、要求メニュー選択の指示情報を受信する。
【0052】ステップ308) 要求メニュー選択に対
応する映像特徴量を映像特徴量データベース107から
取得する。
【0053】ステップ309) 要求された映像特報量
を利用者端末101に送信する。
【0054】ステップ310) 利用者端末101で
は、要求した映像特徴量を受信し、処理を終了する。
【0055】次に、サービスセンタ103内に設置され
る配信サーバ104を利用して、利用者の各映像コンテ
ンツに対する特徴量の度合を計算する方法について説明
する。
【0056】配信サーバ104は、Webエンジン20
2によりインターネット上にホームページを立ち上げ
る。利用者端末101は、ネットワーク102に接続し
た利用者端末102に接続した利用者端末101のWW
Wブラウザ等のアクセス手段により、前述のホームペー
ジをインターフェースとする要求計数部201にアクセ
スし、映像アーカイブ105内の各映像コンテンツの中
から特徴量が欲しいコンテンツを選択し、投票する。要
求計数部201は、各映像コンテンツ毎に要求度合を計
測するカウンタを持ち、利用者から投票される毎にそれ
に対応するコンテンツのカウンタを1つ増やしていくこ
とにより、利用者の各映像コンテンツに対する特徴量の
要求度合を計測する。
【0057】図6は、本発明の利用者の各映像コンテン
ツに対する特徴量の要求度合を計測する処理の流れを示
す。
【0058】ステップ401) まず、利用者端末10
1からサービスセンタ103へ接続する。
【0059】ステップ402) サービスセンタ103
では、利用者端末101へ特徴量要求メニュー画面を送
信する。
【0060】ステップ403) 利用者端末101で
は、特徴量要求メニュー画面を受信する。
【0061】ステップ404) 利用者端末101は、
受信した特徴量要求メニューを表示する。
【0062】ステップ405) 利用者は、特徴量要求
メニュー画面から投票する特徴量要求メニューを選択す
る。
【0063】ステップ406) 要求メニュー選択の指
示情報をサービスセンタ103に送信する。
【0064】ステップ407) サービスセンタ103
では、要求メニュー選択の指示情報を受信する。
【0065】ステップ408) 要求メニュー選択の指
示情報から対応するコンテンツのカウンタの値を1つ増
やす。
【0066】ステップ409) そして、要求処理完了
画面を利用者端末101に送信する。
【0067】ステップ401) 利用者端末101で
は、要求処理完了画面を受信・表示し、処理を終了す
る。
【0068】次に、サービスセンタ103内に設置され
る内容解析サーバ106を利用して、映像アーカイブ1
05に記憶されている映像情報を解析して、映像特徴量
を抽出し、映像特徴量データベース107へ登録する方
法について説明する。
【0069】図7は、本発明の内容解析サーバの処理を
説明するための図である。
【0070】時系列画像取得部203は、配信サーバ1
04内の要求計数部201により計測された利用者の各
映像コンテンツに対する特徴量の要求度合を反映させる
ため、要求計数部201内の各映像コンテンツに対応し
たカウンタの値を調べ、カウンタの値がある一定値(サ
ービスセンタ103側で決める)以上になった映像コン
テンツに対して、その映像データを映像アーカイブ10
5から取得し、時系列画像401として出力する。映像
アーカイブ105から取得される映像データが複数の場
合は、順次、移動物体領域抽出部205、移動物体追跡
部206、座標変換部213、特徴量登録部214の各
処理を繰り返し、各映像データについての特徴量を計算
する。
【0071】移動物体領域抽出部205は、時系列画像
取得部204で得られた時系列画像401を入力とし、
すべての時系列画像に対して背景を除去して移動物体領
域のみを抽出した時系列の移動物体領域抽出画像列40
2を出力する。ここで、移動物体領域の抽出方法とし
て、例えば、「背景差分による動物体領域抽出方法」
(特願平5−225340)で提案されているような既
存の技術を流用することが可能である。この方法は、撮
影条件の変化に対する追従性を備え、かつ、動物体及び
対応する影領域のための抽出閾値を適応的に決定するも
のである。
【0072】移動物体追跡部206は、選手領域抽出部
205で得られた移動物体領域抽出画像列402を入力
とし、全フレームについて画像中に写っている全選手の
追跡処理を行い、全フレームでの全選手の画面上の座標
位置が記憶された2D選手行動履歴データ403を出力
する。
【0073】図8は、本発明の移動物体追跡部の動作を
示すフローチャートである。
【0074】ステップ501) まず、初期テンプレー
ト設定部207は、移動物体領域抽出画像列402の開
始フレーム画像に対して、追跡対象移動物体を1つ選択
し、選択された移動物体の移動物体領域が収まるように
矩形で囲った領域を初期テンプレートとして設定する。
追跡対象移動物体の選択方法としては、例えば、ディス
プレイ等の表示デバイスに前述の開始フレーム画像を表
示し、マウス等の入力デバイスを用いて人が選択する。
【0075】ステップ502) テンプレートマッチン
グ部208において、移動物体領域抽出画像列402か
ら解析対象フレームの画像を順次読み込み、前述の初期
のテンプレート設定部209もしくは、テンプレート更
新部211で設定されたテンプレートを用いて、テンプ
レートマッチング手法により追跡対象移動物体の位置を
検出し、検出された座標値及びそのときのマッチングの
相関値を出力する。テンプレートマッチング手法として
は、例えば、「テンプレートマッチング」(高木幹雄、
下田陽久:画像解析ハンドブック、pp.707-712, 東京大
学出版会、1991) 等の既存技術を流用することができ
る。この方法は、対象物のパターンが画像(これをテン
プレートと呼ぶ)として表現され、これを探索範囲内で
動かして最もよく合った場所を探す操作である。このた
めの方法として、残差逐次検定法、相互相関計数による
方法及び画像のピラミッド構造化による方法等がある。
【0076】ステップ503) 追跡失敗かを判断する
追跡失敗判断部209において、前述のテンプレートマ
ッチング部208から出力されるマッチングの相関値が
予め設定された閾値よりも小さい場合、追跡が失敗した
と見做す。閾値より大きい場合、追跡が成功したと見做
して、追跡対象移動物体位置の修正は行わない。
【0077】ステップ504) 上記で追跡が失敗した
場合は、移動物体位置修正部210により追跡対象移動
物体位置の修正を行う。この修正は、人手により追跡対
象移動物体位置の修正を行い、その修正された座標を出
力する。
【0078】ステップ505) 座標出力部210にお
いて、テンプレートマッチング部208、または、移動
物体位置修正部210から出力された追跡対象移動物体
位置の座標を、2D移動物体行動履歴データ403とし
て次の処理ステップへ出力する。
【0079】ステップ506) 次に、テンプレート更
新部211において、テンプレートマッチング部207
または、移動物体位置修正部209から出力された座標
を元に、現在の解析対象フレームの画像において追跡対
象移動物体位置の移動物体領域が収まるように矩形で囲
った領域を次の解析対象フレームでの追跡対象移動物体
のテンプレートとして現在のテンプレートと置き換え
る。
【0080】ステップ507) すべてのフレームの処
理が終了したらステップ508に移行し、そうでない場
合には、ステップ502に移行する。
【0081】ステップ508) 全ての移動物体につい
て処理が終了したら当該処理を終了し、そうでない場合
にはステップ501に移行する。
【0082】移動物体座標変換部213は、移動物体追
跡部206で得られた2D移動物体行動履歴データ40
3を入力とし、カメラキャリブレーションにより求めた
カメラパラメータを用いて、画像上の座標値から実空間
上の座標値への変換を行い、全フレームでの全移動物体
の実空間上の座標位置が記憶された3D移動物体行動履
歴データを出力する。
【0083】特徴量登録部214は、座標変換部213
で得られた3D移動物体行動履歴データ404を映像特
徴量として、適当な名前を付けてファイルに出力すると
共に、映像特徴量データベース107への登録を行う。
映像特徴量のファイル名は、例えば、日時、試合名、映
像アーカイブの対応する映像データ保存場所欄のファイ
ル名などから決定することができる。
【0084】
【実施例】以下、図面と共に本発明の実施例を説明す
る。
【0085】[第1の実施例]以下の説明では、上記に
おいて記載されている「移動物体」を「選手」として、
例えば、スポーツ映像において、映像に写っている選手
のプレイ中のコートでの3次元位置情報を、インターネ
ット上において、ホームページを利用して配信する映像
特徴量配信システムについて説明する。
【0086】図9は、本発明の第1の実施例のシステム
構成を示す。同図では、前述の図4に示す構成におい
て、「移動物体」を「選手」と特定している以外は、そ
の動作は前述の構成と同様である。
【0087】以下に、本実施例のサービスセンタから両
者が映像特徴量を取得する例を、前述の図5に基づいて
説明する。
【0088】まず、利用者端末101からサービスセン
タ103へ接続すると(ステップ301)、サービスセ
ンタ103では、利用者端末101へ特徴量コンテンツ
メニュー画面を送信する(ステップ302)。特徴量コ
ンテンツメニュー画面は、要求する映像特徴量の種類を
利用者に選択させるための画面で、例えば、図10に示
すようなものである。
【0089】なお、この特徴量コンテンツメニュー画面
は、例えば、図11に示すような映像特徴量データベー
ス107が記憶するコンテンツデータ構造情報から生成
される。
【0090】利用者端末101では、特徴量コンテンツ
メニュー画面を受信し、表示する(ステップ303、3
04)。利用者は、特徴量コンテンツメニュー画面から
要求する特徴量コンテンツメニューを選択し(ステップ
305)、要求メニュー選択の指示情報をサービスセン
タ103に送信する(ステップ306)。
【0091】具体的には、例えば、図10において、2
番のコンテンツが選択された場合、要求メニュー選択の
指示情報として、図11におけるメニューコード欄の
“M002”が送信される。
【0092】サービスセンタ103では、要求メニュー
選択の指示情報を受信し(ステップ307)、要求メニ
ュー選択の指示情報から映像特徴量データベース107
を検索し、対応する映像特徴量を取得する。具体的に
は、例えば、指示情報“M002”を受信した場合、図
11のような映像特徴量データベース107のメニュー
コード欄を検索し、前述の指示情報と合致する場所を見
つけ出し、それに対応する特徴量保存場所欄の情報から
要求された映像特徴量を取得する。そして、要求された
映像特徴量を利用者端末101に送信する(ステップ3
09)。
【0093】利用者端末101では、要求した映像特徴
量を受信し(ステップ310)、処理を終了する。
【0094】次に、サービスセンタ103内に設置され
る配信サーバ104を利用して、利用者の各映像コンテ
ンツに対する特徴量の要求度合を計測する場合につい
て、前述の図6に基づいて説明する。
【0095】まず、利用者端末101からサービスセン
タ103へ接続すると(ステップ401)、サービスセ
ンタ103では、利用者端末101へ特徴量要求メニュ
ー画面を送信する(ステップ402)。特徴量要求メニ
ュー画面は、利用者の各映像コンテンツに対する特徴量
の要求度合を計測するために、利用者が投票する映像コ
ンテンツの種類を利用者に選択させるための画面で、例
えば、図12のようなものである。なお、この特徴量要
求メニュー画面は、例えば、図11に示すような映像特
徴量データベース107が記憶するコンテンツデータ構
造情報と、図13に示すような映像アーカイブ105が
記憶するコンテンツデータ構造情報から生成される。
【0096】本実施例において、要求計数部201は、
映像アーカイブ105が記憶するコンテンツデータ構造
のコンテンツコード欄と、映像特徴量データベース10
7が記憶するコンテンツデータ構造のコンテンツコード
欄を比較し、映像アーカイブ105に存在して映像特徴
量データベース107に存在しないコンテンツコード
(例の場合、“C003”、及び“C004”)を検出
し、その検出されたコンテンツの構造情報から特徴量要
求メニュー画面として図12のような画面を作成すると
同時に、各コンテンツ毎のカウンタを用意する。
【0097】利用者端末101では、特徴量要求メニュ
ー画面を受信し、表示する(ステップ403、10
4)。
【0098】利用者は、特徴量要求メニュー画面から投
票する特徴量要求メニューを選択し(ステップ40
5)、要求メニュー選択の指示情報をサービスセンタ1
03へ送信する(ステップ406)。
【0099】具体的には、例えば、図12において、1
番のコンテンツが選択された場合、要求メニュー選択の
指示情報として、図13におけるコンテンツコード欄の
“C003”が送信される。
【0100】サービスセンタ103では、要求メニュー
選択の指示情報を受信し(ステップ407)、要求メニ
ュー選択の指示情報から対応するコンテンツのカウンタ
の値を1つ増やす(ステップ408)。そして、要求処
理完了画面を利用者端末101に送信する(ステップ4
09)。
【0101】利用者端末101では、要求処理完了画面
を受信・表示し(ステップ410)、処理を終了する。
【0102】次に、サービスセンタ103内に設置され
る内容解析サーバ106を利用して、映像アーカイブ1
05に記憶されている映像情報を解析して映像特徴量を
抽出し、映像特徴量データベース107に登録する例を
説明する。
【0103】図14は、本発明の第1の実施例の内容解
析サーバの動作を説明するための図である。同図に示す
動作は、前述の図7において、「移動物体」を「選手」
と読み替えることで動作は同じである。また、図15
は、本発明の第1の実施例の選手追跡部の動作のフロー
チャートであり、これも、前述の図8において、「移動
物体」を「選手」と読み替えることで動作は同じであ
る。
【0104】時系列画像取得部203は、配信サーバ1
04内の要求計数部201により計測された利用者の各
映像コンテンツに対する特徴量の要求度合を反映させる
ため、要求計数部201内の各映像コンテンツに対応し
たカウンタの値を調べ、カウンタの値がある一定値(サ
ービスセンタ103側で決める)以上になった映像コン
テンツに対して、その映像データを映像アーカイブ10
5から取得し、時系列画像401として出力する。映像
アーカイブ105から取得される映像データが複数の場
合は、順次、選手領域抽出部205、選手追跡部20
6、座標変換部213、特徴量登録部214の各処理を
繰り返し、各映像データについての特徴量を計算する。
【0105】選手領域抽出部205は、時系列画像取得
部204で得られた時系列画像401を入力とし、すべ
ての時系列画像に対して背景を除去して選手領域のみを
抽出した時系列の選手領域抽出画像列402を出力す
る。ここで、選手領域の抽出方法として、例えば、「背
景差分による動物体領域抽出方法」(特願平5−225
340)で提案されているような既存の技術を流用する
ことが可能である。この方法は、撮影条件の変化に対す
る追従性を備え、かつ、動物体及び対応する影領域のた
めの抽出閾値を適応的に決定するものである。
【0106】選手追跡部206は、選手領域抽出部20
5で得られた移動物体領域抽出画像列402を入力と
し、全フレームについて画像中に写っている全選手の追
跡処理を行い、全フレームでの全選手の画面上の座標位
置が記憶された2D選手行動履歴データ403を出力す
る。
【0107】図15は、本発明の第1の実施例の選手追
跡部の動作を示すフローチャートである。
【0108】また、図15は、本発明の第1の実施例の
選手追跡部の動作のフローチャートであり、これも、前
述の図8における「移動物体」を、「選手」と読み替え
ることで動作は同じである。
【0109】まず、初期テンプレート設定部207は、
選手領域抽出画像列402の開始フレーム画像に対し
て、追跡対象選手を1つ選択し、選択された選手の選手
領域が収まるように矩形で囲った領域を初期テンプレー
トとして設定する。追跡対象選手の選択方法としては、
例えば、ディスプレイ等の表示デバイスに前述の開始フ
レーム画像を表示し、マウス等の入力デバイスを用いて
人手により選択する(ステップ501)。
【0110】テンプレートマッチング部208におい
て、選手領域抽出画像列402から解析対象フレームの
画像を順次読み込み、前述の初期のテンプレート設定部
209もしくは、テンプレート更新部211で設定され
たテンプレートを用いて、テンプレートマッチング手法
により追跡対象選手の位置を検出し、検出された座標値
及びそのときのマッチングの相関値を出力する(ステッ
プ502)。
【0111】追跡失敗かを判断する追跡失敗判断部20
9において、前述のテンプレートマッチング部208か
ら出力されるマッチングの相関値が予め設定された閾値
よりも小さい場合、追跡が失敗したと見做す。閾値より
大きい場合、追跡が成功したと見做して、追跡対象選手
位置の修正は行わない(ステップ503)。
【0112】上記で追跡が失敗した場合は、選手位置修
正部210により追跡対象選手位置の修正を行う。この
修正は、人手により追跡対象選手位置の修正を行い、そ
の修正された座標を出力する(ステップ504)。
【0113】座標出力部210において、テンプレート
マッチング部208、または、選手位置修正部210か
ら出力された追跡対象選手位置の座標を、2D選手行動
履歴データ403として次の処理ステップへ出力する
(ステップ505)。
【0114】次に、テンプレート更新部211におい
て、テンプレートマッチング部207または、選手位置
修正部209から出力された座標を元に、現在の解析対
象フレームの画像において追跡対象選手位置の選手領域
が収まるように矩形で囲った領域を次の解析対象フレー
ムでの追跡対象選手のテンプレートとして現在のテンプ
レートと置き換える(ステップ506)。
【0115】以上、初期テンプレート設定部206、テ
ンプレートマッチング部207、追跡失敗判断部20
8、選手位置修正部209、座標出力部210、テンプ
レート更新部211を、選手領域抽出画像列402に写
っている全選手、全フレームについて終了するまで繰り
返し行う。
【0116】選手座標変換部213は、選手追跡部20
6で得られた2D選手行動履歴データ403を入力と
し、カメラキャリブレーションにより求めたカメラパラ
メータを用いて、画像上の座標値から実空間上の座標値
への変換を行い、全フレームでの全選手の実空間上の座
標位置が記憶された3D選手行動履歴データを出力す
る。カメラキャリブレーションおよび画面上の座標値か
ら実空間上の座標への変換方法としては、例えば、「カ
メラキャリブレーション方法」(特願2000−810
57)で提案されているような既存の技術を流用するこ
とが可能である。
【0117】当該カメラキャリブレーション方法は、カ
メラを用いて対象物を撮影した対象物画像を取り込むと
共に、キャリブレーション画像を入力し、コード部分の
変形除去及び参照点の画面座標を取得し、投影歪による
入力画像のコード部分の変形を除去したコード画像を取
得すると共に、参照点の画面座標を取得し、予め入力さ
れたコードパターンと参照点の世界座標情報に基づい
て、参照点の画面座標と参照点の世界座標を対応付け、
その組のデータを取得し、各参照点の画面座標と世界座
標を対応付け、その組のデータを取得し、各参照点の画
面座標と世界座標の組データを用いて、カメラ内部のパ
ラメータ計算を行い、対象物画像から対象物基地点の画
面座標を取得し、予め入力された対象物基地点の模式図
と世界座標情報に基づき、対象物基地点の画面座標と世
界座標の対応付け、その組データを取得し、各対象物既
知点の画面座標と世界座標の組データを用いてカメラ外
部パラメータ計算を行い、対象物未知点の画面座標を取
得し、対象物未知点の画面座標からカメラ内部パラメー
タとカメラ外部パラメータを用いて、画面座標から世界
座標への変換を行い、測定すべき対象物未知点の世界座
標を取得する方法である。
【0118】特徴量登録部214は、座標変換部213
で得られた3D選手行動履歴データ404を映像特徴量
として、適当な名前を付けてファイルに出力すると共
に、映像特徴量データベース107への登録を行う。映
像特徴量のファイル名は、例えば、日時、試合名、映像
アーカイブの対応する映像データ保存場所欄のファイル
名などから自動的に決定することができる。
【0119】また、映像特徴量保存場所欄には、作成し
た映像特徴量のファイル名を、コンテンツコード欄及び
タイトル欄には、図13のような映像アーカイブ105
のコンテンツコード欄及びタイトル欄より取得した情報
を、メニューコード欄には、データベース107内で一
意な番号を登録する。
【0120】本実施例では、サービスセンタ側の内容解
析サーバ106により映像から特徴量を抽出し、配信サ
ーバ104により映像特徴量のみを利用者に提供するモ
デルについて説明したが、その他にも映像データと映像
特徴量を一括して利用者に提供するモデルや、映像デー
タは放送手段等により提供し、映像特徴量のみを本実施
例の方法により提供するモデルも考えられる。
【0121】[第2の実施例]本実施例では、前述の第
1の実施例で説明した方法により取得、もしくは、利用
者のPC等の記憶装置に予め蓄積されていたもの、もし
くは、その他の方法により取得した映像特徴量データを
利用して、利用者の好みの映像を生成及び表示する方法
の一例について説明する。ここでは、特に、スポーツ映
像において、映像に写っている選手のプレイ中のコート
での3次元位置情報から、利用者の指定した視点から見
た映像を生成し、表示するシステムの一例について述べ
る。
【0122】図16は、本発明の第2の実施例の映像特
徴量を利用した任意視点からの映像生成方法の処理の流
れを説明するための図である。
【0123】ステップ601) 前述の第1の実施例で
取得した方法により取得、または、利用者のPC等の記
憶装置に予め蓄積されていたもの、もしくは、その他の
方法により取得した映像特徴量データを、利用者のPC
等の記憶装置に読み込む。
【0124】ステップ602) 次に、ステップ601
により読み込まれた映像特徴量データと、マウス、キー
ボード等の入力デバイスを使って入力された視点の座標
値と人やボール、コート等の3次元モデルデータからな
る物体モデル905を入力とし、入力された映像特徴量
データの各フレーム毎に、コンピュータグラフィックス
手法を用いて3次元の画像データを生成する。コンピュ
ータグラフィックス手法としては、例えば、OpenGL等の
既存の技術を流用することができる。なお、当該OpenGL
(Open GL Architecture Review Board Jackie Neide/To
m Daivs/MasonWoo: OpenGL Programming Guide, Addiso
n-Wesley Publishers Japan,Ltd.1993)とは、3次元の
コンピュータグラフィックスのプログラムを作るための
ライブラリであり、テクチャーマッピング(直方体や球
などの3次元プリミティブの表面にイメージを貼り付け
る機能)、ダブルバッファリング(2つのイメージバッ
ファを交互に表示することで、滑らかなアニメーション
効果を実現する機能)、Zバッファリング(主に陰面処
理で行われるバッファリングの機能)、グーローシェー
ディングなど、非常に豊富な機能を持つ。また、OpenGL
は、CADなどのエンジニアリングアプリケーション、
設計業務用アプリケーションなどで利用されている。
【0125】ステップ603) ステップ602により
生成された時系列の画像データをディスプレイ等の表示
装置に表示する。
【0126】以上、特徴量読み込み処理、画像生成処
理、表示処理により、利用者は自分の見たい任意の観点
から自由に映像を観ることができる。
【0127】なお、本発明は、上記の実施例に限定され
ることなく、特許請求の範囲内において、種々変更・応
用が可能である。
【0128】
【発明の効果】上述のように、本発明によれば、映像の
内容解析部分をサービスセンタ側で行い、その結果得ら
れた特徴量をインターネット等の通信手段を用いて利用
者へ配信することができるため、利用者は多くの時間や
労力、また、解析のためのノウハウ等を費やすことな
く、映像の特徴量を利用することが可能となる。
【0129】さらに、利用者は、その映像特徴量から自
分の好みに応じた映像を生成及び表示することが可能と
なる。即ち、利用者の好みに応じた映像を提供するサー
ビスが可能となる。
【0130】さらに、サービスセンタ側にとっても、映
像だけでなく、その特徴量を配信することにより、映像
に付加価値を付けることができ、映像に対する利用者
(視聴者)の興味を引きつけることができるという利点
がある。
【0131】さらに、実際に映像特徴量を利用する利用
者の各映像コンピュータに対する特徴量の度合を計測す
ることで、各映像コンピュータに対する利用者の関心度
を定量的に測定できると共に、多くの時間や労力のかか
る内容解析サーバでの処理を無駄なく行うことが可能と
なる。
【0132】また、追跡の成否を自動的に判断すること
ができ、人による判断の労力を削減することができる。
【図面の簡単な説明】
【図1】本発明の原理を説明するための図である。
【図2】本発明の原理構成図である。
【図3】本発明のシステム構成図である。
【図4】本発明の詳細なシステム構成図である。
【図5】本発明のサービスセンタから利用者が映像特徴
量を取得する処理の流れを示す図である。
【図6】本発明の利用者の各映像コンテンツに対する特
徴量の要求度合を計測する処理の流れを示す図である。
【図7】本発明の内容解析サーバの処理を説明するため
の図である。
【図8】本発明の移動物体追跡部の動作のフローチャー
トである。
【図9】本発明の第1の実施例のシステム構成図であ
る。
【図10】本発明の第1の実施例の特徴量コンテンツメ
ニュー画面の一例(その1)である。
【図11】本発明の第1の実施例の映像特徴量データベ
ースが記憶するコンテンツデータの構造の一例である。
【図12】本発明の第1の実施例の特徴量要求メニュー
画面の一例(その2)である。
【図13】本発明の第1の実施例の映像アーカイブが記
憶するコンテンツデータの構造の一例である。
【図14】本発明の第1の実施例の内容解析サーバの動
作を説明するための図である。
【図15】本発明の第1の実施例の選手追跡部の動作の
フローチャートである。
【図16】本発明の第2の実施例の映像特徴量を利用し
た任意視点からの映像生成方法の処理の流れを説明する
ための図である。
【符号の説明】
100 配信要求手段 101 利用者端末 102 ネットワーク 103 サービスセンタ 104 配信サーバ 105 映像アーカイブ 106 内容解析サーバ 107 映像特徴量データベース 201 要求計数部 202 Webエンジン、配信手段 203 配信制御部 204 時系列画像取得部 205 移動物体領域抽出部、選手領域抽出部 206 移動物体追跡部、選手追跡部 207 初期テンプレート設定部 208 テンプレートマッチング部 209 追跡失敗判定部 210 移動物体位置修正部、選手位置修正部 211 座標出力部 212 テンプレート解析部 213 座標変換部 214 特徴量登録部 401 時系列画像 402 移動物体領域抽出画像列、選手領域抽出画像列 403 2D移動物体行動履歴データ、2D選手行動履
歴データ 404 3D移動物体行動理系データ、3D選手行動履
歴データ 901 映像特徴量 903 視点入力 905 物体モデル
───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀越 力 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 児島 治彦 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5C064 BA01 BB10 BC16 BC20 BD02 BD14 5L096 BA08 HA03 HA08 JA09

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 映像中の被写体について特徴量を抽出
    し、該特徴量と映像をネットワークを介して配信する映
    像配信方法において、 利用者から映像コンテンツ及び該映像コンテンツの特徴
    量の配信要求をセンタに発行し、 前記センタでは、映像の種類の情報を含む特定の項目か
    らなる映像コンテンツを記憶する映像アーカイブから、
    前記配信要求に対応する映像コンテンツを抽出すると共
    に、該映像コンテンツに対応する特徴量を特徴量記憶手
    段から抽出して、該配信要求の発行元の利用者に配信す
    ることを特徴とする映像配信方法。
  2. 【請求項2】 前記映像アーカイブから解析対象の時系
    列画像を取得し、 前記時系列画像から画像中に写っている移動物体領域を
    抽出し、 前記移動物体領域の移動物体抽出画像列から複数の移動
    物体を追跡し、 画像上の座標値から実空間上の座標値へ変換し、 変換された座標値を映像特徴量として前記特徴量記憶手
    段に登録する請求項1記載の映像配信方法。
  3. 【請求項3】 前記利用者から前記配信要求が発行され
    ると、 前記利用者と前記センタとのインタフェースの役割を有
    し、前記ネットワークに接続され、利用者端末のブラウ
    ザからのドキュメント取得要求を受け付け、個々の要求
    から必要なファイルや動作を決定し、該利用者端末のブ
    ラウザに結果を送信するWebエンジンを用いて前記特
    徴量記憶手段にアクセスし、 前記利用者の要求する映像特徴量を前記特徴量記憶手段
    から取得し、 前記利用者に前記映像特徴量を配信する請求項1または
    2記載の映像配信方法。
  4. 【請求項4】 前記映像特徴量として、映像中の被写体
    の移動履歴情報を用いる請求項2記載の映像配信方法。
  5. 【請求項5】 前記時系列画像を取得する際に、 前記利用者の各映像コンテンツに対する特徴量の要求度
    合により、前記映像アーカイブから解析対象の時系列画
    像を取得する請求項2記載の映像配信方法。
  6. 【請求項6】 前記移動物体の追跡において、追跡に失
    敗したかを判断し、失敗した場合には、修正要求を提示
    し、修正された内容を受け付ける請求項2記載の2記載
    の映像配信方法。
  7. 【請求項7】 前記移動物体の追跡の失敗を判断する際
    に、 対象物のパターンがテンプレートとして表現され、該テ
    ンプレートを探索範囲内で動かして最もよくマッチング
    する場所を探すテンプレートマッチングにおける相関値
    を利用する請求項6記載の映像配信方法。
  8. 【請求項8】 映像中の被写体について特徴量を抽出
    し、該特徴量と映像をネットワークを介して配信する映
    像配信方法において、 利用者とセンタを接続し、 前記利用者から前記センタに特徴量コンテンツメニュー
    を要求し、 前記センタから前記特徴量コンテンツメニューを前記利
    用者に送信し、 前記利用者は、前記特徴量コンテンツメニュー画面を受
    信して表示し、 前記特徴量コンテンツメニュー画面から要求するメニュ
    ーを選択して、前記センタに送信し、 前記センタは、選択された前記メニューを受信して、該
    メニューに対応する映像特徴量を映像の特徴量を蓄積す
    る映像特徴量記憶手段から取得して、前記利用者に送信
    し、 前記利用者は、前記映像特徴量を取得することを特徴と
    する映像配信方法。
  9. 【請求項9】 前記映像アーカイブから前記利用者の各
    映像コンテンツに対する特徴量の要求度合により、解析
    対象の時系列画像を取得し、 前記時系列画像から画像中に写っている移動物体領域を
    抽出し、 前記移動物体領域の移動物体抽出画像列から複数の移動
    物体を追跡し、 画像上の座標値から実空間上の座標値へ変換し、 変換された座標値を映像特徴量として前記特徴量記憶手
    段に登録しておき、 前記利用者から前記配信要求が発行されると、 前記利用者と前記センタとのインタフェースの役割を持
    つWebエンジンを用いて前記特徴量記憶手段にアクセ
    スし、 前記利用者の要求する映像特徴量を前記特徴量記憶手段
    から取得し、 前記利用者に前記映像特徴量を配信する請求項8記載の
    映像配信方法。
  10. 【請求項10】 前記移動物体の追跡において、対象物
    のパターンがテンプレートとして表現され、該テンプレ
    ートを探索範囲内で動かして最もよくマッチングする場
    所を探すテンプレートマッチングにおける相関値を利用
    して追跡に失敗したかを判断し、 失敗した場合には、修正要求を提示し、修正された内容
    を受け付ける請求項9記載の映像配信方法。
  11. 【請求項11】 利用者端末と、映像中の被写体につい
    て特徴量を抽出し、該特徴量と映像をネットワークを介
    して該利用者端末に配信するセンタからなる映像配信シ
    ステムであって、 前記利用者端末は、 利用者から映像コンテンツ及び該映像コンテンツの特徴
    量の配信要求をセンタに発行する配信要求手段を有し、 前記センタは、 映像の種類の情報を含む特定の項目からなる映像コンテ
    ンツを記憶する映像アーカイブと、 映像コンテンツに対応する特徴量を蓄積する特徴量記憶
    手段と、 前記映像アーカイブから、前記配信要求に対応する映像
    コンテンツを抽出すると共に、該映像コンテンツに対応
    する特徴量を前記特徴量記憶手段から抽出して、該配信
    要求の発行元の利用者に配信する配信手段とを有する配
    信サーバを有することを特徴とする映像配信システム。
  12. 【請求項12】 前記映像アーカイブから解析対象の時
    系列画像を取得する時系列画像取得手段と、 前記時系列画像から画像中に写っている移動物体領域を
    抽出する移動物体抽出手段と、 前記移動物体領域の移動物体抽出画像列から複数の移動
    物体を追跡する移動物体追跡手段と、 画像上の座標値から実空間上の座標値へ変換する座標変
    換手段と、 変換された座標値を映像特徴量として前記特徴量記憶手
    段に登録する特徴量記憶手段とを有する内容解析サーバ
    を更に有する請求項11記載の映像配信システム。
  13. 【請求項13】 前記映像特徴量として、映像中の被写
    体の移動履歴情報を用いる請求項11または、12記載
    の映像配信システム。
  14. 【請求項14】 前記時系列画像取得手段は、 前記利用者の各映像コンテンツに対する特徴量の要求度
    合により、前記映像アーカイブから解析対象の時系列画
    像を取得する手段を含む請求項12記載の映像配信シス
    テム。
  15. 【請求項15】 前記移動物体追跡手段は、対象物のパ
    ターンがテンプレートとして表現され、該テンプレート
    を探索範囲内で動かして最もよくマッチングする場所を
    探すテンプレートマッチングにおける相関値を利用して
    追跡に失敗したかを判断する手段と、 失敗した場合には、修正要求を提示し、修正された内容
    を受け付ける手段とを含む請求項12記載の映像配信シ
    ステム。
JP2000182011A 2000-06-16 2000-06-16 映像配信方法及び装置 Pending JP2002010230A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000182011A JP2002010230A (ja) 2000-06-16 2000-06-16 映像配信方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000182011A JP2002010230A (ja) 2000-06-16 2000-06-16 映像配信方法及び装置

Publications (1)

Publication Number Publication Date
JP2002010230A true JP2002010230A (ja) 2002-01-11

Family

ID=18682857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000182011A Pending JP2002010230A (ja) 2000-06-16 2000-06-16 映像配信方法及び装置

Country Status (1)

Country Link
JP (1) JP2002010230A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920164B2 (en) 2003-07-28 2011-04-05 Nec Corporation Viewing surveillance system for carrying out surveillance independent of a broadcasting form
JP2014530391A (ja) * 2011-09-12 2014-11-17 インテル・コーポレーション ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び3dディスプレイ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920164B2 (en) 2003-07-28 2011-04-05 Nec Corporation Viewing surveillance system for carrying out surveillance independent of a broadcasting form
JP2014530391A (ja) * 2011-09-12 2014-11-17 インテル・コーポレーション ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び3dディスプレイ
US10192313B2 (en) 2011-09-12 2019-01-29 Intel Corporation Networked capture and 3D display of localized, segmented images

Similar Documents

Publication Publication Date Title
CN110418155B (zh) 直播互动方法、装置、计算机可读存储介质和计算机设备
US20210044843A1 (en) System and method for recognition of items in media data and delivery of information related thereto
US9226005B2 (en) Preprocessing video to insert visual elements and applications thereof
US7224851B2 (en) Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same
US8667519B2 (en) Automatic passive and anonymous feedback system
US20100050082A1 (en) Interactive Video Insertions, And Applications Thereof
US8436891B2 (en) Hyperlinked 3D video inserts for interactive television
US7760182B2 (en) Method for video enabled electronic commerce
CN107633441A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
US20160050465A1 (en) Dynamically targeted ad augmentation in video
KR20200132445A (ko) 증강현실 및 실시간 방송기술 기반 이벤트 프로모션을 이용한 증강현실 광고 서비스 제공 시스템
US20190366222A1 (en) System and method for broadcasting interactive object selection
CN110287934B (zh) 一种对象检测方法、装置、客户端及服务器
JP6609078B1 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
CN115396688B (zh) 一种基于虚拟场景的多人互动网络直播方法及系统
CN111667313A (zh) 广告展示方法、装置、客户端设备及存储介质
JP2002010230A (ja) 映像配信方法及び装置
CN111726701B (zh) 信息植入方法、视频播放方法、装置和计算机设备
CN115442658A (zh) 直播方法、装置、存储介质、电子设备及产品
KR101399633B1 (ko) 영상 합성 방법 및 장치
CA3171181A1 (en) System and method for analyzing videos in real-time
CN111556338A (zh) 视频中区域的检测方法、信息融合方法、装置和存储介质
JP6831027B1 (ja) 配信システム、動画生成装置、および動画生成方法
US11968410B1 (en) Systems and methods to insert supplemental content into presentations of two-dimensional video content based on intrinsic and extrinsic parameters of a camera
KR20210065620A (ko) 1인 방송 환경에서 증강현실 서비스를 위한 인터랙션 장치 및 방법