JP2002118817A - Method for providing interaction to video image, system, video transmitter, video receiver, and recording medium with program for realizing them recorded thereon - Google Patents

Method for providing interaction to video image, system, video transmitter, video receiver, and recording medium with program for realizing them recorded thereon

Info

Publication number
JP2002118817A
JP2002118817A JP2000305663A JP2000305663A JP2002118817A JP 2002118817 A JP2002118817 A JP 2002118817A JP 2000305663 A JP2000305663 A JP 2000305663A JP 2000305663 A JP2000305663 A JP 2000305663A JP 2002118817 A JP2002118817 A JP 2002118817A
Authority
JP
Japan
Prior art keywords
video
receiving
interaction
event
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000305663A
Other languages
Japanese (ja)
Inventor
Yasushi Hanakago
Takashi Murakami
Toru Yuguchi
尚 村上
徹 湯口
花籠  靖
Original Assignee
Nippon Telegr & Teleph Corp <Ntt>
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegr & Teleph Corp <Ntt>, 日本電信電話株式会社 filed Critical Nippon Telegr & Teleph Corp <Ntt>
Priority to JP2000305663A priority Critical patent/JP2002118817A/en
Publication of JP2002118817A publication Critical patent/JP2002118817A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an interaction providing method, system and its device that can provide interaction to a video image independently of its kind and form. SOLUTION: On the occurrence of an event, a physical video feature quantity of a received interaction video image is extracted and acquired (processing 11). By making this video feature quantity matched with a physical video feature quantity extracted from a transmission video image being a real video image, which frame of the transmission video image subjected to the authoring a frame of the video image received on the occurrence of the event corresponds to is identified (processing 12). An action is retrieved from the authoring information set and stored in advance with respect to the transmission video image and the action is executed (processing 13). Thus, the frame of the transmission video image is identified at a designated time on the basis of video information itself without using the time information of the video image to provide interaction to the received video image.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【0001】[0001]
【発明の属する技術分野】本発明は、LAN、インター
ネット等のネットワークで使用される映像送受信システ
ム、映像送信装置及び受信装置、ならびに、アナログ、
ディジタル地上波、BS,CS放送、CATV放送、イ
ンターネット放送等で使用される映像送受信システム、
映像送信装置及び受信装置に関するもので、その中でも
特に、関連情報の参照などを基本機能として有するハイ
パーメディア装置を実現するためのインタラクション提
供方法、システム、及びその装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video transmitting / receiving system, a video transmitting device and a receiving device, and an analog,
Video transmission / reception system used in digital terrestrial broadcasting, BS, CS broadcasting, CATV broadcasting, Internet broadcasting, etc.
The present invention relates to a video transmitting apparatus and a receiving apparatus, and more particularly to an interaction providing method, a system, and an apparatus for realizing a hypermedia apparatus having a basic function such as reference to related information.
【0002】[0002]
【従来の技術】文献「マルチメディアアプリケーション
のデータモデルと開発環境の考察」(池田哲夫、平野泰
宏、湯口徹、星隆司:情報処理学会論文誌、Vol.4
0,No.1,pp2−11,1999年)に示される
ような、映像に対するインタラクションを実現するに
は、インタラクションを行うための情報(操作対象とな
る映像の時空間的箇所(インデクス)及び、操作のトリ
ガ(イベント)及び、操作後の映像または関連する情報
等の振る舞い(アクション))を、映像に関連付けて設
定しておく必要がある(以下、これら設定された情報を
オーサリング情報と称する)。このとき設定したオーサ
リング情報は、従来方法では以下のように扱われる。
2. Description of the Related Art Document "Consideration of Data Model and Development Environment of Multimedia Application" (Tetsuo Ikeda, Yasuhiro Hirano, Toru Yuguchi, Takashi Hoshi: IPSJ Transactions, Vol. 4)
0, No. 1, pp2-11, 1999), in order to realize an interaction with a video, information for performing the interaction (a spatio-temporal portion (index) of the video to be operated and an operation trigger ( It is necessary to set an event) and a behavior (action) of the operated image or related information, etc. in association with the image (hereinafter, the set information is referred to as authoring information). The authoring information set at this time is handled as follows in the conventional method.
【0003】方法1)映像とは別の、データベースやテ
キストファイル等に格納される。
[0003] Method 1) Stored in a database, a text file, or the like separate from the video.
【0004】方法2)映像と同期を取った状態で多重化
される。
Method 2) Multiplexing is performed in synchronization with the video.
【0005】映像に対するインタラクションを行う際に
は、映像とともに設定されたオーサリング情報が参照さ
れる必要がある。上記方法における該オーサリング情報
の参照方法を以下に挙げる。
[0005] When performing an interaction with a video, it is necessary to refer to authoring information set together with the video. A method of referring to the authoring information in the above method will be described below.
【0006】上記方法1)の場合:イベント受付時に、
再生している映像から時間情報(再生経過時間、フレー
ム番号等)を取得し、該時間情報を基にして、データベ
ースやテキストファイル等に格納されているオーサリン
グ情報内のインデクスを同定し、関連付けられているア
クションを実行する。
In the case of the above method 1): When accepting an event,
Time information (elapsed playback time, frame number, etc.) is acquired from the video being played, and based on the time information, an index in the authoring information stored in a database, a text file, or the like is identified and associated. Perform the action you are doing.
【0007】上記方法2)の場合:時間情報に同期した
形で映像データと多重化されているオーサリング情報
を、逐次分離化し、イベント受付時に分離化されている
オーサリング情報を基にアクションを実行する。
In the case of the above method 2): Authoring information multiplexed with video data in a form synchronized with time information is sequentially separated, and an action is executed based on the authoring information separated at the time of accepting an event. .
【0008】いずれも方法においても、オーサリング情
報を参照するにあたり、映像の時間情報を使用する必要
がある。
[0008] In any of the methods, it is necessary to use time information of the video when referring to the authoring information.
【0009】[0009]
【発明が解決しようとする課題】しかし、上記従来方法
では実現できないことがある。
However, there are cases where the above-mentioned conventional method cannot be realized.
【0010】まず、上記方法1)にて実現できないこと
を考える。例えば、ストリーミング技術(映像送信装置
上の映像などのファイルを映像受信装置で受け取りなが
ら同時に再生する技術)を利用したストリーム映像に対
するインタラクションを実現する場合を考える。特に、
帯域の狭いネットワークを経由してストリーム映像を送
受信すると、映像受信装置にて受信しているストリーム
映像は、遅延やフレーム落ち等の影響を受けることがあ
るため、映像受信装置にて受信しているストリーム映像
の再生経過時間と、該ストリーム映像の本来の再生経過
時間とは必ずしも一致しないことがある。このため、ス
トリーム映像に対して適切にインデクスが設定されてい
ても、該インデクスと該ストリーム映像との同期がとれ
ない場合があり、結果として、イベントに対して本来実
行されるべき正しいアクションが実行されない場合があ
る。
First, consider that the above method 1) cannot be realized. For example, consider a case where an interaction with a stream video is realized using a streaming technology (a technology in which a file such as a video on a video transmission device is simultaneously received and received by a video reception device). In particular,
When a stream video is transmitted and received via a network with a narrow band, the stream video received by the video receiving device may be affected by delays, dropped frames, and the like. The playback elapsed time of the stream video may not always match the original playback elapsed time of the stream video. For this reason, even if an index is appropriately set for a stream video, the index may not be synchronized with the stream video, and as a result, a correct action that should be performed for an event may be performed. May not be.
【0011】また、例えば、映像を部分的に蓄積した後
に再度視聴する場合に、インタラクションを実現するこ
とを考える。部分的に蓄積された映像が、フレーム番号
を取得できる形式の映像に変換されたとしても、部分的
に蓄積された映像から取得した再生経過時間またはフレ
ームの映像と、蓄積前の映像の該再生経過時間または該
フレームの映像とは必ずしも合致しない。例えば、全長
10000フレームの映像のうち2001フレーム目か
ら6000フレーム目までのみを蓄積した場合、該蓄積
映像は全4000フレームの映像となり、このとき該蓄
積映像の1000フレーム目の映像は、蓄積前の映像で
は3000フレーム目の映像に相当することになる。よ
って、単に1000フレーム目という指定だけでは、該
蓄積映像の1000フレーム目の映像と合致する箇所
を、蓄積前の映像の中から決定することはできない。よ
って、送信映像中に対して適切にインデクスが設定され
ていても、部分的に蓄積された映像に対しては不整合が
生じる場合があり、結果として、イベントに対して本来
実行されるべき正しいアクションが実行されない場合が
ある。
[0011] Further, for example, in the case of re-viewing after partially storing a video, realizing an interaction is considered. Even if the partially stored video is converted into a video in a format in which a frame number can be obtained, the playback elapsed time or frame video obtained from the partially stored video and the video before the storage are reproduced. It does not always match the elapsed time or the video of the frame. For example, when only the frames from the 2001th frame to the 6000th frame among the video having a total length of 10000 frames are stored, the stored video becomes a video of 4000 frames in total. This corresponds to the image of the 3000th frame in the image. Therefore, simply by designating the 1000th frame, it is not possible to determine a portion that matches the video of the 1000th frame of the stored video from the video before storage. Therefore, even if the index is appropriately set in the transmission video, inconsistencies may occur in the partially stored video, and as a result, the correct Action may not be executed.
【0012】次に、上記方法2)にて実現できないこと
を考える。例えば、上記と同様にストリーム映像に対す
るインタラクションを実現する場合を考える。広く普及
しているストリーミング技術(例えば、Microso
ft社のNetShowやRealNetworks社
のRealServer,RealPlayerG2や
NTTのSVMV等のシステム)を利用するならば、音
声や映像等のファイル形式を各システム専用のエンコー
ダにて、各システム専用のファイル形式に変換するとと
もに、各システム専用のツールを使用することにより、
容量の小さい情報(例えば、URL等の文字列情報やコ
ンテンツ間の同期制御情報やスクリプト等)を多重化し
て送信することは可能であるが、上述したようなオーサ
リング情報は容量の大きいマルチメディア情報を含むこ
とが多く、それらとストリーム映像とを多重化すること
は不可能である。広く普及しているストリーミング技術
を使用せず、独自開発のストリーミング技術を用いる場
合でも、同様のことが言える。
Next, consider that the above method 2) cannot be realized. For example, consider a case where an interaction with a stream video is realized as described above. Streaming technologies that are widely used (for example, Microsoft
If FT's NetShow, RealNetworks' RealServer, RealPlayerG2, NTT's SVMV, etc.) are used, file formats such as audio and video are converted into file formats specific to each system by encoders dedicated to each system. At the same time, by using tools dedicated to each system,
Although it is possible to multiplex and transmit small-capacity information (for example, character string information such as URL, synchronization control information between contents, scripts, and the like), the authoring information described above is multimedia information having large capacity. And it is impossible to multiplex them with the stream video. The same can be said for a case in which a widely used streaming technology is not used and a uniquely developed streaming technology is used.
【0013】本発明の課題は、映像の種類や形式に依ら
ず、映像に対してインタラクションを正しく提供するこ
とを可能とするインタラクション提供方法、システム、
及びその装置を実現することにある。
SUMMARY OF THE INVENTION An object of the present invention is to provide an interaction providing method, system, and system capable of correctly providing an interaction to a video regardless of the type or format of the video.
And its device.
【0014】[0014]
【課題を解決するための手段】上記の課題を解決するた
め、本発明は以下に列記する手段を採用する。
In order to solve the above problems, the present invention employs the following means.
【0015】その一手段は、オーサリングの情報を設定
する対象となる映像(ただし映像の種類や形式を問わな
い)を実映像と称し、インタラクションを行う映像(た
だし映像の種類や形式を問わない)をインタラクション
映像と称するとして、イベント発生時におけるインタラ
クション映像の特徴に関する情報を取得する処理段階
と、該取得したインタラクション映像の特徴に関する情
報と該実映像から抽出した特徴に関する情報を基に該イ
ベント発生時のインタラクション映像のフレームが該実
映像のどのフレームに相当するかを同定する処理段階
と、該イベントと該同定した実映像のフレームを基にあ
らかじめ該実映像に対して設定・蓄積されているオーサ
リング情報からアクションを検索する処理段階と、該検
索されたアクションを実行する処理段階とを有すること
を特徴とする映像に対するインタラクション提供方法で
ある。
[0015] One of the means is that a video for which the authoring information is to be set (however, the type or format of the video) is called an actual video, and a video to be interacted with (however, the type or format of the video). Is referred to as an interaction video, a processing step of acquiring information on the characteristics of the interaction video at the time of the event occurrence, and a process of acquiring the information on the characteristics of the acquired interaction video and the information on the features extracted from the actual video. A step of identifying which frame of the interaction video corresponds to which frame of the real video, and an authoring preset and accumulated for the real video based on the event and the identified frame of the real video. A processing step of searching for an action from the information; It is interaction provides a method for the video, characterized in that and a processing step of the line.
【0016】あるいは、オーサリングの情報を設定する
対象となる映像(ただし映像の種類や形式を問わない)
を実映像と称し、インタラクションを行う映像(ただし
映像の種類や形式を問わない)をインタラクション映像
と称するとして、イベント発生時におけるインタラクシ
ョン映像の特徴に関する情報を取得する情報取得手段
と、該取得したインタラクション映像の特徴に関する情
報と該実映像から抽出した特徴に関する情報を基に該イ
ベント発生時のインタラクション映像のフレームが該実
映像のどのフレームに相当するかを同定する同定手段
と、該イベントと該同定した実映像のフレームを基にあ
らかじめ該実映像に対して設定・蓄積されているオーサ
リング情報からアクションを検索する検索手段と、該検
索されたアクションを実行する実行手段とを有すること
を特徴とする映像に対するインタラクション提供システ
ムである。
Alternatively, the video for which the authoring information is to be set (however, regardless of the type and format of the video)
Is referred to as an actual video, and a video for performing an interaction (regardless of the type and format of the video) is referred to as an interaction video. An information obtaining means for obtaining information on characteristics of the interaction video when an event occurs, Identification means for identifying which frame of the interaction video corresponds to the frame of the interaction video at the time of occurrence of the event based on the information on the characteristics of the video and the information on the features extracted from the real video; Search means for searching for an action from the authoring information previously set and stored for the real video based on the frame of the real video obtained, and execution means for executing the searched action. It is an interaction providing system for video.
【0017】あるいは、次に記載する映像受信装置に映
像を送信するとともに、該映像を送信映像蓄積手段に実
映像として蓄積する映像配信手段と、該映像受信装置か
ら送信されてくるイベント及びインタラクション映像で
ある受信映像の物理的な映像特徴量を受信するイベント
・特徴量受信手段と、該受信された映像特徴量と該送信
映像蓄積手段に蓄積されている該実映像から抽出した物
理的な映像特徴量とを基にして、該実映像のフレームを
同定するフレーム同定手段と、該同定された実映像のフ
レームと該受信されたイベントとを基にして、あらかじ
め該実映像に対して設定・蓄積されているオーサリング
情報蓄積手段からアクションを検索するアクション検索
手段と、該検索されたアクションを該映像受信装置に送
信するアクション送信手段とを有することを特徴とする
インタラクション提供システムにおける映像送信装置、
および、この映像送信装置から送信された映像をインタ
ラクション映像として受信するまたは、この映像送信装
置から送信された映像をインタラクション映像として受
信し受信映像蓄積手段に蓄積する映像受信手段と、発生
したイベントを受け付けるイベント受付手段と、該イベ
ント発生時に、該映像受信手段にて受信した映像また
は、該受信映像蓄積手段に蓄積された映像の物理的な映
像特徴量を抽出する特徴量抽出手段と、該受け付けたイ
ベントと該抽出した映像特徴量とを該映像送信装置に送
信するイベント・特徴量送信手段と、該映像送信装置か
らアクションを受信し、実行するアクション受信手段と
を有することを特徴とするインタラクション提供システ
ムにおける映像受信装置である。
[0017] Alternatively, a video distribution means for transmitting a video to a video receiving device described below and storing the video as a real video in a transmission video storage means, and an event and interaction video transmitted from the video receiving device. An event / feature amount receiving means for receiving a physical video feature quantity of the received video, and a physical video extracted from the received video feature quantity and the actual video stored in the transmission video storage means. Frame identifying means for identifying a frame of the real video based on the characteristic amount; and setting / setting the real video in advance based on the identified frame of the real video and the received event. Action search means for searching for an action from the stored authoring information storage means, and an action for transmitting the searched action to the video receiving apparatus Video transmission apparatus in interaction providing system characterized by having a signal means,
And a video receiving unit that receives the video transmitted from the video transmitting device as an interaction video, or receives the video transmitted from the video transmitting device as an interaction video and stores it in the received video storing unit, An event accepting unit for accepting, a feature amount extracting unit for extracting a physical image feature amount of a video received by the video receiving unit or a video stored in the received video storing unit when the event occurs; An event / feature amount transmitting unit for transmitting the event and the extracted video feature amount to the video transmitting device, and an action receiving unit for receiving and executing an action from the video transmitting device. It is a video receiving device in the providing system.
【0018】あるいは、次に記載する映像送信装置から
送信された映像をインタラクション映像として受信する
または、次に記載する映像送信装置から送信された映像
をインタラクション映像として受信し受信映像蓄積手段
に蓄積する映像受信手段と、発生したイベントを受け付
けるイベント受付手段と、該イベント発生時に、該映像
受信手段にて受信した映像または、該受信映像蓄積手段
に蓄積された映像の物理的な映像特徴量を抽出する特徴
量抽出手段と、該抽出された映像特徴量と該映像送信装
置から送信される映像として送信映像蓄積手段に蓄積さ
れている実映像から抽出した物理的な映像特徴量とを基
にして、該実映像のフレームを同定するフレーム同定手
段と、該同定された実映像のフレームと該受け付けたイ
ベントとを基にして、あらかじめ該実映像に対して設定
・蓄積されているオーサリング情報蓄積手段からアクシ
ョンを検索し、該アクションを実行するアクション検索
手段とを有することを特徴とするインタラクション提供
システムにおける映像受信装置、および、この映像受信
装置に映像を送信するとともに、該映像を送信映像蓄積
手段に実映像として蓄積する映像配信手段を有すること
を特徴とするインタラクション提供システムにおける映
像送信装置である。
Alternatively, a video transmitted from the video transmission device described below is received as an interaction video, or a video transmitted from the video transmission device described below is received as an interaction video and stored in the received video storage means. A video receiving unit, an event receiving unit for receiving an event that has occurred, and extracting a physical video feature amount of a video received by the video receiving unit or a video stored in the received video storing unit when the event occurs. Based on the extracted video feature and the physical video feature extracted from the actual video stored in the transmission video storage as the video transmitted from the video transmission device. Frame identifying means for identifying a frame of the real video, and a frame identifying means for identifying the frame of the real video and the received event. A video receiving apparatus in an interaction providing system, comprising: an action searching means for searching for an action from an authoring information storage means previously set and stored for the actual video, and executing the action; and A video transmitting apparatus in an interaction providing system, comprising: a video transmitting unit that transmits a video to the video receiving apparatus and stores the video as a real video in a transmitting video storing unit.
【0019】あるいは、イベント発生時におけるインタ
ラクション映像の特徴に関する情報を取得する処理手順
と、該取得したインタラクション映像の特徴に関する情
報と該実映像から抽出した特徴に関する情報を基に該イ
ベント発生時のインタラクション映像のフレームが該実
映像のどのフレームに相当するかを同定する処理手順
と、該イベントと該同定した実映像のフレームを基にあ
らかじめ該実映像に対して設定・蓄積されているオーサ
リング情報からアクションを検索する処理手順と、該検
索されたアクションを実行する処理手順とを、コンピュ
ータに実行させるためのプログラムを該コンピュータが
読み取り可能な記録媒体に記録したことを特徴とするイ
ンタラクション提供方法を実現するプログラムを記録し
た記録媒体である。
Alternatively, a processing procedure for acquiring information on the characteristics of the interaction video at the time of the event occurrence, and the interaction at the time of the event occurrence based on the information on the acquired characteristics of the interaction video and the information on the features extracted from the actual video A processing procedure for identifying which frame of the real video corresponds to the frame of the video, and authoring information previously set and stored for the real video based on the event and the identified frame of the real video. A method for providing an interaction, wherein a program for causing a computer to execute a processing procedure for searching for an action and a processing procedure for executing the searched action is recorded on a computer-readable recording medium. This is a recording medium on which a program to be recorded is recorded.
【0020】あるいは、次に記載する映像受信装置に映
像を送信するとともに、該映像を送信映像蓄積手段に実
映像として蓄積する映像配信機能と、該映像受信装置か
ら送信されてくるイベント及びインタラクション映像で
ある受信映像の物理的な映像特徴量を受信するイベント
・特徴量受信機能と、該受信された映像特徴量と該送信
映像蓄積手段に蓄積されている該実映像から抽出した物
理的な映像特徴量とを基にして、実映像のフレームを同
定するフレーム同定機能と、該同定された実映像のフレ
ームと該受信されたイベントとを基にして、あらかじめ
該実映像に対して設定・蓄積されているオーサリング情
報蓄積手段からアクションを検索するアクション検索機
能と、該検索されたアクションを該映像受信装置に送信
するアクション送信機能とを、コンピュータで実現する
ためのプログラムを該コンピュータが読み取り可能な記
録媒体に記録したことを特徴とするインタラクション提
供システムにおける映像送信装置を実現するプログラム
を記録した記録媒体、および、この映像送信装置から送
信された映像をインタラクション映像として受信するま
たは、この映像送信装置から送信された映像をインタラ
クション映像として受信し受信映像蓄積手段に蓄積する
映像受信機能と、発生したイベントを受け付けるイベン
ト受付機能と、該イベント発生時に、該映像受信手段に
て受信した映像または、該受信映像蓄積手段に蓄積され
た映像の物理的な映像特徴量を抽出する特徴量抽出機能
と、該受け付けたイベントと該抽出した映像特徴量とを
該映像送信装置に送信するイベント・特徴量送信機能
と、該映像送信装置からアクションを受信し、実行する
アクション受信機能とを、コンピュータで実現するため
のプログラムを該コンピュータが読み取り可能な記録媒
体に記録したことを特徴とするインタラクション提供シ
ステムにおける映像受信装置を実現するプログラムを記
録した記録媒体である。
Alternatively, a video distribution function of transmitting a video to a video receiving device described below and storing the video as a real video in a transmission video storage unit, and an event and interaction video transmitted from the video receiving device An event / feature reception function for receiving a physical video feature of a received video, and a physical video extracted from the received video feature and the actual video stored in the transmission video storage means. A frame identification function for identifying a frame of the real video based on the feature amount; and setting and storing for the real video in advance based on the identified frame of the real video and the received event. An action search function for searching for an action from the authoring information storage means, and an action sending function for sending the searched action to the video receiving apparatus. And a recording medium storing a program for realizing a video transmitting apparatus in an interaction providing system, wherein a program for realizing the functions by a computer is recorded on a recording medium readable by the computer. A video receiving function of receiving a video transmitted from the device as an interaction video or receiving a video transmitted from the video transmitting device as an interaction video and storing it in a received video storage unit, and an event receiving function of receiving an event that has occurred; A feature amount extracting function for extracting a physical image feature amount of a video received by the video receiving unit or a video stored in the received video storing unit when the event occurs; To transmit the video feature amount to the video transmission device A program for realizing a feature transmission function and an action reception function for receiving and executing an action from the video transmission apparatus by a computer, the program being recorded on a computer-readable recording medium. It is a recording medium on which a program for realizing a video receiving device in a system is recorded.
【0021】あるいは、次に記載する映像送信装置から
送信された映像をインタラクション映像として受信する
または、次に記載する映像送信装置から送信された映像
をインタラクション映像として受信し受信映像蓄積手段
に蓄積する映像受信機能と、発生したイベントを受け付
けるイベント受付機能と、該イベント発生時に、該映像
受信手段にて受信した映像または、該受信映像蓄積手段
に蓄積された映像の物理的な映像特徴量を抽出する特徴
量抽出機能と、該抽出された映像特徴量と該映像送信装
置から送信される映像として送信映像蓄積手段に蓄積さ
れている実映像から抽出した物理的な映像特徴量とを基
にして、該実映像のフレームを同定するフレーム同定機
能と、該同定された実映像のフレームと該受け付けたイ
ベントとを基にして、あらかじめ該実映像に対して設定
・蓄積されているオーサリング情報蓄積手段からアクシ
ョンを検索し、該アクションを実行するアクション検索
機能とを、コンピュータで実現するためのプログラムを
該コンピュータが読み取り可能な記録媒体に記録したこ
とを特徴とするインタラクション提供システムにおける
映像受信装置を実現するプログラムを記録した記録媒
体、および、この映像受信装置に映像を送信するととも
に、該映像を送信映像蓄積手段に実映像として蓄積する
映像配信機能を、コンピュータで実現するためのプログ
ラムを該コンピュータが読み取り可能な記録媒体に記録
したことを特徴とするインタラクション提供システムに
おける映像送信装置を実現するプログラムを記録した記
録媒体である。
Alternatively, a video transmitted from the video transmission device described below is received as an interaction video, or a video transmitted from the video transmission device described below is received as an interaction video and stored in the received video storage means. A video receiving function, an event receiving function for receiving an event that has occurred, and a physical video feature amount of a video received by the video receiving unit or a video stored in the received video storing unit when the event occurs. Based on the extracted video feature amount and the physical video feature amount extracted from the actual video stored in the transmission video storage means as the video transmitted from the video transmission device. A frame identification function for identifying a frame of the real video, and a frame identification function for identifying the frame of the real video and the received event. A computer-readable recording program for realizing, with a computer, an action search function for searching for an action from the authoring information storage means previously set and stored for the actual video and executing the action. A recording medium storing a program for realizing a video receiving device in the interaction providing system, characterized in that the video is transmitted to the video receiving device, and transmitting the video to the transmitting video storing means as a real video. A recording medium storing a program for realizing a video transmission device in an interaction providing system, wherein a program for realizing a stored video distribution function is recorded on a computer-readable recording medium.
【0022】本発明では、イベントが発生した時に、受
信映像等のインタラクション映像と送信映像等の実映像
の各々について特徴量を抽出し、それらを比較する(マ
ッチングをとる)ことにより、受信映像等のインタラク
ション映像のフレームがオーサリングがなされている送
信映像等の実映像のどのフレームに該当するかを同定
(決定)し、該イベントと該フレームとを基に、あらか
じめ実映像に対して設定・蓄積されているオーサリング
情報からアクションを検索し、該アクションを実行する
ことによって、映像の時間情報を使用せず、映像情報自
体を基にして指示された時点の映像のフレームを同定で
きるようにして、映像に対してインタラクションを提供
することが、映像の種類や形式に依らず可能となるよう
にした。
According to the present invention, when an event occurs, feature values are extracted for each of an interaction video such as a reception video and a real video such as a transmission video, and they are compared (matching) to obtain a reception video or the like. Identifies (determines) which frame of the interaction video corresponds to which frame of the real video such as the transmitted video that has been authored, and sets and stores the real video in advance based on the event and the frame. By searching for an action from the authoring information that has been performed, and by executing the action, the time frame of the video can be identified based on the video information itself without using the time information of the video, It is now possible to provide interaction with video regardless of the type and format of the video.
【0023】[0023]
【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。
Embodiments of the present invention will be described below in detail with reference to the drawings.
【0024】[原理]図1に本発明の原理説明図を示
す。
[Principle] FIG. 1 is a diagram illustrating the principle of the present invention.
【0025】本発明による映像に対するインタラクショ
ン提供方法は、・イベント受付時点でのインタラクショ
ン映像に関する情報を取得し(処理11)、・取得した
インタラクション映像に関する情報と、実映像から取得
した実映像に関する情報とを基に、イベント受付時点で
のインタラクション映像が、実映像のどのフレームに相
当するかを同定し(処理12)、・該イベントと該同定
した実映像のフレームとをキーとして、あらかじめ設定
されているオーサリング情報からアクションを検索し、
該アクションを実行する(処理13)。
The method for providing interaction with a video according to the present invention includes the following steps: (1) acquiring information on an interaction video at the time of accepting an event (processing 11); (2) acquiring information on the acquired interaction video and information on an actual video acquired from the actual video. Based on the above, it is determined which frame of the real video the interaction video at the time of accepting the event corresponds to (process 12). The event and the identified frame of the real video are set as keys and set in advance. Search for actions from existing authoring information,
The action is executed (process 13).
【0026】本発明によれば、映像の時間情報を使用せ
ず、映像情報自体を基にして指示された時点の映像のフ
レームを同定することができるため、映像に対してイン
タラクションを提供することが、映像の種類や形式に依
らず可能となる。
According to the present invention, it is possible to identify an image frame at a designated point in time based on image information itself without using time information of the image. Is possible regardless of the type and format of the video.
【0027】[実施形態例その1]本発明の実施形態例
その1を図2を用いて説明する。図2の実施形態例は、
映像送信装置から送信される映像を映像受信装置にて受
信し、該映像に対して映像受信装置上にてインタラクシ
ョンを実現するものである。
[First Embodiment] A first embodiment of the present invention will be described with reference to FIG. The example embodiment of FIG.
A video transmitted from a video transmitting device is received by a video receiving device, and interaction with the video is realized on the video receiving device.
【0028】尚、本実施形態例及び実施形態例その2で
は、実映像を送信映像、インタラクション映像を受信映
像と記述する。
In this embodiment and the second embodiment, an actual video is described as a transmission video and an interaction video is described as a reception video.
【0029】図2の実施形態例では、 ・映像を送信する映像送信装置100と、 ・送信されてくる映像を受信する映像受信装置200
と、 ・映像送信側にてあらかじめ設定されたオーサリング情
報を蓄積しておくデータベースやファイル等のオーサリ
ング情報蓄積手段300と、 ・映像送信側にて送信する映像を蓄積しておくハードデ
ィスク等の送信映像蓄積手段400と、 ・映像受信側にて受信した映像を蓄積しておくハードデ
ィスク等の受信映像蓄積手段500から構成される。
In the embodiment shown in FIG. 2, a video transmitting apparatus 100 for transmitting a video; a video receiving apparatus 200 for receiving a transmitted video;
Authoring information storage means 300 such as a database or a file for storing the authoring information set in advance on the video transmission side; and a transmission video such as a hard disk for storing the video to be transmitted on the video transmission side. A storage means 400; and a received video storage means 500 such as a hard disk for storing the video received on the video receiving side.
【0030】ここで、上記受信映像蓄積手段500は、
必ずしも必要ではない。また、上記映像送信装置100
と上記映像受信装置200との情報伝達は、LANやイ
ンターネット等のネットワーク通信手段または、アナロ
グ、ディジタル地上波、BS,CS放送等の放送手段を
介して行われ、その通信形態は問わない。
Here, the received video storage means 500
It is not necessary. In addition, the video transmission device 100
The information is transmitted between the image receiving apparatus 200 and the video receiving apparatus 200 via a network communication means such as a LAN or the Internet, or a broadcasting means such as analog, digital terrestrial broadcasting, BS, or CS broadcasting.
【0031】図3は、上記オーサリング情報蓄積手段3
00の蓄積例を示す図である。例えば、ID「001」
の行は、「クリック」というイベントを受けて「画像
1.bmp」を「表示」するというアクションが、フレ
ーム番号「0001」からフレーム番号「0120」ま
でにおいて設定された「矩形(20,40,500,8
00)」というインデクスに関係づけられていることを
示している。これは、映像のフレーム番号0001から
0120が再生されている際に、映像中の空間的範囲
(20,40,500,800)内をクリックすると、
画像1が表示されることを意味する。
FIG. 3 shows the authoring information storage means 3.
It is a figure showing the example of accumulation of 00. For example, ID “001”
In the row of “Rectangle (20, 40, 40)”, the action of “displaying” “image 1.bmp” in response to the event of “click” is set from frame number “0001” to frame number “0120”. 500,8
00)). This is because, when the frame numbers 0001 to 0120 of the video are reproduced and the user clicks in the spatial range (20, 40, 500, 800) in the video,
This means that image 1 is displayed.
【0032】上記映像送信装置100は、 ・上記送信映像蓄積手段400に蓄積されている映像を
上記映像受信装置200に送信するかまたは、外部装置
から入力されるライブ映像を上記映像受信装置200に
送信するとともに上記送信映像蓄積手段400に蓄積す
る映像配信手段130と、 ・上記映像受信装置200から送信されてくるイベント
及び映像特徴量を受信するイベント・特徴量受信手段1
40と、 ・上記送信映像蓄積手段400に蓄積されている映像
と、受信された映像特徴量とを基にして、映像のフレー
ムを同定するフレーム同定手段150と、 ・同定されたフレームと受信されたイベントとを基にし
て、上記オーサリング情報蓄積手段300からアクショ
ンを検索するアクション検索手段160と、 ・アクションを上記映像受信装置200に送信するアク
ション送信手段170とを有する。下記に上記各手段に
ついて説明する。
The video transmitting apparatus 100 transmits: a video stored in the transmitting video storing means 400 to the video receiving apparatus 200; or a live video input from an external device to the video receiving apparatus 200. An image / distribution unit 130 that transmits and accumulates the image in the transmission image accumulation unit 400; and an event / characteristic amount reception unit 1 that receives an event and an image characteristic amount transmitted from the image reception device 200.
40; a frame identification unit 150 for identifying a frame of the video based on the video stored in the transmission video storage unit 400 and the received video feature amount; and An action search means 160 for searching for an action from the authoring information storage means 300 based on the event, and an action transmission means 170 for transmitting an action to the video receiving apparatus 200. The above means will be described below.
【0033】上記映像配信手段130は、上記送信映像
蓄積手段400に蓄積されている映像を上記映像受信装
置200に送信するかまたは、外部装置から入力される
ライブ映像を上記映像受信装置200に送信するととも
に上記送信映像蓄積手段400に蓄積する。
The video distribution unit 130 transmits the video stored in the transmission video storage unit 400 to the video reception device 200 or transmits a live video input from an external device to the video reception device 200. At the same time, it is stored in the transmission video storage means 400.
【0034】上記イベント・特徴量受信手段140は、
上記映像受信装置200から送信されてくるイベント及
び映像特徴量を受信する。
The event / feature amount receiving means 140 comprises:
The event and the video feature amount transmitted from the video receiving device 200 are received.
【0035】上記フレーム同定手段150は、映像特徴
量抽出手段と、特徴量マッチング手段と、フレーム決定
手段とを有する。
The frame identification means 150 has a video feature quantity extraction means, a feature quantity matching means, and a frame determination means.
【0036】上記フレーム同定手段150内の映像特徴
量抽出手段は、上記送信映像蓄積手段400に蓄積され
ている映像の各フレーム毎の物理的な特徴量を一般的な
映像処理技術または音声処理技術によって抽出する。こ
こで、物理的な特徴量とは、例えば、色分布、輝度分
布、テクスチャ、文字領域、音声等である。フレーム毎
に抽出する特徴量は複数種類あっても差し支えない。ま
た、抽出された特徴量を上記特徴量マッチング手段にお
いて使用することを考慮した上で、適切な数学的変換処
理を行っても差し支えない。例えば、特徴量としてRG
B表色系にて抽出したピクセル値を、HSI表色系に変
換してもよいし、さらに色ヒストグラムを作成してもよ
い。
The video feature extracting means in the frame identifying means 150 converts the physical feature of each frame of the video stored in the transmission video storing means 400 into a general video processing technique or audio processing technique. Extract by Here, the physical feature amount is, for example, a color distribution, a luminance distribution, a texture, a character area, a sound, and the like. There may be a plurality of types of feature amounts to be extracted for each frame. Further, an appropriate mathematical conversion process may be performed in consideration of using the extracted feature amount in the feature amount matching unit. For example, as a feature value, RG
The pixel values extracted in the B color system may be converted to the HSI color system, or a color histogram may be created.
【0037】図4は、上記映像特徴量抽出手段にて抽出
する特徴量の例を示す図である。例えば、ID「00
1」の行は、フレーム番号「0001」の特徴量とし
て、[色分布」と[輝度」があり、それぞれ「23,
3,78,34,…」、「103,43,7,3,…」
という数学的変換処理がなされた多次元のデータを抽出
していることを示している。
FIG. 4 is a diagram showing an example of a feature value extracted by the video feature value extracting means. For example, the ID "00
The row of “1” has “color distribution” and “brightness” as the feature amounts of the frame number “0001”.
3,78,34, ... "," 103,43,7,3, ... "
This indicates that multidimensional data subjected to mathematical conversion processing is extracted.
【0038】上記フレーム同定手段150内の特徴量マ
ッチング手段は、上記イベント・特徴量受信手段140
にて受信された映像特徴量と上記映像特徴量抽出手段に
て抽出された特徴量との間でマッチングを行う。マッチ
ングの例としては、例えば特徴量として色を抽出してい
る場合は、それぞれの色ヒストグラム間のインタセクシ
ョンを計算することでマッチングを行う。
The feature matching means in the frame identifying means 150 is the event / feature receiving means 140
And the feature amount extracted by the image feature amount extraction means. As an example of matching, for example, when a color is extracted as a feature value, matching is performed by calculating an intersection between the respective color histograms.
【0039】上記フレーム同定手段150内のフレーム
決定手段は、上記特徴量マッチング手段において行われ
たマッチングの結果、最も類似度の高い特徴量を有する
映像を決定し、フレーム番号を決定する。
The frame determining means in the frame identifying means 150 determines a video having a feature quantity having the highest similarity as a result of the matching performed by the feature quantity matching means, and determines a frame number.
【0040】上記アクション検索手段160は、上記フ
レーム同定手段150にて決定されたフレーム番号と上
記イベント・特徴量受信手段140にて受信したイベン
トとを検索キーとして、上記オーサリンダ情報蓄積手段
300に蓄積されているアクションと該アクションに付
属しているデータとを検索する。
The action search means 160 stores the frame number determined by the frame identification means 150 and the event received by the event / feature amount reception means 140 in the authorinder information storage means 300 as search keys. The action and the data attached to the action are searched.
【0041】上記アクション送信手段170は、上記ア
クション検索手段160にて検索されたアクションと該
アクションに属しているデータを、上記映像受信装置2
00に送信する。
The action transmitting means 170 transmits the action searched by the action searching means 160 and data belonging to the action to the video receiving device 2.
Send to 00.
【0042】次に、上記映像受信装置200は、 ・上記映像送信装置100から映像を受信し、必要に応
じて上記受信映像蓄積手段500に蓄積する映像受信手
段210と、 ・発生したイベントを受け付けるイベント受付手段22
0と、 ・上記映像受信手段200にて受信した映像または、上
記受信映像蓄積手段500に蓄積されている映像の物理
的な特徴量を抽出する特徴量抽出手段230と、 ・受け付けたイベントと抽出した特徴量とを上記映像送
信装置100に送信するイベント・特徴量送信手段24
0と、 ・上記映像送信装置100からアクションを受信し、実
行するアクション受信手段250とを有する。下記に上
記各手段について説明する。
Next, the video receiving apparatus 200 receives the video from the video transmitting apparatus 100 and stores it in the received video storing means 500 as necessary. Event receiving means 22
0; a feature extracting unit 230 for extracting a physical feature of the video received by the video receiving unit 200 or the video stored in the received video storing unit 500; Event / feature amount transmitting means 24 for transmitting the obtained feature amount to the video transmitting apparatus 100
0; and an action receiving means 250 for receiving and executing an action from the video transmitting apparatus 100. The above means will be described below.
【0043】上記映像受信手段210は、上記映像送信
装置100から映像を受信し、必要に応じて上記受信映
像蓄積手段500に蓄積する。
The video receiving means 210 receives a video from the video transmitting apparatus 100 and stores it in the received video storing means 500 as needed.
【0044】上記イベント受付手段220は、マウス等
のポインティングデバイスや音声入力装置からの音声の
入力等のユーザ入力あるいは、上記映像受信装置200
あるいは上記映像受信装置200に接続されている他の
装置類から発生するイベントを受け付ける。
The event receiving means 220 is a user input such as a pointing device such as a mouse or a voice input from a voice input device, or the video receiving device 200.
Alternatively, an event generated from another device connected to the video receiving device 200 is received.
【0045】上記特徴量抽出手段230は、上記映像受
信手段210にて受信している映像または、上記受信映
像蓄積手段500に蓄積後再生されている映像のうち、
上記イベント受付手段220にてイベントが受け付けら
れた時点での映像の物理的な特徴量を一般的な映像処理
技術または音声処理技術によって抽出する。物理的な特
徴量としては、例えば、色分布、輝度分布、テクスチ
ャ、文字領域、音声等を抽出する。ここで、抽出する特
徴量は複数種類あっても差し支えない。また、抽出され
た特徴量を上記フレーム同定手段150において使用す
ることを考慮した上で、適切な数学的変換処理を行って
も差し支えない。例えば、特徴量としてRGB表色系に
て抽出したピクセル値を、HSI表色系に変換してもよ
いし、さらに色ヒストグラムを作成してもよい。
[0045] The feature amount extracting means 230 selects one of the video received by the video receiving means 210 or the video stored in the received video storing means 500 and reproduced.
The physical feature amount of the video at the time when the event is received by the event receiving means 220 is extracted by a general video processing technology or audio processing technology. As the physical feature amount, for example, a color distribution, a luminance distribution, a texture, a character area, a voice, and the like are extracted. Here, a plurality of types of feature amounts may be extracted. Further, in consideration of using the extracted feature amount in the frame identification unit 150, an appropriate mathematical conversion process may be performed. For example, a pixel value extracted in the RGB color system as a feature value may be converted into the HSI color system, or a color histogram may be created.
【0046】上記イベント・特徴量送信手段240は、
上記イベント受付手段220にて受け付けたイベント
と、上記特徴量抽出手段230にて抽出した特徴量と
を、上記映像送信装置100に送信する。
The event / feature transmission means 240
The event received by the event receiving unit 220 and the feature amount extracted by the feature amount extracting unit 230 are transmitted to the video transmission device 100.
【0047】上記アクション受信手段250は、実行す
べきアクションならびに該アクションに必要な付属デー
タを上記映像送信装置100から受信し、実行する。
The action receiving means 250 receives the action to be executed and the attached data necessary for the action from the video transmitting apparatus 100 and executes the action.
【0048】以上、本発明を上記実施形態例その1に基
づき説明したが、本発明は、上記実施形態例その1に限
定されるものではなく、その要旨を逸脱しない範囲にお
いて、種々変更可能である。以下に変更可能な個所の一
例を説明する。
Although the present invention has been described based on the first embodiment, the present invention is not limited to the first embodiment, and various modifications can be made without departing from the scope of the invention. is there. An example of a changeable portion will be described below.
【0049】 (1)映像送信装置100及び映像受信装置200 上記実施形態例その1では、映像送信装置100を一台
の装置を用いて実現したが、本発明を適用する分野によ
っては、複数台の装置を用い上記各手段を分散させて実
現してもよい。また同様に、上記実施形態例その1で
は、映像受信装置200を一台の装置を用いて実現した
が、本発明を適用する分野によっては、複数台の装置を
用い上記各手段を分散させて実現してもよい。また、上
記実施形態例その1では、映像送信装置100及び映像
受信装置200を二台の装置を用いて実現したが、本発
明を適用する分野(例えば、映像の送受信を行わない
等)によっては、一台の装置にて上記各手段を実現して
もよい(このとき、上記各手段のうち各種送受信を行う
部分は必要ない)。
(1) Video Transmitting Apparatus 100 and Video Receiving Apparatus 200 In the first embodiment of the present invention, the video transmitting apparatus 100 is realized by using one apparatus. However, depending on the field to which the present invention is applied, a plurality of The above-described units may be dispersed using the apparatus described above. Similarly, in the first embodiment, the video receiving device 200 is realized by using one device. However, depending on the field to which the present invention is applied, the plurality of devices are used to disperse the units. It may be realized. Further, in the first embodiment, the video transmitting device 100 and the video receiving device 200 are realized by using two devices. However, depending on the field to which the present invention is applied (for example, video transmission / reception is not performed). Alternatively, the above-described units may be realized by one device (at this time, there is no need for a portion for performing various transmissions and receptions among the above units).
【0050】(2)オーサリング情報蓄積手段300 上記実施形態例その1では、オーサリング情報蓄積手段
300を、図3に示す蓄積形態で実現したが、本発明を
適用する分野によっては、別の蓄積形態を用いてもよ
い。また、上記実施形態例その1では、オーサリング情
報蓄積手段300を、映像送信側にて実現しているが、
本発明を適用する分野によっては、映像受信側に実現し
てもよい。また上記実施形態例その1では、あらかじめ
オーサリング情報蓄積手段300にオーサリング情報が
設定されているとしたが、本発明を適用する分野によっ
ては、映像送信装置100または、映像送信装置100
とは別の装置に、オーサリング情報を設定する手段を実
現してもよい。
(2) Authoring Information Storage Means 300 In the first embodiment, the authoring information storage means 300 is realized in the storage form shown in FIG. 3, but depending on the field to which the present invention is applied, another storage form is used. May be used. In the first embodiment, the authoring information storage unit 300 is realized on the video transmission side.
Depending on the field to which the present invention is applied, it may be realized on the video receiving side. In the first embodiment, the authoring information is set in advance in the authoring information storage unit 300. However, depending on the field to which the present invention is applied, the video transmitting apparatus 100 or the video transmitting apparatus 100 may be used.
A unit for setting the authoring information may be realized in another device.
【0051】(3)送信映像蓄積手段400 上記実施形態例その1では、送信映像蓄積手段400
を、映像送信側にて実現しているが、本発明を適用する
分野によっては、映像受信側に実現してもよい。
(3) Transmission Video Storage Means 400 In the first embodiment, the transmission video storage means 400
Is realized on the video transmitting side, but may be realized on the video receiving side depending on the field to which the present invention is applied.
【0052】(4)映像配信手段130 上記実施形態例その1では、映像配信手段130にて、
ライブ映像を上記映像受信装置200に送信するととも
に、該映像を上記送信映像蓄積手段400に蓄積するよ
う実現したが、本発明を適用する分野によっては、映像
を上記映像受信装置200に送信する手段と、映像を上
記送信映像蓄積手段400に蓄積する手段とを別の手段
として独立させてもよい。
(4) Video Distribution Means 130 In the first embodiment, the video distribution means 130
Although the live video is transmitted to the video receiving device 200 and the video is stored in the transmission video storing means 400, a means for transmitting the video to the video receiving device 200 may be used depending on the field to which the present invention is applied. And means for accumulating the image in the transmission image accumulating means 400 may be independent as separate means.
【0053】(6)フレーム同定手段150 上記実施形態例その1では、フレーム同定手段150を
映像送信装置100内にて実現したが、本発明を適用す
る分野によっては、映像送信装置100とは別の装置に
実現してもよい。また、上記実施形態例その1では、フ
レーム同定手段150における映像特徴量抽出手段にお
いて、フレーム毎に特徴量を抽出し蓄積していたが、本
発明を適用する分野によっては、連続した複数フレーム
を一まとめにして特徴量を抽出してもよい。また、上記
実施形態例その1では、フレーム同定手段150におけ
る特徴量マッチング手段において、色ヒストグラム間の
インタセクションを計算することでマッチングを行って
いるが、本発明を適用する分野によっては、別の手法を
用いてもよい。例えば、ヒストグラム間の線形計画問題
に帰着させてコストを計算することにより、マッチング
を行ってもよい。
(6) Frame Identification Means 150 In the first embodiment, the frame identification means 150 is realized in the video transmitting apparatus 100. However, depending on the field to which the present invention is applied, the frame identifying means 150 is different from the video transmitting apparatus 100. It may be realized in the device of. Further, in the first embodiment of the present invention, the image feature amount extraction unit of the frame identification unit 150 extracts and accumulates the feature amount for each frame. However, depending on the field to which the present invention is applied, a plurality of continuous frames are stored. The feature amounts may be extracted collectively. In the first embodiment, the matching is performed by calculating the intersection between the color histograms in the feature amount matching unit of the frame identification unit 150. However, depending on the field to which the present invention is applied, another feature may be used. A technique may be used. For example, matching may be performed by calculating a cost by reducing the result to a linear programming problem between histograms.
【0054】(7)アクション検索手段160 上記実施形態例その1では、アクション検索手段160
を映像送信装置100内にて実現したが、本発明を適用
する分野によっては、映像送信装置100とは別の装置
に実現してもよい。
(7) Action Searching Means 160 In the first embodiment, the action searching means 160
Was realized in the video transmission device 100, but may be realized in a device different from the video transmission device 100 depending on the field to which the present invention is applied.
【0055】(8)映像受信手段210 上記実施形態例その1では、映像受信手段210内で、
映像を上記映像送信装置100から受信し、必要に応じ
て上記受信映像蓄積手段500に蓄積するように実現し
たが、本発明を適用する分野によっては、上記映像送信
装置100から受信する手段と、映像を上記受信映像蓄
積手段500に蓄積する手段とを別の手段として独立さ
せてもよい。
(8) Video receiving means 210 In the first embodiment, the video receiving means 210
The video is received from the video transmitting device 100 and is stored as necessary in the received video storing unit 500. However, depending on the field to which the present invention is applied, means for receiving from the video transmitting device 100; The means for accumulating the image in the received image accumulating means 500 may be independent as another means.
【0056】(9)イベント受付手段220 上記実施形態例その1では、イベント受付手段220を
映像受信装置200内にて実現したが、本発明を適用す
る分野によっては、映像受信装置200とは別の装置に
実現してもよい。
(9) Event Receiving Unit 220 In the first embodiment, the event receiving unit 220 is realized in the video receiving device 200. However, depending on the field to which the present invention is applied, the event receiving unit 220 is different from the video receiving device 200. It may be realized in the device of.
【0057】(10)特徴量抽出手段230 上記実施形態例その1では、特徴量抽出手段230を映
像受信装置200内にて実現したが、本発明を適用する
分野によっては、映像受信装置200とは別の装置に実
現してもよい、 (11)映像受信装置200から映像送信装置100に
送信する情報 上記実施形態例その1では、映像受信装置200にて映
像の特徴量を抽出し、該特徴量を映像送信装置100に
送信する形態をとったが、本発明を適用する分野によっ
ては、映像受信装置200から映像自体を映像送信装置
100に送信し、映像送信装置100にて該映像の特徴
量を抽出してもよい。
(10) Feature Extraction Means 230 In the first embodiment, the feature extraction means 230 is realized in the video receiving device 200. However, depending on the field to which the present invention is applied, the video receiving device 200 (11) Information transmitted from the video receiving device 200 to the video transmitting device 100 In the first embodiment of the present invention, the video receiving device 200 extracts the feature amount of the video, Although the feature amount is transmitted to the video transmitting apparatus 100, depending on the field to which the present invention is applied, the video itself is transmitted from the video receiving apparatus 200 to the video transmitting apparatus 100, and the video transmitting apparatus 100 transmits the video. The feature amount may be extracted.
【0058】[実施形態例その2]本発明の図2とは異
なる一実施形態例を図5を用いて説明する。図5の実施
形態例は、映像送信装置から送信される映像を映像受信
装置にて受信し、該映像に対して映像受信装置上にてイ
ンタラクションを実現するものである点で、図2の実施
形態例と同様であるが、実現手段の構成が異なる。
[Embodiment 2] An embodiment of the present invention which is different from FIG. 2 will be described with reference to FIG. The embodiment shown in FIG. 5 is different from the embodiment shown in FIG. 2 in that a video transmitted from a video transmitting device is received by a video receiving device and an interaction with the video is realized on the video receiving device. This is the same as the embodiment, but the configuration of the realizing means is different.
【0059】図5の実施形態例では、 ・映像を送信する映像送信装置101と、 ・送信されてくる映像を受信する映像受信装置201
と、 ・上記オーサリング情報蓄積手段300と、 ・上記送信映像蓄積手段400と、 ・上記受信映像蓄積手段500から構成される。
In the embodiment shown in FIG. 5, a video transmitting apparatus 101 for transmitting a video; a video receiving apparatus 201 for receiving a transmitted video;
, The authoring information storage means 300, the transmission video storage means 400, and the reception video storage means 500.
【0060】ここで、上記受信映像蓄積手段500は、
必ずしも必要ではない。また、上記映像送信装置101
と上記映像受信装置201との情報伝達は、LANやイ
ンターネット等のネットワーク通信手段または、アナロ
グ、ディジタル地上波、BS,CS放送等の放送手段を
介して行われ、その通信形態は問わない。また、上記オ
ーサリング情報蓄積手段300の蓄積例は、図3に示す
図と同様である。
Here, the received video storage means 500
It is not necessary. In addition, the video transmission device 101
The information transmission between the video receiver 201 and the video receiver 201 is performed via network communication means such as a LAN or the Internet, or broadcast means such as analog, digital terrestrial broadcasting, BS, or CS broadcasting. An example of storage in the authoring information storage means 300 is the same as that shown in FIG.
【0061】上記映像送信装置101は、 ・上記映像配信手段130を有する。The video transmitting apparatus 101 has: the video distribution means 130.
【0062】次に、上記映像受信装置201は、 ・上記映像受信手段210と、 ・上記イベント受付手段220と、 ・上記特徴量抽出手段230と、 ・上記送信映像蓄積手段400に蓄積されている映像
と、抽出された映像特徴量とを基にして、映像のフレー
ムを同定するフレーム同定手段270と、 ・同定されたフレームと受け付けたイベントとを基にし
て、上記オーサリング情報蓄積手段300からアクショ
ンを検索し、該アクションを実行するアクション検索手
段280とを有する。下記で、上記フレーム同定手段2
70と上記アクション検索手段280について説明す
る。
Next, the video receiving device 201 is stored in the video receiving means 210, the event receiving means 220, the feature amount extracting means 230, and the transmission video storing means 400. A frame identification unit 270 for identifying a frame of the video based on the video and the extracted video feature amount; and an action from the authoring information storage unit 300 based on the identified frame and the received event. And an action search unit 280 for executing the action. In the following, the frame identification means 2
70 and the action search means 280 will be described.
【0063】上記フレーム同定手段270は、映像特徴
量抽出手段と、特徴量マッチング手段と、フレーム決定
手段とを有する。
The frame identification means 270 includes a video feature quantity extraction means, a feature quantity matching means, and a frame determination means.
【0064】上記フレーム同定手段270内の映像特徴
量抽出手段は、上記送信映像蓄積手段400に蓄積され
ている映像の各フレーム毎の物理的な特徴量を一般的な
映像処理技術または音声処理技術によって抽出する。こ
こで、物理的な特徴量とは、例えば、色分布、輝度分
布、テクスチャ、文字領域、音声等である。フレーム毎
に抽出する特徴量は複数種類あっても差し支えない。ま
た、抽出された特徴量を上記特徴量マッチング手段にお
いて使用することを考慮した上で、適切な数学的変換処
理を行っても差し支えない。例えば、特徴量としてRG
B表色系にて抽出したピクセル値を、HSI表色系に変
換してもよいし、さらに色ヒストグラムを作成してもよ
い。上記映像特徴量抽出手段にて抽出する特徴量の例を
示す図は、図4と同じである。
The video feature extraction means in the frame identification means 270 converts the physical feature quantity of each frame of the video stored in the transmission video storage means 400 into a general video processing technique or audio processing technique. Extract by Here, the physical feature amount is, for example, a color distribution, a luminance distribution, a texture, a character area, a sound, and the like. There may be a plurality of types of feature amounts to be extracted for each frame. Further, an appropriate mathematical conversion process may be performed in consideration of using the extracted feature amount in the feature amount matching unit. For example, as a feature value, RG
The pixel values extracted in the B color system may be converted to the HSI color system, or a color histogram may be created. The diagram showing an example of the feature value extracted by the video feature value extracting means is the same as FIG.
【0065】上記フレーム同定手段270内の特徴量マ
ッチング手段は、上記特徴量抽出手段230にて抽出さ
れた受信映像の映像特徴量と上記フレーム同定手段27
0内の映像特徴量抽出手段にて抽出された送信映像の特
徴量との間でマッチングを行う。マッチングの例として
は、例えば特徴量として色を抽出している場合は、それ
ぞれの色ヒストグラム間のインタセクションを計算する
ことでマッチングを行う。
The feature value matching means in the frame identification means 270 includes the video feature quantity of the received video extracted by the feature quantity extraction means 230 and the frame identification means 27.
Matching is performed with the feature value of the transmission video extracted by the video feature value extraction means within 0. As an example of matching, for example, when a color is extracted as a feature value, matching is performed by calculating an intersection between the respective color histograms.
【0066】上記フレーム同定手段270内のフレーム
決定手段は、上記特徴量マッチング手段において行われ
たマッチングの結果、最も類似度の高い特徴量を有する
映像のフレーム番号を、上記送信映像蓄積手段400に
蓄積されている映像の中から決定する。
The frame determination means in the frame identification means 270 stores the frame number of the video having the feature quantity having the highest similarity as a result of the matching performed by the feature quantity matching means in the transmission video storage means 400. Decide from among the stored images.
【0067】上記アクション検索手段280は、上記フ
レーム同定手段270にて決定されたフレーム番号をキ
ーとして、上記オーサリング情報蓄積手段300に蓄積
されているアクションと該アクションに付属しているデ
ータとを検索する。
The action search means 280 searches for the action stored in the authoring information storage means 300 and the data attached to the action by using the frame number determined by the frame identification means 270 as a key. I do.
【0068】以上、本発明を上記実施形態例その2に基
づき説明したが、本発明は、上記実施形態例その2に限
定されるものではなく、その要旨を逸脱しない範囲にお
いて、種々変更可能である。以下に変更可能な個所の一
例を説明する。
Although the present invention has been described based on the second embodiment, the present invention is not limited to the second embodiment, and various modifications can be made without departing from the spirit of the present invention. is there. An example of a changeable portion will be described below.
【0069】 (1)映像送信装置101及び映像受信装置201 上記実施形態例その2では、映像送信装置101を一台
の装置を用いて実現したが、本発明を適用する分野によ
っては、複数台の装置を用い上記各手段を分散させて実
現してもよい。また、同様に、上記実施形態例その2で
は、映像受信装置201を一台の装置を用いて実現した
が、本発明を適用する分野によっては、複数台の装置を
用い上記各手段を分散させて実現してもよい。また、上
記実施形態例その2では、映像送信装置101及び映像
受信装置201を二台の装置を用いて実現したが、本発
明を適用する分野(例えば、映像の送受信を行わない
等)によっては、一台の装置にて上記各手段を実現して
もよい(このとき、上記各手段のうち各種送受宿を行う
部分は必要ない)。
(1) Video Transmitting Apparatus 101 and Video Receiving Apparatus 201 In the second embodiment of the present invention, the video transmitting apparatus 101 is realized by using one apparatus. However, depending on the field to which the present invention is applied, a plurality of The above-described units may be dispersed using the apparatus described above. Similarly, in the second embodiment, the video receiving device 201 is realized by using one device. However, depending on the field to which the present invention is applied, a plurality of devices are used to disperse the respective units. May be realized. Further, in the second embodiment, the video transmitting apparatus 101 and the video receiving apparatus 201 are realized by using two apparatuses. However, depending on the field to which the present invention is applied (for example, video transmission / reception is not performed). Alternatively, the above-described units may be realized by one device (at this time, there is no need to provide a part for performing various types of transportation).
【0070】(2)オーサリング情報蓄積手段300 上記実施形態例その2では、オーサリング情報蓄積手段
300を、図3に示す蓄積形態で実現したが、本発明を
適用する分野によっては、別の蓄積形態を用いてもよ
い。また、上記実施形態例その2では、オーサリング情
報蓄積手段300を、映像送信側にて実現しているが、
本発明を適用する分野によっては、映像受信側に実現し
てもよい。また、上記実施形態例その2では、あらかじ
めオーサリング情報蓄積手段300にオーサリング情報
が設定されているとしたが、本発明を適用する分野によ
っては、映像送信装置101または、映像送信装置10
1とは別の装置に、オーサリング情報を設定する手段を
実現してもよい。
(2) Authoring Information Storage Means 300 In the second embodiment, the authoring information storage means 300 is realized in the storage form shown in FIG. 3, but depending on the field to which the present invention is applied, another storage form is used. May be used. In the second embodiment, the authoring information storage unit 300 is implemented on the video transmission side.
Depending on the field to which the present invention is applied, it may be realized on the video receiving side. In the second embodiment, the authoring information is set in the authoring information storage unit 300 in advance. However, depending on the field to which the present invention is applied, the video transmitting apparatus 101 or the video transmitting apparatus 10 may be used.
A unit for setting the authoring information may be realized in a device different from the one.
【0071】(3)送信映像蓄積手段400 上記実施形態例その2では、送信映像蓄積手段400
を、映像送信側にて実現しているが、本発明を適用する
分野によっては、映像受信側に実現してもよい。
(3) Transmission Video Storage Means 400 In the second embodiment, the transmission video storage means 400
Is realized on the video transmitting side, but may be realized on the video receiving side depending on the field to which the present invention is applied.
【0072】(4)映像配信手段130 上記実施形態例その2では、映像配信手段130にて、
映像を上記映像受信装置201に送信するとともに、該
映像を上記送信映像蓄積手段400に蓄積するよう実現
したが、本発明を適用する分野によっては、映像を上記
映像受信装置201に送信する手段と、映像を上記送信
映像蓄積手段400に蓄積する手段とを別の手段として
独立させてもよい。
(4) Video Distribution Means 130 In the second embodiment, the video distribution means 130
While transmitting the video to the video receiving device 201 and realizing that the video is stored in the transmission video storing unit 400, depending on the field to which the present invention is applied, means for transmitting the video to the video receiving device 201 Alternatively, the means for accumulating the image in the transmission image accumulating means 400 may be independent as another means.
【0073】(5)映像受信手段210 上記実施形態例その2では、映像受信手段210内で、
映像を上記映像送信装置101から受信し、必要に応じ
て上記受信映像蓄積手段500に蓄積するように実現し
たが、本発明を適用する分野によっては、上記映像送信
装置101から受信する手段と、映像を上記受信映像蓄
積手段500に蓄積する手段とを別の手段として独立さ
せてもよい。
(5) Video receiving means 210 In the second embodiment, the video receiving means 210
The video is received from the video transmitting device 101 and is stored as necessary in the received video storing unit 500. However, depending on the field to which the present invention is applied, means for receiving from the video transmitting device 101; The means for accumulating the image in the received image accumulating means 500 may be independent as another means.
【0074】(6)イベント受付手段220 上記実施形態例その2では、イベント受付手段220を
映像受信装置201内にて実現したが、本発明を適用す
る分野によっては、映像受信装置201とは別の装置に
実現してもよい。
(6) Event Receiving Means 220 In the second embodiment, the event receiving means 220 is realized in the video receiving apparatus 201. However, depending on the field to which the present invention is applied, the event receiving means 220 is different from the video receiving apparatus 201. It may be realized in the device of.
【0075】(7)特徴量抽出手段230 上記実施形態例その2では、特徴量抽出手段230を映
像受信装置201内にて実現したが、本発明を適用する
分野によっては、映像受信装置201とは別の装置に実
現してもよい。
(7) Feature Extraction Unit 230 In the second embodiment, the feature extraction unit 230 is realized in the video receiving apparatus 201. However, depending on the field to which the present invention is applied, the video receiving apparatus 201 May be realized in another device.
【0076】(8)フレーム同定手段270 上記実施形態例その2では、フレーム同定手段270を
映像受信装置201内にて実現したが、本発明を適用す
る分野によっては、映像受信装置201とは別の装置に
実現してもよい。また、上記実施形態例その2では、フ
レーム同定手段270における映像特徴量抽出手段にお
いて、フレーム毎に特徴量を抽出し蓄積していたが、本
発明を適用する分野によっては、連続した複数フレーム
を一まとめにして特徴量を抽出してもよい。また、上記
実施形態例その2では、フレーム同定手段270におけ
る特徴量マッチング手段において、色ヒストグラム間の
インタセクションを計算することでマッチングを行って
いるが、本発明を適用する分野によっては、別の手法を
用いてもよい。例えば、ヒストグラム間の線形計画問題
に帰着させてコストを計算することにより、マッチング
を行ってもよい。
(8) Frame Identification Means 270 In the second embodiment, the frame identification means 270 is realized in the video receiving apparatus 201. However, depending on the field to which the present invention is applied, the frame identifying means 270 may be different from the video receiving apparatus 201. It may be realized in the device of. Further, in the second embodiment, the image feature amount extraction unit in the frame identification unit 270 extracts and accumulates the feature amount for each frame. However, depending on the field to which the present invention is applied, a plurality of continuous frames are stored. The feature amounts may be extracted collectively. In the second embodiment, the matching is performed by calculating the intersection between the color histograms in the feature amount matching unit in the frame identification unit 270. However, depending on the field to which the present invention is applied, another feature may be used. A technique may be used. For example, matching may be performed by calculating a cost by reducing the result to a linear programming problem between histograms.
【0077】(9)アクション検索手段280 上記実施形態例その2では、アクション検索手段280
を映像受信装置201内にて実現したが、本発明を適用
する分野によっては、映像受信装置201とは別の装置
に実現してもよい。
(9) Action Searching Means 280 In the second embodiment, the action searching means 280
Is realized in the video receiving apparatus 201, but may be realized in a device different from the video receiving apparatus 201 depending on the field to which the present invention is applied.
【0078】[応用例]例えば、上記実施形態例その1
または上記実施形態例その2のように、映像送信装置か
ら送信される映像を映像受信装置にて受信し、該映像に
対して映像受信装置上にてインタラクションを実現する
ものの例として、野球の試合中継映像内の各選手を指示
すると関連情報(例えば、プロフィール、個人成績等)
が提示されるというインタラクションを考える。
[Application Example] For example, the above-mentioned embodiment example 1
As an example of the second embodiment, a video transmitted from a video transmission device is received by a video reception device, and an interaction with the video is realized on the video reception device. Point to each player in the broadcast video and relevant information (eg profile, personal performance, etc.)
Consider the interaction that is presented.
【0079】本発明では、時間情報を基にせず、映像自
体の特徴量を基にして選手指示時のフレームを同定する
ので、映像の種類や、映像送信装置と映像受信装置との
通信手段や通信形態には依存しない。よって、インター
ネット放送にてストリーム配信される野球中継映像に対
しても、ディジタル放送にて放送される野球中継映像に
対しても、同一の方法で上記インタラクションを提供で
きる。
In the present invention, the frame at the time of instructing the player is identified based on the feature amount of the video itself, not based on the time information. Therefore, the type of the video, the communication means between the video transmitting apparatus and the video receiving apparatus, It does not depend on the communication mode. Therefore, the above-mentioned interaction can be provided by the same method for a baseball relay video streamed by Internet broadcasting and a baseball relay video broadcast by digital broadcasting.
【0080】また、本発明では、映像受信側にて部分的
に蓄積された映像(受信した映像とは異なる時間情報ま
たはフレーム番号情報を有する)に対しても上記のよう
なインタラクションが可能となるため、一度視聴・蓄積
した野球映像を再試聴した際にも上記インタラクション
が可能となる。
Further, according to the present invention, the above-described interaction can be performed even on a video partially stored on the video receiving side (having time information or frame number information different from the received video). Therefore, the above-mentioned interaction can be performed even when the baseball video once viewed and stored is re-listened.
【0081】さらに、オーサリング情報を映像送信側で
随時更新するとすれば、映像受信側で各選手を指示する
たびに“最新の”関連情報(例えば、前打席までの結果
を含んだ打率など)を提示させることが可能となる。
Furthermore, if the authoring information is updated at any time on the video transmitting side, every time the video receiving side instructs each player, the “latest” related information (for example, batting average including the result up to the previous at-bat, etc.) is updated. It can be presented.
【0082】なお、図1で示した処理手順をコンピュー
タに実行させることができること、あるいは、図2、図
5で示した装置各部の一部もしくは全部の機能を、コン
ピュータを用いて実現することができることは言うまで
もなく、コンピュータにその処理手順を実行させるため
のプログラム、あるいは、コンピュータでその各部の機
能を実現するためのプログラムを、そのコンピュータが
読み取り可能な記憶媒体、例えば、FD(フロッピーデ
ィスク:登録商標)や、MO、ROM、メモリカード、
CD、DVD、リムーバブルディスクなどに記録して、
保存したり、提供したり、配布したりすることが可能で
ある。
It is to be noted that the processing procedure shown in FIG. 1 can be executed by a computer, or that a part or all of the functions of each unit shown in FIGS. 2 and 5 can be realized using a computer. Needless to say, a program for causing a computer to execute the processing procedure or a program for realizing the function of each part in the computer can be stored in a storage medium readable by the computer, for example, FD (floppy disk: registered). Trademark), MO, ROM, memory card,
Record on CD, DVD, removable disk, etc.
It can be stored, provided, and distributed.
【0083】[0083]
【発明の効果】本発明によれば、以下に示す効果がもた
らされる。 ・各種形式の映像に対するインタラクションを、同一の
方法、システム、及び装置にて提供できる。 ・部分的に蓄積された映像(実映像とは異なる時間情報
を有する)に対してもインタラクションを提供できる。 ・帯域の狭いネットワークを経由してストリーム映像を
送受信する場合のように、遅延やフレーム落ちが有る場
合でも、インタラクションを提供することができる。す
なわち、イベントに対して正しいアクションを実行する
ことができる。 ・オーサリング結果を映像送信側にて蓄積しておくこと
で、該オーサリング結果を随時更新することができるこ
とから、同一のインタラクションに対しても時間経過あ
るいは状況に応じて異なるアクションを実行させること
できる。
According to the present invention, the following effects can be obtained. Interaction with various types of video can be provided by the same method, system, and device. Interaction can be provided even for partially stored video (having different time information from actual video). -Interaction can be provided even when there is a delay or dropped frames, such as when transmitting and receiving a stream video via a network with a narrow band. That is, a correct action can be executed for the event. By storing the authoring result on the video transmission side, the authoring result can be updated at any time, so that different actions can be executed for the same interaction depending on the passage of time or the situation.
【図面の簡単な説明】[Brief description of the drawings]
【図1】本発明の原理説明図である。FIG. 1 is a diagram illustrating the principle of the present invention.
【図2】本発明を実現する実施形態例その1を示す図で
ある。
FIG. 2 is a diagram showing an example 1 of an embodiment for realizing the present invention.
【図3】本発明の実施形態例におけるオーサリング情報
蓄積手段の蓄積例を示す図である。
FIG. 3 is a diagram illustrating a storage example of an authoring information storage unit according to the embodiment of the present invention.
【図4】本発明の実施形態例における映像から抽出する
特徴量の例を示す図である。
FIG. 4 is a diagram illustrating an example of a feature amount extracted from a video according to the embodiment of the present invention.
【図5】本発明を実現する実施形態例その2を示す図で
ある。
FIG. 5 is a view showing a second embodiment of the present invention.
【符号の説明】[Explanation of symbols]
100…映像送信装置 101…映像送信装置 130…映像配信手段 140…イベント・特徴量受信手段 150…フレーム同定手段 160…アクション検索手段 170…アクション送信手段 200…映像受信装置 201…映像受信装置 210…映像受信手段 220…イベント受付手段 230…特徴量抽出手段 240…イベント・特徴量送信手段 250…アクション受信手段 270…フレーム同定手段 280…アクション検索手段 300…オーサリング情報蓄積手段 400…送信映像蓄積手段 500…受信映像蓄積手段 DESCRIPTION OF SYMBOLS 100 ... Video transmission apparatus 101 ... Video transmission apparatus 130 ... Video distribution means 140 ... Event / feature amount reception means 150 ... Frame identification means 160 ... Action search means 170 ... Action transmission means 200 ... Video reception apparatus 201 ... Video reception apparatus 210 ... Video receiving means 220 Event receiving means 230 Feature extracting means 240 Event / feature transmitting means 250 Action receiving means 270 Frame identifying means 280 Action searching means 300 Authoring information storing means 400 Transmitting image storing means 500 ... Received video storage means
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/173 640 H04N 5/93 E (72)発明者 花籠 靖 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5B075 KK07 KK20 KK33 KK37 ND03 ND12 PQ02 PQ32 UU40 5C052 AA01 AC08 CC01 DD04 EE03 5C053 FA14 FA20 FA23 GB09 GB11 HA29 JA21 LA06 LA14 5C064 BA07 BB10 BC16 BC25 BC27 BD01 BD08 BD09 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification code FI Theme coat ゛ (Reference) H04N 7/173 640 H04N 5/93 E (72) Inventor Yasushi Hanago 2-3 Otemachi, Chiyoda-ku, Tokyo No. 1 F-term in Nippon Telegraph and Telephone Corporation (reference)

Claims (11)

    【特許請求の範囲】[Claims]
  1. 【請求項1】 オーサリングの情報を設定する対象とな
    る映像を実映像と称し、インタラクションを行う映像を
    インタラクション映像と称するとして、 イベント発生時におけるインタラクション映像の特徴に
    関する情報を取得する処理段階と、 該取得したインタラクション映像の特徴に関する情報と
    該実映像から抽出した特徴に関する情報を基に該イベン
    ト発生時のインタラクション映像のフレームが該実映像
    のどのフレームに相当するかを同定する処理段階と、 該イベントと該同定した実映像のフレームを基にあらか
    じめ該実映像に対して設定・蓄積されているオーサリン
    グ情報からアクションを検索する処理段階と、 該検索されたアクションを実行する処理段階とを有する
    ことを特徴とする映像に対するインタラクション提供方
    法。
    1. A processing step of acquiring information on characteristics of an interaction video at the time of an event occurrence, wherein a video for which authoring information is to be set is referred to as an actual video, and a video for performing interaction is referred to as an interaction video. A processing step of identifying which frame of the actual video corresponds to a frame of the interaction video at the time of occurrence of the event, based on the information on the acquired characteristics of the interaction video and the information on the characteristics extracted from the real video; And a processing step of searching for an action from the authoring information previously set and stored for the real video based on the identified frame of the real video, and a processing step of executing the searched action. A method for providing interaction with a featured video.
  2. 【請求項2】 オーサリングの情報を設定する対象とな
    る映像を実映像と称し、インタラクションを行う映像を
    インタラクション映像と称するとして、 イベント発生時におけるインタラクション映像の特徴に
    関する情報を取得する情報取得手段と、 該取得したインタラクション映像の特徴に関する情報と
    該実映像から抽出した特徴に関する情報を基に該イベン
    ト発生時のインタラクション映像のフレームが該実映像
    のどのフレームに相当するかを同定する同定手段と、 該イベントと該同定した実映像のフレームを基にあらか
    じめ該実映像に対して設定・蓄積されているオーサリン
    グ情報からアクションを検索する検索手段と、 該検索されたアクションを実行する実行手段とを有する
    ことを特徴とする映像に対するインタラクション提供シ
    ステム。
    2. An information acquisition means for acquiring information on characteristics of an interaction video when an event occurs, wherein a video for which authoring information is set is referred to as an actual video, and a video for performing interaction is referred to as an interaction video. Identification means for identifying which frame of the actual video corresponds to the frame of the interaction video at the time of the event based on the information on the characteristics of the acquired interaction video and the information on the characteristics extracted from the real video, Search means for searching for an action from the authoring information previously set and stored for the real video based on the event and the identified frame of the real video, and execution means for executing the searched action System for Providing Interaction for Video Features Beam.
  3. 【請求項3】 映像受信装置に映像を送信するととも
    に、該映像を送信映像蓄積手段に実映像として蓄積する
    映像配信手段と、 該映像受信装置から送信されてくるイベント及びインタ
    ラクション映像である受信映像の物理的な映像特徴量を
    受信するイベント・特徴量受信手段と、 該受信された映像特徴量と該送信映像蓄積手段に蓄積さ
    れている該実映像から抽出した物理的な映像特徴量とを
    基にして、該実映像のフレームを同定するフレーム同定
    手段と、 該同定された実映像のフレームと該受信されたイベント
    とを基にして、あらかじめ該実映像に対して設定・蓄積
    されているオーサリング情報蓄積手段からアクションを
    検索するアクション検索手段と、 該検索されたアクションを該映像受信装置に送信するア
    クション送信手段とを有することを特徴とするインタラ
    クション提供システムにおける映像送信装置。
    3. A video distribution unit for transmitting a video to a video reception device and storing the video as a real video in a transmission video storage unit, and a reception video which is an event and an interaction video transmitted from the video reception device. Event / feature amount receiving means for receiving the physical video feature quantity of the received video feature quantity and the physical video feature quantity extracted from the actual video stored in the transmission video storage means. Frame identification means for identifying a frame of the real video based on the frame of the real video and the received event and set and stored in advance for the real video. An action search unit for searching for an action from the authoring information storage unit; and an action transmission unit for transmitting the searched action to the video receiving device. Video transmission apparatus in interaction providing system characterized and.
  4. 【請求項4】 請求項3記載の映像送信装置から送信さ
    れた映像をインタラクション映像として受信するまた
    は、請求項3記載の映像送信装置から送信された映像を
    インタラクション映像として受信し受信映像蓄積手段に
    蓄積する映像受信手段と、 発生したイベントを受け付けるイベント受付手段と、 該イベント発生時に、該映像受信手段にて受信した映像
    または、該受信映像蓄積手段に蓄積された映像の物理的
    な映像特徴量を抽出する特徴量抽出手段と、 該受け付けたイベントと該抽出した映像特徴量とを該映
    像送信装置に送信するイベント・特徴量送信手段と、 該映像送信装置からアクションを受信し、実行するアク
    ション受信手段とを有することを特徴とするインタラク
    ション提供システムにおける映像受信装置。
    4. A video transmitted from the video transmitting device according to claim 3 is received as an interaction video, or a video transmitted from the video transmitting device according to claim 3 is received as an interaction video, and the received video is stored in a received video storage means. Video receiving means for storing, an event receiving means for receiving an event that has occurred, and a physical video feature amount of the video received by the video receiving means or the video stored in the received video storing means when the event occurs , An event / feature transmission unit for transmitting the received event and the extracted video feature to the video transmission device, and an action for receiving and executing an action from the video transmission device. A video receiving apparatus in an interaction providing system, comprising: receiving means.
  5. 【請求項5】 映像送信装置から送信された映像をイン
    タラクション映像として受信するまたは、映像送信装置
    から送信された映像をインタラクション映像として受信
    し受信映像蓄積手段に蓄積する映像受信手段と、 発生したイベントを受け付けるイベント受付手段と、 該イベント発生時に、該映像受信手段にて受信した映像
    または、該受信映像蓄積手段に蓄積された映像の物理的
    な映像特徴量を抽出する特徴量抽出手段と、 該抽出された映像特徴量と該映像送信装置から送信され
    る映像として送信映像蓄積手段に蓄積されている実映像
    から抽出した物理的な映像特徴量とを基にして、該実映
    像のフレームを同定するフレーム同定手段と、 該同定された実映像のフレームと該受け付けたイベント
    とを基にして、あらかじめ該実映像に対して設定・蓄積
    されているオーサリング情報蓄積手段からアクションを
    検索し、該アクションを実行するアクション検索手段と
    を有することを特徴とするインタラクション提供システ
    ムにおける映像受信装置。
    5. An image receiving means for receiving an image transmitted from the image transmitting apparatus as an interaction image, or receiving an image transmitted from the image transmitting apparatus as an interaction image and storing it in a received image accumulating means; An event receiving unit for receiving, when the event occurs, a video image received by the video receiving unit, or a feature amount extracting unit for extracting a physical video feature amount of a video stored in the received video storing unit; Identify a frame of the real video based on the extracted video feature and a physical video feature extracted from a real video stored in a transmission video storage unit as a video transmitted from the video transmission device. Frame identifying means for performing, based on the identified frame of the real video and the received event, Find the action from the authoring information storage means being fixed and stored, the video receiving device in interaction providing system characterized by having a action searching means for performing the action.
  6. 【請求項6】 請求項5記載の映像受信装置に映像を送
    信するとともに、該映像を送信映像蓄積手段に実映像と
    して蓄積する映像配信手段を有することを特徴とするイ
    ンタラクション提供システムにおける映像送信装置。
    6. A video transmitting apparatus in an interaction providing system, comprising: a video transmitting unit that transmits a video to the video receiving apparatus according to claim 5 and stores the video as a real video in a transmitting video storing unit. .
  7. 【請求項7】 イベント発生時におけるインタラクショ
    ン映像の特徴に関する情報を取得する処理手順と、 該取得したインタラクション映像の特徴に関する情報と
    該実映像から抽出した特徴に関する情報を基に該イベン
    ト発生時のインタラクション映像のフレームが該実映像
    のどのフレームに相当するかを同定する処理手順と、 該イベントと該同定した実映像のフレームを基にあらか
    じめ該実映像に対して設定・蓄積されているオーサリン
    グ情報からアクションを検索する処理手順と、 該検索されたアクションを実行する処理手順とを、 コンピュータに実行させるためのプログラムを該コンピ
    ュータが読み取り可能な記録媒体に記録したことを特徴
    とするインタラクション提供方法を実現するプログラム
    を記録した記録媒体。
    7. A processing procedure for acquiring information on characteristics of an interaction video at the time of occurrence of an event, and an interaction at the time of occurrence of the event based on the information on the acquired characteristics of the interaction video and the information on features extracted from the actual video A processing procedure for identifying which frame of the real video corresponds to the frame of the video, and from the authoring information previously set and stored for the real video based on the event and the identified frame of the real video. A method for providing an interaction is provided, wherein a program for causing a computer to execute a processing procedure for searching for an action and a processing procedure for executing the searched action are recorded on a computer-readable recording medium. A recording medium on which a program to be recorded is recorded.
  8. 【請求項8】 映像受信装置に映像を送信するととも
    に、該映像を送信映像蓄積手段に実映像として蓄積する
    映像配信機能と、 該映像受信装置から送信されてくるイベント及びインタ
    ラクション映像である受信映像の物理的な映像特徴量を
    受信するイベント・特徴量受信機能と、 該受信された映像特徴量と該送信映像蓄積手段に蓄積さ
    れている該実映像から抽出した物理的な映像特徴量とを
    基にして、実映像のフレームを同定するフレーム同定機
    能と、 該同定された実映像のフレームと該受信されたイベント
    とを基にして、あらかじめ該実映像に対して設定・蓄積
    されているオーサリング情報蓄積手段からアクションを
    検索するアクション検索機能と、 該検索されたアクションを該映像受信装置に送信するア
    クション送信機能とを、 コンピュータで実現するためのプログラムを該コンピュ
    ータが読み取り可能な記録媒体に記録したことを特徴と
    するインタラクション提供システムにおける映像送信装
    置を実現するプログラムを記録した記録媒体。
    8. A video distribution function for transmitting a video to a video receiving device and storing the video as a real video in a transmission video storing means, and a received video being an event and interaction video transmitted from the video receiving device. An event / feature amount receiving function of receiving a physical video feature amount of the received video feature amount and a physical video feature amount extracted from the actual video stored in the transmission video storage means. A frame identification function for identifying a frame of the real video, and an authoring set and stored in advance for the real video based on the identified frame of the real video and the received event. An action search function for searching for an action from the information storage means, and an action transmission function for transmitting the searched action to the video receiving device, Recording medium for recording a program for realizing the video transmission apparatus a program for realizing in over data in interaction providing system characterized in that the computer is recorded in a recording medium readable.
  9. 【請求項9】 請求項8記載の映像送信装置から送信さ
    れた映像をインタラクション映像として受信するまた
    は、請求項8記載の映像送信装置から送信された映像を
    インタラクション映像として受信し受信映像蓄積手段に
    蓄積する映像受信機能と、 発生したイベントを受け付けるイベント受付機能と、 該イベント発生時に、該映像受信手段にて受信した映像
    または、該受信映像蓄積手段に蓄積された映像の物理的
    な映像特徴量を抽出する特徴量抽出機能と、 該受け付けたイベントと該抽出した映像特徴量とを該映
    像送信装置に送信するイベント・特徴量送信機能と、 該映像送信装置からアクションを受信し、実行するアク
    ション受信機能とを、コンピュータで実現するためのプ
    ログラムを該コンピュータが読み取り可能な記録媒体に
    記録したことを特徴とするインタラクション提供システ
    ムにおける映像受信装置を実現するプログラムを記録し
    た記録媒体。
    9. A video transmitted from the video transmission device according to claim 8 is received as an interaction video, or a video transmitted from the video transmission device according to claim 8 is received as an interaction video and received by the received video storage means. A video receiving function for storing, an event receiving function for receiving an event that has occurred, and a physical video feature amount of a video received by the video receiving unit or a video stored in the received video storing unit when the event occurs. A feature value extracting function for extracting the received event and the extracted video feature value to the video transmitting device; an action for receiving and executing an action from the video transmitting device A program for realizing the receiving function with a computer is recorded on a computer-readable recording medium. Recording medium for recording a program for realizing the image receiving apparatus in the interaction providing system characterized in that.
  10. 【請求項10】 映像送信装置から送信された映像をイ
    ンタラクション映像として受信するまたは、映像送信装
    置から送信された映像をインタラクション映像として受
    信し受信映像蓄積手段に蓄積する映像受信機能と、 発生したイベントを受け付けるイベント受付機能と、 該イベント発生時に、該映像受信手段にて受信した映像
    または、該受信映像蓄積手段に蓄積された映像の物理的
    な映像特徴量を抽出する特徴量抽出機能と、 該抽出された映像特徴量と該映像送信装置から送信され
    る映像として送信映像蓄積手段に蓄積されている実映像
    から抽出した物理的な映像特徴量とを基にして、該実映
    像のフレームを同定するフレーム同定機能と、 該同定された実映像のフレームと該受け付けたイベント
    とを基にして、あらかじめ該実映像に対して設定・蓄積
    されているオーサリング情報蓄積手段からアクションを
    検索し、該アクションを実行するアクション検索機能と
    を、 コンピュータで実現するためのプログラムを該コンピュ
    ータが読み取り可能な記録媒体に記録したことを特徴と
    するインタラクション提供システムにおける映像受信装
    置を実現するプログラムを記録した記録媒体。
    10. A video receiving function of receiving a video transmitted from a video transmission device as an interaction video, or receiving a video transmitted from the video transmission device as an interaction video and storing the interaction video in a received video storage means, An event accepting function for receiving an image, a feature amount extracting function for extracting a physical image feature amount of a video received by the video receiving unit or a video stored in the received video storing unit when the event occurs, Identify a frame of the real video based on the extracted video feature and a physical video feature extracted from a real video stored in a transmission video storage unit as a video transmitted from the video transmission device. Frame identification function to perform, based on the identified frame of the real video and the received event, An action search function for retrieving an action from the set / stored authoring information storage means and executing the action is recorded on a computer-readable recording medium by a computer-readable recording medium. A recording medium storing a program for realizing a video receiving device in an interaction providing system.
  11. 【請求項11】 請求項10記載の映像受信装置に映像
    を送信するとともに、該映像を送信映像蓄積手段に実映
    像として蓄積する映像配信機能を、 コンピュータで実現するためのプログラムを該コンピュ
    ータが読み取り可能な記録媒体に記録したことを特徴と
    するインタラクション提供システムにおける映像送信装
    置を実現するプログラムを記録した記録媒体。
    11. A computer-readable program for transmitting a video to the video receiving apparatus according to claim 10 and realizing the video distribution function of storing the video as a real video in a transmission video storage unit. A recording medium recording a program for realizing a video transmission device in an interaction providing system, wherein the program is recorded on a possible recording medium.
JP2000305663A 2000-10-05 2000-10-05 Method for providing interaction to video image, system, video transmitter, video receiver, and recording medium with program for realizing them recorded thereon Pending JP2002118817A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000305663A JP2002118817A (en) 2000-10-05 2000-10-05 Method for providing interaction to video image, system, video transmitter, video receiver, and recording medium with program for realizing them recorded thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000305663A JP2002118817A (en) 2000-10-05 2000-10-05 Method for providing interaction to video image, system, video transmitter, video receiver, and recording medium with program for realizing them recorded thereon

Publications (1)

Publication Number Publication Date
JP2002118817A true JP2002118817A (en) 2002-04-19

Family

ID=18786480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000305663A Pending JP2002118817A (en) 2000-10-05 2000-10-05 Method for providing interaction to video image, system, video transmitter, video receiver, and recording medium with program for realizing them recorded thereon

Country Status (1)

Country Link
JP (1) JP2002118817A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229509A (en) * 2004-02-16 2005-08-25 Ricoh Co Ltd Content metadata transmission/reception system, content metadata synchronizing method, program for making computer execute the method, and reception terminal in which content and metadata are associated with each other
JP2013529325A (en) * 2010-04-01 2013-07-18 株式会社ソニー・コンピュータエンタテインメント Media fingerprint for determining and searching content
US8874575B2 (en) 2010-04-01 2014-10-28 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US9143699B2 (en) 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US9814977B2 (en) 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US9832441B2 (en) 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
US10609308B2 (en) 2010-07-13 2020-03-31 Sony Interactive Entertainment Inc. Overly non-video content on a mobile device

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229509A (en) * 2004-02-16 2005-08-25 Ricoh Co Ltd Content metadata transmission/reception system, content metadata synchronizing method, program for making computer execute the method, and reception terminal in which content and metadata are associated with each other
JP4494821B2 (en) * 2004-02-16 2010-06-30 株式会社リコー Content / metadata transmission / reception system, content / metadata synchronization method, program for causing computer to execute the method, and receiving terminal
JP2013529325A (en) * 2010-04-01 2013-07-18 株式会社ソニー・コンピュータエンタテインメント Media fingerprint for determining and searching content
US8874575B2 (en) 2010-04-01 2014-10-28 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US9113217B2 (en) 2010-04-01 2015-08-18 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US9473820B2 (en) 2010-04-01 2016-10-18 Sony Interactive Entertainment Inc. Media fingerprinting for content determination and retrieval
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US9143699B2 (en) 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
US9762817B2 (en) 2010-07-13 2017-09-12 Sony Interactive Entertainment Inc. Overlay non-video content on a mobile device
US9814977B2 (en) 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US9832441B2 (en) 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
US10279255B2 (en) 2010-07-13 2019-05-07 Sony Interactive Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US10609308B2 (en) 2010-07-13 2020-03-31 Sony Interactive Entertainment Inc. Overly non-video content on a mobile device
US10981055B2 (en) 2010-07-13 2021-04-20 Sony Interactive Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote

Similar Documents

Publication Publication Date Title
US10552475B1 (en) Methods for using extracted features to perform an action
US20180098116A1 (en) Methods for Identifying Video Segments and Displaying Contextually Targeted Content on a Connected Television
US9646007B2 (en) Distributed and tiered architecture for content search and content monitoring
US9258610B2 (en) Correlation of media metadata gathered from diverse sources
US20210104263A1 (en) Providing enhanced content
US8869222B2 (en) Second screen content
US20160073141A1 (en) Synchronizing secondary content to a multimedia presentation
JP5715078B2 (en) Method and apparatus for creating and viewing customized multimedia segments
US9888279B2 (en) Content based video content segmentation
JP5250128B2 (en) In-band data recognition and synchronization system
US9374620B2 (en) Terminal apparatus, server apparatus, information processing method, program, and interlocked application feed system
US9113178B2 (en) Streaming distributing device and method, streaming receiving device and method, streaming system, program, and recording medium
US7822829B2 (en) Method for interfacing scanned product information with a source for the product over a global network
EP2613527B1 (en) Transmission device and method, reception device and method, and transmission and reception system
US20140229963A1 (en) Time varying evaluation of multimedia content
US9438860B2 (en) Method and system for filtering advertisements in a media stream
US8719442B2 (en) System and method for providing and transmitting condensed streaming content
CN1254952C (en) Efficient transmission and playback of digital information
US6697949B1 (en) Method and apparatus for controlling a user&#39;s pc through an audio-visual broadcast to archive information in the users pc
CN101523911B (en) Method and apparatus for downloading ancillary program data to dvr
US9628851B2 (en) Automatic synchronization of audio and video based media services of media content
US8737813B2 (en) Automatic content recognition system and method for providing supplementary content
US8330864B2 (en) Multi-lingual transmission and delay of closed caption content through a delivery system
US7788696B2 (en) Inferring information about media stream objects
US20150264410A1 (en) Apparatus and method for processing an interactive service

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20031219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041221