JP2003509880A - ビデオストリームにおける移動物体のマーキング - Google Patents

ビデオストリームにおける移動物体のマーキング

Info

Publication number
JP2003509880A
JP2003509880A JP2001522419A JP2001522419A JP2003509880A JP 2003509880 A JP2003509880 A JP 2003509880A JP 2001522419 A JP2001522419 A JP 2001522419A JP 2001522419 A JP2001522419 A JP 2001522419A JP 2003509880 A JP2003509880 A JP 2003509880A
Authority
JP
Japan
Prior art keywords
frames
active area
video
interpolation
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001522419A
Other languages
English (en)
Other versions
JP4901040B2 (ja
Inventor
ヤコヴ カメン
レオン シャーマン
Original Assignee
アイサーフティーヴィー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/390,047 external-priority patent/US6570586B1/en
Application filed by アイサーフティーヴィー filed Critical アイサーフティーヴィー
Publication of JP2003509880A publication Critical patent/JP2003509880A/ja
Application granted granted Critical
Publication of JP4901040B2 publication Critical patent/JP4901040B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8583—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by creating hot-spots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/748—Hypervideo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G06F16/94—Hypermedia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/165—Centralised control of user terminal ; Registering at central

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 双方向リンクを内蔵するためのビデオ画像に註釈付けする方法は、ビデオ画像のフレームのサブセットに手動により活動領域（１１４）を設定し、次に補間を用いて残りのフレームに活動領域を設定するステップからなる。活動領域は、観察者によるカーソルの位置付け及びクリックが可能で、それによりリンクを起動する画面（５１４）の領域である。このリンクは、ＵＲＬのリンク又はその他のリンクでもよい。補間は、直線補間又はスプライン曲線補間技術でもよい。ビデオ画像を、ビデオフレームの一部に対応する註釈を伴う表示システムに通信できるが、その他のフレームを通信できない。受信システムは、補間によって前記その他のフレームに関して活動領域を判定できる。

Description

【発明の詳細な説明】
【０００１】 （技術分野） 本出願は、ビデオストリームにおける物体のマーキングに関する。
【０００２】 （背景技術） 双方向リンクを用いてビデオストリームにおける物体に注釈付けすること即ち
「マークする」ことは、当技術分野では周知である。例えば、自動車レースのビ
デオプログラムを見て、コースを回りながら走行する何台ものレーシング・カー
が表示されていることを想定する。また、これらの車は双方向リンクでマークさ
れていたとする。このことは、それらの車の１台の画像にカーソルを置き、該画
像をクリックできることを意味する。このことにより、ビデオ画面を制御してい
るシステムは、その画像にリンクされている情報を表示することができる。この
リンクはＵＲＬ形式をとることができ、該システムはクリックされた車又はドラ
イバーに関する情報を示すウェブページを表示する。
【０００３】 物体を「マークする」と、「活動領域」として、その物体を取り巻く（又はそ
の物体付近に）ビデオ画面の領域が設定される。観察者が次に該活動領域をクリ
ックすると、リンクが呼び出される。上述の例を再度参照すると、レーシング・
カーの１台がマークされたならば、そのレーシング・カーの画像を取り巻いて、
又はその画像付近に活動領域ができる。観察者がカーソルをその「活動領域」に
動かし、その活動領域をクリックすると、上述のリンクが呼び出される。
【０００４】 レーシング・カーのビデオの中で、その車は常に動いており、ビデオ画面上の
その位置は常に変わる。従って、その車に対応している活動領域は常に変化し、
その車に「ついていく」必要がある。このため、ビデオの各フレームは、その車
に対する適切な活動領域でマークされなくてはならない。多くの場合、これは画
像認識により達成される。換言すると、編集処理中に、その車がビデオ画面の右
側から左側に移動したかどうかをビデオ編集装置が認識する。この移動が起きる
と、編集装置は、車が画面の左側にあるビデオフレームにおいて画面の左側にそ
の車についての新たな活動領域を設定する。残念なことに、画像認識には幾つか
の問題がある。例えば、画像認識システムは通常、物体の色を利用してその位置
を追跡する。例えば物体に影が投げかけられているため光線の当たり方が変化し
ている領域に該物体が移動した場合には、それは、正確な画像認識を妨げる恐れ
がある。更に、画像認識は、その他に物体のマーキング処理に誤差を誘発させる
可能性のある問題がある。
【０００５】 画像認識は当技術分野では周知であり、Ｊ．Ｐ．ルイスによる「高速正規化相
関関係（Ｆａｓｔ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏ
ｎ）、ｈｔｔｐ：／／ｗｗｗ．ｉｄｉｏｍ．ｃｏｍ／―ｚｉｌｌａ／Ｐａｐｅｒ
ｓ／ｎｖｉｓｉｏｎＩｎｔｅｒｆａｃｅ／ｎｉｐ．ｈｔｍ、 ワルチ等の米国特
許第５、２６７、３３２号、 ネトラヴァリ等の米国特許第４、６１１、３４７
号、 ワトソンIII世の米国特許第４、８６８、８７１号、 １９７３年にＪｏ
ｈｎ Ｗｉｌｅｙ ａｎｄ Ｓｏｎｓから出版されたＲ．Ｏ．デューダ等の「図
形分類及び場面分析（Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ
Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ）」、及び１９９２年にＡｄｄｉｓｏｎ−Ｗｅ
ｓｌｅｙから出版されたＲ．Ｃ．ゴンザレツ等の「デジタル画像処理（Ｄｉｇｉ
ｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）」第３版の中で論じられている。
ルイス、ワルチ、ネトラヴァリ、ワトソン、デューダ及びゴンザレツは、引用に
よりここに組み入れる。
【０００６】 画像認識装置を用いる代わりに、ビデオの各フレームを手動によりマークする
こともできる。しかし、ビデオの各フレームをマークすることは、非常に退屈で
多くの時間がかかるものである。必要なことは、移動物体のマーキングに関し、
求められる人的介入の程度を削減する新たな方法である。
【０００７】 （発明の開示） 本発明による方法は、リンクを用いてビデオクリップに注釈付けするステップ
を含む。（ビデオクリップは、アニメーションでもよく、ここでは、「ビデオ」
はアニメーションを含む。）リンクは、ウェブページ又はその他の情報源へのリ
ンク、又はアプリケーション・ソフトウェアへのリンクでもよい。一つの実施形
態において、ビデオクリップ内のフレームの第１セットは、例えばビデオ編集装
置を用いて注釈付けされる。この注釈付けステップ中に、各注釈付けフレームの
一部が「活動領域」として指定される。このことは、該活動領域にカーソルを移
動し、該活動領域内においてクリックした場合には、該活動領域と関連したリン
クが実行されることを意味する。
【０００８】 活動領域は、具体的には、例えばコースを回りながらレースをする車、ある場
面の俳優、コマーシャルに表示される商品、漫画キャラクター、又はその他の人
物や物など、一つの物体の画像と関連する。従って、フレームへの注釈付けの間
に、ビデオクリップに注釈付けをする者は、その物体と関連する活動領域の位置
を設定する。（活動領域は、具体的には、問題となっている物体を取り囲む四角
形又は円形の区画である。）
【０００９】 この方法において、ビデオクリップのすべてのフレームに注釈付けをすること
は極めて厄介なことである。そのため、本発明では、フレームのサブセット（例
えば、１０番目のフレーム毎）にのみ注釈付けをする。その他のフレームの活動
領域の位置は補間によって設定される。該位置は、直線補間技術によって設定で
きる。もう一つの選択肢として、該位置はスプライン曲線補間技術など、曲線を
作り出す補間技術によっても設定できる。
【００１０】 本発明による方法の別の実施形態において、フレームのサブセットは、例えば
、一連のしたフレーム関し最初と最後のフレームのような２つのフレームが、手
動により注釈付けされる。次に、ビデオ編集システムは、補間アルゴリズムに基
づいてこれら一連の手動注釈付けフレーム間の各フレームに対して、活動領域の
位置を計算する。引き続き、該システムはフレーム毎に、補間された活動領域の
位置と、該活動領域が関連する物体の位置との間のズレを判定する。この計算は
画像認識に基づくものである。画像認識は画像認識ソフトウェアによって実行可
能である。或いは、画像認識はハードウェア及びソフトウェアの組み合わせによ
っても実行できる。（画像認識は又、ハードウェアによる実行も可能である。ハ
ードウェアとソフトウェアとの間の分離は種々の方法で実行できる。）その後、
該システムは、システムが最も大きな誤差を示していると判断したフレームを強
調表示する。換言すると、該システムは、活動領域と該活動領域に関連する物体
との間の距離が最大となるフレームを強調表示する。当業者であれば、選択した
領域と該物体内の点との間の最大、最小、又は平均距離に基づいて、活動領域と
該物体との間の距離を決めることができる。
【００１１】 一つの実施形態において、該システムは最大の誤差をともなうフレームにフラ
グを立てる。別の実施形態において、そのシステムは、ｎを整数としたとき、ｎ
番目までの最大誤差をともなうｎ個のフレームにフラグを立てる。別の実施形態
において、該システムは、誤差が一定の限界を超えているフレームのすべてにフ
ラグを立てる。
【００１２】 その後で、ビデオクリップに注釈付けをする者は、フラグが立てられたフレー
ムを確認し、それらフレームに手動による注釈付けを望むかどうかを決める。ビ
デオクリップに注釈付けをする者には、補間の再計算という選択肢もある。補間
の再計算後にユーザは、手動注釈付けが求められるその他のフレームにフラグが
立てられているかどうかを確認できる。 フラグ立ては、表示上にフラグが立てられたフレームを強調表示することによ
り、又は、その他の形式の出力インジケータを設けることにより達成することが
できる。
【００１３】 本発明の別の態様によれば、一つ又はそれ以上の観察者がビデオ信号を観察で
きるように、ビデオ信号は、一つ又はそれ以上のビデオ表示システムに送られる
。ビデオ信号は多数の観察者に配信できる。ビデオ信号のフレームの幾つかにつ
いては、ビデオ信号に関連した一つ又はそれ以上の活動領域の位置が、一つ又は
それ以上のビデオ表示システムに通信されるが、ビデオ信号のその他のフレーム
については通信されない。一つ又はそれ以上のビデオ表示システムは、補間によ
って、その他のフレームについて一つ又はそれ以上の活動領域の位置を判定する
。このように、各々のフレームについて活動領域位置に関するデータをビデオ表
示システムに提供する代わりに、このデータは、選択されたフレームについての
み提供され、更に、ビデオ表示システムは、例えば直線補間技術又はスプライン
曲線補間技術を用いた補間により、その他のフレームの活動領域がどこにあるべ
きかを計算する。ビデオ信号源が信号の各フレームに対して活動領域情報を提供
する必要がないため、この情報を通信するための帯域幅条件は緩和される。 一つの実施形態において、活動領域の位置がこのようにして通信されるだけで
なく、活動領域の大きさも又、この方法で同様に通信される。
【００１４】 本発明の別の態様によると、一組のフレームを含むビデオ信号が、フレームの
幾つかについての活動領域の位置と共に通信され、それ以外のフレームについて
は通信されない。該活動領域は、それらフレームに表示された物体に対応する。
該物体は、製品、人物、漫画キャラクター、又はビデオで表示することができる
ものなら何でも良い。上述したように、物体は、上記他のフレームに表示されて
いるが、該他のフレームについては活動領域は通信されない。受信システムは、
フレームの前記幾つかについての活動領域の位置に基づく補間によって、活動領
域の位置を計算する。こうして、活動領域の位置を通信するための帯域幅条件が
緩和される。
【００１５】 （発明を実施するための最良の形態） 図１は、編集機能をマークするための一般的なグラフィカル・ユーザ・インタ
ーフェース（「ＧＵＩ」）を図示した表示画面１００を示す。このようなインタ
ーフェースは、本発明による方法の実施に用いることができる。画面１００は、
編集領域にある一連のいわゆるキーフレーム１０１ａないし１０１ｐを示す。当
業界では周知のように、ビデオ画像は一連のフレームを含む。デジタルビデオの
場合には、各フレームは画素配列に相当する。各画素は、フレームの小領域の色
、輝度及び彩度に相当するデータ値である。ある種のビデオ圧縮又は暗号化方式
においては、画素配列の全てをフレーム全てについて格納するのに代えて、ある
「キー」フレームについてのみ画素配列全体を格納する。その他のフレームと先
のキーフレームとの間における画像の相違を表わすだけのデータが、その他のフ
レームのために格納される。この方式を用いる圧縮技術の例はＭＰＥＧ−２（動
画専門グループ標準２）である。
【００１６】 圧縮又は暗号化されていない線形的にデジタル化されたアナログビデオの場合
には、ｎ番目毎のフレーム（例えば１０番目毎のフレーム）を（場面変化に対応
するフレームと共に）キーフレームとして選択することができる。上述したよう
に、画面１００は、一連のキーフレーム１０１ａないし１０１ｐを図示する。 矢印１０４ａないし１０４ｄは、画面１００に図示されるわけではない。むし
ろ、単に一連のフレームに時間的順序を象徴するために、矢印１０４ａないし１
０４ｄが図１に含まれている。
【００１７】 画面１００は、キーフレーム１０１ａないし１０１ｐの一つを図示する区画１
０６を含む。区画１０６の画像は、画面上の他の場所にあるキーフレーム１０１
ａないし１０１ｐの図と比べて拡大されており、現在編集中のフレームを示す。
図１の例では、キーフレーム１０１ｇが編集中である。このことは、フレーム１
０１ｇに置かれたアイコン即ちマーク１０１ｇ’の存在によって示される。 通常、画面１００は、早送り、早戻し、新規ファイル等の機能のためのナビゲ
ーションバー及びツールバーも示している。ディスプレイ１００を駆動するシス
テムは、ナビゲーションバー及びツールバーを維持するソフトウェアの駆動部を
含む。これらナビゲーションバー及びツールバーは、簡略化のために図１には示
されていない。
【００１８】 さらに画面１００には、物体の周りにある活動領域の形をユーザに選択させ、
観察者がクリックできるようにするメニューボックス１０８が示される。図１に
は、その一部しか示されていないが、ボックス１０８は、編集機能に、活動領域
について多数の異なる形の中から選択できるようにしている。上述したように、
活動領域は、興味の物体（例えば自動車又は人物）が示されている画面上の位置
である。その物体又は人物と関連する活動領域内でクリックすることにより、観
察者が実際にその物体又は人物をクリックすることになる。
【００１９】 （観察者が最終的にビデオクリップを見るときは、活動領域が表示されていて
も、或いは表示されていなくてもよい。例えば、ビデオが表示されるシステムは
、活動領域を強調表示してもよい。或いは、ビデオが表示される他のシステムは
、活動領域を強調表示しなくてもよい。更に別のシステムにおいては、観察者が
活動領域を強調表示するかどうかを決める選択権を有してもよい。）
【００２０】 図１を再び参照すると、ボックス１１０は、編集機能がリンク、具体的にはＵ
ＲＬのようなリンクを画像に導入できるようにするメニューボックスである。し
かし、所望のアプリケーション・ソフトウェアを起動する専用リンクを含む他の
形式のリンクを設けることもできる。 図１から明らかなように、区画１０６は、頭部１１３が正方形１１４によって
マークされ、リンクＬ１にリンクされた人物１１２を図示している。（正方形の
形はメニューボックス１０８で選択され、リンクＬ１はメニューボックス１１０
で選択されたものである。）正方形１１４は活動領域を表わす。ビデオ場面の動
作中に、物体（例えば人物の頭部）は通常、制限された、急激な動きとならない
ように動く。（映画、テレビ番組又はその他のビデオを撮影中の適切なカメラ操
作は通常、画面上の興味のどんな物体の急激な動きをも最小にすることを含む。
又、急激な動きをする小さな物体は、たとえ近接しながら追随しても、注釈付き
ビデオを見るときに観察者が照準を合わせるのは難しい。）
【００２１】 正方形１１４は、人物１１２にリンクされた情報にアクセスしたい場合に、観
察者がクリックするビデオ画面の活動領域を示す。例えば、ビデオがメロドラマ
であり、人物１１２によって演じられる役柄について更に詳しい情報を得たい場
合には、観察者は、人物１１２をクリックし、具体的には、正方形１１４によっ
て示される活動領域内にカーソルを置く。 ビデオ中は、人物１１２は通常、セットを動き回る。従って、活動領域１１４
を画面のあちこちに動かすことが必要である。このことが必要となるのは、人物
１１２がビデオ画面の左側から右側まで歩き、観察者が更に、人物１１２につい
てもっと見たいと思う場合に、人物１１２の現在の位置をクリックしたいと思う
ためである。
【００２２】 基本的に、人がビデオの各フレームに注釈付けを行い、活動領域１１４がどこ
に位置付けされるべきかを判断することはできるが、このことは極めて退屈で時
間のかかる作業である。従って、この作業を簡素化することが望ましい。本発明
によれば、フレームの幾つかは、適切な位置に活動領域１１４を置くことにより
注釈付けがなされる。（このことは手動又は他の技術手段を介して実行できる。
）その他のフレームは、下記の補間方法によって注釈付けされる。
【００２３】 図２は、開始フレームＡから終了フレームＤまでの一連のフレームの中の各フ
レームについて、ｙ方向に沿ったビデオ内の頭部１１３の位置を示す。点２０３
は、場面開始時における頭部１１３の開始位置を表し、点２０４は、その場面の
終了時における頭部１１３の終了位置を表す。線２０６は、その場面が進行する
ときに点２０３及び２０４間で頭部１１３が動く位置を追跡する。（ビデオ中に
、例えば人物１１２がセットを動き回るときに、頭部１１３は位置を変える。）
線２０８は、２０３及び２０４の２点間に直線を設けることによって生じる直
接的直線補間を示している。換言すると、手動により各フレームに注釈付けをす
るのではなく、活動領域１１４の位置は、２０３及び２０４の２点間で直線補間
を実行することによって自動的に各フレームに挿入される。明らかなように、こ
れは、必ずしもフレームの注釈付けの最も正確な方法というわけではない。手動
による注釈付けが行なわれるフレームの数を多くし、手動による注釈付けが行わ
れる各フレームの間で直線補間をすることによって、直線補間の精度を改善する
ことができる。
【００２４】 図２は又、中間点２１６、２１８を示し、それぞれフレームＢ及びＣにおける
頭部１１３の位置を示す。一つの実施形態において、活動領域１１４の位置は、
例えばフレームＡ、Ｂ、Ｃ、Ｄのような一組のフレームについて（例えば目で見
て）手動により挿入される。活動領域１１４の位置は、手動により活動領域１１
４の位置に注釈付けされた各点間の直線補間によって設定される。このように、
図２の線２２４、２２６及び２２８は、それぞれ点２０３と２１６間、点２１６
と２１８間、及び点２１８と２０４間で、直線補間を行った結果である。
【００２５】 補間をより正確に行う方法は、フレームからフレームへの物体の位置を表す曲
線を生成させる補間技術を用いる方法である。こうした技術の一例としてスプラ
イン曲線補間がある。スプライン曲線補間を実行する際には、通常は、終了点及
び１箇所又は２箇所の中間点だけが必要であり、スプライン曲線補間技術により
正確にその物体を追跡することになる。スプライン曲線は、動作を滑らかにし、
画像認識に見られがちなブレを排除する。 物体の位置をｙ方向に設定する必要があるだけでなく、ｘ方向にも設定する必
要があることが分かるであろう。このように、本発明による方法の実施において
は、活動領域の位置は、ｙ及びｘの両方向に対する補間によって設定されること
になる。さらに、活動領域と関連する物体は、例えば、それがカメラに近づいた
り、カメラから離れたりするため、ビデオ場面の進行中に拡大又は縮小すること
になる。従って、一つの実施形態において、活動領域１１４の大きさも１場面中
の幾つかのフレームに対して手動の註釈付けがなされ、引き続いて、活動領域の
大きさは、その物体の位置と同様の方法で補間される。
【００２６】 図３は、本発明の第１実施形態による方法を説明するブロック図である。図３
を参照すると、その方法は、一群のビデオフレームをメモリーにロードすること
から始まる（ステップ３０１）。メモリーは、磁気メモリー（例えば磁気ディス
ク、磁気テープ又は光磁気ディスク）とすることができる。メモリーは又、光デ
ィスク又はＤＲＡＭ、ＳＲＡＭ、ＥＰＲＯＭ等の半導体メモリー、又は他の形式
のメモリーでもよい。ビデオ情報は、アナログ方式又はデジタル方式のどちらで
もよい。
【００２７】 その後、手動により、これらフレームの一部の組に註釈付けをする（ステップ
３０２）。この手動註釈付けステップの間は、一連のフレームは通常、画面１０
０の区画１０１ａないし１０１ｐに表示され、一度に、それらのフレームの一つ
が、註釈付けのために選択可能である。選択されたフレームは、画面１００の区
画１０６に表示される。活動領域の位置、大きさ及び形状は、註釈付けがされる
フレーム内において設定され、次いで、該活動領域と関連するリンクが設定され
る。手動の註釈付けは、マウス、タッチパッド、ジョイスティック、トラックボ
ール、カーソル・コントロール・キー、又はビデオ編集システムのその他の入力
装置を用いて実行できる。このステップの間に、註釈に関する情報は、例えば下
記で説明するように、メモリーに格納される。
【００２８】 手動により注釈付けがされないフレームについて、註釈付けは、補間によって
行われる（ステップ３０３）。これは、以下のステップのいずれかによって行う
ことができる。 ａ）活動領域の位置に関する直線補間及び活動領域の大きさに関する直線補間、 ｂ）活動領域の大きさに変化のない活動領域の位置に関する直線補間、 ｃ）活動領域の位置に関するスプライン曲線補間及び活動領域の大きさに関する
スプライン曲線補間、又は ｄ）活動領域の大きさに変化のない活動領域の位置に関するスプライン曲線補間
。 直線又はスプライン曲線補間の代わりに、その他の補間技術が使用可能である
。例として、補間は以下の場合に可能である。 ａ）ビデオクリップにおける開始フレームと終了フレームとの間、又は ｂ）手動により註釈付けされた各フレームから手動により註釈付けされた次のフ
レームへの補間。（具体的には、該クリップの開始及び終了フレームは、手動に
より註釈付けされるフレーム中にある。）
【００２９】 ブロック３０４を参照すると、補間が活動領域の位置に誤差を生む可能性があ
る。換言すると、物体の位置及び該物体に関連する活動領域の位置の間に差異が
生じることがある。補間後、ビデオクリップに註釈付けした者は、画面１００の
区画１０１ａないし１０１ｐの様々なフレームに関する活動領域の位置を目で確
認することができる。フレームの一つが物体１１３の位置及び活動領域１１４間
に大きな相違を示す場合には、ビデオクリップを編集する者は、そのフレームに
手動により註釈付けを行い、更に手動により註釈付けを行っていないフレームに
関しては、活動領域の全位置を編集システムに（例えば補間によって）再計算さ
せる。
【００３０】 活動領域１１４の位置の設定後にビデオクリップに註釈付けする者は、ユーザ
向けに提示されたリンク形式を選択する。ボックス型、円、楕円又はその他の形
状のものを用いる代わりに、活動領域は、ロゴ（例えばＧＩＦファイル）、アニ
メ−ションの一つ（例えばアニメ化されたＧＩＦファイル）又はその他のビデオ
ストリーム断片で表すことが可能である。（ＧＩＦはグラフィックス・インター
チェンジ・フォーマットの頭文字である。）上述したように、活動領域は、註釈
付けされたビデオクリップを後で確認するとき、任意に、目で見て示すことがで
きる。 ブロック３０６を参照すると、補間の前後のいずれかで、ＵＲＬへのリンクを
各活動領域に関連させることができる。このように、観察者が該活動領域をクリ
ックすると、該ＵＲＬが呼び出される。上述したように、該リンクはＵＲＬに対
するものである必要はない。それは、アプリケーション・ソフトウェア、又は特
定のアドレスに格納された情報源へのリンクでもよい。
【００３１】 図４は、ビデオクリップをマークするために用いられるビデオ編集機能／プレ
ーヤの一実施形態を図解するデータ・アーキテクチャである。このようなビデオ
編集機能／プレーヤは、多数のビデオクリップを収納する大容量データ記憶装置
４０６を含む。大容量データ記憶装置は、磁気ディスク、光磁気ディスク、光デ
ィスク、半導体メモリー又はその他の形式のメモリー記憶装置でもよい。 一つ以上のビデオクリップ及び註釈ファイルが記憶装置４０６に格納されてい
るが、簡略化のために図４においては、一つのビデオクリップ４２０ａだけが、
一つの対応する註釈ファイル４２１ａと共に示されている。一つのビデオクリッ
プにつき一つ以上の註釈ファイルが存在してもよい。註釈ファイルは、（公式と
して、又は予め決められたスプライン曲線型のセットに関連するものとして、い
ずれかの）スプライン曲線及びその関連パラメータ、リンク自体、及び活動領域
のマーカの色や大きさ等のものを含んでいる。要素４５０は、テーブル又はデー
タベースであり、一連のフレームの各ビデオに関連する全ラベルを含み、かくし
てビデオ提供用ディレクトリとして役立つ。そこには当然、映写に関する幾つか
のデータベース及び註釈ファイルがあってもよく、階層構造において可能な限り
体系化され、行われる編集によっては、それらはファイル４２０又は４２１の一
部を共有してもよい。
【００３２】 一つの実施形態において、註釈付けの間に、データは、フレーム番号、活動領
域の位置、その形状、その大きさ及び該活動領域に関連するＵＲＬ又はその他の
リンクに対応するメモリーにロードされる。該データは、通常独立したファイル
にあって、ビデオ信号と共に観察者に提供される。この情報は独立したデータ・
ストリームとして観察者に提供可能である。観察者のビデオ表示システムは、フ
レーム番号を追跡し、各フレームについてそのフレームに対して設定された活動
領域の一つの中に、カーソルが位置付けられているかどうかを判断する。 別の実施形態において、活動領域の位置、その形状、大きさ、及びリンクに関
する情報が、ビデオ信号の一部として通信され、組み込まれる。この情報は、該
信号の一つの空白時間の間に、又は通常使用されない信号がその他の区画にある
間に、提供される。
【００３３】 （補間誤差が最小化又は修正化される実施形態） 図２に明らかなように、補間を用いてビデオ画面に活動領域を設定する場合に
は、マークされた物体の位置と該活動領域の位置との間に誤差が存在することが
ある。本発明の別の実施形態によると、こうした誤差は、下記の技術により減少
即ち最小化することができる。 １．ビデオフレームの一群がメモリーにロードされる（図３のステップ３０１）
。 ２．ｎ個のフレームの第１の組が手動により註釈付けられる。但し、ｎは２より
も大きいか又は等しい（図３ステップ３０２）。ｎ個のフレームは、ビデオ配列
において開始フレーム及び終了フレームとすることができる。 ３．手動により註釈付けされていないビデオ順列内にあるフレームについて、活
動領域の計測位置を設定するために補間が実行される（図３のステップ３０３）
。補間は、直線補間により実行可能である。或いは、補間はスプライン曲線技術
など、結果として曲線にする技術によることが可能である。上述したように、線
又は曲線を生成するために幾つかの補間技術を用いることができ、ビデオクリッ
プに註釈付けをする者が、その内から選択することができる。 ４．手動による註釈付けがされていない各フレームについて、ビデオシステムは
、活動領域と該活動領域が関連する物体との間の距離を計算する。（活動領域の
位置は補間によって設定される。物体の位置は、例えば上述したような自動化さ
れた画像認識技術によって設定される。上で指摘したように、画像認識は正確な
場合も、そうではない場合もある。） ５．システムは、活動領域１１４と該活動領域が関連する物体１１３とのの間の
距離が最大であるフレームにフラグを立てる。システムは、こうした距離を示す
フレーム（例えば一つ又はそれ以上のフレーム１０１ａないし１０１ｐ）を強調
表示すること及びそれらのフレームにアイコン又はその他のマーカをつけること
ができ、又はユーザに対してこれらフレームを識別するための他の技術を用いる
ことができる。ユーザは、これらのフレームを見て、活動領域が、実際に、その
関連する物体から容認できない距離にあるかどうかを確認することができる。 ６．ユーザがこの距離は容認できないと考える場合には、容認できない誤差を示
しているフレームに手動により註釈付けすることができる（図３のステップ３０
４）。 ７．容認できない誤差を示しているフレームに手動により註釈付けをした後に、
ユーザは、システムに、新たな手動註釈を含むデータに基づいて活動領域の位置
を（例えば再び補間によって）再計算させることができる。 ８．任意に、ユーザは、システムに新たに補間された活動領域の位置を取らせ、
最大誤差を有するフレームのリストを別に設定させることができる。ユーザがこ
れら誤差を容認でき、又は画像認識誤差に関する単なる間違いの結果であると気
付いた場合には、それらを無視することができる。 ９．次に、活動領域の形状（及び任意に、視覚インジケータ）及びリンクを活動
領域に関連付ける。
【００３４】 上述したように、図３のステップ３０４の間に、ユーザは、システムに、活動
領域及び該活動領域と関連する物体の間の距離を計算させ、画面１００の区画１
０１ａないし１０１ｐに示された容認できない誤差を有するフレームにフラグを
立てさせることができる。該ユーザは、上述したように容認できない誤差を示し
ているフレームに手動により註釈付けすることができる。（この手順は、活動領
域の（ｘ及びｙの両軸に沿った）位置及び大きさの両方を調整するために用いる
ことができる。）
【００３５】 （活動領域に関する情報のテレビ観察者への通信） ビデオフレームが活動領域に関する情報によりマークされた後に、その情報を
観察者のビデオシステムに通信する必要がある。図５は、送信されるべきビデオ
プログラムを格納する区画５２０を内蔵する大容量データ格納装置５０６を含ん
だビデオ送信システム５００を図解している。該ビデオプログラムは、スポーツ
競技、メロドラマ、教育番組、漫画及びその他のアニメーションなど、どのよう
な形式の番組でもよい。又、大容量記憶装置５０６内には、註釈情報を有する区
画５２１が含まれる。この註釈情報には、ａ）ビデオプログラムの様々なフレー
ムに関連した幾つかの活動領域の位置、ｂ）それら活動領域の大きさ、及びｃ）
それらの活動領域が関連するリンク、が含まれる。（該リンクはＵＲＬ方式でよ
い。）換言すると、註釈情報は、ビデオプログラムの特定のフレームにおいては
、ビデオフレームの左上方部に位置する第１活動領域があり、その活動領域は、
ある大きさを有するということを指示している場合がある。観察者がその活動領
域をクリックしたならば、それにより、特定のウェブページへのリンクが起動さ
れることになる。
【００３６】 大容量記憶装置５０６は、磁気ディスク、磁気テープ、光又は光磁気媒体、又
はその他のデータ格納構造等、いかなる形式の大容量記憶装置でもよい。 大容量記憶装置５０６からの情報は、ビデオ信号を抽出し、そのビデオ信号を
従来型送信装置５０４に送るデータ分離回路５０５に送信される。（データ分離
回路５０５は通常、サーバである。）テレビシステム５０１は、ビデオ信号を受
信する受信機５１１を含む。図５は、ビデオ信号が従来のテレビ無線信号として
送受信されることを示す記号を含み、該ビデオ信号は、例えば電気ケーブル、光
ケーブル、マイクロ波衛星通信、電話回線、インターネット、又はその他の信号
通信技術等のその他手段により通信することができる。
【００３７】 註釈情報（例えば活動領域に関連するＵＲＬ情報を伴う該活動領域の位置及び
大きさ）は、該ビデオ信号を通信する媒体と同じ、又は異なる通信媒体５０３を
経由してテレビシステム５０１に通信される。このような通信媒体５０３は、従
来型無線信号、電気ケーブル、光ケーブル、マイクロ波、衛星通信、電話回線、
インターネット、又はその他の信号通信技術でもよい。
【００３８】 註釈情報は、前処理装置５１２によって受信される。前処理装置５１２は、そ
のデータが送信システム５００により提供されないそれらのフレームについて、
補間技術を介して各フレームのそれぞれの活動領域の位置を計算する。一つの実
施形態において、補間技術は、例えば図２に関して上述したように直線補間技術
である。例えば、送信システム５００が、１０番目のフレーム毎に、活動領域の
ための位置を提供すると仮定する。図６は、それぞれ、点６００、６０１、６０
２及び６０３で示されるフレーム０、１０、２０及び３０の活動領域のｙ座標の
値を表している。直線補間技術を用いる場合に、活動領域のｙ座標は、線６０４
、６０５及び６０６により設定されると仮定される。特定の点間に直線に代わっ
て曲線を生成する技術など、その他の補間技術が使用可能である。例えばスプラ
イン曲線補間技術を用いることができる。スプライン曲線計算パラメータによる
スプライン曲線補間技術が用いられる場合には、活動領域のｙ座標は曲線６０７
に沿ったものになると仮定される。
【００３９】 図６は、フレーム番号に対する活動領域のｙ座標を表している。同様の計算が
活動領域のｘ座標、及び活動領域の大きさに対して実行される。（活動領域の大
きさは、例えば活動領域と関連する該物体がカメラに向かってくるか、又はカメ
ラから遠ざかって行くかによって、拡大又は縮小させることができる。）
【００４０】 図５を再び参照すると、前処理装置５１２は、ビデオ信号をビデオ表示装置５
１４に送ることが分かる。前処理装置５１２は、ユーザ・インターフェースに接
続されている。ユーザ・インターフェース５１３は、ユーザに、例えば活動領域
の位置を示すマーカが画面上に表示されるかどうかなど、表示装置５１４に表示
される画像に関する機能を操作できるようにする。ユーザ・インターフェース５
１３は、次に、ユーザに様々な活動領域をクリックさせ、それと関連するリンク
を起動させることができるようにする。
【００４１】 ユーザ・インターフェース５１３は通常、トラックボール、マウス、タッチパ
ッド又はジョイスティック等の適切な操作手段を有する。このインターフェース
は、観察者がどの物体をクリックしようとしているのかが分かるようにビデオ表
示装置５１４上に目に見えるカーソルを位置付けるために用いられる。前処理装
置５１２は、カーソルが活動領域上に位置付けられたかどうかを判定する。一つ
の実施形態において、前処理装置５１２はマイクロ・プロセッサ・システムを含
む。
【００４２】 上述したように、本発明の一つの実施形態において、選択されたフレームの活
動領域は、例えば手動による註釈システムを用いて設定される。活動領域は、ビ
デオフレームに表示される物体に関連する。この方法の実施中に、各活動領域の
位置、大きさ及び形状は、ビデオクリップのフレームの一部（全部ではない）に
対して設定される。ビデオクリップのその他のフレームについては、活動領域の
位置及び大きさは、補間することによりフレーム間で設定される。一つの実施形
態において、手動により註釈付けされたフレームの活動領域の位置及び大きさが
ビデオシステム５０１に通信される。その他の実施形態においては、現在位置及
び大きさが通信されるフレームは、他の基準に基づいて選択される。例えば、１
０番目毎のフレームについての活動領域の位置及び大きさを、受信ビデオシステ
ム５０１に通信することができる。或いは、ビデオクリップのいわゆる「キーフ
レーム」に対してのみ活動領域の位置及び大きさを通信することができる。（上
述したように、ある種のビデオ圧縮アルゴリズムは、ある種のキーフレームに対
してのみ画素配列全体を通信する。その他のフレームについては、一つのフレー
ム及びその次のフレームの間の変化に対応する情報のみが通信される。キーフレ
ームは、画素配列全体が通信されるフレームである。）
【００４３】 図５を再び参照すると、一つの実施形態において、ワーク・ステーション５５
０が、ビデオ送信システム５００に接続できる。ワーク・ステーション５５０は
、パーソナル・コンピュータ（「ＰＣ」）５５１及びローカルメモリー記憶装置
５５２（例えばディスク）又は編集ソフトウェア５５３を内蔵するその他の非ロ
ーカル記憶装置（例えばサーバ）を含む。ワーク・ステーション５５０は、ビデ
オクリップに註釈付けするために用いられる。この例では、ワーク・ステーショ
ン５５０は通信回線５５４を経由してサーバ５０５に連結されているが、ワーク
・ステーション５５０をサーバ５０５にネットワーク接続するために他の多くの
方法を用いることができる。幾つかの実施形態においては、編集ソフトウェア５
５３はサーバ５０５で動作できる。その他の実施形態において、ファイル（ビデ
オ及び註釈ファイルの両方）はローカルメモリー５５２に属することができる。
【００４４】 本発明は具体的な実施形態に関して説明してきたが、当業者であれば、本発明
の趣旨及び範囲から逸脱することなく、変更が適切かつ詳細になし得ることが理
解されるであろう。例えば、ビデオフレームの画素は、ＲＧＢ値によって格納で
きる。（ＲＧＢは、画素と関連する赤、青及び緑色の素子の値を指す。）或いは
、画素値が、色、彩度及び輝度によって格納できる。画面１００及び／又はビデ
オ表示装置５１４は、ＣＲＴ画面及びＬＣＤ、プロジェクションディスプレイ、
又はその他の適切な表示技術でもよい。様々な形式のビデオ編集／註釈付けシス
テムを用いて本発明の方法を実施することができる。補間は、マイクロプロセッ
サ又はシステム内にあるその他の計算装置によって実行できる。
【００４５】 本発明の方法は、ビデオクリップに一つそれ以上の活動領域を設け、又は受信
するために用いることができる。 手動による補間を行うフレームは、異なる方法により選択することができる。
例えば、一つの実施形態において、ｎ番目毎のフレームが手動により註釈付けさ
れる、但しｎは整数である（例えば１０）。 補間及び編集を行うために選択される装置は、ビデオ編集及び／又は画像認識
ソフトウェア・プログラムを実行する、表示画面を備えたマイクロ・プロセッサ
・ベースのシステムでもよい。
【００４６】 一つの実施形態において、最初及び最後のフレームは、手動により註釈付けが
されない。従って、このような実施形態においては、活動領域の位置及び大きさ
は外挿される。 ビデオ信号が観察者に送信されると、ビデオ及び註釈情報が共に、独立した信
号として受信システム５０１に送られても、又は、それらは合成信号の一部とし
て通信されてもよい。合成信号は、送信装置５０４によって、放送媒体を経由し
て提供可能である。或いは、合成信号は、例えば光、ケーブル、マイクロ波伝送
、衛星伝送等の上記の通信媒体のいずれかを経由して提供可能である。
【００４７】 本発明の様々な態様は、互いに独立して実施できる。例えば、図１の註釈装置
は、図５の信号通信装置を用いることなく使用できる。同様に、図５の通信装置
は、図１から図４までに関する上記の方法以外の方法を用いて註釈付けされたビ
デオクリップと通信するために使用できる。従って、こうした変更の全ては、本
発明の特許請求の範囲に含まれる。
【図面の簡単な説明】
【図１】 本発明によるビデオクリップに注釈付けするために用いられるビデオ編集機能
／プレーヤの表示画面である。
【図２】 ビデオクリップの一連のフレームのフレーム番号に対するｙ方向に沿ったビデ
オ画面上の物体の位置を示す。
【図３】 本発明の第１実施形態による方法を説明するフロー図である。
【図４】 本発明によるビデオクリップをマークするために用いられるビデオ編集機能／
プレーヤのデータ・アーキテクチャを示す。
【図５】 本発明の別の実施形態による信号送信システム及び受信表示システムのブロッ
ク図である。
【図６】 ビデオクリップの番号に対するｙ軸に沿った活動領域の位置を示す。
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 ０９／３９０，０４７ (32)優先日 平成11年９月３日(1999．9．3) (33)優先権主張国 米国（ＵＳ） (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ， ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ， ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，Ｃ Ｎ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ， ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，Ｋ Ｒ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ， ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，Ｓ Ｉ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ Ｆターム(参考） 5B050 AA08 BA06 CA08 EA07 EA19 FA02 5B056 BB53 BB55 HH01 HH03 5C053 FA14 FA23 GB37 LA14 5L096 HA04

Claims (44)

    【特許請求の範囲】
  1. 【請求項１】 一組のフレームを含むビデオクリップにおいて活動領域の位
    置を設定する方法であって、 （ａ）前記組のフレームのうちの第１の複数フレームについて前記活動領域の
    位置を設定し、 （ｂ）上記（ａ）の段階の間に設定された位置に基づく補間により、前記組の
    フレームのうちの第２の複数フレームについて前記活動領域の位置を設定する、
    段階を含むことを特徴とする方法。
  2. 【請求項２】 前記（ａ）及び（ｂ）の段階の間に設定された位置が記憶装
    置に格納されることを特徴とする請求項１に記載の方法。
  3. 【請求項３】 前記段階（ａ）が、 表示装置に前記第１の複数フレームを表示すること、及び、 前記第１の複数フレームにおける前記活動領域の位置に関する情報を記憶装置
    に格納することによって、前記フレームに手動により註釈付けをすること、 を含むことを特徴とする請求項１に記載の方法。
  4. 【請求項４】 前記補間が直線補間であることを特徴とする請求項１に記載
    の方法。
  5. 【請求項５】 前記補間がスプライン曲線補間であることを特徴とする請求
    項１に記載の方法。
  6. 【請求項６】 前記第１の複数フレームがキーフレームであることを特徴と
    する請求項１に記載の方法。
  7. 【請求項７】 前記補間が編集システム内の計算装置によって実行されるこ
    とを特徴とする請求項１に記載の方法。
  8. 【請求項８】 請求項１に記載の方法であって、 （ｃ）前記組のフレームのうちの第３の複数フレームの活動領域を表示するこ
    と、 （ｄ）前記第２の複数フレームのうちの少なくとも幾つかに註釈付けをするこ
    と、及び、 （ｅ）前記段階（ｄ）の実行後に、補間によって、前記幾つかのフレームに含
    まれない前記第２の複数フレーム内のフレームについて前記活動領域の位置を設
    定する、 段階をさらに含むことを特徴とする方法。
  9. 【請求項９】 複数のビデオフレームを含むビデオクリップを格納する記憶
    装置と、 前記ビデオフレームのうちの幾つかについての活動領域の位置を示す情報を入
    力する入力装置と、 前記複数のビデオフレームのうちの他のフレームについて前記活動領域の位置
    を設定する計算装置と、 を含むことを特徴とする装置。
  10. 【請求項１０】 前記計算装置が、前記複数のフレームのうちの前記他のフ
    レームについて、補間により前記活動領域の位置を設定することを特徴とする請
    求項９に記載の装置。
  11. 【請求項１１】 一組のフレームを含み、前記組のうちの第１の複数フレー
    ムが、表示される物体に関連する活動領域の位置を示す情報により註釈付けされ
    たビデオクリップを用意し、 前記第１の複数フレームに含まれないフレームについて、補間により前記活動
    領域の位置データを設定し、 前記第１の複数フレームに含まれない一つ又はそれ以上のフレームのうち、前
    記活動領域と前記物体との間の距離が前記第１の複数フレームには含まれない他
    のフレームに比べて大きいフレームを識別するために自動画像認識を用いる、 ことを特徴とする方法。
  12. 【請求項１２】 前記自動画像認識が、前記活動領域と前記物体との間の距
    離がしきい値を超えるフレームを識別することを特徴とする請求項１１に記載の
    方法。
  13. 【請求項１３】 前記自動画像認識が、ｎを整数としたとき、前記活動領域
    と前記物体との間の距離が最大であるｎ個のフレームを識別することを特徴とす
    る請求項１１に記載の方法。
  14. 【請求項１４】 前記一つ又はそれ以上のフレームの前記活動領域と前記物
    体との間の距離を観察者が確認できるように、ディスプレイ上に前記一つ又はそ
    れ以上のフレームを表示する段階をさらに含むことを特徴とする請求項１１に記
    載の方法。
  15. 【請求項１５】 前記使用の段階の後に前記一つ又はそれ以上のフレームの
    少なくとも一つに註釈付けする段階をさらに含むことを特徴とする請求項１１に
    記載の方法。
  16. 【請求項１６】 前記第１の複数フレーム内になく、前記少なくとも一つの
    フレームにも含まれないフレームに対し前記活動領域の位置データを補間により
    設定する段階をさらに含むことを特徴とする請求項１５に記載の方法。
  17. 【請求項１７】 前記活動領域が前記物体からどのくらい離れているかをユ
    ーザが確認できるように、位置データが補間により設定されているフレームを表
    示する段階をさらに含むことを特徴とする請求項１６に記載の方法。
  18. 【請求項１８】 前記設定段階の前に、操作者が前記情報により前記第１の
    複数フレームに註釈付けすることを特徴とする請求項１１に記載の方法。
  19. 【請求項１９】 前記註釈付けが、前記第１の複数フレームに対し前記活動
    領域の位置を示すデータを記憶装置に格納することによって実行されることを特
    徴とする請求項１８に記載の方法。
  20. 【請求項２０】 前記ビデオクリップが記憶装置に格納されることを特徴と
    する請求項１１に記載の方法。
  21. 【請求項２１】 活動領域の位置を示す前記情報が前記ビデオクリップと同
    じ記憶装置に格納されることを特徴とする請求項２０に記載の方法。
  22. 【請求項２２】 前記ビデオクリップ及び活動領域の位置を示す前記情報が
    前記記憶装置内の異なるファイルに置かれることを特徴とする請求項２１に記載
    の方法。
  23. 【請求項２３】 前記活動領域の位置を示す前記情報が前記ビデオクリップ
    に組み込まれることを特徴とする請求項２１に記載の方法。
  24. 【請求項２４】 一群のフレームを含んで物体を表示するビデオクリップを
    用意し、 前記物体と関連する前記群のフレームのうちの幾つかのフレームについて活動
    領域の位置を記憶装置に格納することにより、前記群のフレームのうちの前記幾
    つかのフレームに註釈付けを行い、他のフレームには注釈付けを行なわないよう
    にし、 補間により前記他のフレームについて前記活動領域の位置を設定し、 前記他のフレームに含まれるフレームのうち、前記活動領域と前記物体との間
    の距離が前記第１の複数フレーム内にない他のフレームに比べて大きいフレーム
    を判定するために自動画像認識を用いる、 ステップを含むことを特徴とする方法。
  25. 【請求項２５】 一組のフレームを含み前記組の中の第１の複数フレームが
    表示されている物体と関連する活動領域の位置を示す情報により註釈付けされて
    いるビデオクリップを格納する記憶構造体と、 前記第１の複数フレームに含まれないフレームについて補間により活動領域の
    位置データを設定するための手段と、 自動画像認識を用いて、活動領域と物体との間の距離が前記第１の複数フレー
    ムに含まれない他のフレームに比べて大きい一つ又はそれ以上のフレームを識別
    するための手段と、 を含むことを特徴とする装置。
  26. 【請求項２６】 ビデオ画像を受信し、 フレームの一連のとして前記ビデオ画像を表示し、 前記フレームの幾つかについて少なくとも一つの活動領域の位置に対応する情
    報を受信し、前記フレームのうちの他のフレームについては受信せず、 前記受信された情報に基づいて前記他のフレームについて前記活動領域の位置
    を判定する、 ステップを含むことを特徴とする方法。
  27. 【請求項２７】 前記判定ステップが直線補間によって実行されることを特
    徴とする請求項２６に記載の方法。
  28. 【請求項２８】 前記判定ステップがスプライン曲線補間によって実行され
    ることを特徴とする請求項２６に記載の方法。
  29. 【請求項２９】 前記活動領域の大きさに対応する情報が、前記フレームの
    前記幾つかについて受信され、前記他のフレームについては受信されず、前記他
    のフレームについて前記活動領域の大きさを確定するステップをさらに含むこと
    を特徴とする請求項２６に記載の方法。
  30. 【請求項３０】 前記活動領域がリンクと関連しており、前記リンクを起動
    させるステップをさらに含むことを特徴とする請求項２６に記載の方法。
  31. 【請求項３１】 前記リンクはインターネット・ページへのリンクであるこ
    とを特徴とする請求項２６に記載の方法。
  32. 【請求項３２】 前記リンクを起動させることをさらに含むことを特徴とす
    る請求項２６に記載の方法。
  33. 【請求項３３】 前記表示が表示画面に前記ビデオを表示することを含み、
    前記起動が前記表示画面の活動領域をクリックすることを含むことを特徴とする
    請求項３２に記載の方法。
  34. 【請求項３４】 一組のビデオフレームを含み、前記組のビデオフレームの
    うちの幾つかのフレームが、前記ビデオフレームのうちの前記幾つかのフレーム
    について活動領域が設定されたという注釈付けがされているビデオクリップを通
    信し、 前記組のビデオフレームのうち、前記幾つかのビデオフレームについて前記活
    動領域の位置を通信し、前記組のビデオフレームのうちの他のフレームについて
    は通信しないこと、 を含むことを特徴とする方法。
  35. 【請求項３５】 前記ビデオクリップは第１通信媒体によって通信され、さ
    らに前記活動領域の前記位置は前記第１通信媒体とは異なる第２通信媒体によっ
    て通信されることを特徴とする請求項３４に記載の方法。
  36. 【請求項３６】 前記組のビデオフレームのうちの幾つかのビデオフレーム
    について、前記ビデオクリップ及び前記活動領域の位置を受信し、前記組のビデ
    オフレームのうちの前記他のビデオフレームについては受信せず、 前記他のビデオフレームにおける前記活動領域についての位置を補間により設
    定すること、 をさらに含む請求項３４に記載の方法。
  37. 【請求項３７】 前記活動領域が、前記組のビデオフレームに含まれる前記
    ビデオフレームの各々に示されている物体と関連していることを特徴とする請求
    項３６に記載の方法。
  38. 【請求項３８】 ビデオ信号を受信するための受信機と、 前記ビデオ信号に対応し一組のフレームを含むビデオ画像を表示するために前
    記受信機に接続されたディスプレイと、 前記フレームの幾つかについて少なくとも一つの活動領域の位置を示す情報を
    受信し、前記フレームのうちの他のフレームについては受信しない回路と、 を含み、 前記回路は、前記幾つかのフレームについての前記活動領域の位置に基づく補
    間により、前記他のフレームについての前記活動領域の位置を判定する、 ことを特徴とするシステム。
  39. 【請求項３９】 前記フレームのうちの一つについて前記ビデオ信号及び少
    なくとも一つの活動領域の位置に対応する前記情報を送信し、前記フレームのう
    ちの他のフレームについては送信しない送信システムをさらに含むことを特徴と
    する請求項３８に記載のシステム。
  40. 【請求項４０】 一組のフレームを含むビデオ信号を格納する第１記憶格納
    装置と、 前記フレームのうちの幾つかのフレームについての活動領域の位置を格納する
    記憶格納装置と、 前記フレームにうちの前記幾つかについて前記ビデオ信号及び前記活動領域の
    前記位置を送信し、前記フレームのうちの他のフレームについては送信せず、そ
    れによって前記ビデオ信号及び前記フレームのうちの前記幾つかについての前記
    活動領域の前記位置を受信するシステムが、補間により、前記フレームのうちの
    前記他のフレームについて前記活動領域の位置を確定できるような送信機と、を
    含むことを特徴とする装置。
  41. 【請求項４１】 ビデオクリップを格納する記憶装置と、 前記ビデオクリップのフレームのうちの幾つかのフレームについて活動領域の
    位置を設定し、前記ビデオクリップの他のフレームについては設定しない構造体
    と、 前記ビデオクリップの前記幾つかのフレームについて前記ビデオクリップ及び
    活動領域の位置を送信し、前記ビデオクリップの他のフレームについては送信し
    ない送信システムと、 を含むことを特徴とする装置。
  42. 【請求項４２】 前記ビデオクリップを受信して表示し、前記他のフレーム
    について前記活動領域の位置を補間によって設定する受信装置をさらに含むこと
    を特徴とする請求項４１に記載の装置。
  43. 【請求項４３】 一連の画像フレーム内において活動領域の位置を設定する
    方法であって、 （ａ）前記一連のフレームのうちの第１の複数フレームについて前記活動領域
    の位置及び／又は大きさを設定し、 （ｂ）上記の段階（ａ）の間に設定された位置に基づく計算によって、前記一
    連のフレームのうちの第２の複数フレームについて前記活動領域の位置及び／又
    は大きさを設定する、 段階を含むことを特徴とする方法。
  44. 【請求項４４】 前記格納記憶装置が、前記フレームの幾つかについての前
    記活動領域の位置を格納し、前記フレームのうちの他のものについては格納しな
    いことを特徴とする請求項４０に記載の装置。
JP2001522419A 1999-09-03 2000-09-02 ビデオストリームにおける移動物体のマーキング Expired - Lifetime JP4901040B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US38991699A 1999-09-03 1999-09-03
US39004499A 1999-09-03 1999-09-03
US09/389,916 1999-09-03
US09/390,044 1999-09-03
US09/390,047 1999-09-03
US09/390,047 US6570586B1 (en) 1999-09-03 1999-09-03 Bandwidth effective method for communicating interactive links
PCT/US2000/024263 WO2001018676A1 (en) 1999-09-03 2000-09-02 Marking of moving objects in video streams

Publications (2)

Publication Number Publication Date
JP2003509880A true JP2003509880A (ja) 2003-03-11
JP4901040B2 JP4901040B2 (ja) 2012-03-21

Family

ID=27409917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001522419A Expired - Lifetime JP4901040B2 (ja) 1999-09-03 2000-09-02 ビデオストリームにおける移動物体のマーキング

Country Status (7)

Country Link
US (1) US6229541B1 (ja)
EP (2) EP1222564A4 (ja)
JP (1) JP4901040B2 (ja)
CN (1) CN1391676A (ja)
AU (1) AU7110700A (ja)
HK (1) HK1052772A1 (ja)
WO (1) WO2001018676A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017037391A (ja) * 2015-08-07 2017-02-16 日本電信電話株式会社 出現位置補間装置、出現位置補間方法及び出現位置補間プログラム
JP6389996B1 (ja) * 2017-06-30 2018-09-19 Ｍｉｌ株式会社 広告表示方法、広告表示サーバ及び広告表示プログラム
JP2020077942A (ja) * 2018-11-06 2020-05-21 パロニム株式会社 領域設定装置、領域設定方法、及びプログラム

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6928652B1 (en) * 1998-05-29 2005-08-09 Webtv Networks, Inc. Method and apparatus for displaying HTML and video simultaneously
US6215483B1 (en) 1998-06-17 2001-04-10 Webtv Networks, Inc. Combining real-time and batch mode logical address links
US6938270B2 (en) * 1999-04-07 2005-08-30 Microsoft Corporation Communicating scripts in a data service channel of a video signal
US7103904B1 (en) * 1999-06-30 2006-09-05 Microsoft Corporation Methods and apparatus for broadcasting interactive advertising using remote advertising templates
US6396523B1 (en) 1999-07-29 2002-05-28 Interlink Electronics, Inc. Home entertainment device remote control
US6229541B1 (en) 1999-09-03 2001-05-08 Isurftv Use of templates for cost-effective secure linking of video stream objects
US7174562B1 (en) * 1999-12-20 2007-02-06 Microsoft Corporation Interactive television triggers having connected content/disconnected content attribute
US7367042B1 (en) * 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
US7343617B1 (en) 2000-02-29 2008-03-11 Goldpocket Interactive, Inc. Method and apparatus for interaction with hyperlinks in a television broadcast
US6642940B1 (en) * 2000-03-03 2003-11-04 Massachusetts Institute Of Technology Management of properties for hyperlinked video
AU2001244938A1 (en) * 2000-03-23 2001-10-03 Ir Vision Ab An apparatus and method for providing information in a graphical user interface comprising a touch screen
US6765557B1 (en) * 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
US6766524B1 (en) * 2000-05-08 2004-07-20 Webtv Networks, Inc. System and method for encouraging viewers to watch television programs
US6714215B1 (en) * 2000-05-19 2004-03-30 Microsoft Corporation System and method for displaying media interactively on a video display device
WO2001090876A1 (en) * 2000-05-24 2001-11-29 Koninklijke Philips Electronics N.V. A method and apparatus for shorthand processing of medical images
US7000242B1 (en) * 2000-07-31 2006-02-14 Jeff Haber Directing internet shopping traffic and tracking revenues generated as a result thereof
WO2002019719A1 (en) * 2000-08-30 2002-03-07 Watchpoint Media, Inc. A method and apparatus for hyperlinking in a television broadcast
US6873344B2 (en) * 2001-02-22 2005-03-29 Sony Corporation Media production system using flowgraph representation of operations
KR100400002B1 (ko) * 2001-03-09 2003-09-29 삼성전자주식회사 데이터 방송 시스템의 부가 정보 처리 장치 및 방법
US8374540B2 (en) * 2002-03-15 2013-02-12 Educational Testing Service Consolidated on-line assessment system
JP3971346B2 (ja) * 2002-06-24 2007-09-05 株式会社東芝 動画像再生装置、スケジュール・データ、動画像再生方法、及びプログラム
US8065614B2 (en) * 2003-04-09 2011-11-22 Ati Technologies, Inc. System for displaying video and method thereof
US7418656B1 (en) 2003-10-03 2008-08-26 Adobe Systems Incorporated Dynamic annotations for electronics documents
US20050276514A1 (en) * 2004-06-14 2005-12-15 Fisher Paul A Image monitoring method and system
US9021529B2 (en) * 2004-07-15 2015-04-28 Microsoft Technology Licensing, Llc Content recordation techniques
JP4396586B2 (ja) * 2005-06-22 2010-01-13 ソニー株式会社 プログラム、情報処理方法、情報処理装置
US8667540B2 (en) * 2006-07-07 2014-03-04 Apple Partners, Lp Web-based video broadcasting system having multiple channels
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US20100275120A1 (en) * 2009-04-22 2010-10-28 Nicholas Pappas Processing of fields in motion picture videos or still photos
US8504918B2 (en) * 2010-02-16 2013-08-06 Nbcuniversal Media, Llc Identification of video segments
US20110310010A1 (en) * 2010-06-17 2011-12-22 Primesense Ltd. Gesture based user interface
CN101950578B (zh) * 2010-09-21 2012-11-07 北京奇艺世纪科技有限公司 一种视频信息添加方法及装置
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
GB2497071A (en) * 2011-11-21 2013-06-05 Martin Wright A method of positioning active zones over media
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
CN103188573A (zh) * 2012-04-01 2013-07-03 上海锐开信息科技有限公司 具有购物链接功能的显示系统
US20140089813A1 (en) * 2012-09-21 2014-03-27 Darius Vahdat Pajouh Ranking of user feedback based on user input device tracking
CN103402130A (zh) * 2013-07-24 2013-11-20 Tcl集团股份有限公司 一种在视频中显示广告的方法及系统
US9898451B2 (en) 2013-11-26 2018-02-20 Adobe Systems Incorporated Content adaptation based on selected reviewer comment
CN103702222A (zh) * 2013-12-20 2014-04-02 惠州Tcl移动通信有限公司 移动终端的互动信息生成方法及其视频文件播放方法
US10757483B2 (en) * 2017-10-26 2020-08-25 Futurewei Technologies, Inc. Method and apparatus for data tracking and presenting
CN109979362A (zh) * 2017-12-27 2019-07-05 苏州锐创广告有限公司 一种电梯广告系统
US11449664B1 (en) * 2019-07-01 2022-09-20 Instasize, Inc. Template for creating content item
US11676316B1 (en) 2019-07-01 2023-06-13 Instasize, Inc. Shareable settings for modifying images
US11263385B1 (en) * 2021-03-24 2022-03-01 Ebay Inc. Web browser extension for linking images to webpages

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998044435A1 (en) * 1997-04-02 1998-10-08 International Business Machines Corporation Method and apparatus for integrating hyperlinks in video
US5929849A (en) * 1996-05-02 1999-07-27 Phoenix Technologies, Ltd. Integration of dynamic universal resource locators with television presentations

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4611347A (en) 1984-09-24 1986-09-09 At&T Bell Laboratories Video recognition system
US4868871A (en) 1987-08-13 1989-09-19 Texas Instruments Incorporated Nonparametric imaging tracker
US5339392A (en) * 1989-07-27 1994-08-16 Risberg Jeffrey S Apparatus and method for creation of a user definable video displayed document showing changes in real time data
US5267332A (en) 1991-06-19 1993-11-30 Technibuild Inc. Image recognition system
US5675752A (en) * 1994-09-15 1997-10-07 Sony Corporation Interactive applications generator for an interactive presentation environment
US5627915A (en) * 1995-01-31 1997-05-06 Princeton Video Image, Inc. Pattern recognition system employing unlike templates to detect objects having distinctive features in a video field
US5721851A (en) * 1995-07-31 1998-02-24 International Business Machines Corporation Transient link indicators in image maps
US5970504A (en) 1996-01-31 1999-10-19 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus and hypermedia apparatus which estimate the movement of an anchor based on the movement of the object with which the anchor is associated
US5931908A (en) 1996-12-23 1999-08-03 The Walt Disney Corporation Visual object present within live programming as an actionable event for user selection of alternate programming wherein the actionable event is selected by human operator at a head end for distributed data and programming
US6006241A (en) * 1997-03-14 1999-12-21 Microsoft Corporation Production of a video stream with synchronized annotations over a computer network
CA2285284C (en) * 1997-04-01 2012-09-25 Medic Interactive, Inc. System for automated generation of media programs from a database of media elements
US6028600A (en) * 1997-06-02 2000-02-22 Sony Corporation Rotary menu wheel interface
US6229541B1 (en) 1999-09-03 2001-05-08 Isurftv Use of templates for cost-effective secure linking of video stream objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929849A (en) * 1996-05-02 1999-07-27 Phoenix Technologies, Ltd. Integration of dynamic universal resource locators with television presentations
WO1998044435A1 (en) * 1997-04-02 1998-10-08 International Business Machines Corporation Method and apparatus for integrating hyperlinks in video

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017037391A (ja) * 2015-08-07 2017-02-16 日本電信電話株式会社 出現位置補間装置、出現位置補間方法及び出現位置補間プログラム
JP6389996B1 (ja) * 2017-06-30 2018-09-19 Ｍｉｌ株式会社 広告表示方法、広告表示サーバ及び広告表示プログラム
JP2019012420A (ja) * 2017-06-30 2019-01-24 Ｍｉｌ株式会社 広告表示方法、広告表示サーバ及び広告表示プログラム
JP2020077942A (ja) * 2018-11-06 2020-05-21 パロニム株式会社 領域設定装置、領域設定方法、及びプログラム

Also Published As

Publication number Publication date
EP1222564A1 (en) 2002-07-17
AU7110700A (en) 2001-04-10
WO2001018676A1 (en) 2001-03-15
CN1391676A (zh) 2003-01-15
EP2287754A2 (en) 2011-02-23
EP1222564A4 (en) 2006-07-12
EP2287754A3 (en) 2011-05-04
HK1052772A1 (zh) 2003-09-26
JP4901040B2 (ja) 2012-03-21
US6229541B1 (en) 2001-05-08

Similar Documents

Publication Publication Date Title
JP4901040B2 (ja) ビデオストリームにおける移動物体のマーキング
US10880522B2 (en) Hybrid media viewing application including a region of interest within a wide field of view
US8174523B2 (en) Display controlling apparatus and display controlling method
US7652638B2 (en) Display control apparatus, system, and display control method
JP4218915B2 (ja) 画像処理方法、画像処理装置及び記憶媒体
US8301669B2 (en) Concurrent presentation of video segments enabling rapid video file comprehension
US20170116709A1 (en) Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor
JP6179889B2 (ja) コメント情報生成装置およびコメント表示装置
US7146022B2 (en) Spatiotemporal locator processing method and apparatus
US5818439A (en) Video viewing assisting method and a video playback system therefor
CN103209339B (zh) 创建和观看定制的多媒体片段的方法和系统
US6392710B1 (en) Graphical user interface for field-based definition of special effects in a video editing system
US20040012621A1 (en) Hyper-media information providing method, hyper-media information providing program and hyper-media information providing apparatus
US11417062B2 (en) Information processing device, information processing method, and program
WO1997048068A1 (en) Method for indexing image information using a reference model
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
US6570586B1 (en) Bandwidth effective method for communicating interactive links
JP2019033430A (ja) 動画再生装置およびその制御方法、並びにプログラム
CN113709542B (zh) 一种交互式全景视频播放的方法和系统
CN111583348A (zh) 图像数据编码方法及装置、显示方法及装置、电子设备
US20240146863A1 (en) Information processing device, information processing program, and recording medium
JPH10187759A (ja) 動画アンカー表示、選択、設定装置および動画アンカーを用いた動画ハイパーメディア装置と動画提供システム
CN110381331A (zh) 一种图像处理方法、装置、航拍设备及存储介质
WO2009024966A2 (en) Method for adapting media for viewing on small display screens
WO2018016435A1 (ja) 映像処理装置、および映像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081215

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090316

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090324

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090415

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100319

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100319

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101006

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101101

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20101203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111227

R150 Certificate of patent or registration of utility model

Ref document number: 4901040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term