JP3335816B2 - ビデオプレゼンテーションシステム - Google Patents

ビデオプレゼンテーションシステム

Info

Publication number
JP3335816B2
JP3335816B2 JP27156295A JP27156295A JP3335816B2 JP 3335816 B2 JP3335816 B2 JP 3335816B2 JP 27156295 A JP27156295 A JP 27156295A JP 27156295 A JP27156295 A JP 27156295A JP 3335816 B2 JP3335816 B2 JP 3335816B2
Authority
JP
Japan
Prior art keywords
video
operation target
information
processing means
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27156295A
Other languages
English (en)
Other versions
JPH09114427A (ja
Inventor
豊明 古澤
峰宏 松村
利浩 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP27156295A priority Critical patent/JP3335816B2/ja
Priority to US08/655,449 priority patent/US5751296A/en
Priority to DE19624151A priority patent/DE19624151C2/de
Priority to GB9616912A priority patent/GB2306836B/en
Publication of JPH09114427A publication Critical patent/JPH09114427A/ja
Application granted granted Critical
Publication of JP3335816B2 publication Critical patent/JP3335816B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/748—Hypervideo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はビデオプレゼンテー
ションシステムに関し、特にユーザが映像表示装置に表
示されたビデオ映像中の被写体を直接操作して被写体に
関連したデータの表示または別の場面への移行などのア
クションを起動するようなインタラクティブマルチメデ
ィアシステムに適用されるビデオプレゼンテーションシ
ステムに関する。
【０００２】近年、映像および音声の入出力装置および
ソフトウェアの充実に伴い、マルチメディアアプリケー
ションの市場が急速に拡大しており、同時にアプリケー
ションの機能および性能の向上が求められてきている。
【０００３】
【従来の技術】従来のマルチメディアアプリケーション
の中で使用されているビデオメディアにおいて、静止画
面では、表示画面上のある部分を指示すると、それに関
連するデータを表示したり別の画面へ切り替わったりす
る、インタラクティブ性を有するものが一般的である
が、動画のビデオ映像では、ユーザによる直接操作を感
知しないものが一般的であり、ビデオメディアは与えら
れた映像データをそのまま再生するためだけの部品にす
ぎなかった。
【０００４】ビデオの中にインタラクティブ性を付加す
ることは不可能ではなかったが、ビデオ再生とユーザ操
作に対応するインタラクティブ性との同期を実現するた
めには、すなわち、再生されているビデオ映像の中でど
の部分が操作されたかを認識するためには、時間を監視
する処理を必要とするか、ビデオのフレーム毎にインタ
ラクティブ性を設定するか、のいずれかの方法しかなか
った。
【０００５】
【発明が解決しようとする課題】しかし、時間を監視す
る処理を必要とする方法では、タイミングの処理などで
ビデオ再生の性能に悪影響を及ぼし、ビデオのフレーム
毎にインタラクティブ性を設定する方法では、設定情報
が膨大になるため記憶装置の容量を圧迫することにな
る。したがって、このような従来の方法では、１秒間に
３０フレームを再生するフルモーションビデオと、その
ビデオ映像上で動いている被写体に対するユーザ操作と
を同期させようとすると、中央処理装置やメモリに負荷
がかかり、動画をスムーズに再生できないなどの問題点
があった。
【０００６】本発明はこのような点に鑑みてなされたも
のであり、中央処理装置やメモリの負荷が大きくなく、
再生しているビデオ映像の中の被写体を操作することに
よってその被写体に関連したデータの表示または場面へ
の移行を行うことが可能なビデオプレゼンテーションシ
ステムを提供することを目的とする。
【０００７】
【課題を解決するための手段】図１は上記目的を達成す
る本発明の原理図である。ユーザが映像表示装置に表示
されたビデオ映像中の操作対象を直接操作してその操作
対象に関連した場面へ移行するようなビデオプレゼンテ
ーションシステムは、映像表示装置１と、座標指定装置
２と、映像駆動処理手段３と、プレゼンテーション制御
処理手段４と、映像操作情報処理手段５と、映像操作情
報保持手段６と、映像データ７とから構成される。映像
表示装置１はビデオ映像を画面上の領域に出力し、座標
指定装置２は映像表示装置１の画面上でユーザが操作を
行ったときにその操作が行われた画面座標を出力する。
映像駆動処理手段３は映像データ７を展開して映像表示
装置１に出力したり、映像の再生を開始したり、停止し
たり、巻き戻ししたり、早送りしたりする機能を有す
る。プレゼンテーション制御処理手段４はプレゼンテー
ションの内容に従って、映像を再生したり、ユーザ操作
を解釈して場面を切り換えたりする処理を行う。ユーザ
操作に関する処理は、座標指定装置２から画面上の座標
が伝達されることを引き金にして行われる。そのとき、
プレゼンテーション制御処理手段４は映像駆動処理手段
３から現在再生している映像のフレーム位置または時刻
を取得し、画面座標とフレーム位置との組を使って映像
操作情報処理手段５に問い合わせ、ユーザがどの操作対
象の上で操作を行ったかを検出し、その検出結果を基に
条件分岐を行い、場面を切り換えたり等の処理を行う。
映像操作情報処理手段５は映像駆動処理手段３から現在
再生している映像のフレーム位置と座標指定装置２によ
って指定された操作対象の画面座標とから、ユーザが映
像上のどの操作対象の上で操作を行ったかを解釈する。
映像操作情報保持手段６は再生される映像データの名前
や操作対象に関する操作対象情報が保持されている。
【０００８】
【発明の実施の形態】まず、本発明の概略について図面
を参照して説明する。図１は本発明のプレゼンテーショ
ンシステムの原理構成を示す図である。
【０００９】ユーザがビデオ映像中の被写体などのよう
な操作対象を操作してその操作対象に関連した場面へ移
行するプレゼンテーションシステムは、ビデオ映像を画
面上の領域に出力する映像表示装置１と、映像表示装置
１の画面上でユーザが操作を行ったときにその操作が行
われた画面座標を出力する座標指定装置２と、映像デー
タ７を展開して映像表示装置１に出力したり、映像の再
生を開始したり、停止したり、巻き戻ししたり、早送り
したりの処理を行う映像駆動処理手段３と、プレゼンテ
ーションの内容に従って、映像を再生したり、ユーザ操
作を解釈して場面を切り換えたりする処理を行うプレゼ
ンテーション制御処理手段４とを備え、本発明ではさら
に、映像操作情報処理手段５と、映像操作情報保持手段
６とを備えている。映像操作情報処理手段５は映像駆動
処理手段３から現在再生している映像のフレーム位置と
座標指定装置２によって指定された操作対象の画面座標
とから、ユーザが操作を行った操作対象を検出する。映
像操作情報保持手段６は再生される映像データの名前や
操作対象に関する操作対象情報を保持している。
【００１０】映像表示装置１の画面上の領域に再生して
いるビデオ映像を表示したときに、ビデオ映像のある操
作対象の上でユーザが座標指定装置２を使って選択操作
をすると、座標指定装置２は、ユーザが選択操作を起こ
した映像表示装置１の画面上の座標をプレゼンテーショ
ン制御処理手段４に通知する。プレゼンテーション制御
処理手段４は、映像駆動処理手段３に対して、現在再生
している映像のフレーム位置を請求し、それを取得す
る。プレゼンテーション制御処理手段４は、先に取得し
た画面座標とフレーム位置とを基にして、操作された操
作対象の識別子の取得を映像操作情報処理手段５に対し
て請求する。このとき、画面座標およびフレーム位置に
加え、現在再生している映像が映像データのどの場面で
あるかを識別する時間区間識別子を一緒に映像操作情報
処理手段５に通知してもよい。これにより、操作対象の
検索はその場面内だけで済むので、高速化が可能にな
る。
【００１１】映像操作情報処理手段５は、映像操作情報
保持手段６に対して、時間区間識別子によって指定され
た時間区間情報に登録されている操作対象情報を調査す
る。ある操作対象情報の中で、通知されたフレーム位置
が最初の経路情報と最後の経路情報とのフレームの範囲
内にあるならば、登録されている経路情報からそのフレ
ーム位置における操作対象の輪郭情報を求め、その輪郭
情報が通知された画面座標を内包しているならば、その
操作対象識別子を取得してプレゼンテーション制御処理
手段４に返却する。
【００１２】プレゼンテーション制御処理手段４は、返
却された操作対象識別子および現在の時間区間識別子に
よって、どの場面のどの操作対象が選択操作されている
かが特定されたので、この情報を基に、その場面のその
操作対象にリンクしている処理を見つけ出し、その処理
を実行する。リンクしている処理が別の場面への移行な
らば、映像駆動処理手段３に対して、移行先の場面のフ
レーム範囲を指定してビデオ再生を実行させ、別の処理
ならば、登録されているその処理の内容を実行すること
になる。
【００１３】このようにして、再生しているビデオ映像
の操作対象を選択操作すると、その操作対象にリンクし
ている処理が呼び出されて実行される。次に、本発明の
実施の形態を、ある建物の中を仮想現実的に動き回るプ
レゼンテーションを行うようなプレゼンテーションシス
テムに適用した場合を例にして説明する。これは、たと
えば、建物の中をビデオを撮りながら回り、その映像デ
ータを、建物の中の色々な場面毎に識別可能に格納して
おき、現在再生しているビデオ映像の中のあるドアをユ
ーザが選択操作することによって、そのドアを開けて中
に入ったときの映像データに切り替えて再生する、また
はそのドアに関する情報、たとえば操作されたドアの型
番、材料、寸法などのデータを表示するというインタラ
クティブなシステムとすることができる。
【００１４】図２は本発明のプレゼンテーションシステ
ムの実施の形態を示す構成図である。この図において、
１１はビデオ映像を画面に表示するディスプレイであ
り、１２はビデオを再生しているディスプレイ１１の画
面上でユーザが選択操作した画面座標を検出するマウス
である。１３はビデオファイルのデータを展開してディ
スプレイ１１に表示するためのビデオドライバである。
１４はプレゼンテーションの展開を記述した制御用スク
リプトとそれを実行するためのインタプリタとから構成
されるプレゼンテーション制御用スクリプト／インタプ
リタである。１５はマウス１２が出力した画面座標の情
報を契機にして現在再生しているビデオ映像の時間、つ
まりフレーム位置から選択操作された操作対象を検出す
るための操作情報処理用ＤＬＬ（dynamic link librar
y）である。１６はどの場面にどのような操作対象があ
って、それらの操作対象がどのような動きをしているか
という情報をデータ化した操作情報構造体１６ａが展開
されているメモリである。そして、１７は実写の映像を
データ化して格納した、たとえばＡＶＩ（audio visual
interleaved）形式のファイルフォーマットを有するＡ
ＶＩファイルである。
【００１５】プレゼンテーション制御用スクリプト／イ
ンタプリタ１４において、その制御用スクリプトには、
ユーザ操作が起こって、マウス１２から画面座標が入力
されてきたときの処理が記述されている。たとえば、建
物の中の廊下を進んでいって、左右に別れる場所に到達
したときに、マウス１２によって右側のコーナが選択操
作されると、そのコーナを右に曲がって進む場面に切り
替えるとか、左側のコーナが選択操作された場合には、
そのコーナを左に曲がって進む場面に切り替えるという
ような場合分けのストーリが制御用スクリプトに記述さ
れている。
【００１６】ここで、プレゼンテーション制御用スクリ
プト／インタプリタ１４が行う処理としては以下の３つ
がある。まず、ユーザ操作が起こったときには、マウス
１２から画面座標が送られてくる。その時に、ビデオド
ライバ１３に対して、ビデオ映像のどのフレームを再生
しているかを問い合わせをし、ビデオドライバ１３から
現在のフレーム番号を取得する。
【００１７】ビデオドライバ１３から取得したフレーム
番号と画面座標とを組にして、操作情報を処理するため
の操作情報処理用ＤＬＬ１５を呼び出し、選択操作され
た操作対象である操作対象を識別するための名前、すな
わち、識別子を取得する。
【００１８】操作情報処理用ＤＬＬ１５が返した操作対
象の識別子と現在の場面とを基に条件を検索し、その条
件に合致したスクリプトを実行する。次に、操作情報処
理用ＤＬＬ１５は映像の操作情報を処理するために以下
のような９個の基本的なインタフェースを備えている。
HIDF FAR PASCAL ＿export MIDRV＿LoadIDF(LPCSTR lps
zIdfFileName);viod FAR PASCAL ＿export MIDRV＿Purg
eIDF(HIDF hIDF);LPCSTR FAR PASCAL ＿export MIDRV
＿GetVideoFileName(HIDF hIDF);int FAR PASCAL ＿exp
ort MIDRV＿FindScene(HIDF hIDF, LPCSTR sceneName);
LPCSTR FAR PASCAL ＿export MIDRV＿GetName(HIDF hID
F, int sceneIndex);LONG FAR PASCAL ＿export MIDRV
＿GetStartTime(HIDF hIDF, int sceneIndex);LONG FAR
PASCAL ＿export MIDRV＿GetEndTime(HIDF hIDF, int
sceneIndex);int FAR PASCAL ＿export MIDRV＿GetNumb
erOfScenes(HIDF hIDF);LPCSTR FAR PASCAL ＿export M
IDRV＿PickXY(HIDF hIDF, int sceneIndex, LONGtime,
int x, int y);ここで、関数「ＬｏａｄＩＤＦ」は、映
像の操作情報が定義されているファイルを読み込んで、
内容をメモリ１６上に展開するもので、引き数はファイ
ル名、返却値は操作情報構造体１６ａへのポインタであ
る。関数「ＰｕｒｇｅＩＤＦ」は、メモリ１６上に展開
された操作情報構造体１６ａを破棄するもので、引き数
は操作情報構造体１６ａへのポインタである。関数「Ｇ
ｅｔＶｉｄｅｏＦｉｌｅＮａｍｅ」はビデオドライバ１
３が再生する映像データのビデオファイル名を、引き数
の操作情報構造体１６ａから取得するインタフェースで
ある。関数「ＦｉｎｄＳｃｅｎｅ」は引き数の操作情報
構造体１６ａで、「ｓｃｅｎｅＮａｍｅ」の名前を持つ
場面、つまり時間区間を検索し、その識別番号を返却す
るインタフェースである。関数「ＧｅｔＮａｍｅ」は操
作情報構造体１６ａにおける時間区間の識別番号からそ
の時間区間名（場面の名前）を得るインタフェースであ
る。関数「ＧｅｔＳｔａｒｔＴｉｍｅ」および「Ｇｅｔ
ＥｎｄＴｉｍｅ」は操作情報構造体１５ａにおける時間
区間の識別番号から開始フレーム番号および終了フレー
ム番号を得るインタフェースである。関数「ＧｅｔＮｕ
ｍｂｅｒＯｆＳｃｅｎｅ」は１つの映像データの中に幾
つの場面が設定されているのかという、操作情報構造体
１５ａ中の時間区間の個数を得るインタフェースであ
る。そして、関数「ＰｉｃｋＸＹ」は現在再生されてい
る場面の時間区間名と、フレーム番号と、操作された画
面の座標とから、ＸＹ座標点を含む輪郭の有する操作対
象（操作されている被写体）の名前を得るためのインタ
フェースである。
【００１９】上述したプレゼンテーション制御用スクリ
プト／インタプリタ１４と操作情報処理用ＤＬＬ１５と
の間のインタフェースの各機能を纏めて図式化すると以
下のようになる。
【００２０】図３は操作情報処理用ＤＬＬのインタフェ
ースの機能を示した図である。まず、機能「構築」は、
プレゼンテーション制御用スクリプト／インタプリタ１
４から操作情報処理用ＤＬＬ１５に対して映像操作ファ
イルを指定することによって操作情報構造体１６ａがメ
モリ１６上に構築され、メモリ１６上に展開された操作
情報構造体１６ａをメモリ１６上で参照するための識別
子（ポインタまたはハンドル）をプレゼンテーション制
御用スクリプト／インタプリタ１４に返却する。
【００２１】機能「破壊」は、メモリ１６上の操作情報
構造体１６ａを破壊して、そのメモリ空間を再利用可能
にするもので、構築時に返却された識別子を用いてメモ
リ１６上の操作情報構造体１６ａをクリアする。
【００２２】機能「映像データ取得」は、操作情報構造
体１６ａの映像操作情報を指定することにより、メモリ
１６上の映像操作情報の中で指定されている映像データ
ファイルを取得するものであり、映像データファイルの
識別子（ファイル名）が返却される。
【００２３】機能「時間区間範囲取得」は、操作情報構
造体１６ａの映像操作情報と映像の中に設定されている
場面の名前である時間区間識別子とを指定することによ
って、操作情報構造体１６ａの中で設定されている時間
区間情報の中から合致する時間区間情報を検索し、その
時間区間の開始フレームの位置および終了フレームの位
置を返却する。
【００２４】機能「経路情報検索」は、操作情報構造体
１６ａの映像操作情報と、時間区間情報の識別子と、ユ
ーザ操作が起きたときのフレーム位置と、マウス１２に
よって指定された画面座標とを指定することにより、ユ
ーザがどの操作対象を操作したかを操作対象情報の操作
対象識別子で返却する。
【００２５】これらのインタフェース機能により、再生
すべき映像データを取得し、映像上の場面を切り替え、
そして映像上のユーザ操作を処理するための、必要最小
限の機能が操作情報処理用ＤＬＬ１５を通じて提供され
ることになる。
【００２６】次に、ユーザがビデオ画面上で操作対象を
クリックしたときに操作対象を表す名前、すなわち、操
作対象識別子をどのようにして得るかの操作情報処理用
ＤＬＬ１５における処理について説明する。
【００２７】図４は経路情報検索処理の流れを示すフロ
ーチャートである。経路情報検索処理のときは、まず、
プレゼンテーション制御用スクリプト／インタプリタ１
４から操作情報処理用ＤＬＬ１５に対して、現在どの映
像データを再生しているかを指定する映像操作情報とと
もに、現在どの場面を再生しているかを指定する時間区
間ｒと、ビデオドライバ１３から取得したフレーム位置
ｆと、マウス１２から与えられたＸ，Ｙ座標ｘ，ｙとが
引き数として与えられる（ステップＳ１）。そして、初
期化として、時間区間ｒにおけるすべての操作対象に対
して検索を行うループ処理をするために、時間区間ｒに
登録された操作対象の数ｎ０をセットし、操作対象情報
ｉを０にセットする（ステップＳ２）。次に、操作対象
の数ｎ０と操作対象情報ｉとを比較する（ステップＳ
３）。ここで、ｉ＜ｎ０ならば、ｉ番目の操作対象情報
をｉ０とし（ステップＳ４）、ｉ０の最初の経路情報の
フレーム位置をｓｔａｒｔ、ｉ０の最後の経路情報のフ
レーム位置をｅｎｄとする（ステップＳ５）。ここで、
検索しようとしているフレーム位置ｆが最初と最後の経
路情報のフレーム位置の間に含まれるかどうかを判断す
る（ステップＳ６）。ここで、フレーム位置ｆが最初と
最後の経路情報のフレーム位置の間に含まれていなけれ
ば、次の操作対象情報に処理を移すため、ｉをカウント
アップして（ステップＳ７）、ステップＳ３に戻る。
【００２８】フレーム位置ｆが最初と最後の経路情報の
フレーム位置の間に含まれていれば、フレーム位置ｆの
直前の経路情報をｐｒｅｖ、直後の経路情報をｎｅｘｔ
とし（ステップＳ８）、ｐｒｅｖとｎｅｘｔとによりｆ
におけるｉ０の輪郭（ここでは、操作対象の輪郭を矩形
とする）を計算し、このときの矩形の左端Ｘ座標をｌｅ
ｆｔ、矩形の右端Ｘ座標をｒｉｇｈｔ、矩形の上端Ｙ座
標をｔｏｐ、矩形の下端Ｙ座標をｂｏｔｔｏｍとする
（ステップＳ９）。輪郭を求める方法については後述す
る。次に、マウス１２からの画面座標ｘ，ｙが矩形の範
囲内にあるかどうかを判断する（ステップＳ１０）。こ
こで、マウス１２の画面座標ｘ，ｙが矩形の中にあれ
ば、操作対象情報の中から操作対象ｉ０の名前を返却
し、矩形の中に画面座標がなければ、次の操作対象情報
と比較するために、ステップＳ７に戻る。ステップＳ３
において、ｉ＝ｎ０となれば、その時間区間におけるす
べての操作対象情報に対する領域内判定の結果、該当す
る操作対象情報はなく、マウス操作された操作対象は登
録されている操作対象情報ではないとして、空の文字列
を返す。
【００２９】次に、検索対象のフレーム位置における、
その前後のフレーム位置で操作対象を定義している経路
情報から輪郭情報を計算する場合の一例を以下に示す。
図５は輪郭情報を線形補間で求める方法を説明した図で
ある。
【００３０】この図において、ビデオ表示領域２１が示
されており、このビデオ表示領域２１の中に通常は幾つ
かの操作対象があるが、ここでは、説明を簡単にするた
め、操作対象は１つであるとする。この操作対象には、
動きの節目において、操作対象の輪郭がたとえば矩形の
形状で定義されている。操作対象は時間とともにビデオ
表示領域２１における位置および大きさが変化するた
め、動きの節目で、動きに合わせた輪郭が定義されてい
る。図では、映像データのある場面の中で、フレーム位
置Ｐ１，Ｐ２，Ｐ３にて動きの節目を有する１つの操作
対象の輪郭の変化を示しており、そのときの輪郭をＣ
１，Ｃ２，Ｃ３で示してある。これらの輪郭Ｃ１，Ｃ
２，Ｃ３はそれぞれ経路情報に定義され、これら経路情
報は操作対象情報を構成している。
【００３１】ここで、あるフレーム位置ＰＴにて、マウ
スによるユーザ操作が起こったときには、そのフレーム
を挟んでいる節目のフレーム、ここでは、フレーム位置
ＰＴの前後にあるフレーム位置Ｐ２，Ｐ３のフレームを
検索し、これらフレームの経路情報から輪郭Ｃ２，Ｃ３
の情報を得る。輪郭Ｃ２，Ｃ３の情報は、輪郭が矩形の
場合は、たとえば矩形の左端および右端のＸ座標、上端
および下端のＹ座標で定義されている。これらの座標か
ら輪郭Ｃ２，Ｃ３の４隅の座標が求められるので、対応
するコーナ同士を直線で結び、フレーム位置ＰＴにおけ
るこれらの直線上の点によって形成される輪郭が補間輪
郭ＣＩである。このようにして線形補間によって得られ
た補間輪郭ＣＩの中に画面座標があるかどうかを調べる
ことによって、ユーザが操作した操作対象を特定するこ
とができる。
【００３２】最後に、操作情報構造体１６ａを構成して
いる映像操作情報のデータ構造について説明する。図６
は映像操作情報のデータ構造を示す図である。
【００３３】映像操作情報は、この情報とリンクしてい
る映像データを指定するための映像データ識別子、すな
わち、ＡＶＩファイルの名前（ＡＶＩＦｉｌｅＮａｍ
ｅ）と、この映像操作情報に登録されている場面の数、
すなわち、時間区間の数（ＮｕｍＳｃｅｎｅｓ）と、こ
の映像に設定された時間区間に関する情報を管理してい
る時間区間情報のリストもしくは配列を保持している。
【００３４】それぞれの時間区間情報は、この時間区間
を他の時間区間から区別するための時間区間識別子（Ｓ
ｃｅｎｅＮａｍｅ）と、時間区間の始まりを指定するフ
レーム番号（ＳｔａｒｔＦｒａｍｅ）と、時間区間の終
わりを指定するフレーム番号（ＥｎｄＦｒａｍｅ）と、
時間区間に登録されている操作対象情報の数（ＮｕｍＳ
ｕｂｊｅｃｔ）と、この時間区間においてユーザ操作を
感知し得る操作対象の情報を管理している操作対象情報
のリストもしくは配列を保持している。
【００３５】それぞれの操作対象情報は、操作対象を指
定するための識別子（ＳｕｂｊｅｃｔＮａｍｅ）と、操
作対象に含まれる経路情報の数（ＮｕｍＮｏｄｅ）と、
その操作対象が映像の中で時間的にどのように配置を変
えるかを記述している経路情報のリストもしくは配列を
保持している。
【００３６】そして、それぞれの経路情報は、経路情報
が操作対象の運動の中でどのフレーム位置の情報を記述
しているかを指定する時間的位置を示したフレーム番号
（Ｆｒａｍｅ）と、そのフレーム位置における操作対象
の輪郭を記述した輪郭情報、すなわち、操作対象がこの
フレームにおいて占める矩形の左端座標（Ｌｅｆｔ）
と、操作対象がこのフレームにおいて占める矩形の上端
座標（Ｔｏｐ）と、操作対象がこのフレームにおいて占
める矩形の右端座標（Ｒｉｇｈｔ）と、操作対象がこの
フレームにおいて占める矩形の下端座標（Ｂｏｔｔｏ
ｍ）とをリストもしくは配列で保持している。なお、こ
こでは、輪郭の形状が矩形の場合を示したが、多角形で
定義することもできる。多角形の輪郭の場合は、輪郭情
報としては、多角形の頂点の座標のリストもしくは配列
で保持される。
【００３７】このように、操作対象情報は映像のフレー
ム毎に設定する必要はなく、操作対象の運動の節目節目
について設定すればよい形式になっており、これにより
映像操作に関する情報が軽量化され、イベント処理の高
速化を図ることができる。
【００３８】なお、上記の実施の形態では、経路情報が
定義されていないフレーム位置での輪郭情報を求める方
法として線形補間を使用したが、別の補間方法を使用し
てもよい。また、ここでは、場面毎にこれらを区別する
時間区間情報が映像データの中に設定されている場合に
ついて説明したが、フレーム番号だけでも映像データの
中のフレーム位置を特定することができるので、この時
間区間情報は必ずしも必要な情報ではない。
【００３９】
【発明の効果】以上説明したように本発明では、操作対
象情報を基に現在のフレームにおける各操作対象の未定
義の位置を計算し、座標指定装置が指示した座標を含む
位置の操作対象を検索するようにしたため、操作対象情
報を映像のフレーム毎に設定する必要はなく、操作対象
の運動の節目節目について設定すればよい。これにより
映像操作に関する情報が軽量化され、処理の高速化を図
ることができる。
【００４０】また、操作対象の検出時には、場面毎に定
義した時間区間を指定することもでき、その場合には、
その時間区間だけを検索すればよいので、同一映像デー
タの中での場面切り替えを効率よく高速にすることがで
きる。映像操作情報保持手段の操作対象情報は、操作対
象の運動の節目毎に設定すればよく、節目の間にあるフ
レーム位置の、定義されていない操作対象情報について
は、そのフレーム位置の前後に位置するフレーム位置の
操作対象情報を補間することによって得ることが可能な
ので、映像のフレーム毎に設定する必要がない分、情報
のサイズを大幅に小さくすることができ、操作対象情報
をメモリに展開してもシステムに負担を掛けることが少
ない。しかも、映像操作情報処理手段は特定の映像形式
のデータや映像駆動処理手段に依存していないので、独
立性が高く、様々なアプリケーションと容易に連携する
ことができる。
【図面の簡単な説明】
【図１】本発明のプレゼンテーションシステムの原理構
成を示す図である。
【図２】本発明のプレゼンテーションシステムの実施の
形態を示す構成図である。
【図３】操作情報処理用ＤＬＬのインタフェースの機能
を示した図である。
【図４】経路情報検索処理の流れを示すフローチャート
である。
【図５】輪郭情報を線形補間で求める方法を説明した図
である。
【図６】映像操作情報のデータ構造を示す図である。
【符号の説明】
１ 映像表示装置 ２ 座標指定装置 ３ 映像駆動処理手段 ４ プレゼンテーション制御処理手段 ５ 映像操作情報処理手段 ６ 映像操作情報保持手段 ７ 映像データ
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−247572（ＪＰ，Ａ) 特開 平４−163589（ＪＰ，Ａ) 特開 平３−204687（ＪＰ，Ａ) 特許3153720（ＪＰ，Ｂ２) 特表 平11−512902（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G09G 5/00 - 5/40

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項１】 動画映像データを映像表示装置に表示す
    るための処理を行う映像駆動処理手段と、 ユーザが動画映像上での被写体などの操作対象を指定す
    るために用いる座標指定装置と、 前記座標指定装置によって指定された操作対象に係わる
    場面の切り替えなどを処理するプレゼンテーション制御
    処理手段とを備えたビデオプレゼンテーションシステム
    において、ユーザによって操作されるべき各操作対象のフレーム毎
    に変化する位置のうち、前記動画映像データの一部のフ
    レームにおける各操作対象の位置を定義している操作対
    象情報を記憶する 映像操作情報保持手段と、前記座標指定装置から任意の操作対象の座標が指定され
    ると、前記映像操作情報保持手段に記憶されている前記
    操作対象情報を基に、現在のフレームにおける各操作対
    象の未定義の位置を計算し、前記座標指定装置が指示し
    た座標を含む位置の操作対象を検索し、前記座標指定装
    置によって指定された操作対象を検出する 映像操作情報
    処理手段と、 を備えていることを特徴とするビデオプレゼンテーショ
    ンシステム。
  2. 【請求項２】 動画映像データを映像表示装置に表示す
    るための処理を行う動画映像駆動処理手段と、 ユーザが動画映像上での被写体などの操作対象の座標を
    指定するために用いる座標指定装置と、 前記座標指定装置によって指定された操作対象に係わる
    場面の切り替えなどを処理するプレゼンテーション制御
    処理手段とを備えたビデオプレゼンテーションシステム
    において、 前記動画映像データを時間単位で分割した時間区間毎
    に、ユーザによって操作されるべき各操作対象のフレー
    ム毎に変化する位置のうち、前記動画映像データの一部
    のフレームにおける各操作対象の位置を定義している操
    作対象情報を記憶する映像操作情報保持手段と、 前記座標指定装置から任意の操作対象の座標が指定され
    ると、前記映像操作情 報保持手段に記憶されている現在
    の時間区間の操作対象情報を基に、現在のフレームにお
    ける現在の時間区間内の操作対象の未定義の位置を計算
    し、前記座標指定装置が指示した座標を含む位置の操作
    対象を検索し、前記座標指定装置によって指定された操
    作対象を検出する映像操作情報処理手段と、 を備えていることを特徴とする ビデオプレゼンテーショ
    ンシステム。
  3. 【請求項３】 前記映像操作情報処理手段は、各操作対象の位置が定義された前記一部のフレームのう
    ち、前記現在のフレームの直前のフレームと直後のフレ
    ームの操作対象情報を前記映像操作保持手段から検索
    し、検索された各操作対象情報に定義された操作対象の
    位置を補完することで、前記現在のフレームにおける操
    作対象の未定義の位置を計算することを特徴とする請求
    項１または請求項２のいずれか１つに記載の ビデオプレ
    ゼンテーションシステム。
  4. 【請求項４】 動画映像データを映像表示装置に表示す
    るための処理を行う動画映像駆動処理手段と、 ユーザが動画映像上での被写体などの操作対象の座標を
    指定するために用いる座標指定装置と、 前記座標指定装置によって指定された操作対象に係わる
    場面の切り替えなどを処理するプレゼンテーション制御
    処理手段とを備えたビデオプレゼンテーションシステム
    において、 前記動画映像データを時間単位で分割した時間区間毎
    に、ユーザによって操作されるべき各操作対象の前記時
    間区間内の任意の時点での位置を定義している操作対象
    情報を記憶する映像操作情報保持手段と、 前記座標指定装置から任意の操作対象の座標が指定され
    ると、前記映像操作情報保持手段に記憶されている現在
    の時間区間の操作対象情報を基に、現在の時間区間内の
    操作対象の未定義の位置を計算し、前記座標指定装置が
    指示した座標を含む位置の操作対象を検索し、前記座標
    指定装置によって指定された操作対象を検出する映像操
    作情報処理手段と、 を備えていることを特徴とする ビデオプレゼンテーショ
    ンシステム。
  5. 【請求項５】 前記映像操作情報処理手段は、プレゼン
    テーションしようと する動画映像データおよびそれに関
    連するユーザ操作の情報を格納しているファイルの内容
    を前記映像操作情報保持手段に展開したり、展開された
    情報を破棄する手段と、 前記映像駆動処理手段が再生すべき動画映像データを指
    定する情報を前記映像操作情報保持手段から取得する手
    段と、 前記座標指定装置によって指定された画面座標および現
    在映像駆動処理手段で再生している映像のフレーム位置
    と前記映像操作情報保持手段に保持されている操作対象
    情報とを基に映像上のどの操作対象がユーザ操作によっ
    て指定されたかを解析して操作対象の名前を取得する手
    段と、 を有していることを特徴とする請求項１から請求項４の
    いずれか１つに記載のビデオプレゼンテーションシステ
    ム。
JP27156295A 1995-10-19 1995-10-19 ビデオプレゼンテーションシステム Expired - Fee Related JP3335816B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP27156295A JP3335816B2 (ja) 1995-10-19 1995-10-19 ビデオプレゼンテーションシステム
US08/655,449 US5751296A (en) 1995-10-19 1996-05-30 Video presentation system
DE19624151A DE19624151C2 (de) 1995-10-19 1996-06-18 Videopräsentationssystem
GB9616912A GB2306836B (en) 1995-10-19 1996-08-12 Video presentation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27156295A JP3335816B2 (ja) 1995-10-19 1995-10-19 ビデオプレゼンテーションシステム

Publications (2)

Publication Number Publication Date
JPH09114427A JPH09114427A (ja) 1997-05-02
JP3335816B2 true JP3335816B2 (ja) 2002-10-21

Family

ID=17501817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27156295A Expired - Fee Related JP3335816B2 (ja) 1995-10-19 1995-10-19 ビデオプレゼンテーションシステム

Country Status (4)

Country Link
US (1) US5751296A (ja)
JP (1) JP3335816B2 (ja)
DE (1) DE19624151C2 (ja)
GB (1) GB2306836B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1046133B1 (en) * 1998-10-09 2004-01-14 Koninklijke Philips Electronics N.V. Deriving geometrical data of a structure from an image
JP3971346B2 (ja) * 2002-06-24 2007-09-05 株式会社東芝 動画像再生装置、スケジュール・データ、動画像再生方法、及びプログラム
US8504546B2 (en) * 2006-11-29 2013-08-06 D&S Consultants, Inc. Method and system for searching multimedia content
JP4349412B2 (ja) * 2006-12-12 2009-10-21 ソニー株式会社 監視装置及び監視方法
JP5163605B2 (ja) * 2009-07-14 2013-03-13 パナソニック株式会社 動画像再生装置および動画像再生方法
CN106569609B (zh) * 2016-11-11 2019-05-07 上海远鉴信息科技有限公司 改进型虚拟现实中用户传送方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1988006775A1 (en) * 1987-02-27 1988-09-07 Logicblend Limited Improvements in interactive video systems
US4860123A (en) * 1987-10-22 1989-08-22 Telaction Corporation Electronic store
JP3002471B2 (ja) * 1988-08-19 2000-01-24 株式会社日立製作所 番組配信装置
DE68926885T2 (de) * 1989-09-08 1997-01-09 Canon Kk Datenverarbeitungssystem mit Anzeigetafel
JPH03204687A (ja) * 1990-01-08 1991-09-06 Hitachi Ltd プレゼンテーション装置
GB9007661D0 (en) * 1990-04-04 1990-05-30 Ace Coin Equip Amusement apparatus
JPH0440604A (ja) * 1990-06-06 1992-02-12 Pioneer Electron Corp 電流伝達機構
JP3020590B2 (ja) * 1990-10-29 2000-03-15 株式会社日立製作所 動画像処理方法
JPH04247572A (ja) * 1991-02-04 1992-09-03 Hitachi Ltd スーパーインポーズ機能を備えたマルチメディアプレゼンテーション方法
SG67927A1 (en) * 1993-10-20 1999-10-19 Videoconferencing Sys Inc Adaptive videoconferencing system
JP3153720B2 (ja) * 1994-12-20 2001-04-09 富士通株式会社 ビデオプレゼンテーションシステム
US5708845A (en) * 1995-09-29 1998-01-13 Wistendahl; Douglass A. System for mapping hot spots in media content for interactive digital media program

Also Published As

Publication number Publication date
DE19624151C2 (de) 1999-04-01
GB2306836B (en) 1999-12-01
US5751296A (en) 1998-05-12
JPH09114427A (ja) 1997-05-02
GB2306836A (en) 1997-05-07
DE19624151A1 (de) 1997-04-24
GB9616912D0 (en) 1996-09-25

Similar Documents

Publication Publication Date Title
KR100194923B1 (ko) 동영상 정보 검색장치 및 방법
EP2127368B1 (en) Concurrent presentation of video segments enabling rapid video file comprehension
US6912726B1 (en) Method and apparatus for integrating hyperlinks in video
US7549122B2 (en) Object selection using hit test tracks
US9811237B2 (en) Visual navigation of virtual environments through logical processes
JP4789494B2 (ja) 画像フレーム処理方法、装置、レンダリングプロセッサおよび動画像表示方法
US7207006B1 (en) Run-time hypervideo hyperlink indicator options in hypervideo players
JP2002538642A (ja) ビデオドキュメントのオーサリング及びリンクのための方法及び装置
JPH11103441A (ja) クリップ表示方法とその表示装置
JP2009110536A (ja) 画像フレーム処理方法、装置、レンダリングプロセッサおよび動画像表示方法
JP3335816B2 (ja) ビデオプレゼンテーションシステム
JP2000350156A (ja) 動画像情報の記憶方法及びこれを記録した記録媒体
JPH1051733A (ja) 動画像編集方法および動画像編集装置および動画像編集手順を有するプログラムコードを記録する記録媒体
JP4154012B2 (ja) 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置
JP5850188B2 (ja) 画像表示システム
JPH10200814A (ja) 画像編集方法及び画像編集装置並びにコンピュータに画像編集処理動作を実行させるためのプログラムを記録した媒体
JPH08123816A (ja) 動画ハイパーメディア処理装置
JPH11261946A (ja) 映像表示方法および装置並びに該映像表示方法を記録した記録媒体
JP2765270B2 (ja) 動画像提示方法
JP2002015328A (ja) シーン記述を用いて表されるオブジェクトベースのユーザインタラクティブシーンをレンダリングする方法
JP2000020532A (ja) 画像データ検索システムおよびこれに用いる画像データ検索用端末装置および画像データ検索方法並びにプログラム記録媒体
CN101617531A (zh) 图像处理装置、运动图像播放装置及其处理方法和程序
KR980010873A (ko) 동영상 하이퍼 미디어 시스템
JP2003323439A (ja) マルチメディア情報提供方法、装置、プログラム及び該プログラムを格納した記録媒体
JPH1169265A (ja) 圧縮データの属性格納方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020723

LAPS Cancellation because of no payment of annual fees