JP2005094713A - データ表示システム、データ表示方法、プログラムおよび記録媒体 - Google Patents

データ表示システム、データ表示方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2005094713A
JP2005094713A JP2003329203A JP2003329203A JP2005094713A JP 2005094713 A JP2005094713 A JP 2005094713A JP 2003329203 A JP2003329203 A JP 2003329203A JP 2003329203 A JP2003329203 A JP 2003329203A JP 2005094713 A JP2005094713 A JP 2005094713A
Authority
JP
Japan
Prior art keywords
display
data
image
subject
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003329203A
Other languages
English (en)
Other versions
JP4414708B2 (ja
Inventor
Norihiko Murata
憲彦 村田
Shin Aoki
青木　　伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2003329203A priority Critical patent/JP4414708B2/ja
Publication of JP2005094713A publication Critical patent/JP2005094713A/ja
Application granted granted Critical
Publication of JP4414708B2 publication Critical patent/JP4414708B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】画像の表示変更を行う際も簡単な操作性を実現しかつ各被写体と画像理解を補助する付加情報との対応関係を常時損なわず、この観点からも臨場感がある上に非常にわかり易く見易く利便性に優れるデータ表示システムを提供する。
【解決手段】円卓等に３６０度周囲の複数の参加者を撮影するカメラ２８、音声を集音するマイクアレイ３４を置き、ビデオサーバ１２が動画配信プログラムでカメラ２８からの全方位の動画データ、マイクアレイ３４からの音声データ、話者方向データを取込みネットワーク１６を介し配信する。動画表示用ＰＣ１４は動画表示プログラムで動画データをパノラマ画像１１４に変換し画像表示し、音声データを再生し、話者位置表示マーク２３を話者（参加者）を指して表示し、位置指定領域９０で指定した位置を先頭にパノラマ画像内の参加者画像（話者）および該マーク２３の表示位置を同位置に変更する。
【選択図】 図８

Description

本発明は、１または複数の被写体を広角撮影した動画像や連続静止画像を付加情報とともにライブ配信して表示するか、要求時に配信して表示することが可能であり、かつ好みに応じて表示形態乃至表示位置を容易に変更したり全動画像や全連続静止画像のうち所望の位置の動画像等を容易に検索して表示したりすることが可能であるデータ表示技術の分野に係わり、具体的には、ユーザに対してわかり易い画像表示、並びに操作用の表示インタフェイスを提示することにより上記表示動作、表示形態の変更動作、検索動作を効率よく、かつ簡単に行うことを可能にするデータ表示システム、データ表示方法、プログラムおよび記録媒体に関する。
従来、例えば第１に、ディスプレイの右側に動画像を表示する動画像表示領域があり、動画像表示領域の下方に操作用の表示インタフェイスとして動画像の再生開始用の三角印のボタン、および停止用の四角印のボタンを設け、かつディスプレイの左側に所謂マーク表示領域があり、マーク表示領域には左側に記録時刻（乃至は記録開始後の相対時間）を表示し、右側に動画記録時に記録した横線を各記録時刻に対応して表示するとともに各横線上にキーデータの内容を表示し、更に動画再生を行う現在時刻に対応する位置に太い横線を表示するというもので、所望のキーデータの領域をクリックすると、動画表示を一時中断して対応する時刻にジャンプし該時刻の動画像を再生するという記録再生装置が知られている（例えば特許文献１参照。）。
上記記録再生装置には、画像表示領域中に左右のマイクで定められた横方向のある座標値に一致する音源方向に対応して音声レベルグラフを表示し、クリックでマーク付けしたい時刻を定め、かつキーデータを記録することで個人を特定し易くなり、これにより何時、誰が発言したかを観察しながらマーク付けし目的の時刻を指定できる構成を有し、また一方で、撮影した複数の被写体の画像を画像表示領域に表示し、任意の位置をクリックすると、ダイアログを表示して名前を書き込むことができ、該画像表示領域中に指定された範囲の角度に対応する領域（一つの被写体を囲う領域）を四角で囲い、その上に該名前を表示することができるという構成が備えられている。
また、例えば第２に、広角レンズを持つビデオカメラの出力映像信号を、ビデオ・キャプチャ装置を介してメモリに書き込み、該メモリから切り出す範囲の位置および大きさをマウスにより指定し、指定された切り出し範囲の画像データをメモリから読み出し、映像表示域の大きさに合うように画素密度を変換し、ディスプレイの映像表示ウインドウに表示する。これにより１台のカメラ装置で、方位およびズームを瞬時に切り換えた映像が得られるようにする映像処理装置が知られている（例えば特許文献２参照。）。
上記映像処理装置には、ディスプレイ上に撮影映像の一部を表示する映像表示ウインドウを設定し、その右側の領域には操作パネルを設定し、該操作パネルには撮影画像のうち映像表示ウインドウに表示する部分を指定する位置指定パネル、および映像表示ウインドウに表示する画像の倍率を指定する倍率指定パネルが設けられている。また、他の例として、ディスプレイ上の離れた四箇所の位置に切り出し範囲から切り出された画像を表示するカメラウインドウを設定し、各カメラウインドウの各々の右側に上述と同様の操作パネルを設けるという構成も開示されている。
また、例えば第３に、広角レンズを備えたビデオカメラの広範囲な実時間映像をフレームメモリに一時的に記憶し、複数端末から配信要求があると、フレームメモリの所定の部分領域映像または全体領域映像を同時に配信し、かつ一方で、複数端末からユーザが興味のある部分の領域映像の配信要求を受けると、フレームメモリから部分領域を切り出しカメラフレームと同一に生成した部分領域映像を同時に配信する。これにより、複数端末から同一カメラ映像を同時に制御可能とし、ユーザ毎に異なる視点で眺められる可変領域を得られるようにした可変領域を得うる映像配信方法が知られている（例えば特許文献３参照。）。
上記可変領域を得うる映像配信方法では、利用者が配信する部分領域映像を操作するためのインタフェイスとして、ディスプレイ内の映像を出力するウインドウの下方に、表示空間の８方向への移動用のボタン、全体表示用のボタン、拡大用のボタン、縮小用のボタン、配信開始用のボタン、および配信終了用のボタンを設定している。
特開２００２−２４７４８９号公報 特開平８−２３７５９０号公報 特開平９−２６１５２２号公報
しかしながら、第１の従来例においては、経時的に変化するため一瞥することができない音声や動画像の中の特に重要な部分を正確に、かつ簡単に取り出すことができるように所謂マーク表示領域や音声レベルグラフを設定し表示する旨が記載されているが、殊に動画像の表示に関してはあらかじめ設定された一つの動画像表示領域内に単に表示するのみであり、動画像表示領域内で複数の被写体の表示位置を所望の位置に変更するといったことを実現する構成は備えておらず、したがって被写体の表示が固定的で短調となり易い欠点がある。
第２の従来例においては、１台のカメラ装置で方位およびズームを瞬時に切り換えた映像が得られるようにディスプレイ上の離れた四箇所の位置に一つの撮影画像から切り出された画像を表示する４つのカメラウインドウを設定する旨開示されているが、一度、一つの撮影画像をチルトコマンド、パンコマンド、ズームコマンドにより切り出し範囲を定めて切り出し４つのカメラウインドウに振り分けて画像表示した後、各カメラウインドウの表示内容を入れ換えるには、最初の切り出し範囲の設定作業を行い直すか、あるいは例えばドラッグアンドドロップ等の技術を用いるかしなければならず、操作作業的に非常に面倒である欠点がある。
第３の従来例においては、複数端末から同一カメラ映像を同時に制御し、利用者毎に異なる視点で眺められる可変領域を得るためにフレームメモリから部分領域を切り出しカメラフレームと同一に生成した部分領域映像を配信するようにしているが、利用者側ディスプレイの映像出力用ウインドウには、一つのカメラ映像を例えば拡大し移動用のボタンを操作することで表示位置を変更することができるというもので、殊に映像出力用ウインドウに複数の画像を表示させるということは困難であり、このため映像出力用ウインドウ内で複数の画像の表示位置を容易に入れ換える等により変更するといったことは到底行い得ないという欠点がある。
一方、本出願人は、複数の被験者に対して、広範囲のシーンを撮影した動画データの表示形態を複数提示し、どれが最も好ましいかを評価する試験を行った。その結果、１．部分的な画像よりもシーンの全体を示す画像の方が、臨場感が伝わりやすい。２．さらに、話者や主被写体の位置など、シーン全体の画像に説明を加えるような付加情報を同時に表示すると一層わかりやすい、という評価結果を得た。この評価結果から勘案すると、上記第１乃至第３の従来例においては、何れも所謂指定された部分的な映像領域を表示するよう構成されているため、ユーザにとっては必ずしもわかり易く利便性の高い表示形態ではないと言える。
空間的に広範囲の画像を表示する際には、例えば、３６０度の撮像範囲を持つカメラ（全方位カメラ）で例えば会議の様子を撮影した例を考えると、例えば会議の主催Ａが他の参加者Ｂ，Ｃ，Ｄ等に連絡事項を伝えている場合、このときに出力される画像は、全方位カメラの設置方向によっては、主催者Ａが中途半端な位置に位置付けられてしまう可能性がある。これを防ぐためには、各参加者の居場所に注意しながら、全方位カメラの向きが適切となるよう設置する必要があり、この点使い慣れるまで面倒であり利便性を損ねる。また、全方位カメラが固定されている場合、画像の構図が適切となるよう、主催者の座る位置を予め規定することが要求されるが、これも利便性の点で好ましくない。
本発明は、シーン撮影中または記録後に、ユーザ（視聴者）に煩雑な作業や配慮を強いることなく、ユーザの理解を補助しながらその時間的に変化する画像を所望の構図で表示乃至は表示変更することを可能にし、もって臨場感があり非常にわかり易くかつ見易く利便性に優れたデータ表示にすることを第１の目的とし、かつ撮影中または記録後に、画像の表示変更を行う際も、極めて簡単な操作性を実現するとともに画像理解を補助するための各被写体に関係する付加情報を各被写体との対応関係を損なわず非常にわかり易くかつ見易く利便性に優れるという観点を更に向上させることを第２の目的とし、しかも撮影中または記録後に、ユーザが既に視聴後の画像もしくは未視聴の画像の表示内容および音声内容の時間的変化を直観的に理解することを可能ならしめることを第３の目的とするデータ表示システム、データ表示方法、プログラムおよび記録媒体を提供するものである。
上述した課題を解決し、目的を達成するため、この発明にかかるデータ表示システムは、１または複数の被写体を撮影して時間的に変化し得る画像データを取得する画像データ取得手段と、前記画像データ取得手段が取得した前記画像データを画像表示手段の所定の画像表示領域に表示する第１の表示手段と、前記被写体に関連する付加情報を取得する付加情報取得手段と、前記付加情報を前記画像表示手段の他の所定の付加情報表示領域に表示する第２の表示手段と、前記画像データの表示形態乃至表示位置変更、あるいは前記画像データおよび前記付加情報の表示形態乃至表示位置変更を指定する指定手段と、前記指定手段が指定した前記表示形態乃至表示位置変更に基づいて、前記画像データ、あるいは前記画像データおよび前記付加情報の表示形態乃至表示位置を変更する表示変更手段とを備えたことを特徴とする。
また、前記画像データ取得手段は、３６０度周囲の方向の前記被写体を撮影するための双曲面ミラーを含むカメラ部を備えたことを特徴とする。また、前記第１の表示手段は、前記３６０度周囲の方向の前記被写体を撮影した画像データをパノラマ画像に変換して前記所定の画像表示領域に画像表示する画像変換手段を備えたことを特徴とする。また、前記被写体が発する音声や音もしくは楽音を収集し再生し出力する音響収集手段を備えたことを特徴とする。また、複数のマイクと、該複数のマイクの集音状態から音源の方向を識別し音源方向データを前記付加情報の一つとして生成する音源方向識別手段とを備えたことを特徴とする。
また、前記第２の表示手段は、前記画像表示手段の前記所定の画像表示領域に対し前記他の所定の付加情報表示領域を隣接させ、かつ該所定の付加情報表示領域に前記所定の画像表示領域内の各被写体毎の位置に合わせ各被写体毎に関係する前記付加情報を表示させることを特徴とする。また、前記第１の表示手段は、前記所定の画像表示領域内の隣合う各被写体の間の略等分の位置毎に空間内の方向乃至は背景と同一の画像データを表示させることを特徴とする。また、前記第２の表示手段は、前記所定の画像表示領域に対し、前記他の所定の付加情報表示領域として、前記音源方向データに対応して前記発音者である被写体を指向する音源位置表示マークを表示する音源位置表示領域を隣接させることを特徴とする。また、前記第２の表示手段は、前記所定の画像表示領域内の発音者である被写体の表示位置に対し前記音源位置表示マークの表示位置を一致させる座標変換テーブルを含んだことを特徴とする。また、前記第２もしくは第３の表示手段は、前記所定の画像表示領域に対し、前記指定手段により前記画像データの表示形態乃至表示位置を変更する際の先頭位置もしくは先頭位置および移動先位置を指定するための位置指定領域を隣接させることを特徴とする。
また、前記指定手段により前記画像データの表示形態乃至表示位置を変更する際の先頭位置を指定する際は、前記所定の画像表示領域内において前記被写体外の所要の空間内の方向を指定することを特徴とする。また、前記表示変更手段は、前記位置指定領域中で前記指定手段により所要の位置が指定された場合、前記所定の画像領域内の該位置の画像データを先頭位置として後続する画像データとともに該所定の画像表示領域の一端もしくは所要の位置に移動させ、かつ該所定の画像表示領域内の前記先頭位置と前記所定の画像表示領域の移動先との間の画像データを前記後続する画像データの最後尾にリンクさせるか、あるいは前記先頭位置の移動とともに前記一端からはみ出す分の画像データを前記後続する画像データの最後尾にリンクさせ、かつ前記表示変更手段は、前記画像データの移動時の前記発音者である被写体に合わせて前記音源位置表示マークの表示位置を変更させることを特徴とする。
また、前記第１の表示手段は、前記所定の画像領域として、少なくとも被写体の数に応じた互いに離間する複数の被写体表示領域を設定し、かつ前記第２の表示手段は、前記複数の被写体表示領域のうち発音者である被写体を画像表示する被写体表示領域を囲う発音者表示マークを表示し、更に前記指定手段は、前記複数の被写体表示領域の付近に表示された前記複数の被写体表示領域内の各画像データの表示順序を変更するための表示順序変更ボタンを含んだことを特徴とする。また、前記表示変更手段は、所要の操作で前記第１の表示手段により表示した前記所定の画像表示領域、あるいは前記互いに離間する複数の被写体表示領域のうちいずれか一つに切り換えることを特徴とする。
また、前記指定手段は、前記画像データの表示形態乃至表示位置を変更する際に、所要の操作で前記所定の画像表示領域内、もしくは前記互いに離間する複数の被写体表示領域で位置的に各被写体の表示順序を指定することを特徴とする。また、前記第２の表示手段は、前記所定の画像表示領域、あるいは前記各被写体表示領域毎に画像表示した各被写体付近に該被写体に関係する付加情報として参加者ＩＤもしくは参加者名を表示することを特徴とする。また、前記所定の画像表示領域、あるいは前記互いに離間する複数の被写体表示領域の付近に各被写体の発音時の時刻乃至イベント開始後の経過時間、および発音継続時間を記録したタイムチャートを表示することを特徴とする。
また、前記表示変更手段は、前記位置指定領域中で前記指定手段により所要の位置が指定されて前記被写体の画像データを移動させる場合、該被写体の画像データの移動に合わせて前記タイムチャート内の各被写体毎の発音時の時刻乃至イベント開始後の経過時間、および発音継続時間の記録内容を移動先の核被写体に合わせて移動させることを特徴とする。また、前記表示変更手段は、前記タイムチャート内の所要の位置の記録内容が指定された場合、該位置からの画像データ、音声データ、付加情報を出力することを特徴とする。前記所定の画像表示領域、あるいは前記互いに離間する複数の被写体表示領域の付近に再生用ボタン、停止用ボタン、一時停止用ボタン、巻き戻し用ボタン、早送り用ボタン等を含む操作インタフェイスを表示することを特徴とする。
また、１または複数の被写体を撮影して時間的に変化し得る画像データを取得する前記画像データ取得手段、前記被写体に関連する付加情報を取得する前記付加情報取得手段、前記被写体の音声や音もしくは楽音を収集する前記音響収集手段、前記画像データ、前記付加情報、音声データ、音データ、もしくは楽音データを記憶する記憶手段、および、前記画像データ、前記付加情報、前記音声データ等をネットワークを介しライブ配信するか、前記画像データ、前記付加情報、前記音声データ等を前記記憶手段から読み出して該ネットワークを介し配信する配信手段を備えたビデオサーバと、前記ビデオサーバが配信する前記画像データ、前記付加情報、前記音声データ、前記音データ、もしくは前記楽音データを前記ネットワークを介し受信する受信手段、前記画像データ、前記付加情報、前記音声データ、前記音データ、もしくは前記楽音データを記憶する記憶手段、前記画像データを画像表示手段の所定の画像表示領域に表示する前記第１の表示手段、前記付加情報を前記画像表示手段の前記他の所定の付加情報表示領域に表示する前記第２の表示手段、前記音声データ等を再生し出力する前記音響出力手段、前記画像データの表示形態乃至表示位置変更、あるいは前記画像データおよび前記付加情報の表示形態乃至表示位置変更を指定する前記指定手段、および、前記指定手段が指定した前記表示形態乃至表示位置変更に基づいて前記画像データあるいは前記画像データおよび前記付加情報の表示形態乃至表示位置を変更する前記表示変更手段を備えた動画表示用パーソナルコンピュータとを備えて構成したことを特徴とする。
また、前記ビデオサーバは、前記所定の画像表示領域、あるいは前記互いに離間する複数の被写体表示領域の付近に各被写体の発音時の時刻乃至イベント開始後の経過時間、および発音継続時間を記録したタイムチャートを生成して送信し、前記動画表示用パーソナルコンピュータは、前記タイムチャートを受信乃至は生成して前記所定の画像表示領域、あるいは前記互いに離間する複数の表示領域の付近に表示することを特徴とする。
また、１または複数の被写体を撮影して時間的に変化し得る画像データを取得して画像表示手段の所定の画像表示領域に表示し、前記被写体に関連する付加情報を取得して前記画像表示手段の他の所定の付加情報表示領域に表示し、所望により前記画像データの表示形態乃至表示位置変更、あるいは前記画像データおよび前記付加情報の表示形態乃至表示位置変更を指定し、該指定に基づいて前記画像データおよび前記付加情報の表示形態乃至表示位置を変更することを特徴とする。
また、前記画像データを取得する際に、３６０度周囲の方向の前記被写体を撮影して前記画像データをパノラマ画像に変換し前記所定の画像表示領域に画像表示することを特徴とする。また、前記被写体が発する音声や音、もしくは楽音を収集し再生し出力することを特徴とする。また、前記音声や音、もしくは楽音を収集する際に、音源の方向を識別する音源方向データを生成し前記付加情報の一つとして表示することを特徴とする。また、前記画像表示手段の前記所定の画像表示領域に対し前記他の所定の付加情報表示領域を隣接させることを特徴とする。
また、前記他の所定の付加情報表示領域に対し、前記音源方向データに対応して前記発音者である被写体を指向する音源位置表示マークを表示することを特徴とする。前記所定の画像表示領域に対し、前記画像データの表示形態乃至表示位置を変更する際の先頭位置を指定するための位置指定領域を隣接させることを特徴とする。また、前記画像データの表示形態乃至表示位置を変更する際に、前記位置指定領域中で所要の位置を指定し、前記所定の画像表示領域内の該位置にあたる画像データを先頭位置として後続する画像データとともに該所定の画像表示領域の一端もしくは所要の位置に移動させ、かつ該所定の画像領域内の前記先端位置と前記所定の画像領域の移動先との間の画像データを前記後続する画像データの最後尾にリンクさせるか、あるいは前記移動に伴い前記一端からはみ出す分の画像データを前記後続する画像データの最後尾にリンクさせ、かつ前記画像データの移動時の前記発音者である被写体に合わせて前記音源位置表示マークの表示位置を変更させることを特徴とする。また、前記所定の画像表示領域として、少なくとも被写体の数に応じた互いに離間する複数の被写体表示領域を設定し、かつ前記複数の被写体表示領域のうち発音者である被写体を画像表示する被写体表示領域を囲う音源位置表示マークを表示し、更に前記複数の被写体表示領域の付近に表示された表示順序変更ボタンで前記複数の被写体表示領域内の各画像データの表示順序を変更することを特徴とする。
また、前記画像データの画像表示に際して、所要の操作で前記所定の画像表示領域、あるいは前記互いに離間する複数の被写体表示領域のうち何れかを使用することを特徴とする。また、前記所定の画像表示領域、あるいは前記各被写体表示領域毎に画像表示した各被写体に関係し参加者ＩＤもしくは参加者名を表示することを特徴とする。また、前記所定の画像領域、あるいは前記互いに離間する複数の被写体表示領域の付近に各被写体の発音時の時刻乃至イベント開始後の経過時間、および発音継続時間を記録したタイムチャートを表示することを特徴とする。また、前記位置指定領域中で所要の位置が指定されて前記被写体の画像データを移動させる場合に、該被写体の画像データの移動に合わせて前記タイムチャート内の各被写体毎の発音時の時刻乃至イベント開始後の経過時間、および発音継続時間の記録内容を移動先の各被写体に合わせて移動させることを特徴とする。
また、ビデオサーバに対し、１または複数の被写体を撮影して時間的に変化し得る画像データを取得して記憶させ、前記被写体に関連する付加情報を取得して記憶させ、前記被写体の音声や音もしくは楽音を収集して記憶させ、かつ、前記画像データ、前記付加情報、前記音声データ等をネットワークを介しライブ配信を行わせるか、もしくは前記画像データ、前記付加情報、前記音声データ等を記憶手段から読み出して該ネットワークを介し配信を行わせ、動画表示用パーソナルコンピュータに対し、前記ビデオサーバが配信する前記画像データ、前記付加情報、前記音声データ、前記音データ、もしくは前記楽音データを前記ネットワークを介し受信させるとともに、前記画像データを画像表示手段の所定の画像表示領域もしくは前記互いに離間する複数の被写体表示領域に表示させ、前記付加情報を前記画像表示手段の他の所定の付加情報表示領域に表示させ、前記音声データ等を再生し出力させ、かつ所定の操作で前記画像データの表示形態乃至表示位置、あるいは前記画像データおよび前記付加情報の表示形態乃至表示位置を変更させることを特徴とする。
また、前記ビデオサーバに対し、前記所定の画像表示領域、あるいは前記互いに離間する複数の被写体表示領域の付近に各被写体の発音時の時刻乃至イベント開始後の経過時間、および発音継続時間を記録したタイムチャートを生成して送信させ、前記動画表示用パーソナルコンピュータに対し、前記タイムチャートを受信するか生成して前記所定の画像表示領域、あるいは前記互いに離間する複数の表示領域の付近に表示させることを特徴とする。
また、複数のマイクから音声データを取得するステップと、前記各マイクの音声データから話者方向を検出して話者方向データを生成するステップと、前記話者方向データに基づいて所定の画像表示領域内において話者位置を指し示す付加情報として話者位置表示マークを生成し表示させるか、ネットワークを介しライブ配信するか、配信要求の受付時に該ネットワーク介し送信するステップとを含んだことを特徴とする。また、被写体である参加者を撮影した画像データを取得するステップと、前記参加者の画像データを記憶手段に記憶された各参加者の画像データと比較することで前記被写体である参加者の参加者ＩＤもしくは参加者名データを特定するステップと、前記参加者ＩＤもしくは前記参加者名データを該被写体である参加者に対応させ記憶するステップと、前記参加者ＩＤもしくは前記参加者名データを付加情報として文字表示させるか、ネットワークを介しライブ配信するか、配信要求の受付時に該ネットワーク介し送信するステップとを含んだことを特徴とする。
また、画像表示要求乃至画像配信要求を受付けるステップと、３６０度周囲の１または複数の被写体を撮影し時間的に変化し得る画像データを取得するステップと、前記画像データをパノラマ画像に変換するステップと、前記パノラマ画像に展開された画像データを記憶手段に記憶するステップと、前記パノラマ画像に展開された画像データを画像表示させるか、ネットワークを介しライブ配信するか、配信要求の受付時に該ネットワーク介し送信するステップと、前記被写体が発した音声の音声データ、音の音データ、もしくは楽音の楽音データを収集するステップと、前記音声データ、音データ、もしくは楽音データを記憶手段に記憶するステップと、前記音声データ、音データ、もしくは楽音データを出力させるか、前記ネットワークを介しライブ配信するか、配信要求の受付時に前記記憶手段から読み出して該ネットワークを介し配信するステップと、前記被写体に関係する付加情報を取得するステップと、前記付加情報を記憶手段に記憶するステップと、前記付加情報を表示するか、前記ネットワークを介しライブ配信するか、配信要求の受信時に前記記憶手段から読み出して該ネットワークを介し配信するステップとを含んだことを特徴とする。各被写体の発音時の時刻乃至イベント開始後の経過時間および発音時間を記録したタイムチャートを生成するステップと、前記タイムチャートを記憶手段に記憶するステップと、前記タイムチャートを画像表示させるか、ネットワークを介しライブ配信するか、配信要求の受付時に該ネットワーク介し送信するステップとを含んだことを特徴とする。
また、画像配信要求をネットワークを介し送信するステップと、前記ネットワークを介し３６０度周囲の１または複数の被写体を撮影した時間的に変化し得る画像データを取得するステップと、前記画像データを画像表示手段の所定の画像表示領域に画像表示させるステップと、前記ネットワークを介し前記被写体が発した音声の音声データ、音データ、もしくは楽音データを取得するステップと、前記音声データ、音データ、もしくは楽音データを出力手段に出力させるステップと、前記ネットワークを介し前記被写体に関係する参加者ＩＤ、参加者名、もしくは音源位置表示マーク等の付加情報を取得するステップと、前記付加情報のうち参加者ＩＤ、参加者名を前記画像表示手段の前記所定の画像表示領域の関係する前記被写体付近に表示させ、音源位置表示マークを前記所定の画像表示領域に隣接する他の付加情報表示領域において前記被写体である話者に対応する位置に表示させるステップと、前記所定の画像表示領域に対し、前記画像データの表示形態乃至表示位置を変更する際の先頭位置乃至は先頭位置および移動先位置を指定、もしくは移動対象の表示画像および移動先を指定するための位置指定領域を隣接させ、かつ該指定を認識するステップと、前記指定の認識に基づいて前記所定の画像表示領域において前記画像データを移動先に移動させ、この際に、該画像データがスクロール的に移動する場合は該画像データの最後尾に対し、前記画像データの先頭位置から移動先位置までの画像データをリンクさせるか、あるいは前記先頭位置の移動とともに移動して前記所定の画像表示領域の一端からはみ出す分の画像データをリンクさせるステップと、前記指定の認識に基づいて前記画像データの移動時の前記発音者である被写体に合わせて前記参加者ＩＤ、前記参加者名、前記音源位置表示マークの表示位置を変更させるステップとを含んだことを特徴とする。
また、前記ネットワークを介し各被写体の発音時の時刻乃至イベント開始後の経過時間および発音時間を記録したタイムチャートを取得するステップと、前記所定の画像表示領域、あるいは互いに離間する複数の表示領域の付近に前記タイムチャートを表示するステップと、前記画像データの移動時に、該画像データの移動に合わせて前記タイムチャート内の各被写体毎の発音時の時刻乃至イベント開始後の経過時間および発音継続時間の記録内容を移動先の各被写体に合わせて移動させるステップとを含んだことを特徴とする。
また、複数のマイクから音声データを取得する処理手順と、前記各マイクの音声データから話者方向を検出して音源方向データを生成する処理手順と、前記話者方向データに基づいて所定の画像表示領域内において話者位置を指し示す付加情報として音源位置表示マークを生成し表示させるか、ネットワークを介しライブ配信するか、配信要求の受信時に該ネットワーク介し送信する処理手順とを含むプログラムを記録したことを特徴とする。被写体である参加者を撮影した画像データを取得する処理手順と、前記参加者の画像データを記憶手段に記憶された各参加者の画像データと比較することで前記被写体である参加者の参加者ＩＤもしくは参加者名データを特定する処理手順と、前記参加者ＩＤもしくは前記参加者名データを該被写体である参加者に対応させ記憶する処理手順と、前記参加者ＩＤもしくは前記参加者名データを付加情報として文字表示させるか、ネットワークを介しライブ配信するか、配信要求の受信時に該ネットワーク介し送信する処理手順とを含むプログラムを記録したことを特徴とする。
また、画像表示要求乃至画像配信要求を受付ける処理手順と、３６０度周囲の１または複数の被写体を撮影し時間的に変化し得る画像データを取得する処理手順と、前記画像データをパノラマ画像に変換する処理手順と、前記パノラマ画像に変換された画像データを記憶手段に記憶する処理手順と、前記パノラマ画像に変換された画像データを画像表示させるか、ネットワークを介しライブ配信するか、配信要求の受信時に該ネットワーク介し送信する処理手順と、前記被写体が発した音声の音声データ、音の音データ、もしくは楽音の楽音データを収集する処理手順と、前記音声データ、音データ、もしくは楽音データを記憶手段に記憶する処理手順と、前記音声データ、音データ、もしくは楽音データを出力させるか、前記ネットワークを介しライブ配信するか、配信要求の受信時に前記記憶手段から読み出して該ネットワークを介し配信する処理手順と、前記被写体に関係する付加情報を取得する処理手順と、前記付加情報を記憶手段に記憶する処理手順と、前記付加情報を表示するか、前記ネットワークを介しライブ配信するか、配信要求の受信時に前記記憶手段から読み出して該ネットワークを介し配信する処理手順とを含むプログラムを記録したことを特徴とする。各被写体の発音時の時刻乃至イベント開始後の経過時間および発音継続時間を記録したタイムチャートを生成する処理手順と、前記タイムチャートを記憶手段に記憶する処理手順と、前記タイムチャートを画像表示させるか、ネットワークを介しライブ配信するか、配信要求の受信時に該ネットワーク介し送信する処理手順とを含んだことをプログラムを記録したことを特徴とする。
また、画像配信要求をネットワークを介し送信する処理手順と、前記ネットワークを介し３６０度周囲の１または複数の被写体を撮影した時間的に変化し得る画像データを取得する処理手順と、前記画像データを画像表示手段の所定の画像表示領域に画像表示させる処理手順と、前記ネットワークを介し前記被写体が発した音声の音声データ、音データ、もしくは楽音データを取得する処理手順と、前記音声データ、音データ、もしくは楽音データを音響出力手段に出力させる処理手順と、前記ネットワークを介し前記被写体に関係する参加者ＩＤ、参加者名、もしくは音源位置表示マーク等の付加情報を取得する処理手順と、前記付加情報のうち参加者ＩＤ、参加者名を前記画像表示手段の前記所定の画像表示領域の関係する前記被写体付近に表示させ、音源位置表示マークを前記所定の画像表示領域に隣接する他の付加情報表示領域において前記被写体である話者に対応する位置に表示させる処理手順と、前記所定の画像表示領域に対し、前記画像データの表示形態乃至表示位置を変更する際の先頭位置乃至は先頭位置および移動先位置を指定、もしくは移動対象の表示画像および移動先を指定するための位置指定領域を隣接させ、かつ該指定を認識する処理手順と、前記指定の認識に基づいて前記所定の画像表示領域において前記画像データを移動先に移動させ、この際に、該画像データがスクロール的に移動する場合は該画像データの最後尾に対し、前記画像データの先頭位置から移動先位置までの画像データをリンクさせるか、あるいは前記先頭位置の移動とともに移動して前記所定の画像表示領域の一端からはみ出す分の画像データをリンクさせる処理手順と、前記指定の認識に基づいて前記画像データの移動時の前記発音者である被写体に合わせて前記参加者ＩＤ、前記参加者名、前記音源位置表示マークの表示位置を変更させる処理手順とを含むプログラムを記録したことを特徴とする。
また、前記ネットワークを介し各被写体の発音時の時刻乃至イベント開始後の経過時間および発音継続時間を記録したタイムチャートを取得する処理手順と、前記所定の画像表示領域、あるいは互いに離間する複数の被写体表示領域の付近に前記タイムチャートを表示する処理手順と、前記画像データの移動時に、該画像データの移動に合わせて前記タイムチャート内の各被写体毎の発音時の時刻乃至イベント開始後の経過時間および発音継続時間の記録内容を移動先の各被写体に合わせて移動させる処理手順とを含むプログラムを記録したことを特徴とする。また、前記所定の画像表示領域の表示と、前記互いに離間する複数の被写体表示領域の表示とを切り換える処理手順を含むプログラムを記録したことを特徴とする。
本発明によれば、シーン撮影時にユーザに煩雑な作業や配慮を強いることなく、撮影中または記録後に、時間的に変化する画像を所望の構図で表示することが可能となり、かつ撮影中または記録後に、画像とその付加情報を互いの対応関係を明確にして表示し、その対応関係を保持したまま表示形態乃至表示位置を変更可能にし、更にタイムチャートの表示を含め直観的にユーザの理解を補助することが可能となり、非常にわかり易くかつ扱い易く利便性に優れるものである。
即ち、本発明によれば、画像データ取得手段により３６０度周囲の方向の複数の被写体を撮影し、パノラマ画像（乃至パノラマ的画像）に変換して画像表示するよう構成したため、部分的な画像ではなく、３６０度周囲のシーン全体が広範囲な画像として表示されるものとなり非常に臨場感が伝わり易く、かつパノラマ画像（乃至パノラマ的画像）に隣接乃至近接して所定の付加情報表示領域を設けて例えば三角印の話者位置表示マーク（話者表示マーク）を話者である参加者の位置に対応させ表示するようにしたため、シーン全体の画像に話者位置や主被写体の位置等の所謂説明表示を加えるものとなりパノラマ画像（乃至パノラマ的画像）が一層わかり易く、かつ非常に見易く興味を引付けるものとなり、しかもパノラマ画像（乃至パノラマ的画像）に隣接乃至近接して位置指定領域を設けて例えば指定手段により所望の位置を指定すると、画像の所望の位置（指定位置）を先頭位置として所謂スクロールするように画像全体を移動させることが可能となるため、極めて簡単な操作で好みの画像に変更することが可能であり非常に操作性がよくかつ扱い易く利便性に優れる効果がある。
また、本発明によれば、位置指定領域のような操作インタフェイスを表示するため、ユーザは、撮影中に画像データ取得手段の向きを変える等の調整を行わなくとも、撮影中のシーンの構図を容易に変更することができ、常にバランスよく最適で非常に見易い構図を設定し、この結果、今誰が発話しているのかを一目で直観的に知ることができる。このことは例えば画像データ取得手段の構成要素であるカメラ部を一度ある位置、例えばイベント会場等のテーブル上等のある位置等に一度置いた後は、カメラ部側の設定等を調整する必要が全くないことを意味しており、したがってイベント会場側においても高度な技術を要することなく誰でも使用することができ、この観点からも非常に扱い易く利便性に優れる効果がある。
（実施の形態１）
以下に、図１乃至図１４を参照し本発明の実施の形態１に係わるデータ表示システムについて説明する。図１は本実施の形態のデータ表示システム１０を概略的に説明する説明図である。図１において、１２はビデオサーバであり、１４は動画表示用ＰＣ（Personal Computer）であり、互いにネットワーク（乃至はＬＡＮケーブル）１６を通じて接続されている。但し、ビデオサーバ１２と動画表示用ＰＣ１４は同じ場所にある必要はなく、ネットワーク１６を通じて物理的に接続されていれば任意の離れた場所に設置可能である。
ビデオサーバ１２は、図２に示すように、例えば詳しくは後述する画像変換プログラム、話者検出プログラム、動画配信プログラム、動画表示プログラム等が記録可能なＥＰＲＯＭ（記憶手段：Erasable Programmable Read-only Memory）２２と、例えば後述する付加情報として参加者ＩＤ、参加者名、音源位置表示マーク（以下話者位置表示マーク２３と称する）等が記憶可能なＲＡＭ（記憶手段：Random Access Memory）２４と、ＶＲＡＭ（記憶手段：Video Random Access Memory）２６と、カメラ（画像データ取得手段）２８が撮影した画像データ（動画データもしくは連続静止画データ）を詳しくは後述する演算処理を用いて変換した横長矩形状の画像（以下パノラマ画像と称する）をＶＲＡＭ２６あるいはＨＤＤ（記憶手段：Hard Disk Drive）３０に記憶するビデオキャプチャ３２を有する。また、マイクアレイ（音響収集手段）３４が被写体である話者（参加者）が発する音声や音、および話者もしくは周囲の音源が発する楽音等を集音し生成した音声データ、音データ、もしくは楽音データもＨＤＤ３０に記録可能である。
また、ＲＡＭ２４、ＶＲＡＭ２６、ＨＤＤ３０内の付加情報や、画像データ、音声データ等のアドレスを制御するアドレス制御部３８と、パノラマ画像や付加情報等を画像表示する画像表示手段としてのディスプレイ４０と、キーボード４２と、マイクアレイ３４が集音し生成した音声データ、音データ、もしくは楽音データを再生し出力する音響再生部（音響出力手段）４４およびその一部をなすスピーカ４６と、画像データ、音声データ等のネットワーク１６を介しての送受信を行う送受信部（配信手段）４８と、通信インタフェイス（例えばＩＥＥＥ１３９４等）５０と、全体を制御するＣＰＵ（Central Processing Unit）５２とを備えている。
カメラ２８は、図３に示すように、平板状の台座５６上の中心位置に集光レンズ５８を垂直上方に向けた状態で載置された所謂ビデオカメラ（全方位カメラ）であり、例えば外観的には円筒状の構成を有し、内部には撮像素子（図示せず）を備えている。カメラ２８の上方を向く前面の外周側もしくは円筒状をなす側面には、カメラ２８の外周位置より更に垂直上方の方向に延びてカメラ２８の集光レンズ５８を含む前面前方を円筒状に包囲する無色で光透過性のよい透明包囲体６０が配設されている。透明包囲体６０の上方先端側には、該先端側より集光レンズ５８の方向（即ち下方）に全体的に双曲面をなして突出する双曲面ミラー６２が装着されている。
カメラ２８、透明包囲体６０、および双曲面ミラー６２でカメラ部６４が構成される。集光レンズ５８と双曲面ミラー６２との間の距離は、双曲面ミラー６２に略水平的外方の３６０度周囲の方向に存在する被写体（図示せず）が最適な大きさの被写体として撮影できる距離に設定されていることが好ましい。この関係で双曲面ミラー６２は最適な大きさの被写体を撮影できるように上下の移動調整が可能となるようにしてもよい。
カメラ２８は、双曲面ミラー６２に映る像を撮影することで、略水平的外方の３６０度周囲の方向（即ち全方位）に存在する被写体を撮影することができる。カメラ２８が撮影した全方位の画像は、双曲面ミラー６２に映る像を捉えるため、図４に示すように、ドーナッツ形状の画像（以下ドーナッツ画像と称する）となる。ドーナッツ画像は詳しくは後述する演算によりパノラマ画像に変換される。
マイクアレイ３４は、図３に示すように、平板状の台座５６上においてカメラ部６４の周囲の例えば４箇所の位置に設置した４つのマイク６６により構成されている。このように複数のマイク６６を用いることにより３６０度周囲の被写体である参加者が複数存在する場合でも、発言を行う所謂話者である参加者の方向を検出することができる。即ち複数のマイク６６に入力される音の時間差を検出することで話者の方向を検出することが可能となる。
動画表示用ＰＣ１４は、図５に示すように、例えば詳しくは後述する動画表示プログラム等が記録可能なＥＰＲＯＭ（記憶手段：Erasable Programmable Read-only Memory）７２と、ネットワーク１６を介しビデオサーバ１２から取得した後述する付加情報として例えば参加者ＩＤ、参加者名、話者位置表示マーク２３等が記憶可能であるＲＡＭ（記憶手段：Random Access Memory）７４と、ＶＲＡＭ（記憶手段：Video Random Access Memory）７６と、ネットワーク１６を介しビデオサーバ１２から取得した時間的に変化し得る画像データをＶＲＡＭ７６に記憶する他、所要の操作でＨＤＤ（記憶手段：Hard Disk Drive）７８にも記憶するビデオキャプチャ８０とを有する。また、ネットワーク１６を介しビデオサーバ１２から取得した音声データ、音データ、もしくは楽音データもＨＤＤ７８に記録可能である。
また、ＲＡＭ７４、ＶＲＡＭ７６、ＨＤＤ７８内の画像データや音声データ、付加情報等のアドレスを制御するアドレス制御部８４と、パノラマ画像や付加情報等を画像表示する画像表示手段としてのディスプレイ８６と、キーボード８８と、ディスプレイ８６上に表示された詳しくは後述する操作用の表示インタフェイスとしての位置指定領域９０に操作入力を与えるマウス（指定手段）９２と、ネットワーク１６を介しビデオサーバ１２から取得した音声データ、音データ、もしくは楽音データを再生する音響再生部（音響出力手段）９４およびその一部をなすスピーカ９６と、画像データ、音声データ等を含む所要のデータのネットワーク１６を介しての送受信を行う送受信部（受信手段、画像データ取得手段、音響収集手段、付加情報取得手段）９８と、通信インタフェイス（例えばＩＥＥＥ１３９４等）１００と、全体を制御するＣＰＵ（Central Processing Unit）１０２とを備えている。
尚、ＶＲＡＭ７６、ビデオキャプチャ８０、ディスプレイ８６、マウス９２、動画表示プログラム、および、動画表示プログラムを実行するＣＰＵ１０２等により特許請求の範囲に記載の第１の表示手段、第２の表示手段、第３の表示手段、指定手段、表示変更手段、および、音源方向識別手段が構成される。即ち具体的には動画表示プログラムを構成する各ステップのうち所定のステップを実行することにより第１の表示手段、第２の表示手段、第３の表示手段、指定手段、および表示変更手段等を機能的に構成するものである。
本実施の形態のデータ表示システム１０の動作上の概要は、図６に示すように、例えば動画表示用ＰＣ１４が動画表示プログラムに基づいてビデオサーバ１２に対し動画配信要求を送信し、ビデオサーバ１２が動画配信要求を受信すると、ビデオサーバ１２が動画配信プログラムに基づいてカメラ２８からの画像データ、およびマイクアレイ３４からの音声データ等を取込むとともに、話者検出プログラムを実行させマイクアレイ３４からの音声データに基づいて話者の方向を示す話者方向データ（音源方向データ）を生成させ、この話者方向データをも取込み、かつ動画配信プログラムに基づいて画像データ、音声データ、話者方向データ等を動画表示用ＰＣ１４に配信する。これにより動画表示用ＰＣ１４が動画表示プログラムに基づいてディスプレイ８６に被写体である参加者を含むパノラマ画像１１４（図７参照）を生成して画像表示し、かつスピーカ９６から話者の音声を出力させるというものである。
一方、ビデオサーバ１２から取得した時間的に変化し得る画像データは、カメラ部６４が３６０度周囲の方向を撮影するため、図４に示すように、時間的に変化し得るドーナッツ画像を形成するが、動画表示プログラムの実行により、図７に示すように、このドーナッツ画像は、所謂横長矩形状の画像、即ちパノラマ画像１１４に変換される。パノラマ画像１１４に変換した場合、カメラ部６４を囲うようにカメラ部６４の周囲に存在する複数の被写体としての参加者は、横１列に並んで画像表示されるものとなる。これにより複数の被験者に対して広範囲のシーンを撮影した動画データの表示形態を複数提示し、どれが最も好ましいかを評価する試験を行った際の多くの評価である、上記１．部分的な画像よりもシーンの全体を示す画像の方が、臨場感が伝わりやすい、という評価結果を満たすものとなった。
パノラマ画像１１４は、図８に示すように、第１の表示手段の起動とともに動画表示用ＰＣ１４におけるディスプレイ８６の所定の動画表示領域１１２内に表示されるものであり、パノラマ画像１１４の下端の境界には第２の表示手段の起動とともに所定の付加情報表示領域（音源位置表示領域）１１６が隣接して表示され、この付加情報表示領域１１６中には各被写体のうち話者である参加者を示す付加情報として例えば三角印の話者位置表示マーク２３が該話者の位置に対応し、かつ該話者を指し示して表示される。この話者位置表示マーク２３により、複数の被験者に対して広範囲のシーンを撮影した動画データの表示形態を複数提示し、どれが最も好ましいかを評価する試験を行った際の多くの評価である、上記の２．話者や主被写体の位置など、シーン全体の画像に説明を加えるような付加情報を同時に表示すると一層わかりやすい、という評価結果を満たすものとなった。
また、図８に示すように、パノラマ画像１１４の上端の境界には例えば第３の表示手段の起動とともに位置指定領域９０が隣接して表示される。例えば、図９−１に示すように、位置指定領域９０内で、例えばマウス９２により画像を移動する際の先頭位置Ｅを指定しクリックすると、図９−２に示すように、パノラマ画像１１４中の該先頭位置Ｅに対応する点線で示した位置を先頭位置として、この先頭位置から図示右側に続く（後続する）画像、即ち参加者Ａ，Ｂを含む画像を先頭位置がパノラマ画像１１４中の図示左側の一端の位置に一致するまで移動させ、かつ移動する参加者Ａ，Ｂを含む画像の最後尾に先端位置よりも図示左側に位置した画像、即ち参加者Ｃ，Ｄを含む画像をリンクさせ、これにより前記画像データの表示位置を所謂スクロールする如く変更する。
また、この画像データの表示位置を変更する際には、第２の表示手段の起動とともに付加情報表示領域１１６内において該変更後の話者である参加者に対応する位置に話者位置表示マーク２３も移動する。
但し、パノラマ画像１１４の画像データの表示位置を変更する際には、位置指定領域９０内においてマウス９２により先頭位置Ｅを指定しクリックした後マウス９２により移動先位置を指定しクリックすると、該先頭位置に後続する画像データが２回目のクリックによる移動先位置に移動するというようにしてもよい。この場合、画像データを図示右方向に所謂スクロールするように移動させることも可能となる。
尚、動画表示領域１１２の上方側において、Video Viewerを表示したフィールド１２０をマウス９２で指定しドラッグアンドドロップ等を行うと、該動画表示領域１１２全体を所要の位置に移動させることが可能である。
次に、例えば文献(A.M.Bruckstein and T.J.Richardson: “Omniview Cameras with Curved Surface Mirrors”, Proc. of the IEEE Workshop on Omnidirectional Vision 2000, pp.79-84) に記載された方法を参考に、ドーナッツ画像をパノラマ画像に変換する方法の一例を説明する。図１０−１は、双曲面ミラー６２を使用したカメラ２８における画像の変換原理を説明する説明図である。動画表示プログラムは図１０−１に示すように、ドーナッツ画像を、横軸を方位角、縦軸を仰角とする曲面に映されたパノラマ画像に座標変換する。また 図１０−２は、図４に示したカメラ２８の幾何的関係を説明する説明図であり、図１０−２中のカメラ２８の光学系は中心射影モデルである。ここで、図１０−１、図１０−２中の各変数の意味は、下記の通りである。
(u, v)：ドーナッツ画像における座標
(u0, v0)：ドーナッツ画像における双曲面ミラー６２の中心の座標
(X, Y)：パノラマ画像１１４における座標
r： (u0, v0)から(u, v)への画素単位の距離
rmax：ドーナッツ画像における双曲面ミラー６２の画素単位の半径
θ：方位角 (°)
φ：仰角(°)
ψ：カメラ２８の光軸からの頂角 (°)
F：双曲面ミラー６２の焦点
F’：双曲面ミラー６２と対をなす双曲面の焦点、カメラ２８の光学中心に一致する。
このとき、頂角ψと仰角φとの間に、以下の関係が成立する。
Figure 2005094713
ここで、
Figure 2005094713
である。また、φmaxはドーナッツ画像上の半径rmaxの位置に対応する仰角φの値であり、これはカメラ２８の仰角方向の上側撮影許容限界値を表す。rmaxとφmaxの値は一般に容易に知ることができる。
ここで、以上の関係式を用いて、ドーナッツ画像をパノラマ画像１１４に変換する手順を説明する。撮影からパノラマ画像１１４の配信を一時に行う場合、変換処理の処理コストが問題となるため、図１１に示すように、上記の手順に基づいた座標変換テーブルを予め作成しておくと好適である。図１１の座標変換テーブルにおいては、θ= 0°を基準としたときのパノラマ画像１１４の各座標(X, Y)に対応するドーナッツ画像の座標(u, v)を格納しておく。
以下、座標変換テーブルの作成方法を説明する。
１．点(X, Y)に対応する方位角θおよび仰角φを、次式により求める。
Figure 2005094713
ここで、Xmax、Ymaxは、パノラマ１１４画像の横方向、縦方向の画素数をそれぞれ表し、これは動画表示領域の大きさに一致する。また、φminは、カメラ２８の仰角方向の下側撮影許容限界値を表す。また、図１１に示す座標変換テーブルにおいて、θを左向き正としたのは、図３のカメラ２８において双曲面ミラー６２が上側に付けられており、画像を左右反転する必要があることによる。
２．（１）式を用いて、仰角φに対応する頂角ψを算出する。
３．頂角ψに対応する半径rを、次式により求める。
Figure 2005094713
ここで、
Figure 2005094713
であり、ψmaxはドーナッツ画像上の半径rmaxの位置に対応する頂角ψの値である。ψmaxの値は、（１）式にφmaxを代入することにより求めることができる。
４．以上で得られた (r, θ)に対応するドーナッツ画像上の座標(u, v)を、次式により求める。
Figure 2005094713
５．（７）式で求めた(u，v)は一般に整数とはならないため、ドーナッツ画像において、その最近傍の座標(u，v)(u，v共に整数)を参照するためのアドレスを座標変換テーブルに書き込む。以上の１．乃至５．の動作を、全ての(X, Y) (0 < X < Xmax, 0 < Y < Ymax)について実行することにより、座標変換テーブルを作成することができる。
次に、図１２を参照しビデオサーバ１２側の話者検出プログラムについて説明する。まずステップ１２０１において起動命令を認識した後、ステップ１２０２においてマイクアレイ３４の各マイク６６から音声データを取得する。続いてステップ１２０３（音源方向検出手段）において各マイク６６に入力される音声の時間差から話者方向を検出し話者方向データを生成し例えばＲＡＭ２４に記憶する。しかる後、ステップ１２０４において本フローを終了するか（ステップ１２０４：Ｙｅｓ）、否かを判定し、終了でない場合は（ステップ１２０４：Ｎｏ）、ステップ１２０２に戻る。但し、話者方向を検出する際は、例えば１秒毎のタイミングで検出するように設定する。
次に、図１３を参照しビデオサーバ１２側の動画配信プログラムについて説明する。まずステップ１３０１において例えばネットワーク１６を介し動画配信要求を受信した場合、ステップ１３０２において動画配信要求とともに動画表示プログラムがある旨を示すデータがあるか否かを検出することで、今回の動画配信要求を送信した動画表示用ＰＣ１４に動画表示プログラムがあるか否かを判定し、ステップ１３０４に移行する。
但し、ステップ１３０２においてはビデオサーバ１２側の所要のメモリ（例えばＲＡＭ２４や所定のテーブル等）に記憶されたデータを参照することにより動画表示用ＰＣ１４が動画表示プログラムを所持するか否かを能動的に判定するようにしてもよい。かくてステップ１３０２において動画表示用ＰＣ１４が動画表示プログラムを所持していないことが判定された場合は（ステップ１３０２：Ｎｏ）、ステップ１３０３において例えばＥＰＲＯＭ２２に格納されている動画表示プログラムをネットワーク１６を介し動画表示用ＰＣ１４にダウンロードし、ステップ１３０４に進む。
ステップ１３０４においては今回の動画配信要求がライブ配信を要求するものであることを認識し、ステップ１３０５においてカメラ２８から現在の動画データを取得するとともにエンコード（例えば圧縮を含む、以下同様）し例えばＭＭＳ（Microsoft Media Server）プロトコルによりネットワーク１６を介して動画表示用ＰＣ１４に送信し、ステップ１３０６においてマイクアレイ３４から現在の音声データ等を取得するとともにエンコードし、例えばＭＭＳプロトコルによりネットワーク１６を介して動画表示用ＰＣ１４に送信し、かつステップ１３０７（付加情報取得手段）において付加情報（例えばＲＡＭ２４に記憶した参加者ＩＤ、参加者名、話者方向データ等を含む）を取得するとともにエンコードし、例えばＭＭＳプロトコルによりネットワーク１６を介して動画表示用ＰＣ１４に送信する。
但し、ステップ１３０７においてライブ配信中に付加情報を取得する際は、上述した話者検出プログラムを実行させ現在の話者方向を示す話者方向データを取得する処理を含む。そして、画像データ、音声データ、付加情報等を送信した後、ステップ１３０８において本フローを終了するか否かを判定し、動画表示用ＰＣ１４から例えば終了指令の送信がなく、もしくはイベントが継続中であり終了でない場合は（ステップ１３０８：Ｎｏ）、ステップ１３０５に戻り上述の処理を繰り返すが、終了である場合は（ステップ１３０８：Ｙｅｓ）、本フローを終了する。
尚、話者方向データを送信する際は、常時送信する必要はなく、例えば１秒毎の所定時間毎に例えばＨＴＴＰ（Hyper Text Transfer Protocol）サーバプログラムの実行により送信することができる。
次に、図１４を参照し動画表示用ＰＣ１４側の動画表示プログラムについて説明する。まずステップ１４０１において動画配信要求をネットワーク１６を介しビデオサーバ１２に送信する。
続いてステップ１４０２において、図８に示した如くレイアウトを有するＨＴＭＬドキュメントをビデオサーバより受信すると、該ＨＴＭＬドキュメントを画像表示する。その後、ステップ１４０３（第１の表示手段、画像変換手段）においてビデオサーバ１２から例えばＭＭＳプロトコルによりネットワーク１６を介し送信された画像データを取得する。これとともに該画像データをデコード（例えば解凍を含む、以下同様）し、かつ上述した如く変換テーブルを用いてθ=0°が両端となるようにパノラマ画像１１４に変換し上記レイアウトにしたがってディスプレイ８６の所定の動画表示領域１１２に画像表示し、また、ステップ１４０４（第３の表示手段）において所定の動画表示領域１１２の上端に隣接させパノラマ画像１１４の表示形態乃至表示位置を変更する際の表示インタフェイスとなる位置指定領域９０を画像表示する。
また、ステップ１４０５においてビデオサーバ１２から例えばＭＭＳプロトコルによりネットワーク１６を介し送信された音声データを取得するとともにデコードし音響再生部９４を経てスピーカ９６から出力し、かつステップ１４０６（第２の表示手段）においてビデオサーバ１２から例えばＭＭＳプロトコルによりネットワーク１６を介し送信された付加情報を取得するとともにデコードし上記レイアウトにしたがってディスプレイ８６の上記動画表示領域１１２に隣接させ他の所定の付加情報表示領域（音源位置表示領域）１１６を表示し、この所定の付加情報表示領域１１６内に所定の付加情報を表示する。
但し、付加情報のうち話者方向データを取得した場合は、図８に示すように、例えば三角印の話者位置表示マーク２３を生成し、該マーク２３を所定の付加情報表示領域１１６内において所定の動画表示領域１１２中に画像表示された話者である参加者の表示位置に対応させ、かつ話者である参加者を指し示すように表示させることになる。また、パノラマ画像１１４の画像表示と同時に、ビデオサーバ１２から例えばＭＭＳプロトコルによりネットワーク１６を介し送信された話者方向データを取得する場合は、常時取得する必要はなく、例えば１秒毎の一定時間毎に送信するよう要求するか、あるいはビデオサーバ１２が例えば１秒毎の一定時間毎に送信するよう設定したところにしたがって取得する。
しかる後、ステップ１４０７（指定手段）において表示形態乃至表示位置変更を示すべく位置指定領域９０中の所定の位置がマウス９２により指定されクリックされたことを検出した場合は（ステップ１４０７：Ｙｅｓ）、ステップ１４０８（表示変更手段）において所定の動画表示領域１１２中で該指定された位置を先頭位置として先頭位置が所定の動画表示領域１１２の図示左側の一端（θ=0°）に位置するまで、先頭位置から図示右側に続く画像を図示左側の方向へ移動させ、かつ移動させた画像の最後尾に対し先端位置より図示左側に位置した画像をリンクする。
即ち、例えば位置指定領域９０において、左端からX0の位置を左クリックした場合、座標変換テーブルの左端からX0列目より図示右方向の画像データ（画素データ）の読み出しを開始し、パノラマ画像１１４の右端までの読み出しを行うとともに左端に戻り引き続きX0-1列目までの画像データ（画素データ）の読み出しを行い、かつ上述の如く各画像データの移動、即ち表示位置変更の処理を行なった画像表示を行う。また、続いてステップ１４０９（第２の表示手段：表示変更手段）において所定の付加情報表示領域１１６に表示されていた話者位置表示マーク２３も所定の動画表示領域１１２内において移動後における話者である参加者が表示された位置に対応してその表示位置を移動する。話者である参加者の方向と話者方向データに記述された話者の方位角とを照合することにより話者の方向と最もよく一致する参加者を特定することができる。このように現在どの参加者が発話しているのかを特定し、所定の付加情報表示領域１１６中で発話者である参加者画像に対応する位置に話者位置表示マーク２３を表示する。
そして、ステップ１４１０において今回の画像データ、音声データ、付加情報を保存するか否かを判定し、保存する場合は（ステップ１４１０：Ｙｅｓ）、ステップ１４１１において今回の画像データ、音声データ、付加情報を保存した上でステップ１４１２へ進むが、保存しない場合は（ステップ１４１０：Ｎｏ）、直接にステップ１４１２へ進んで本フローを終了するか否かを判定し、終了でない場合は（ステップ１４１２：Ｎｏ）、上述したステップ１４０３へ戻り上述の処理を繰り返す。尚、ステップ１４１１において今回の画像データ、音声データ、付加情報を保存する場合は、例えば上述した如く所定の動画表示領域１１２に表示したパノラマ画像１１４の表示形態乃至表示位置の変更を常時可能とするため、あらかじめの非保存指定がない場合に行うようにしてもよい。
本実施の形態においては、第１に上方を向くカメラ２８と集光レンズ５８により３６０度周囲の方向の被写体を撮影し、パノラマ画像１１４に変換して画像表示するよう構成したため、部分的な画像でなく、３６０度周囲のシーン全体が広範囲な画像として表示されるものとなり非常に臨場感が伝わり易く、かつ第２にパノラマ画像１１４に隣接して所定の付加情報表示領域を設けて例えば三角印の話者位置表示マーク２３を話者である参加者の位置に対応させ表示するようにしたため、シーン全体の画像に話者位置や主被写体の位置等の所謂説明表示を加えるものとなりパノラマ画像１１４が一層わかり易く、かつ非常に見易く興味を引付けるものとなり、しかも第３にパノラマ画像１１４に隣接して位置指定領域９０を設けて、例えばマウス９２の操作により所望の位置を指定しクリックすると、画像の所望の位置（指定位置）を先頭位置として所謂スクロールするように画像全体を移動させることが可能となるため、極めて簡単な操作で好みの画像に移動させることが可能であり非常に操作性がよくかつ扱い易く利便性に優れる利点がある。
また、位置指定領域９０のような操作インタフェイスにより、ユーザは、撮影中にカメラ２８の向きを変えなくても、撮影中のシーンの構図を容易に変更することができるため、常にバランスよく最適で非常に見易い構図を設定し、今誰が発話しているのかを一目で直観的に知ることができる。このことは台座５６上のカメラ２８を一度ある位置に置いた後は、カメラ２８側の設定等を調整する必要が全くないことを意味しており、したがってイベント会場側においても高度な技術を要することなく誰でも使用することができ、この観点からも非常に扱い易く利便性に優れる。
（実施の形態２）
次に、図１５乃至図１９を参照し本発明の実施の形態２に係わるデータ表示システムについて説明する。図１５は本実施の形態のデータ表示システムを概略的に説明する説明図である。即ち、図１５に示すように、本実施の形態のデータ表示システムも構成的には実施の形態１で説明したシステムと基本的に同様の構成であり、ビデオサーバ１２と動画表示用ＰＣ１４とをネットワーク（乃至はＬＡＮケーブル）１６を通じて接続し構成したものであるが、詳しくは後述するように動画表示プログラムの内容が相違するものである。
本実施の形態の場合、動作上の概要としては、図１６に示すように、動画表示用ＰＣ１４が動画表示プログラムに基づいてネットワーク１６を介しビデオサーバ１２に動画表示要求を送信した場合、ビデオサーバ１２は動画配信プログラム基づいてＨＤＤ３０から既に記録済みのイベントの画像データ、音声データ、付加情報（参加者ＩＤ、参加者名、話者方向データ等）を読み出すとともにネットワーク１６を介し動画表示用ＰＣ１４に送信し、この結果、動画表示用ＰＣ１４が動画表示プログラムに基づいて画像データをパノラマ画像１１４に変換して画像表示するとともに、音声データを再生出力し、かつ付加情報を画像表示するというものである。
また、本実施の形態の場合、画像データ、音声データ、付加情報（例えば話者方向データ等）は、例えば一つのメディアビデオファイルという形態でビデオサーバ１２のＨＤＤ３０に保存されているが、このメディアビデオファイルの中には例えばＷｉｎｄｏｗｓ（Ｒ） Ｍｅｄｉａテクノロジーのスクリプト埋め込み機能を利用し、そのサイトで規定されているフォーマット（Time、Type、Parameterで規定される）にしたがった所定のスクリプトを埋め込んで、送信先である動画表示用ＰＣ１４に所要の動作を行わせるように仕組むことも可能である。図１７に、メディアビデオファイルの中にＷｉｎｄｏｗｓ（Ｒ） Ｍｅｄｉａテクノロジーで規定されているフォーマットにしたがったスクリプトを、話者位置データとして埋め込んだ一例を示す。図のように、話者位置データには左から、ビデオの先頭を０とした時刻、イベントのタイプ（”angle ”）、該タイプに関連したパラメータ（即ち、話者位置表示マーク２３の位置に対応する方位角）が１秒ごとに記載されている。このようにすることで、動画表示プログラムはイベントという形で、話者位置表示マークを表示させる位置を毎秒受け取ることができる。
一方、本実施の形態の場合、動画表示用ＰＣ１４のディスプレイ８６に表示される所定の動画表示領域１１２には、図１８に示すように、動画表示プログラムの実行により、所定の付加情報表示領域１１６の下方に、再生コントロールの操作インタフェイス１２２が画像表示されるものであり、操作インタフェイス１２２には、パノラマ画像１１４を再生する再生用ボタン１２４、停止用ボタン１２６、一時停止用ボタン１２８、巻き戻し用ボタン１３０、早送り用ボタン１３２等が設けられるが、動画表示プログラムに、各ボタン１２４の操作の認識、および各ボタン１２４の操作に対応する動作の実行を行う処理ステップが含まれているものである。
次に、図２０を参照し本実施の形態における動画表示用ＰＣ１４が所持する動画表示プログラムについて説明する。まずステップ２００１において動画配信要求をネットワーク１６を介しビデオサーバ１２に送信する。
続いてステップ２００２において、図１８に示した如くレイアウトを有するＨＴＭＬドキュメントをビデオサーバより受信すると、該ＨＴＭＬドキュメントを画像表示する。要求した画像データがある場合は（ステップ２００３：Ｙｅｓ）、ステップ２００５に移り、要求した画像データがない場合は（ステップ２００３：Ｎｏ）、図１９に示すように、ステップ２００４において所定の動画表示領域１１２に「指定されたデータがありません」等のメッセージを表示して本フローを終了する。
該ＨＴＭＬドキュメント上にはイベント表示領域１４２が表示され、このイベント表示領域１４２には、所定の動画（パノラマ画像）表示領域１１２、所定の動画表示領域１１２の下端に隣接する所定の付加情報表示領域（音源位置表示領域）１１６、所定の動画表示領域１１２の上端に隣接する位置指定領域９０、および、所定の付加情報表示領域１１６の下方に位置する操作インタフェイス１２２が備わる。また、ステップ２００５においてビデオサーバ１２から例えばＭＭＳプロトコルによりネットワーク１６を介し送信された画像データ、音声データ、付加情報（参加者ＩＤ、参加者名、話者方向データ等）を受信するとともにＲＡＭ７４、ＶＲＡＭ７６、もしくはＨＤＤ７８に記憶する。
続いてステップ２００６において操作インタフェイス１２２がマウス９２による指定とともにクリックされたか否かを判定する。ここで再生用ボタン１２４がクリックされたことを判定した場合は、ステップ２００７（第１の表示手段、画像変換手段）においてＶＲＡＭ７６から画像データを取得するとともに該画像データをデコードし、かつ上述した如く変換テーブルを用いてθ=0°が両端となるように時間的に変化し得るパノラマ画像１１４に変換し上記レイアウトにしたがってディスプレイ８６の所定の動画表示領域１１２に画像表示し、かつ画像データに所定のスクリプトがある場合には該スクリプトを実行し、また、ステップ２００８（第２の表示手段）において所定の付加情報表示領域１１６に付加情報（例えば話者方向データに基づく話者位置表示マーク２３等）を表示し、かつステップ２００９においてＨＤＤ７８から音声データを取り出しスピーカ９６から出力させる。
しかし、ステップ２００６において停止用ボタン１２６がクリックされたことを判定した場合は、ステップ２０１０においてパノラマ画像１１４を静止させるとともに音声データの再生を停止させ、巻き戻し用ボタン１３０がクリックされたことを判定した場合は、ステップ２０１１においてパノラマ画像１１４を巻き戻すとともに音声データの再生を停止させ、早送り用ボタン１３２がクリックされたことを判定した場合は、ステップ２０１２においてパノラマ画像１１４を早送りさせるとともに音声データの再生を停止させる。ステップ２００６にて操作がなければステップ２０１３に移行する。
但し、本例の場合もビデオサーバ１２からネットワーク１６を介し話者方向データを取得する場合は、常時取得する必要はなく、例えば１秒毎の一定時間毎に送信するよう要求するか、あるいはビデオサーバ１２が例えば１秒毎の一定時間毎に送信するよう設定したところにしたがって取得する。
しかる後、ステップ２０１３（指定手段）において表示形態乃至表示位置変更を示すべく位置指定領域９０中の所定の位置がマウス９２の操作により指定されクリックされたことを検出した場合は（ステップ２０１３：Ｙｅｓ）、ステップ２０１４（表示変更手段）において所定の動画表示領域１１２中で該指定された位置を先頭位置として先頭位置が所定の動画表示領域１１２の図示左側の一端（θ=0°）に位置するまで、先頭位置から図示右側に続く画像を図示左側の方向へ移動させ、かつ移動させた画像の最後尾に対し先端位置より図示左側に位置した画像をリンクする。
即ち、例えば位置指定領域９０において、左端からX0の位置を左クリックした場合、座標変換テーブルの左端からX0列目より図示右方向の画像データ（画素データ）の読み出しを開始し、パノラマ画像１１４の右端までの読み出しを行うとともに左端に戻り引き続きX0-1列目までの画像データ（画素データ）の読み出しを行い、かつ上述の如く各画像データの移動、即ち表示位置変更の処理を行なった画像表示を行う。また、続いてステップ２０１５（第２の表示手段：表示変更手段）において所定の付加情報表示領域１１６に表示されていた話者方向検出マーク２３も所定の動画表示領域１１２内において移動後に話者である参加者が表示された位置に対応してその表示位置を移動する。
この後、ステップ２０１６へ進んで本フローを終了するか否かを判定し、終了でない場合は（ステップ２０１６：Ｎｏ）、上述したステップ２００５へ戻り上述の処理を繰り返す。
本実施の形態においては、上記実施の形態１の利点に加えて、ディスプレイ８６に操作インタフェイス１２２を表示するようにしたため、時間的に変化し得るパノラマ画像１１４のうち任意の時点のパノラマ画像１１４を自在に表示させることが可能であり、かつ例えば所要あって動画表示用ＰＣ１４から離れる場合でもその時点でパノラマ画像１１４を静止させ、後にパノラマ画像１１４の再生を見ることも可能であり、利便性を各段に向上させる利点がある。
（実施の形態３）
次に、図２１乃至図２５を参照し本発明の実施の形態３に係わるデータ表示システムについて説明する。本実施の形態のデータ表示システムも構成的には上述した実施の形態で説明したシステムと基本的に同様の構成であり、ビデオサーバ１２と動画表示用ＰＣ１４とをネットワーク（乃至はＬＡＮケーブル）１６を通じて接続し構成したものであるが、ビデオサーバ１２に参加者特定プログラムを備え、動画表示用ＰＣ１４に備わる動画表示プログラムが主に互いに所定間隔毎に離間する複数の参加者表示領域（被写体表示領域）を表示するとともに、操作インタフェイスとして、表示順序変更ボタン（即ち左変更ボタン１４４、右変更ボタン１４６）を表示する点が相違するものである。
本実施の形態の場合、動作上の概要については、図２１に示すように、動画表示用ＰＣ１４が動画表示プログラムに基づいてネットワーク１６を介しビデオサーバ１２に動画表示要求を送信した場合、ビデオサーバ１２は動画配信プログラムに基づいて話者検出プログラムを実行させマイクアレイ３４の集音タイミングから生成した付加情報としての話者方向データを取込むとともに、参加者特定プログラムを実行させカメラ２８で撮影し生成した付加情報としての被写体である参加者を特定する参加者特定データを取込み、かつ動画配信プログラムに基づいてカメラ２８から取込んだ画像データ、マイクアレイ３４から取込んだ音声データとともにネットワーク１６を介し動画表示用ＰＣ１４に送信し、この結果、動画表示用ＰＣ１４が動画表示プログラムに基づいてディスプレイ８６に互いに離間する複数の参加者表示領域を表示するとともに音声を出力し、かつ各参加者表示領域の付近に上述の付加情報を表示させるというものである。
参加者特定データのレイアウトとしては、例えば、図２２に示すように、左側に各参加者ＩＤ（例えばＡ，Ｂ，Ｃ，Ｄ）を示し、右側に各参加者の顔領域の中心が位置する方位角（°）というテキスト形式であり、方位角の昇順に記載されている。但し、参加者Ａ，Ｂ，Ｃ，Ｄ毎に該参加者Ａ，Ｂ，Ｃ，Ｄを一意に示す例えば１０進数の数値等を割り当てるという形態で、例えば１０進数の各数値が１人の参加者を特定し各数値が参加者ＩＤ、参加者名と一意に対応するというものであってもよい。
一方、本実施の形態の画像表示プログラムを実行した場合、図２３−１に示すように、イベント表示領域１４２には、例えば被写体である参加者の数に応じて互いに所定間隔毎に離間する複数の参加者表示領域１４８が表示されるものとなり、各参加者表示領域１４８には１人の参加者が画像表示されるとともに、各参加者表示領域１４８の下方に付加情報として参加者ＩＤ、もしくは参加者名が表示される。また、複数の参加者表示領域１４８の一部付近の下方には、操作インタフェイスとして、表示順序変更ボタン、即ち左変更ボタン１４４、右変更ボタン１４６が表示される。そして、複数の参加者表示領域１４８のうち話者である参加者を表示する参加者表示領域１４８の四角い枠部分には、該枠部分を所定の幅で所定色にマーキングする話者表示マーク１５０が表示される。
次に、図２４を参照し本実施の形態におけるビデオサーバ１２が所持する参加者特定プログラムについて説明する。まずステップ２４０１において起動命令の出力を検出した場合、ステップ２４０２においてカメラ２８で撮影したドーナッツ画像から被写体である参加者の顔領域の位置を検出するとともに、例えばＨＤＤ３０から該顔領域の画像的な特徴に一致する顔画像データ（例えば顔写真）を検索し、一致する顔画像データがある場合は該顔画像データを一意に特定するデータ（例えば上述した１０進数の数値に対応する参加者ＩＤ、参加者名であり、以下参加者特定データと称する）を取り出す。
但し、ＨＤＤ３０内に一致する顔画像データ（顔写真）が存在しない場合は例えばディスプレイ４０に今回の参加者の参加者ＩＤ、参加者名を入力することを促す画像を表示し、ここで入力された参加者ＩＤ、参加者名を参加者特定データとして今回の顔画像データに関連付けて該顔画像データとともに例えばＨＤＤ３０に保存し、かつ、この場合も新しい参加者特定データとしての新しい参加者ＩＤ、参加者名をＲＡＭ２４に記憶させる。参加者特定データをＲＡＭ２４に記憶させるのは画像配信プログラムの実行に伴って動画表示用ＰＣ１４に送信する際にそのアクセスを容易にするためである。そして、ステップ２４０３において次の検索対象の参加者が存在するか否かを判定し、次の検索対象の参加者が存在する場合は（ステップ２４０３：Ｙｅｓ）、ステップ２４０２に戻り上述の処理を繰り返すが、次の検索対象の参加者が存在しない場合は（ステップ２４０３：Ｎｏ）、本フローを終了する。
尚、参加者特定データは、図２２に示したように、例えば、左から参加者ＩＤ、参加者の顔領域の中心が位置する方位角（°）というテキスト形式であり、この参加者特定データにおける方位角は、後にドーナッツ画像がパノラマ画像１１４に変換された時に、左端が０°となるように、図１０および図１１に示したθとは逆向きとなっている。また一方、話者特定プログラムは常時繰り返し実行する必要はなく、例えば１秒毎の一定時間毎に実行するようにしてもよい。
次に、図２５を参照し本実施の形態における動画表示用ＰＣ１４が所持する動画表示プログラムについて説明する。まずステップ２５０１において動画配信要求をネットワーク１６を介しビデオサーバ１２に送信する。
続いてステップ２５０２において、図２３−１に示した如くレイアウトを有するＨＴＭＬドキュメントをビデオサーバより受信すると、該ＨＴＭＬドキュメントを画像表示する。要求した画像データがある場合は（ステップ２５０３：Ｙｅｓ）、ステップ２５０５に移り、ここで、要求した画像データがない場合は（ステップ２５０３：Ｎｏ）、図１９に示すように、ステップ２５０４において所定の動画表示領域１１２に「指定されたデータがありません」と書かれたメッセージを表示して本フローを終了する。ステップ２５０５では、動画配信開始を示す情報に続く画像データ、音声データ、付加情報等を受信するとともに、ステップ２５０６において画像データをＶＲＡＭ７６に記憶させ、音声データをＨＤＤ７８に記憶させ、付加情報をＲＡＭ７４に記憶させる。
また、ステップ２５０７（第１の表示手段、画像変換手段）において図２３−２に示した如く上記レイアウトおよび座標変換テーブルに基づいて互いに所定間隔毎に離間する複数の参加者表示領域１４８を画像表示するとともに、上記画像データを取得し該参加者表示領域１４８に、被写体である１人ずつの参加者を画像表示する。尚、複数の参加者表示領域１４８を画像表示する場合、参加者特定データに記述された参加者数を認識し同数の参加者表示領域１４８を生成し表示する。一方、複数の参加者表示領域１４８に各参加者を表示する場合、参加者特定データを行毎に読み出しそれに対応する参加者画像を画像表示する。
例えば、図２２に示す最初の参加者Ｃが方位５２°に位置する場合を考える。総画像表示領域の横方向の表示範囲が６０°であるとすると、座標変換テーブルの方位角２２°に相当する列の上端を読み出し開始位置、座標変換テーブルの方位角８２°に相当する列の下端を読み出し終了位置と定める。このようにして得られた読み出し範囲にしたがって変換テーブルを読み出すことによりドーナッツ画像において参加者Ｃが映された領域を抽出して変換表示することができる。以上の動作を各参加者Ｄ，Ａ，Ｂ毎に実行することにより全ての参加者画像を表示することができる。この際、参加者特定データに記述されている順序にしたがって各参加者画像は左から順に表示されるものとなる。
また、ステップ２５０８（第２の表示手段）において付加情報である例えば参加者ＩＤを複数の参加者表示領域１４８の下方付近で各参加者に対応する位置に表示させ、かつステップ２５０９において複数の参加者表示領域１４８のうち例えば最も図示左側の参加者表示領域１４８の下方の位置に操作インタフェイスとしての表示順序変更ボタン（左変更ボタン１４４、右変更ボタン１４６）を表示させる。また、ステップ２５１０において複数の参加者表示領域１４８に表示した各被写体である参加者のうち何れかの参加者が発言したことを検出する場合、その話者である参加者の音声データを再生し出力し、かつステップ２５１１（第２の表示手段）において今回の話者である参加者を表示した参加者表示領域１４８の四角い枠部分に付加情報である話者表示マーク１５０を表示させる。この場合も話者である参加者の方向と話者方向データに記述された話者の方位角とを照合することにより話者の方向と最もよく一致する参加者と特定することができる。このように現在どの参加者が発話しているのかを特定し、複数の参加者表示領域１４８のうち発話者である参加者が画像表示された参加者表示領域１４８に話者表示マーク１５０を表示する。
しかる後、ステップ２５１２において左変更ボタン１４４がクリックされたことを判定した場合は、ステップ２５１３（画像変換手段）において例えば図２３−２に示すように、参加者表示領域１４８内の話者である参加者を表示した画像を図示左側の参加者表示領域１４８に移し、かつ該参加者表示領域１４８に話者表示マーク１５０を表示させ、また同じく各参加者表示領域１４８内の参加者を表示した画像を図示左方向に所謂スクロールするように移動させ、かつ最も図示左側の参加者表示領域１４８内の参加者を表示した画像を最も図示右側の参加者表示領域１４８に移す。
具体的には、例えば左端の参加者表示領域１４８における座標変換テーブルの読み出し範囲を参加者Ｃのものから参加者Ｄのものに変更し、これにより上述した画像変換方法に基づいてドーナッツ画像において参加者Ｄが表示された領域を抽出して変換表示する。この処理を全ての参加者表示領域１４８に対して実行することにより表示順序を図示左より参加者Ｃ，Ｄ，Ａ，Ｂを参加者Ｄ，Ａ，Ｂ，Ｃに変更することが可能となる。尚、この処理は左変更ボタン１４４をクリックし続ける間、順次更にスクロールするように参加者を表示した画像の図示左方向への移動が続けられる。そして、話者表示マーク１５０もその話者である参加者の画像の移動に追随して表示位置を変更してゆく。
一方、ステップ２５１２において右変更ボタン１４６のクリックを判定した場合は、ステップ２５１４（画像変換手段）において上述と逆方向の移動が実行されることになる。そして、ステップ２５１２において表示順序変更ボタン（左変更ボタン１４４、右変更ボタン１４６）のクリックが判定されない場合は（ステップ２５１２：Ｎｏ）、ステップ２５１５に進んで終了であるか否かを判定し、終了でない場合は（ステップ２５１５：Ｎｏ）、ステップ２５０５に戻り上述の処理を繰り返すが、終了である場合は（ステップ２５１５：Ｙｅｓ）、本フローを終了させる。
本実施の形態においては、第１に例えば参加者の数に応じた複数の参加者表示領域１４８をパノラマ画像的に表示することで、全体的には３６０度周囲のシーン全体が広範囲な画像として表示されるものと等価となり非常に臨場感が伝わり易く、かつ複数の参加者表示領域１４８を横１列に並べて表示するため、臨場感の伝わりとともに一層わかり易く、また第２に話者表示マーク１５０が参加者表示領域１４８を大きく囲って表示されるため、話者の見極めがより一層容易となり、この点からもより一層わかり易く、かつ興味を引付けるおもしろみがあり、しかも第３に表示順序変更ボタン（左変更ボタン１４４、右変更ボタン１４６）を表示させたため、単にクリックを繰り返すか、クリックを継続するだけで画像を所望の位置に移動させることができ、更に操作性がよくかつ扱い易く利便性に優れる利点がある。
（実施の形態４）
次に、図２６乃至図２９を参照し本発明の実施の形態４に係わるデータ表示システムについて説明する。本実施の形態のデータ表示システムも構成的には上述した実施の形態で説明したシステムと基本的に同様の構成であり、ビデオサーバ１２と動画表示用ＰＣ１４とをネットワーク（乃至はＬＡＮケーブル）１６を通じて接続し構成したものであるが、動画表示プログラムにこのタイムチャートを表示する処理が含まれる点が相違するものである。ここでは、実施の形態２で示したオンデマンド型データ表示システムにおいて、話者位置の変化をタイムチャートとして、動画データと共に表示する例について説明する。
タイムチャート１５６は、図２６に示すように、縦軸には時間軸を定め、横軸には左端を０°で右向きの方向を正とした方位角を示すとともにパノラマ画像（乃至は複数の参加者表示領域）１１４に対応する長さ（例えば参加者の横軸と一致するよう所定の幅として６０°の広さ）があり、各参加者に対応する位置に各参加者が発言した時刻および発言継続時間もしくはイベント開始後の経過時間および発言継続時間を所定幅で所定色の帯状ライン１５８として表示したものである。このタイムチャート１５６は、記録終了後にビデオサーバにより生成された画像データであり、ビデオサーバのＨＤＤ３０に保管されている。
タイムチャート１５６は、図２７−１、図２７−２に示すように、イベント表示領域１４２内において、所定の動画表示領域１１２の下方の位置に各参加者の位置に各帯状ライン１５８が位置するように対応させ画像表示される。また、タイムチャート１５６は、再生位置表示バー１６０により現在の発話位置を示しており、図示右端側にはタイムチャート１５６を図示上下の方向にスクロールさせるスクロールバー１６２が設けられている。
ここで、図２８を参照し、タイムチャート１５６を生成する方法を、以下に説明する。まずステップ２８０１において起動命令を検出した場合、ステップ２８０２においてＨＤＤ３０から話者方向データを読み出すとともに、生成するタイムチャートの大きさを算出する。タイムチャート１５６の横方向のサイズは、パノラマ画像の横幅と一致させるようにする。すなわち、パノラマ画像１１４の横方向の画素数が７２０である場合、タイムチャート１５６の横方向のサイズも７２０画素とする。また、タイムチャート１５６の縦方向のサイズは、話者方向データの時間長により計算される。例えば、タイムチャート１５６の縦方向の解像度を１画素／秒、また話者方向データの時間長を１時間（＝３６００秒）とすると、タイムチャート１５６の縦方向のサイズは３６００画素と算出される。
続いてステップ２８０３において、タイムチャートの全体を一旦白画素で塗り潰す。続いてステップ２８０４において、話者方向データに記載されている話者位置に対応する帯状ライン１５８を描画する処理を行う。具体的には、図１７の話者方向データを１行読み出す度に、時刻と話者位置から、所定色（ここでは紺色とする）で塗り潰すべき領域を計算し、該領域を塗り潰すという処理を行う。例えば、読み出した時刻が３０秒、話者位置が２３１度である場合、縦方向の解像度が１画素／秒、横方向の解像度は２画素／°、帯状ラインの幅が６０°という条件から、左上座標(３０，４０２)−右下座標(３０，５２２)で示される範囲が、塗り潰し領域と計算される。以上の処理を繰り返すことにより、タイムチャート１５６が生成される。
次に、図２９を参照し本実施の形態における動画表示用ＰＣ１４が所持する動画表示プログラムについて説明する。まずステップ２９０１において動画配信要求をネットワーク１６を介しビデオサーバ１２に送信する。
一方、ステップ２９０２において図２７に示した如くレイアウトを有するＨＴＭＬドキュメントをビデオサーバより受信すると、該ＨＴＭＬドキュメントを画像表示する。
即ち、イベント表示領域１４２には、所定の動画（パノラマ画像）表示領域１１２、所定の動画表示領域１１２の下端に隣接する所定の付加情報表示領域１１６、所定の動画表示領域１１２の上端に隣接する位置指定領域９０、位置指定領域９０の上方に位置する操作インタフェイス１２２、および、所定の付加情報表示領域（音源位置表示領域）１１６の下方に位置するタイムチャート表示領域１６４が備わる。
続いてステップ２９０３においてビデオサーバ１２からＭＭＳプロトコルによりネットワーク１６を介し送信された画像データ、及びＨＴＴＰプロトコルによりネットワーク１６を介し送信された音声データ、付加情報（参加者ＩＤ、参加者名、話者方向データ、タイムチャート等）を受信する。
しかる後、ステップ２９０４において操作インタフェイス１２２がマウス９２による指定とともにクリックされたか否かを判定する。ここで再生用ボタン１２４がクリックされたことを判定した場合は、ステップ２９０５（第１の表示手段、画像変換手段）において画像データをデコードし、かつ上述した如く変換テーブルを用いてθ=0°が両端となるように時間的に変化し得るパノラマ画像１１４に変換し上記レイアウトにしたがってディスプレイ８６の所定の動画表示領域１１２に画像表示する。ステップ２９０６（第２の表示手段）において付加情報、即ち話者方向データに基づく話者位置表示マーク２３を所定の付加情報表示領域１１６に表示する。かつステップ２９０７において音声データをスピーカ９６から出力させる。
しかし、ステップ２９０４において停止用ボタン１２６がクリックされたことを判定した場合は、ステップ２９０８においてパノラマ画像１１４を静止させるとともに音声データの再生を停止させ、巻き戻し用ボタン１３０がクリックされたことを判定した場合は、ステップ２９０９においてパノラマ画像１１４を巻き戻しさせ、早送り用ボタン１３２がクリックされたことを判定した場合は、ステップ２９１０においてパノラマ画像１１４を早送りさせる。ステップ２９０４における操作がないときには（ステップ２９０４：Ｎｏ）、ステップ２９１１に移行する。
しかる後、ステップ２９１１（指定手段）において表示形態乃至表示位置変更を示すべく位置指定領域９０中の所定の位置がマウス９２の操作により指定されクリックされたことを検出した場合は（ステップ２９１１：Ｙｅｓ）、図２７−２に示すように、ステップ２９１２（表示変更手段）において所定の動画表示領域１１２中で該指定された位置を先頭位置として先頭位置が所定の動画表示領域１１２の図示左側の一端（θ=0°）に位置するまで、先頭位置から図示右側に続く画像を図示左側の方向へ移動させ、かつ移動させた画像の最後尾に対し先端位置より図示左側に位置した画像をリンクする。ステップ２９１１にて表示形態乃至表示位置の変更がなければ（ステップ２９１１：Ｎｏ）、ステップ２９１５に移行する。
即ち、例えば位置指定領域において、左端からX0の位置を左クリックした場合、座標変換テーブルの左端からX0列目より図示右方向の画像データ（画素データ）の読み出しを開始し、パノラマ画像１１４の右端までの読み出しを行うとともに左端に戻り引き続きX0-1列目までの画像データ（画素データ）の読み出しを行い、かつ上述の如く各画像データの移動、即ち表示位置変更の処理を行なった画像表示を行う。また、ステップ２９１３（第２の表示手段）において所定の付加情報表示領域１１６に表示されていた話者位置表示マーク２３も所定の動画表示領域１１２内において移動後に話者である参加者が表示された位置に対応してその表示位置を移動する。
また続いて、図２７−２に示すように、ステップ２９１４（表示変更手段）においてタイムチャート表示領域１６４に画像表示されたタイムチャート１５６についてもパノラマ画像１１４中の各参加者が移動したのに追随させ各参加者の所謂発話履歴を示す各帯状ライン１５８の表示位置を移動させる。各帯状ライン１５８の表示位置の移動については、例えばタイムチャート座標変換テーブル等を用いて各帯状ライン１５８の表示位置の座標系を変更することで順次一意に定めてゆくことができる。
一方、ステップ２９１５（表示変更手段）においてタイムチャート１５６中の任意の位置の帯状ライン１５８を例えばマウス９２によりクリックしたことを判定した場合は（ステップ２９１５：Ｙｅｓ）、ステップ２９１６において該クリック位置に対応する時刻乃至イベント開始後の経過時間の時点からのパノラマ画像１１４を画像表示し、かつ該時点からの音声データを再生する。帯状ライン１５８をクリックしていなければステップ２９１７に移行する。
このマウス９２によるクリック時点からのパノラマ画像１１４の画像表示および音声出力については、マウス９２によるクリック位置に係わるデータをネットワーク１６を介しビデオサーバ１２に送信し、ビデオサーバ１２のＨＤＤ３０から要求に沿う画像データおよび音声データを検索しネットワーク１６を介し取得する。次にステップ２９１７において終了するか否かを判定し、終了でない場合は（ステップ２９１７：Ｎｏ）、上述のステップ２９０３もしくはステップ２９０４に戻り上述の処理を繰り返すが、終了である場合は（ステップ２９１７：Ｙｅｓ）、本フローを終了する。
本実施の形態においては、各参加者に対応する位置に各参加者が発言した時刻および発言継続時間もしくはイベント開始後の経過時間および発言継続時間を所定幅で所定色の帯状ライン１５８を表示するタイムチャート１５６を表示するようにしたため、第１に各参加者の発言状況を一目で見極めることが可能でありより一層わかり易く見易い映像を提供することができ、第２にタイムチャート１５６の各帯状ライン１５８のうち任意の位置をクリックすると、その時点からの画像および音声を再生することが可能であり、したがって利用する時間を任意に決められる他、繰り返し見たいシーン等があれば何度でも繰り返し見ることができ、この観点からも各段に利便性が向上する利点がある。
ところで、上述した各種プログラムのうち、特に画像表示プログラム等は、ビデオサーバ１２からネットワーク１６を介し動画表示用ＰＣ１４にダウンロードする場合を例に説明したが、動画表示用ＰＣ１４には、図３０にも示すように、一般に記録メディア（記憶媒体）としてＣＤ―ＲＯＭの読取り装置をも備えており、したがってＣＤ−ＲＯＭからＥＰＲＯＭ７２もしくはＨＤＤ７８にインストールしてもよいことは勿論である。
また、上述した各実施の形態は、本発明の技術的思想の一例を説明したものにすぎず、即ち本発明の権利範囲は上述した実施の形態の通りに限定し、縮小して解釈するべきではなく、下記のように本発明の構成要素を別の要素に変更した例も本発明と均等な発明として本発明の権利範囲に含まれるものである。
即ち、例えば上記各実施の形態等において、カメラ（全方位カメラ）２８および４チャンネルのマイク６６を用いると説明したが、これらの入力形態は上記以外のものであっても構わない。例えば広角レンズ等を用いた広角カメラ等の既に利用されている撮像装置を使用して上述と同様の動作を実現した場合も、本願の権利範囲に含まれる。
また、上記各実施の形態において、動画表示プログラムは動画表示用ＰＣ１４にダウンロード乃至インストールされていると説明したが、必ずしもこのような形態でなくても構わない。例えば、動画表示用ＰＣ１４がウェブブラウザを介してビデオサーバ１２に対して配信要求を送信すると、ビデオサーバ１２が動画表示用ＰＣ１４に、例えばActiveＸ（Ｒ）コンポーネントとして実装された動画表示プログラムを動画データおよびＨＴＭＬデータとともに送信し、動画表示用ＰＣ１４のウェブブラウザ上でこのプログラムを実行するようにしてもよい。このような構成にすることで、ユーザはネットワーク接続機能のあるＰＣさえあれば、特別なプログラムを事前にインストール等しなくても上述の動作を実現でき、大変好適である。
また、上記各実施の形態において、ビデオサーバ１２よりドーナッツ画像が送信され、動画表示プログラムによりパノラマ画像１１４に変換した後に、動画表示用ＰＣ１４のディスプレイ８６上に表示されると説明したが、動画データの表示までの動作は上記以外のものであっても構わない。例えば、ビデオサーバ１２が元々パノラマ画像１１４を送信する場合は、動画表示プログラムは表示形態の変更のみを行うなど、別の形態であっても構わない。
また、上記各実施の形態において、動画表示プログラムは、ユーザが位置指定領域において指定した位置を左端とするようパノラマ画像１１４を表示すると説明したが、該位置を中央に位置するよう表示しても構わない。また、ユーザがパノラマ画像１１４の表示形態を指定するために、以下の１．〜３．のように別のインタフェイスを備えた場合でも、本願の権利範囲に含まれる。
即ち、１．位置指定領域において、１回目の左クリックで移動元を指定し、２回目の左クリックで該移動元の移動先を指定する。２．マウス９２のドラッグアンドドロップによる方法。位置指定領域において、移動元の位置にマウスカーソルが重なった状態で左ボタンを押下し、そのままの状態で該移動元の移動先にマウスカーソルを移動させ、そこで左ボタンを離す。３．図３１に示すように、位置指定領域の代わりに位置指定ボタンを用意する。例えば、左向き三角印が記されたボタンが押下されると、動画表示プログラムは、パノラマ画像と話者位置表示マークとを所定量、例えば方位角３０°に相当する量だけ、左向きにパンさせて表示する、等である。
また、実施の形態１において、ビデオサーバ１２にカメラ２８およびマイクアレイ３４が接続されており、これらの機器により取得されたデータを動画表示用ＰＣ１４にライブ配信すると説明したが、特許請求の範囲を見て分かるように、ビデオサーバ１２によるライブ配信をもって本願記載の発明を限定するものではなく、したがって、動画表示用ＰＣ１４にカメラ２８およびマイク６６が接続され、該ＰＣ１４上で動画画表示プログラムがこれらの機器により取得されたデータを上述の如く表示する場合でも、本願の権利範囲に含まれる。
また、実施の形態２において、ビデオサーバ１２内に画像データ、音声データ等を蓄えておき、動画表示用ＰＣ１４からの配信要求に応じてオンデマンド配信すると説明したが、特許請求の範囲を見て分かるように、ビデオサーバ１２によるオンデマンド配信をもって本願記載の発明を限定するものではなく、したがって、動画表示用ＰＣ１４内に画像データ、音声データ等を蓄えておき、該ＰＣ１１４上で画像表示プログラムがこれらのデータを読み出して、上述の如く表示する場合でも、本願の権利範囲に含まれる。また、実施の形態２において、画像配信プログラムは記録開始時刻を０とする相対時刻をパラメータにとると説明したが、絶対時刻であっても構わない。
また、実施の形態３において説明した参加者特定プログラムの動作も、上述の通りに限定されず、全く別の形態であってもよい。例えば、ドーナッツ画像をパノラマ画像１１４に変形するハードウェア又はプログラムをビデオサーバ１２に実装し、パノラマ画像１１４に変形した後に参加者の特定および追跡を行っても構わない。また、各々の参加者が電波送信機能を有したＩＣカードを装着し、各々のＩＣカードから送られてくる電波を読み取ることにより参加者ＩＤと位置を取得し、その結果と画像データとを照合することにより、画像データ中の参加者を特定するなど、全く別の構成であっても構わない。
また、実施の形態３において説明した話者検出プログラムの動作も、上述の通りに限定されず、全く別の形態であってもよい。例えば、一つのマイクより入力される音声データを予めビデオサーバ１２に登録された参加者の声と照合することにより話者を特定し、その結果を参加者特定プログラムの出力と照合させることにより、話者の位置を検出するよう構成しても構わない。また、実施の形態４において、動画配信プログラムはタイムチャート１５６を画像データとして動画表示用ＰＣ１４に送信すると説明したが、これとは異なる形態であってもよい。例えば、図１７に示すような話者方向データを送信し、動画表示の際にタイムチャート１５６をリアルタイムに生成し表示しても構わない。
また、実施の形態４は、カメラ２８とマイクアレイ３４で取得された画像データ、音声データをライブ配信する用途にも適用できる。例えば、動画表示プログラムがビデオサーバ１２より受信した話者の方向の履歴を蓄えておき、画像表示の際に随時タイムチャート１５６を更新しながら表示した場合も、本願の権利範囲に含まれる。また、動画表示用ＰＣ１４側に動画を表示する際は、所定の動画表示領域１１２と複数の参加者表示領域１４８との何れにも任意に切り換えられるようにしても構わない。
本発明に係わるデータ表示システム、データ表示方法、プログラム、および記録媒体においては、３６０度周囲の方向を撮影した画像を時間的に変化し得るパノラマ画像乃至パノラマ的画像に変換してディプレイ上に画像表示するようにし、かつ１クリック等の簡単な操作で表示形態乃至表示位置を自在に変更できるようにしたので、非常にわかり易くかつ見易く各段に利便性が高くなり、例えば円卓を囲む複数の参加者で社内会議や時節懇談会、あるいは国際的な民族間の協議会やトークショー等の実況を行って例えば遠隔地の多数の人が観覧するというあらゆる電子会議的な分野において優れた利便性の付加価値を提供し多くの人々の間で利用することが可能である。
実施の形態１に係わるデータ表示システムの構成を説明する説明図である。 実施の形態１に係わるビデオサーバの構成を示すブロック図である。 実施の形態１に係わるカメラ部およびマイクアレイの構成を説明する斜視図である。 前記カメラ部で撮影した画像の一例を説明する説明図である。 実施の形態１に係わる動画表示用ＰＣの構成を示すブロック図である。 実施の形態１に係わるデータ表示システムのプログラム構成を説明する説明図である。 実施の形態１におけるパノラマ画像の一例を説明する説明図である。 実施の形態１における画像表示レイアウトの具体例を説明する説明図である。 前記パノラマ画像の表示位置変更の指定操作の一例を説明する説明図である。 前記パノラマ画像の表示形態変更後の一例を説明する説明図である。 前記パノラマ画像に変換する一原理の一要素を説明する説明図である。 前記パノラマ画像に変換する一原理の他の一要素を説明する説明図である。 前記パノラマ画像の表示形態を変更する際の座標変換テーブルを説明する説明図である。 実施の形態１における話者検出プログラムの処理を示すフローチャートである。 実施の形態１における動画配信プログラムの処理を示すフローチャートである。 実施の形態１における動画表示プログラムの処理を示すフローチャートである。 実施の形態２に係わるデータ表示システムの構成を説明する説明図である。 実施の形態２に係わるデータ表示システムのプログラム構成を説明する説明図である。 実施の形態２における話者方向データのフォーマットを説明する説明図である。 実施の形態２における画像表示レイアウトの具体例を説明する説明図である。 実施の形態２における非動画配信時の画像表示例を説明する説明図である。 実施の形態２における動画表示プログラムの処理を示すフローチャートである。 実施の形態３に係わるデータ表示システムのプログラム構成を説明する説明図である。 実施の形態３における参加者特定データのレイアウトの具体例を説明する説明図である。 実施の形態３における画像表示レイアウトの具体例を説明する説明図である。 実施の形態３における複数の参加者表示画像の表示形態変更後の一例を説明する説明図である。 実施の形態３における参加者特定プログラムの処理を示すフローチャートである。 実施の形態３における動画表示プログラムの処理を示すフローチャートである。 実施の形態４に係わるデータ表示システムが生成するタイムチャートの一例を説明する説明図である。 実施の形態４における画像表示レイアウトの具体例を説明する説明図である。 実施の形態４におけるパノラマ画像およびタイムチャートの表示形態変更後の一例を説明する説明図である。 実施の形態４におけるタイムチャート生成プログラムの処理を示すフローチャートである。 実施の形態４における動画表示プログラムの処理を示すフローチャートである。 動画表示用ＰＣに動画表示プログラム等をインストールする場合を説明する説明図である。 操作インタフェイスの他の具体例を説明する説明図である。
符号の説明
１０ データ表示システム
１２ ビデオサーバ
１４ 動画表示用ＰＣ
１６ ネットワーク
２２，７２ ＥＰＲＯＭ
２３ 話者位置表示マーク
２４，７４ ＲＡＭ
２６，７６ ＶＲＡＭ
２８ カメラ
３０，７８ ＨＤＤ
３２，８０ ビデオキャプチャ
３４ マイクアレイ
３８，８４ アドレス制御部
４０，８６ ディスプレイ
４２，８８ キーボード
４４，９４ 音響再生部
４６，９６ スピーカ
４８，９８ 送受信部
５０，１００ 通信インタフェイス
５２，１０２ ＣＰＵ
５６ 台座
５８ 集光レンズ
６０ 透明包囲体
６２ 双曲面ミラー
６４ カメラ部
６６ マイク
９０ 位置指定領域
９２ マウス
１１２ 動画表示領域
１１４ パノラマ画像
１１６ 所定の付加情報表示領域
１２０ フィールド
１２２ 操作インタフェイス
１２４ 再生用ボタン
１２６ 停止用ボタン
１２８ 一時停止用ボタン
１３０ 巻き戻し用ボタン
１３２ 早送り用ボタン
１４２ イベント表示領域
１４４ 左変更ボタン
１４６ 右変更ボタン
１４８ 参加者表示領域
１５０ 話者表示マーク
１５６ タイムチャート
１５８ 帯状ライン
１６０ 再生位置表示バー
１６２ スクロールバー
１６４ タイムチャート表示領域

Claims (50)

  1. １または複数の被写体を撮影して時間的に変化し得る画像データを取得する画像データ取得手段と、
    前記画像データ取得手段が取得した前記画像データを画像表示手段の所定の画像表示領域に表示する第１の表示手段と、
    前記被写体に関連する付加情報を取得する付加情報取得手段と、
    前記付加情報を前記画像表示手段の他の所定の付加情報表示領域に表示する第２の表示手段と、
    前記画像データの表示形態乃至表示位置変更、あるいは前記画像データおよび前記付加情報の表示形態乃至表示位置変更を指定する指定手段と、
    前記指定手段が指定した前記表示形態乃至表示位置変更に基づいて、前記画像データ、あるいは前記画像データおよび前記付加情報の表示形態乃至表示位置を変更する表示変更手段と、
    を備えたことを特徴とするデータ表示システム。
  2. 前記画像データ取得手段は、３６０度周囲の方向の前記被写体を撮影するための双曲面ミラーを含むカメラ部を備えたことを特徴とする請求項１に記載のデータ表示システム。
  3. 前記第１の表示手段は、前記３６０度周囲の方向の前記被写体を撮影した画像データをパノラマ画像に変換して前記所定の画像表示領域に画像表示する画像変換手段を備えたことを特徴とする請求項１または２に記載のデータ表示システム。
  4. 前記被写体が発する音声や音もしくは楽音を収集し再生し出力する音響収集手段を備えたことを特徴とする請求項１に記載のデータ表示システム。
  5. 複数のマイクと、該複数のマイクの集音状態から音源の方向を識別し音源方向データを前記付加情報の一つとして生成する音源方向識別手段とを備えたことを特徴とする請求項１または４に記載のデータ表示システム。
  6. 前記第２の表示手段は、前記画像表示手段の前記所定の画像表示領域に対し前記他の所定の付加情報表示領域を隣接させ、かつ該所定の付加情報表示領域に前記所定の画像表示領域内の各被写体毎の位置に合わせ各被写体毎に関係する前記付加情報を表示させることを特徴とする請求項１に記載のデータ表示システム。
  7. 前記第１の表示手段は、前記所定の画像表示領域内の隣合う各被写体の間の略等分の位置毎に空間内の方向乃至は背景と同一の画像データを表示させることを特徴とする請求項１または３に記載のデータ表示システム。
  8. 前記第２の表示手段は、前記所定の画像表示領域に対し、前記他の所定の付加情報表示領域として、前記音源方向データに対応して発音者である前記被写体を指向する音源位置表示マークを表示する音源位置表示領域を隣接させることを特徴とする請求項１，６，７のいずれか一つに記載のデータ表示システム。
  9. 前記第２の表示手段は、前記所定の画像表示領域内の発音者である被写体の表示位置に対し前記音源位置表示マークの表示位置を一致させる座標変換テーブルを含んだことを特徴とする請求項１または８に記載のデータ表示システム。
  10. 前記第２もしくは第３の表示手段は、前記所定の画像表示領域に対し、前記指定手段により前記画像データの表示形態乃至表示位置を変更する際の先頭位置もしくは先頭位置および移動先位置を指定するための位置指定領域を隣接させることを特徴とする請求項１，６，７，８のいずれか一つに記載のデータ表示システム。
  11. 前記指定手段により前記画像データの表示形態乃至表示位置を変更する際の先頭位置を指定する際は、前記所定の画像表示領域内において前記被写体外の所要の空間内の方向を指定することを特徴とする請求項１または１０に記載のデータ表示システム。
  12. 前記表示変更手段は、前記位置指定領域中で前記指定手段により所要の位置が指定された場合、前記所定の画像表示領域内の該位置の画像データを先頭位置として後続する画像データとともに該所定の画像表示領域の一端もしくは所要の位置に移動させ、かつ該所定の画像表示領域内の前記先頭位置と前記所定の画像表示領域の移動先との間の画像データを前記後続する画像データの最後尾にリンクさせるか、あるいは前記先頭位置の移動とともに前記一端からはみ出す分の画像データを前記後続する画像データの最後尾にリンクさせ、
    かつ前記表示変更手段は、前記画像データの移動時の前記発音者である被写体に合わせて前記音源位置表示マークの表示位置を変更させることを特徴とする請求項１，６〜９のいずれか一つに記載のデータ表示システム。
  13. 前記第１の表示手段は、前記所定の画像領域として、少なくとも被写体の数に応じた互いに離間する複数の被写体表示領域を設定し、かつ前記第２の表示手段は、前記複数の被写体表示領域のうち発音者である被写体を画像表示する被写体表示領域を囲う発音者表示マークを表示し、更に前記指定手段は、前記複数の被写体表示領域の付近に表示された前記複数の被写体表示領域内の各画像データの表示順序を変更するための表示順序変更ボタンを含んだことを特徴とする請求項１に記載のデータ表示システム。
  14. 前記表示変更手段は、所要の操作で前記第１の表示手段により表示した前記所定の画像表示領域、あるいは前記互いに離間する複数の被写体表示領域のうちいずれか一つに切換えることを特徴とする請求項１または１３に記載のデータ表示システム。
  15. 前記指定手段は、前記画像データの表示形態乃至表示位置を変更する際に、所要の操作で前記所定の画像表示領域内、もしくは前記互いに離間する複数の被写体表示領域で位置的に各被写体の表示順序を指定することを特徴とする請求項１，１３，１４のいずれか一つに記載のデータ表示システム。
  16. 前記第２の表示手段は、前記所定の画像表示領域、あるいは前記各被写体表示領域毎に画像表示した各被写体付近に該被写体に関係する付加情報として参加者ＩＤもしくは参加者名を表示することを特徴とする請求項１，１３，１４のいずれか一つに記載のデータ表示システム。
  17. 前記所定の画像表示領域、あるいは前記互いに離間する複数の被写体表示領域の付近に各被写体の発音時の時刻乃至イベント開始後の経過時間、および発音継続時間を記録したタイムチャートを表示することを特徴とする請求項１，６〜１４，１６のいずれか一つに記載のデータ表示システム。
  18. 前記表示変更手段は、前記位置指定領域中で前記指定手段により所要の位置が指定されて前記被写体の画像データを移動させる場合、該被写体の画像データの移動に合わせて前記タイムチャート内の各被写体毎の発音時の時刻乃至イベント開始後の経過時間、および発音継続時間の記録内容を移動先の核被写体に合わせて移動させることを特徴とする請求項１または１７に記載のデータ表示システム。
  19. 前記表示変更手段は、前記タイムチャート内の所要の位置の記録内容が指定された場合、該位置からの画像データ、音声データ、付加情報を出力することを特徴とする請求項１，１７，１８のいずれか一つに記載のデータ表示システム。
  20. 前記所定の画像表示領域、あるいは前記互いに離間する複数の被写体表示領域の付近に再生用ボタン、停止用ボタン、一時停止用ボタン、巻き戻し用ボタン、早送り用ボタン等を含む操作インタフェイスを表示することを特徴とする１，６〜１９のいずれか一つに記載のデータ表示システム。
  21. １または複数の被写体を撮影して時間的に変化し得る画像データを取得する前記画像データ取得手段、前記被写体に関連する付加情報を取得する前記付加情報取得手段、前記被写体の音声や音もしくは楽音を収集する前記音響収集手段、前記画像データ、前記付加情報、音声データ、音データ、もしくは楽音データを記憶する記憶手段、および、前記画像データ、前記付加情報、前記音声データ等をネットワークを介しライブ配信するか、前記画像データ、前記付加情報、前記音声データ等を前記記憶手段から読み出して該ネットワークを介し配信する配信手段を備えたビデオサーバと、
    前記ビデオサーバが配信する前記画像データ、前記付加情報、前記音声データ、前記音データ、もしくは前記楽音データを前記ネットワークを介し受信する受信手段、前記画像データ、前記付加情報、前記音声データ、前記音データ、もしくは前記楽音データを記憶する記憶手段、前記画像データを画像表示手段の所定の画像表示領域に表示する前記第１の表示手段、前記付加情報を前記画像表示手段の前記他の所定の付加情報表示領域に表示する前記第２の表示手段、前記音声データ等を再生し出力する前記音響出力手段、前記画像データの表示形態乃至表示位置変更、あるいは前記画像データおよび前記付加情報の表示形態乃至表示位置変更を指定する前記指定手段、および、前記指定手段が指定した前記表示形態乃至表示位置変更に基づいて前記画像データあるいは前記画像データおよび前記付加情報の表示形態乃至表示位置を変更する前記表示変更手段を備えた動画表示用パーソナルコンピュータと、
    を備えて構成したことを特徴とする請求項１〜２０のいずれか一つに記載のデータ表示システム。
  22. 前記ビデオサーバは、前記所定の画像表示領域、あるいは前記互いに離間する複数の被写体表示領域の付近に各被写体の発音時の時刻乃至イベント開始後の経過時間、および発音継続時間を記録したタイムチャートを生成して送信し、
    前記動画表示用パーソナルコンピュータは、前記タイムチャートを受信乃至は生成して前記所定の画像表示領域、あるいは前記互いに離間する複数の表示領域の付近に表示することを特徴とする請求項２１に記載のデータ表示システム。
  23. １または複数の被写体を撮影して時間的に変化し得る画像データを取得して画像表示手段の所定の画像表示領域に表示し、
    前記被写体に関連する付加情報を取得して前記画像表示手段の他の所定の付加情報表示領域に表示し、
    所望により前記画像データの表示形態乃至表示位置変更、あるいは前記画像データおよび前記付加情報の表示形態乃至表示位置変更を指定し、該指定に基づいて前記画像データおよび前記付加情報の表示形態乃至表示位置を変更することを特徴とするデータ表示方法。
  24. 前記画像データを取得する際に、３６０度周囲の方向の前記被写体を撮影して前記画像データをパノラマ画像に変換し前記所定の画像表示領域に画像表示することを特徴とする請求項２３に記載のデータ表示方法。
  25. 前記被写体が発する音声や音、もしくは楽音を収集し再生し出力することを特徴とする請求項２３に記載のデータ表示方法。
  26. 前記音声や音、もしくは楽音を収集する際に、音源の方向を識別する音源方向データを生成し前記付加情報の一つとして表示することを特徴とする請求項２３〜２５のいずれか一つに記載のデータ表示方法。
  27. 前記画像表示手段の前記所定の画像表示領域に対し前記他の所定の付加情報表示領域を隣接させることを特徴とする請求項２３に記載のデータ表示方法。
  28. 前記他の所定の付加情報表示領域に対し、前記音源方向データに対応して前記発音者である被写体を指向する音源位置表示マークを表示することを特徴とする請求項２３または２６に記載のデータ表示方法。
  29. 前記所定の画像表示領域に対し、前記画像データの表示形態乃至表示位置を変更する際の先頭位置を指定するための位置指定領域を隣接させることを特徴とする請求項２３に記載のデータ表示方法。
  30. 前記画像データの表示形態乃至表示位置を変更する際に、前記位置指定領域中で所要の位置を指定し、前記所定の画像表示領域内の該位置にあたる画像データを先頭位置として後続する画像データとともに該所定の画像表示領域の一端もしくは所要の位置に移動させ、かつ該所定の画像領域内の前記先端位置と前記所定の画像領域の移動先との間の画像データを前記後続する画像データの最後尾にリンクさせるか、あるいは前記移動に伴い前記一端からはみ出す分の画像データを前記後続する画像データの最後尾にリンクさせ、
    かつ前記画像データの移動時の前記発音者である被写体に合わせて前記音源位置表示マークの表示位置を変更させることを特徴とする請求項２３または２８に記載のデータ表示方法。
  31. 前記所定の画像表示領域として、少なくとも被写体の数に応じた互いに離間する複数の被写体表示領域を設定し、かつ前記複数の被写体表示領域のうち発音者である被写体を画像表示する被写体表示領域を囲う音源位置表示マークを表示し、更に前記複数の被写体表示領域の付近に表示された表示順序変更ボタンで前記複数の被写体表示領域内の各画像データの表示順序を変更することを特徴とする請求項２３に記載のデータ表示方法。
  32. 前記画像データの画像表示に際して、所要の操作で前記所定の画像表示領域、あるいは前記互いに離間する複数の被写体表示領域のうち何れかを使用することを特徴とする請求項２３または３１に記載のデータ表示方法。
  33. 前記所定の画像表示領域、あるいは前記各被写体表示領域毎に画像表示した各被写体に関係し参加者ＩＤもしくは参加者名を表示することを特徴とする請求項２３〜３２のいずれか一つに記載のデータ表示方法。
  34. 前記所定の画像領域、あるいは前記互いに離間する複数の被写体表示領域の付近に各被写体の発音時の時刻乃至イベント開始後の経過時間、および発音継続時間を記録したタイムチャートを表示することを特徴とする請求項２３〜３３のいずれか一つに記載のデータ表示方法。
  35. 前記位置指定領域中で所要の位置が指定されて前記被写体の画像データを移動させる場合に、該被写体の画像データの移動に合わせて前記タイムチャート内の各被写体毎の発音時の時刻乃至イベント開始後の経過時間、および発音継続時間の記録内容を移動先の各被写体に合わせて移動させることを特徴とする請求項３４に記載のデータ表示方法。
  36. ビデオサーバに対し、１または複数の被写体を撮影して時間的に変化し得る画像データを取得して記憶させ、前記被写体に関連する付加情報を取得して記憶させ、前記被写体の音声や音もしくは楽音を収集して記憶させ、かつ、前記画像データ、前記付加情報、前記音声データ等をネットワークを介しライブ配信を行わせるか、もしくは前記画像データ、前記付加情報、前記音声データ等を記憶手段から読み出して該ネットワークを介し配信を行わせ、
    動画表示用パーソナルコンピュータに対し、前記ビデオサーバが配信する前記画像データ、前記付加情報、前記音声データ、前記音データ、もしくは前記楽音データを前記ネットワークを介し受信させるとともに、前記画像データを画像表示手段の所定の画像表示領域もしくは前記互いに離間する複数の被写体表示領域に表示させ、前記付加情報を前記画像表示手段の他の所定の付加情報表示領域に表示させ、前記音声データ等を再生し出力させ、かつ所定の操作で前記画像データの表示形態乃至表示位置、あるいは前記画像データおよび前記付加情報の表示形態乃至表示位置を変更させることを特徴とする請求項２３〜３５のいずれか一つに記載のデータ表示方法。
  37. 前記ビデオサーバに対し、前記所定の画像表示領域、あるいは前記互いに離間する複数の被写体表示領域の付近に各被写体の発音時の時刻乃至イベント開始後の経過時間、および発音継続時間を記録したタイムチャートを生成して送信させ、
    前記動画表示用パーソナルコンピュータに対し、前記タイムチャートを受信するか生成して前記所定の画像表示領域、あるいは前記互いに離間する複数の表示領域の付近に表示させることを特徴とする請求項３６に記載のデータ表示方法。
  38. 複数のマイクから音声データを取得するステップと、
    前記各マイクの音声データから話者方向を検出して話者方向データを生成するステップと、
    前記話者方向データに基づいて所定の画像表示領域内において話者位置を指し示す付加情報として話者位置表示マークを生成し表示させるか、ネットワークを介しライブ配信するか、配信要求の受付時に該ネットワーク介し送信するステップと、
    を含んだことを特徴とするプログラム。
  39. 被写体である参加者を撮影した画像データを取得するステップと、
    前記参加者の画像データを記憶手段に記憶された各参加者の画像データと比較することで前記被写体である参加者の参加者ＩＤもしくは参加者名データを特定するステップと、
    前記参加者ＩＤもしくは前記参加者名データを該被写体である参加者に対応させ記憶するステップと、
    前記参加者ＩＤもしくは前記参加者名データを付加情報として文字表示させるか、ネットワークを介しライブ配信するか、配信要求の受付時に該ネットワーク介し送信するステップと、
    を含んだことを特徴とするプログラム。
  40. 画像表示要求乃至画像配信要求を受付けるステップと、
    ３６０度周囲の１または複数の被写体を撮影し時間的に変化し得る画像データを取得するステップと、
    前記画像データをパノラマ画像に変換するステップと、
    前記パノラマ画像に展開された画像データを記憶手段に記憶するステップと、
    前記パノラマ画像に展開された画像データを画像表示させるか、ネットワークを介しライブ配信するか、配信要求の受付時に該ネットワーク介し送信するステップと、
    前記被写体が発した音声の音声データ、音の音データ、もしくは楽音の楽音データを収集するステップと、
    前記音声データ、音データ、もしくは楽音データを記憶手段に記憶するステップと、
    前記音声データ、音データ、もしくは楽音データを出力させるか、前記ネットワークを介しライブ配信するか、配信要求の受付時に前記記憶手段から読み出して該ネットワークを介し配信するステップと、
    前記被写体に関係する付加情報を取得するステップと、
    前記付加情報を記憶手段に記憶するステップと、
    前記付加情報を表示するか、前記ネットワークを介しライブ配信するか、配信要求の受信時に前記記憶手段から読み出して該ネットワークを介し配信するステップと、
    を含んだことを特徴とするプログラム。
  41. 各被写体の発音時の時刻乃至イベント開始後の経過時間および発音時間を記録したタイムチャートを生成するステップと、
    前記タイムチャートを記憶手段に記憶するステップと、
    前記タイムチャートを画像表示させるか、ネットワークを介しライブ配信するか、配信要求の受付時に該ネットワーク介し送信するステップと、
    を含んだことを特徴とする請求項４０に記載のプログラム。
  42. 画像配信要求をネットワークを介し送信するステップと、
    前記ネットワークを介し３６０度周囲の１または複数の被写体を撮影した時間的に変化し得る画像データを取得するステップと、
    前記画像データを画像表示手段の所定の画像表示領域に画像表示させるステップと、
    前記ネットワークを介し前記被写体が発した音声の音声データ、音データ、もしくは楽音データを取得するステップと、
    前記音声データ、音データ、もしくは楽音データを出力手段に出力させるステップと、
    前記ネットワークを介し前記被写体に関係する参加者ＩＤ、参加者名、もしくは音源位置表示マーク等の付加情報を取得するステップと、
    前記付加情報のうち参加者ＩＤ、参加者名を前記画像表示手段の前記所定の画像表示領域の関係する前記被写体付近に表示させ、音源位置表示マークを前記所定の画像表示領域に隣接する他の付加情報表示領域において前記被写体である話者に対応する位置に表示させるステップと、
    前記所定の画像表示領域に対し、前記画像データの表示形態乃至表示位置を変更する際の先頭位置乃至は先頭位置および移動先位置を指定、もしくは移動対象の表示画像および移動先を指定するための位置指定領域を隣接させ、かつ該指定を認識するステップと、
    前記指定の認識に基づいて前記所定の画像表示領域において前記画像データを移動先に移動させ、この際に、該画像データがスクロール的に移動する場合は該画像データの最後尾に対し、前記画像データの先頭位置から移動先位置までの画像データをリンクさせるか、あるいは前記先頭位置の移動とともに移動して前記所定の画像表示領域の一端からはみ出す分の画像データをリンクさせるステップと、
    前記指定の認識に基づいて前記画像データの移動時の前記発音者である被写体に合わせて前記参加者ＩＤ、前記参加者名、前記音源位置表示マークの表示位置を変更させるステップと、
    を含んだことを特徴とするプログラム。
  43. 前記ネットワークを介し各被写体の発音時の時刻乃至イベント開始後の経過時間および発音時間を記録したタイムチャートを取得するステップと、
    前記所定の画像表示領域、あるいは互いに離間する複数の表示領域の付近に前記タイムチャートを表示するステップと、
    前記画像データの移動時に、該画像データの移動に合わせて前記タイムチャート内の各被写体毎の発音時の時刻乃至イベント開始後の経過時間および発音継続時間の記録内容を移動先の各被写体に合わせて移動させるステップと、
    を含んだことを特徴とする請求項４２に記載のプログラム。
  44. 複数のマイクから音声データを取得する処理手順と、
    前記各マイクの音声データから話者方向を検出して音源方向データを生成する処理手順と、
    前記話者方向データに基づいて所定の画像表示領域内において話者位置を指し示す付加情報として音源位置表示マークを生成し表示させるか、ネットワークを介しライブ配信するか、配信要求の受信時に該ネットワーク介し送信する処理手順と、
    を含むプログラムを記録したことを特徴とする記録媒体。
  45. 被写体である参加者を撮影した画像データを取得する処理手順と、
    前記参加者の画像データを記憶手段に記憶された各参加者の画像データと比較することで前記被写体である参加者の参加者ＩＤもしくは参加者名データを特定する処理手順と、
    前記参加者ＩＤもしくは前記参加者名データを該被写体である参加者に対応させ記憶する処理手順と、
    前記参加者ＩＤもしくは前記参加者名データを付加情報として文字表示させるか、ネットワークを介しライブ配信するか、配信要求の受信時に該ネットワーク介し送信する処理手順と、
    を含むプログラムを記録したことを特徴とする記録媒体。
  46. 画像表示要求乃至画像配信要求を受付ける処理手順と、
    ３６０度周囲の１または複数の被写体を撮影し時間的に変化し得る画像データを取得する処理手順と、
    前記画像データをパノラマ画像に変換する処理手順と、
    前記パノラマ画像に変換された画像データを記憶手段に記憶する処理手順と、
    前記パノラマ画像に変換された画像データを画像表示させるか、ネットワークを介しライブ配信するか、配信要求の受信時に該ネットワーク介し送信する処理手順と、
    前記被写体が発した音声の音声データ、音の音データ、もしくは楽音の楽音データを収集する処理手順と、
    前記音声データ、音データ、もしくは楽音データを記憶手段に記憶する処理手順と、
    前記音声データ、音データ、もしくは楽音データを出力させるか、前記ネットワークを介しライブ配信するか、配信要求の受信時に前記記憶手段から読み出して該ネットワークを介し配信する処理手順と、
    前記被写体に関係する付加情報を取得する処理手順と、
    前記付加情報を記憶手段に記憶する処理手順と、
    前記付加情報を表示するか、前記ネットワークを介しライブ配信するか、配信要求の受信時に前記記憶手段から読み出して該ネットワークを介し配信する処理手順と、
    を含むプログラムを記録したことを特徴とする記録媒体。
  47. 各被写体の発音時の時刻乃至イベント開始後の経過時間および発音継続時間を記録したタイムチャートを生成する処理手順と、
    前記タイムチャートを記憶手段に記憶する処理手順と、
    前記タイムチャートを画像表示させるか、ネットワークを介しライブ配信するか、配信要求の受信時に該ネットワーク介し送信する処理手順と、
    を含むプログラムを記録したことを特徴とする請求項４６に記載の記録媒体。
  48. 画像配信要求をネットワークを介し送信する処理手順と、
    前記ネットワークを介し３６０度周囲の１または複数の被写体を撮影した時間的に変化し得る画像データを取得する処理手順と、
    前記画像データを画像表示手段の所定の画像表示領域に画像表示させる処理手順と、
    前記ネットワークを介し前記被写体が発した音声の音声データ、音データ、もしくは楽音データを取得する処理手順と、
    前記音声データ、音データ、もしくは楽音データを音響出力手段に出力させる処理手順と、
    前記ネットワークを介し前記被写体に関係する参加者ＩＤ、参加者名、もしくは音源位置表示マーク等の付加情報を取得する処理手順と、
    前記付加情報のうち参加者ＩＤ、参加者名を前記画像表示手段の前記所定の画像表示領域の関係する前記被写体付近に表示させ、音源位置表示マークを前記所定の画像表示領域に隣接する他の付加情報表示領域において前記被写体である話者に対応する位置に表示させる処理手順と、
    前記所定の画像表示領域に対し、前記画像データの表示形態乃至表示位置を変更する際の先頭位置乃至は先頭位置および移動先位置を指定、もしくは移動対象の表示画像および移動先を指定するための位置指定領域を隣接させ、かつ該指定を認識する処理手順と、
    前記指定の認識に基づいて前記所定の画像表示領域において前記画像データを移動先に移動させ、この際に、該画像データがスクロール的に移動する場合は該画像データの最後尾に対し、前記画像データの先頭位置から移動先位置までの画像データをリンクさせるか、あるいは前記先頭位置の移動とともに移動して前記所定の画像表示領域の一端からはみ出す分の画像データをリンクさせる処理手順と、
    前記指定の認識に基づいて前記画像データの移動時の前記発音者である被写体に合わせて前記参加者ＩＤ、前記参加者名、前記音源位置表示マークの表示位置を変更させる処理手順と、
    を含むプログラムを記録したことを特徴とする記録媒体。
  49. 前記ネットワークを介し各被写体の発音時の時刻乃至イベント開始後の経過時間および発音継続時間を記録したタイムチャートを取得する処理手順と、
    前記所定の画像表示領域、あるいは互いに離間する複数の被写体表示領域の付近に前記タイムチャートを表示する処理手順と、
    前記画像データの移動時に、該画像データの移動に合わせて前記タイムチャート内の各被写体毎の発音時の時刻乃至イベント開始後の経過時間および発音継続時間の記録内容を移動先の各被写体に合わせて移動させる処理手順と、
    を含むプログラムを記録したことを特徴とする請求項４８に記載の記録媒体。
  50. 前記所定の画像表示領域の表示と、前記互いに離間する複数の被写体表示領域の表示とを切換える処理手順を含むプログラムを記録したことを特徴とする請求項４４〜４９のいずれか一つに記載の記録媒体。
JP2003329203A 2003-09-19 2003-09-19 動画表示用パーソナルコンピュータ、データ表示システム、動画表示方法、動画表示プログラムおよび記録媒体 Expired - Fee Related JP4414708B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003329203A JP4414708B2 (ja) 2003-09-19 2003-09-19 動画表示用パーソナルコンピュータ、データ表示システム、動画表示方法、動画表示プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003329203A JP4414708B2 (ja) 2003-09-19 2003-09-19 動画表示用パーソナルコンピュータ、データ表示システム、動画表示方法、動画表示プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2005094713A true JP2005094713A (ja) 2005-04-07
JP4414708B2 JP4414708B2 (ja) 2010-02-10

Family

ID=34458509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003329203A Expired - Fee Related JP4414708B2 (ja) 2003-09-19 2003-09-19 動画表示用パーソナルコンピュータ、データ表示システム、動画表示方法、動画表示プログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP4414708B2 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085930A (ja) * 2006-09-29 2008-04-10 Nec Engineering Ltd テレビ会議装置
JP2008269238A (ja) * 2007-04-19 2008-11-06 Toshiba Corp 医療現場表示システム、医療現場分析システム、医療現場表示方法、及び医療現場分析方法
JP2015028625A (ja) * 2013-06-28 2015-02-12 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2016506670A (ja) * 2012-12-19 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー アクティブ話者検出のためのビデオ及びオーディオタグ付け
JP5979458B1 (ja) * 2015-11-06 2016-08-24 パナソニックＩｐマネジメント株式会社 無人飛行体検知システム及び無人飛行体検知方法
JP2016163104A (ja) * 2015-02-27 2016-09-05 株式会社ニコン 撮像装置
US9602758B2 (en) 2015-07-10 2017-03-21 Ricoh Company, Ltd. Communication apparatus, conference system, computer-readable recording medium, and display control method
JP2017523632A (ja) * 2014-05-21 2017-08-17 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 映像でのプレゼンテーションのための方法、装置、およびシステム
JP2017201743A (ja) * 2016-05-02 2017-11-09 株式会社リコー 画像管理システム、画像管理装置、プログラム及び情報端末
CN108682032A (zh) * 2018-04-02 2018-10-19 广州视源电子科技股份有限公司 控制视频图像输出的方法、装置、可读存储介质及终端
CN109089087A (zh) * 2018-10-18 2018-12-25 广州市盛光微电子有限公司 多通道影音联动装置
JP2018207302A (ja) * 2017-06-05 2018-12-27 株式会社Ｊｖｃケンウッド チャット端末装置、チャットシステム、チャット表示方法、及びチャット表示プログラム
US10264302B2 (en) 2016-09-30 2019-04-16 Ricoh Company, Ltd. Communication management apparatus, method and computer-readable storage medium for generating image data identification information
EP3493554A4 (en) * 2016-07-28 2019-08-21 Panasonic Intellectual Property Management Co., Ltd. UNMANUFACTURED AIRCRAFT RECOGNITION SYSTEM AND METHOD FOR DETECTING UNMANNED AIRCRAFT
US10721116B2 (en) 2016-09-30 2020-07-21 Ricoh Company, Ltd. Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium
US10778865B2 (en) 2017-02-09 2020-09-15 Ricoh Company, Ltd. Image processing apparatus, image processing system, and image processing method
JP2022056108A (ja) * 2020-09-29 2022-04-08 ソフトバンク株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
US11558431B2 (en) 2017-01-05 2023-01-17 Ricoh Company, Ltd. Communication terminal, communication system, communication method, and display method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06152765A (ja) * 1992-11-06 1994-05-31 Ricoh Co Ltd テレビ会議システム
JPH07236128A (ja) * 1994-02-25 1995-09-05 Sharp Corp 多地点会議制御装置
JPH09139928A (ja) * 1995-10-20 1997-05-27 Hewlett Packard Co <Hp> 多地点ビデオ会議システム
JPH10145763A (ja) * 1996-11-15 1998-05-29 Mitsubishi Electric Corp 会議システム
JP2002109099A (ja) * 2000-09-28 2002-04-12 Nippon Telegraph & Telephone West Corp 資料と映像・音声の記録システム、装置及びコンピュータ読み取り可能な記録媒体
JP2002247489A (ja) * 2001-02-21 2002-08-30 Ricoh Co Ltd 記録装置、記録方法、記録プログラム、記録再生装置、記録再生プログラム、記録媒体
JP2002320215A (ja) * 2001-02-16 2002-10-31 Fujitsu Ltd 動画像配信用サーバーコンピュータ、動画像編集方法、動画像受信用クライアントコンピュータ、動画像配信方法、動画像配信用クライアントサーバーシステム、動画像再生処理プログラム及び記録媒体
JP2003018561A (ja) * 2001-07-04 2003-01-17 Ricoh Co Ltd 広角画像録画再生システム、会議録画再生システム、広角画像送出装置、会議画像送出装置、広角画像再生装置、会議画像再生装置、広角画像録画再生方法、会議録画再生方法、広角画像送出方法、会議画像送出方法、広角画像再生方法、会議画像再生方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06152765A (ja) * 1992-11-06 1994-05-31 Ricoh Co Ltd テレビ会議システム
JPH07236128A (ja) * 1994-02-25 1995-09-05 Sharp Corp 多地点会議制御装置
JPH09139928A (ja) * 1995-10-20 1997-05-27 Hewlett Packard Co <Hp> 多地点ビデオ会議システム
JPH10145763A (ja) * 1996-11-15 1998-05-29 Mitsubishi Electric Corp 会議システム
JP2002109099A (ja) * 2000-09-28 2002-04-12 Nippon Telegraph & Telephone West Corp 資料と映像・音声の記録システム、装置及びコンピュータ読み取り可能な記録媒体
JP2002320215A (ja) * 2001-02-16 2002-10-31 Fujitsu Ltd 動画像配信用サーバーコンピュータ、動画像編集方法、動画像受信用クライアントコンピュータ、動画像配信方法、動画像配信用クライアントサーバーシステム、動画像再生処理プログラム及び記録媒体
JP2002247489A (ja) * 2001-02-21 2002-08-30 Ricoh Co Ltd 記録装置、記録方法、記録プログラム、記録再生装置、記録再生プログラム、記録媒体
JP2003018561A (ja) * 2001-07-04 2003-01-17 Ricoh Co Ltd 広角画像録画再生システム、会議録画再生システム、広角画像送出装置、会議画像送出装置、広角画像再生装置、会議画像再生装置、広角画像録画再生方法、会議録画再生方法、広角画像送出方法、会議画像送出方法、広角画像再生方法、会議画像再生方法およびプログラム

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085930A (ja) * 2006-09-29 2008-04-10 Nec Engineering Ltd テレビ会議装置
US8405704B2 (en) 2006-09-29 2013-03-26 Nec Engineering Ltd. TV conference apparatus
JP2008269238A (ja) * 2007-04-19 2008-11-06 Toshiba Corp 医療現場表示システム、医療現場分析システム、医療現場表示方法、及び医療現場分析方法
JP2016506670A (ja) * 2012-12-19 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー アクティブ話者検出のためのビデオ及びオーディオタグ付け
JP2015028625A (ja) * 2013-06-28 2015-02-12 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2017523632A (ja) * 2014-05-21 2017-08-17 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 映像でのプレゼンテーションのための方法、装置、およびシステム
JP2016163104A (ja) * 2015-02-27 2016-09-05 株式会社ニコン 撮像装置
US9602758B2 (en) 2015-07-10 2017-03-21 Ricoh Company, Ltd. Communication apparatus, conference system, computer-readable recording medium, and display control method
JP5979458B1 (ja) * 2015-11-06 2016-08-24 パナソニックＩｐマネジメント株式会社 無人飛行体検知システム及び無人飛行体検知方法
JP2017092657A (ja) * 2015-11-06 2017-05-25 パナソニックＩｐマネジメント株式会社 無人飛行体検知システム及び無人飛行体検知方法
JP2017201743A (ja) * 2016-05-02 2017-11-09 株式会社リコー 画像管理システム、画像管理装置、プログラム及び情報端末
EP3493554A4 (en) * 2016-07-28 2019-08-21 Panasonic Intellectual Property Management Co., Ltd. UNMANUFACTURED AIRCRAFT RECOGNITION SYSTEM AND METHOD FOR DETECTING UNMANNED AIRCRAFT
US10264302B2 (en) 2016-09-30 2019-04-16 Ricoh Company, Ltd. Communication management apparatus, method and computer-readable storage medium for generating image data identification information
US10721116B2 (en) 2016-09-30 2020-07-21 Ricoh Company, Ltd. Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium
US10979751B2 (en) 2016-09-30 2021-04-13 Ricoh Company, Ltd. Communication management apparatus, method and computer-readable storage medium for generating image data identification information communication
US11558431B2 (en) 2017-01-05 2023-01-17 Ricoh Company, Ltd. Communication terminal, communication system, communication method, and display method
US10778865B2 (en) 2017-02-09 2020-09-15 Ricoh Company, Ltd. Image processing apparatus, image processing system, and image processing method
JP2018207302A (ja) * 2017-06-05 2018-12-27 株式会社Ｊｖｃケンウッド チャット端末装置、チャットシステム、チャット表示方法、及びチャット表示プログラム
CN108682032A (zh) * 2018-04-02 2018-10-19 广州视源电子科技股份有限公司 控制视频图像输出的方法、装置、可读存储介质及终端
CN108682032B (zh) * 2018-04-02 2021-06-08 广州视源电子科技股份有限公司 控制视频图像输出的方法、装置、可读存储介质及终端
CN109089087A (zh) * 2018-10-18 2018-12-25 广州市盛光微电子有限公司 多通道影音联动装置
JP2022056108A (ja) * 2020-09-29 2022-04-08 ソフトバンク株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
JP7152453B2 (ja) 2020-09-29 2022-10-12 ソフトバンク株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Also Published As

Publication number Publication date
JP4414708B2 (ja) 2010-02-10

Similar Documents

Publication Publication Date Title
JP4414708B2 (ja) 動画表示用パーソナルコンピュータ、データ表示システム、動画表示方法、動画表示プログラムおよび記録媒体
AU2019216671B2 (en) Method and apparatus for playing video content from any location and any time
JP4760892B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP4474013B2 (ja) 情報処理装置
US7139767B1 (en) Image processing apparatus and database
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
GB2342802A (en) Indexing conference content onto a timeline
CN105794202B (zh) 用于视频和全息投影的深度键合成
MXPA05010595A (es) Extraccion automatica de rostros para uso en lineas de tiempo de conferencia grabadas.
JP2014127987A (ja) 情報処理装置および記録媒体
JP6739041B2 (ja) 音声モニタリングシステム及び音声モニタリング方法
CN102111541A (zh) 拍摄控制装置、拍摄控制方法和程序
JP2003018561A (ja) 広角画像録画再生システム、会議録画再生システム、広角画像送出装置、会議画像送出装置、広角画像再生装置、会議画像再生装置、広角画像録画再生方法、会議録画再生方法、広角画像送出方法、会議画像送出方法、広角画像再生方法、会議画像再生方法およびプログラム
JP5349463B2 (ja) パノラマ式音像の生成及び再生方法並びにパノラマ式音像の再生装置
JP4451892B2 (ja) 映像再生装置、映像再生方法、及び映像再生プログラム
KR20160021706A (ko) 360도 공간영상 재생방법 및 그 시스템
JP4543694B2 (ja) コミュニケーションシステム、コミュニケーションシステムのサーバー、及びサーバーの処理方法
JP5490689B2 (ja) 複数の写真の音列を生成する方法及びその音列を生成及び再生する装置
JP5201540B2 (ja) カラオケ装置及びカラオケ歌唱者の静止画出力方法
WO2023120691A1 (ja) 動画作成システム、動画作成装置、及び動画作成用プログラム
JP2009246917A (ja) 映像表示装置及び映像処理装置
WO2017022296A1 (ja) 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法
JP2006081128A (ja) 撮影システム、カラオケシステム、撮影方法
JP6720575B2 (ja) 動画再生装置および動画処理装置
JP3954439B2 (ja) 映像記録システム、プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090831

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4414708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131127

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees