JP2007074250A - 情報処理装置 - Google Patents

Abstract

【課題】 本発明は、映像ストリームの作成者が、特別なプログラミングをすることなく、ストリームの表示時に任意のシーンでリアルタイムな撮影画像を撮影させる映像シーン表示装置を提供することを目的とする。
【解決手段】 映像ストリームを表示している最中に映像シーンに関連してリアルタイム撮影を行う映像表示装置において、表示する映像ストリームにシーン情報を記述するためのシーン情報記述手段と、前記シーン情報記述工程で記述されたシーン情報を解析しリアルタイムの撮影を行うかどうかを判断するシーン情報解析手段と、前記シーン情報解析手段でリアルタイムの撮影を行うと判断した場合にリアルタイムの撮影画像を取得する画像取得手段によって解決する。
【選択図】 図１

Description

本発明は、映像入出力をするための情報処理装置に関する。

従来、映像シーンを表示している最中に映像シーンに関連してリアルタイム撮影を行うものとしては、一定時間や指定シーン数で自動撮影するようなプログラムを用意しておく方法が一般的であった（例えば、[特許文献１]、[特許文献２]参照）。
特開２００１−２１５６０４号公報 特開２０００−１０５７７５号公報

しかしながら、プログラムを用意する方法では、正確なタイミングを図ったり適切な撮影処理を行ったりするために、複雑なプログラムを組み必要があり、映像ストリームの作成しか知識のないものにとっては負担となる。

そこで、本発明は、映像ストリームの作成者が特別なプログラミングをすることなく、任意のシーンで適切なリアルタイム撮影を行うことができる映像シーン表示装置を提供することを目的とする。

上記の目的を達成するために、本発明の請求項１記載の映像シーン表示方法は、映像ストリームを表示している最中に映像シーンに関連してリアルタイム撮影を行う映像表示装置において、表示する映像ストリームにシーン情報を記述するためのシーン情報記述工程と、前記シーン情報記述工程で記述されたシーン情報を解析しリアルタイムの撮影を行うかどうかを判断するシーン情報解析工程と、前記シーン情報解析工程でリアルタイムの撮影を行うと判断した場合にリアルタイムの撮影画像を取得する画像取得工程とを備えることを特徴とする。

本発明によると、映像ストリームの作成者が特別なプログラミングをすることなく、任意のシーンでリアルタイムな撮影画像を挿入させることができる。

本実施形態の映像表示装置の構成について、図1のブロック図を参照して説明する。撮影部１０４は、単一の情報処理装置で実現してもよいし、別の情報処理装置に分散して実現するようにしてもよい。別の情報処理装置で構成される場合は、互いに通信可能なようにLocal Area Network(ＬＡＮ)などで接続されている。

図１において、１０１は入力または保存されたデータを表示出力する表示部である。１０２は変更を必要としないプログラムやパラメータを格納するRead Only Memory（ＲＯＭ）である。１０３は外部装置などから供給されるプログラムやデータを一時記憶するRandom Access Memory（ＲＡＭ）である。１０４は指示に従い撮像処理を行う撮像部である。１０５は情報処理装置に固定して設置されたハードディスクやメモリカード、あるいは情報処理装置から着脱可能なフレキシブルディスク（ＦＤ）やCompact Disk（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含む記憶部である。１０６は情報処理装置全体を制御するCentral Processing Unit（ＣＰＵ）である。１０７はＬＡＮ（１０９）などのネットワーク回線に接続するためのインタフェースである。１０８はＵＳＢ（１１０）に接続するためのインタフェースである。

＜実施形態１＞
ここでは、ストリームコンテンツの作成者が、表示効果を出すために、あるカメラからのリアルタイムな撮影画像をシーンに挿入する場合の実施形態を示す。

先ず始めに、撮影を行う条件となる映像シーンに関する情報を映像ストリームに挿入する。図５に示すように、従来の映像ストリームは、例えばMPEG2 TSのように、ビデオデータとオーディオデータとを別々にエンコードし、それぞれをあるサイズのデータに分割して再生順に組み合わせたものでできている。各ビデオデータやオーディオデータの先頭にはIDが付けられており、このIDにより、どのようなデータが入っているのかを識別する。このような方式は、ビデオやオーディオだけでなく、EPGなどの番組情報を混在させる場合やデータ放送を行う場合などにも用いられる。本実施例では、従来のストリームデータの処理方式に大きな影響を与えないように、シーン情報用のidを使って撮影を行う条件となる映像シーンの情報を挿入する。挿入する場所は、図５に示すように撮影画像を挿入して表示するタイミングに合わせる。シーン情報としては、図６に示すように、撮影を行うことを示すcapture = ...,撮影を行うカメラの情報を示すcamera = ...というような記述を行う。記述フォーマットは、図６のような単なる文字列ではなく、xmlのような構造化文書を用いてもよい。

次に、シーン情報の挿入された映像ストリームの処理を行い、指定されたタイミングで、あるカメラからリアルタイムの撮影画像を取得する。このときの処理フローを、図２のフローチャートを参照して説明する。従来の映像ストリームの処理では、先ずidマルチプレクサでストリームデータ内の各パケットを判別する。そこで、idマルチプレクサ部分でシーン情報idを認識できるようにし、パケットがシーン情報であるかどうかを判定する（Ｓ２０１）。シーン情報であればシーン情報用の処理を呼び出し（Ｓ２０３）、そうでなければ従来のデコード処理を呼び出す（Ｓ２０２）。シーン情報には図６に示すような記述が行われているので、capture=onによりリアルタイムの撮影を行うことを認識する（Ｓ２０４）。さらに（Ｓ２０５）で撮影処理を行う際に、図３のフローで示すように、撮影を行うカメラについての情報が記述されているかどうかを調べる（Ｓ３０１）。図６のように、camera = http://...として、撮影を行うカメラのアドレス情報が記述されていれば、指定されたアドレスのカメラを利用する（Ｓ３０２）。利用できるカメラとしては、一般的にWebカメラが考えられる。Webカメラでは、単にURLにアクセスするか、capture=onというようなクエリパラメタをつけてURLにアクセスすることで、撮影画像を取得することができる。そこで、アドレス情報にはhttp://...?capture=onというように、URLと画面取得を行うクエリパラメタを記述しておく。遠隔撮影するカメラは、表示装置側でアクセスするための手段が備わっていなかったり、カメラが使用不可であったりするため、利用できない場合は代替の撮影処理を行う（Ｓ３０４）。代替の撮影処理は、シーン情報に記述されていればその処理に従い、記述されていなければ表示装置側の既定処理に従う。問題なく利用できれば、アドレス先のカメラで撮影を行う（Ｓ３０３）。

最後に、撮影した画像は、シーン情報が挿入されていたタイミングで、現在表示している映像ストリームに挿入する（Ｓ２０７）。

＜実施形態２＞
ここでは、ストリームコンテンツの作成者が、表示効果を出すために、複数台あるカメラから選択して、表示中の映像ストリームに合ったリアルタイム画像を挿入する場合の実施形態を示す。

先ず始めに、実施形態１と同様に、撮影を行う条件となるシーン情報を映像ストリームに挿入する。このとき、シーン情報として、撮影を行うカメラに図７で示すような撮影の条件式を記述しておく。

次に、シーン情報の挿入された映像ストリームの処理を行い、指定されたタイミングで、あるカメラからリアルタイムの撮影画像を取得する。基本的な処理フローは、実施形態１と同様に図２のフローチャートに従う。ただし、（Ｓ２０５）で撮影処理を行う際に、図４で示すようなシーン情報の記述に対する処理を行う。ここで表示装置は予め、カメラのアドレス情報が記録されているデータベースにアクセスできるものとする。データベースは、検索キーを送ると、条件に適合するカメラのアドレス情報を返すというものである。シーン情報には図７に示すような撮影を行うカメラの条件式が記述されているので、この条件式を元にデータベースへアクセスするためのクエリを生成する。条件式にtitleとlocationというパラメタが記述されているので、これらのパラメタに値を入力し、データベースの仕様で決められているクエリメッセージのフォーマットに変換する。図７では、パラメタの値がシーン情報に記述されているのでシーン情報から値を入力する。パラメタの値は、シーン情報の記述からでなくても、後から設定した値でも表示装置からの値でもよい。クエリを生成したらデータベースに問い合わせる（Ｓ４０２）。問い合わせた結果、適切なカメラが見つかれば、実施形態１と同様な方法で撮影を行う（Ｓ４０４）。問い合わせた結果、適切なカメラが見つからなかったり、見つけたカメラが利用できなかったりする場合は代替の撮影処理を行う（Ｓ４０５）。代替の撮影処理は、シーン情報に記述されていればその処理に従い、記述されていなければ表示装置側の既定処理に従う。

最後に、撮影した画像は、シーン情報が挿入されていたタイミングで現在表示している映像ストリームに挿入する（Ｓ２０７）。

＜実施形態３＞
ここでは、授業中の生徒の反応を確認する場合の実施形態を示す。

先ず始めに、授業で教材として用いるプレゼンテーション資料や映像コンテンツに、実施形態１と同様に撮影を行う条件となるシーン情報を挿入する。挿入する場所は、授業内容のテーマ区切りとなる部分に行う。実施形態1ではMPEG-TSを例にあげたが、MPEG-TSはデジタル放送で多く用いられる方式であり、授業のプレゼンテーションなどではRTPを用いる方が一般的である。RTPもMPEG-TSと同様に、ビデオデータやオーディオデータなどを分割して、それぞれの先頭にidをつけて再生順に一つのストリームに組み合わせることができる。授業で映像コンテンツを流し、シーン情報を挿入したタイミングで撮影を行う。このとき、生徒の表情が写るように、表示装置の出力方向にカメラを向けて撮影を行う。

撮影画像を確認し、生徒が理解していないようすであれば、その画像が撮影されたタイミングのテーマについて授業の残りの時間でフォローを行う。その場ですぐにフォローが行えるので、後で最初から説明しなおすことなく、理解不足の部分だけ効率的に説明することができる。

本発明の目的は前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOperating System（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の実施例による情報処理装置の構成の一部を示すブロック図である。 本発明の第一の実施例、第二の実施例による情報処理装置の動作を示すフローチャートである。 本発明の第一の実施例による情報処理装置の動作を示すフローチャートである。 本発明の第二の実施例による情報処理装置の動作を示すフローチャートである。 本発明の第一の実施例、第二実施例による情報処理装置で処理されるデータの一部である。 本発明の第一の実施例による情報処理装置で処理されるデータの一部である。 本発明の第二の実施例による情報処理装置で処理されるデータの一部である。

符号の説明

１０１ 表示部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 撮像部
１０５ 記憶部
１０６ ＣＰＵ
１０７ ＬＡＮi/f
１０８ ＵＳＢi/f
１０９ ＬＡＮ
１１０ ＵＳＢ

Claims (8)

1. 映像ストリームを表示している最中に映像シーンに関連してリアルタイム撮影を行う映像表示装置において、
   表示する映像ストリームにシーン情報を記述するためのシーン情報記述工程と、
   前記シーン情報記述工程で記述されたシーン情報を解析しリアルタイムの撮影を行うかどうかを判断するシーン情報解析工程と、
   前記シーン情報解析工程でリアルタイムの撮影を行うと判断した場合にリアルタイムの撮影画像を取得する画像取得工程とを備えることを特徴とする映像シーン表示方法。
2. 前記画像取得工程は、取得したリアルタイムの撮影画像を映像ストリームに挿入して表示することを特徴とする請求項１記載の映像シーン表示方法。
3. 前記画像取得工程は、ネットワーク上のあるアドレスの撮影装置に対して撮影指示を行う撮影指示工程を有し、前記シーン情報解析工程でリアルタイムの撮影を行うと判断した際に、指定されたアドレスがあればアドレス先の撮影装置に撮影指示を出すことを特徴とする請求項１記載の映像シーン表示方法。
4. 前記シーン情報記述工程は、シーン情報に撮影装置のアドレス情報を記述する工程を有し、前記シーン情報解析工程でシーン情報に撮影装置のアドレス情報が記述されていれば、既定の撮影処理ではなくシーン情報に記述されているアドレスの撮影装置に撮影指示を出すことを特徴とする請求項２記載の映像シーン表示方法。
5. 前記画像取得工程は、撮影装置のアドレス情報が記録されているデータベースにアクセスする工程を有し、前記シーン情報解析工程でリアルタイムの撮影を行うと判断した際に、前記データベースに問い合わせた結果利用可能なアドレスがあればアドレス先の撮影装置に撮影指示を出すことを特徴とする請求項２記載の映像シーン表示方法。
6. 前記シーン情報記述工程は、撮影を行いたいリアルタイム画像の条件をシーン情報として記述する工程を有し、前記画像取得工程は、前記データベースに問い合わせる際に、前記シーン情報に記述された撮影を行いたいリアルタイム画像の条件を元にクエリを生成しデータベースへ問い合わせることを特徴とする請求項４記載の映像シーン表示方法。
7. 映像ストリームを表示している最中に映像シーンに関連してリアルタイム撮影を行う映像表示装置において、
   表示する映像ストリームにシーン情報を記述するためのシーン情報記述手段と、
   前記シーン情報記述工程で記述されたシーン情報を解析しリアルタイムの撮影を行うかどうかを判断するシーン情報解析手段と、
   前記シーン情報解析手段でリアルタイムの撮影を行うと判断した場合にリアルタイムの撮影画像を取得する画像取得手段とを備えることを特徴とする映像シーン表示装置。
8. 映像ストリームを表示している最中に映像シーンに関連してリアルタイム撮影を行う映像表示装置において、
   表示する映像ストリームにシーン情報を記述するためのシーン情報記述手順と、
   前記シーン情報記述工程で記述されたシーン情報を解析しリアルタイムの撮影を行うかどうかを判断するシーン情報解析手順と、
   前記シーン情報解析手段でリアルタイムの撮影を行うと判断した場合にリアルタイムの撮影画像を取得する画像取得手順とをコンピュータに実行させるためのプログラム。

Images