JP2008219920A - テレビジョン・ニュース用オーディオビジュアル作業および対応するテキストのための編集システム - Google Patents

Abstract

【課題】オーディオビジュアル・ストーリを編集し易くするオーディオビジュアル編集システムを提供する。
【解決手段】オーディオビジュアル編集システム１１２は、オーディオビジュアル素材のセグメントを、関連テキストと結び付ける。この編集システムによって、編集者は、セグメントのオーディオビジュアル素材への参照を編集（１１４）し、更に関連テキストも編集（１１６）することが可能となる。関連テキストをニュースキャスタが音読する際の推定時間を判定する。このセグメントの関連テキストを読む際の推定時間を、セグメントのオーディオビジュアル素材の実際の期間と比較することができる。オーディオビジュアル素材の期間と、関連テキストの期間との差を、編集者に表示する。
【選択図】図１

Description

本発明は、テレビジョン・ニュース用オーディオビジュアル作業および対応するテキストのための、オーディオビジュアル・ストーリを編集し易くする編集システムに関する。

関連出願
本願は、２００４年４月１６日に出願した米国仮特許出願第６０／５６２，９２５号の優先権を主張する。その内容は、ここで引用したことにより、本願にも含まれるものとする。

テレビジョン・ニュースでは、ストーリは２つの部分で作られて行く。最初に、オーディオビジュアル部分があり、これはテレビジョンに表示するビデオを含み、対応するオーディオもあれば、これも含む。第２に、ニュースキャスタは、通例、オーディオビジュアル素材に対応する、ジャーナリストが書いたコピーを読む。

ジャーナリストにとって、読まれたときのコピーが、それに対応するオーディオビジュアル素材よりも長くなく、しかも余りに短すぎないことの確証を得ることが重要である。

ジャーナリストやその他の編集者の要望に対処するために、オーディオビジュアル編集システムは、オーディオビジュアル素材のセグメントを、関連テキストと結び付ける。この編集システムによって、編集者は、セグメントのオーディオビジュアル素材への参照を編集し、更に関連テキストも編集することが可能となる。関連テキストをニュースキャスタが音読する際の推定時間を判定する。このセグメントの関連テキストを読む際の推定時間を、セグメントのオーディオビジュアル素材の実際の期間と比較することができる。オーディオビジュアル素材の期間と、関連テキストの期間との差を、編集者に表示する。また、あるセグメントに対するテキスト内のいずれの位置でも、当該セグメントに対するオーディオビジュアル素材における対応する時間位置にマッピングすることができ、この位置を編集者に示すことができる。加えて、セグメントの関連テキストの編集に応答して、セグメントのオーディオビジュアル情報への参照に、対応する編集動作を自動的に行うこともできる。これらの機能により、ジャーナリストが準備しているスクリプト、コピー、またはテキストに対して主に行われる編集動作を通じて、ジャーナリストはオーディオビジュアル・ストーリを編集し易くなる。

これより図１を参照しながら、編集システムを含むニュースルーム・システムの一例について説明する。このニュースルーム・システムの一例は、格納してあるオーディオビジュアル情報のソース１００を含む。このソース１００は、通例はランダムにアクセスが可能な、１つ以上のコンピュータ読み取り可能データ記憶装置を含むことができ、その中にディジタル形態のビデオおよびオーディオ・データを、コンピュータ読み取り可能なデータ・ファイル状で格納することができる。クリップのオーディオおよびビデオ・データは、同じファイルでも、別個のファイルにでも格納することができる。オーディオおよびビデオ・データは、多数のフォーマットのいずれでもよい。オーディオおよびビデオ・データは、通例、取り込みシステム１０２によってこのような記憶装置に格納する。格納され
たオーディオビジュアル情報も、セグメントまたはクリップを含むことができ、直接または間接には係わらず、オーディオおよびビデオ・データ・ファイルへの参照、ならびにこれらのファイルに格納されているオーディオおよびビデオ・データの指定部分を用いて、オーディオおよび／またはビデオ・データの部分を規定する。また、格納されているオーディオビジュアル情報は、コンポジション(composition)も含む。コンポジションとは、
セグメントまたはクリップの組み合わせである。格納してあるオーディオビジュアル情報のソースは、オーディオおよびビデオ・ファイルを格納するサーバ、および／またはメディア・アセット管理システムを含むことができる。

ストレージ１０４もストーリのために設けられている。ストーリは、ニュースキャスタが読むテキスト、任意の機械制御情報、および１つ以上のオーディオビジュアル情報への参照を含む。ストーリは、例えば、米国特許第６，５９６，０３１号に記載されているニュース・ストーリ・マークアップ言語で表すことができる。この特許の内容は、ここで引用したことにより、本願にも含まれるものとする。制作エディタ１０８は、ストーリにアクセスし、これらをランダウン(rundown：要約）１０６内に置く。ランダウン１０６は、再生システム１１０によって再生する一連のストーリを表す。再生システムは、ストーリのテキストにアクセスし、これを、例えば、テレプロンプタおよび／または機械制御システムに供給する。また、再生システムは、クローズド・キャプションおよび／またはニュースキャスタの音声（テレプロンプタ上に表示されている関連テキストを読む）のような、他の情報と組み合わせて、オーディオビジュアル情報を再生する。

編集システム１１２は、個人がオーディオビジュアル情報および付随するストーリのコンポジションを視認し編集することを可能にする。このため、編集システムは、ビデオ１１４を編集するためのビデオ・ビューアおよび設備、ならびにテキスト１１６を編集するための設備を内蔵しており、これらについては以下で更に詳しく説明する。この編集システム１１２は、オーディオビジュアル素材のセグメントを、関連テキストと結び付ける。編集システムによって、編集者はセグメントのオーディビジュアル素材への参照を編集し、更に関連テキストを編集することができる。例えば、ニュースキャスタが、関連テキストを音読するための推定時間を決定する。このセグメントの関連テキストを読む推定時間を、セグメントのオーディオビジュアル素材の実際の期間と比較することができる。オーディオビジュアル素材と関連テキストの期間の差を編集者に表示することができる。また、あるセグメントに対するテキストにおけるいずれの位置でも、当該セグメントに対するオーディオビジュアル素材における対応する時間位置にマッピングすることができ、この位置を編集者に示すこともできる。加えて、セグメントの関連テキストの編集に応答して、対応する編集動作を、当該セグメントのオーディオビジュアル情報への参照に、自動的に実行することができる。

図２は、図１における編集システムのユーザ・インターフェースの一例の図である。このインターフェース２００には、ビデオ・ビューア２０２が設けられている。ビューアは、ビデオのセグメントから選択したフレーム（位置バー２０４の位置に基づいて）を表示するか、あるいはそのビデオのセグメントを再生する。ビューアは、再生、休止、停止、高速順送り、逆転、ならびにセグメントの挿入開始および終了（開始および停止点）のマーク付けのために、従来の誘導および編集ボタン２０６を含む。

また、インターフェース２００は、探索および閲覧インターフェース２０８も含む。探索タブ２１０を選択することによって、ユーザは、ファイル・システム、データベース、またはその他のストレージを介して編集者によってアクセス可能な、いずれのメディア・アセット(media asset)にも問い合わせることができる。クエリの結果は、インターフェ
ース２１２において示すことができる。ランダウン・タブ２１４を選択することによって、ユーザは、データベース、ファイル・システム、またはその他のストレージを閲覧して
、ストーリまたはストーリのランダウンを求めることができる。次いで、選択したランダウンをインターフェース２１２に（ランダウン・タブ２１６を選択することによって）表示することができる。

また、インターフェース２００は、ストーリ編集インターフェース２２０も含む。このインターフェースは、垂直なタイムラインの形態をなし、ストーリの開始がインターフェース２２０の最上部にある。ストーリは、一連のセグメント（例えば、２２２、２２４）を含み、各セグメントは、当該セグメントのオーディオビジュアル情報への参照を含み、静止フレーム２２６および関連テキスト２２８によって表される。オーディオビジュアル情報の期間は、例えば、２３０に表示する。関連テキストを読んだときの推定期間は、例えば、２３２に表示する。関連テキストの期間を決定するには、例えば、米国特許第５，８０１，６８５号に記載されている方法を用いればよい。尚、機械制御命令やその他のテキストが読まれない場合、これらをタイミング計算から省略してもよく、図２に示すように、テキストの読み手のための休止は、コマンド（ＩＮ：、ＲＵＮＳ：、ＯＵＴ：）で表されることを注記しておく。

図３は、編集システムにおいてストーリを表すデータ構造の一例の図である。他のデータ構造を用いてもよい。このデータ構造３００では、ストーリは、セグメントのオーディオビジュアル情報３０４および関連テキスト３０６への参照から成る対３０２のリストとして定められている。オーディオビジュアル情報への参照は、通例、当該オーディオビジュアル情報を格納しているデータ・ファイルへの直接的または間接的な参照と、開始フレームおよび停止フレームの指示のような、オーディオビジュアル情報内の範囲を含む。

図２のインターフェースによって、ユーザは、例えば、図３におけるようなストーリを表すデータ構造をコンピュータに修正させ、続いてデータ構造に対して行った変更を反映するために表示を更新させる編集コマンドを入力することができる。

セグメント毎のオーディオビジュアル情報の期間はわかっており、関連テキストの期間は推定することができるので、この情報は、多数の有用な編集機能を設けるために用いることができる。

例えば、あるセグメントの関連テキストが長すぎる場合、読み手、例えば、ニュースキャスタは、オーディオビジュアル情報の後続セグメントの再生が開始する前に、テキストを読み終えないであろう。テキストが短すぎる場合、リーダがテキストを読み終えた後に、後続のクリップまで無音状態、即ち、流れの途絶が起こり得る。したがって、オーディオビジュアル情報の期間と関連テキストの期間との間の差の指示を、編集者に表示するとよい。この差は、例えば、ビデオ情報のフレーム数として表示することもできる。テキストが長すぎるのかまたは短すぎるのかに応じて、この差を表示するために異なる色を用いるとよい。また、テキストに陰影を付けると、オーディオビジュアル情報がカバーするテキストの範囲を示すことができる。ユーザは、これらの表示を用いてビデオをトリミングしテキストを編集して、期間を一致させることができる。ユーザが起動する動作（メニュー・コマンド等）を設けると、オーディオビジュアル素材またはテキストの開始時または終了時にトリミング動作を呼び出すことによって、テキストおよびビデオの期間を自動的にマッピングさせることができる。あるセグメントに対してロック(lock)という選択肢をイネーブルすれば、関連テキストを編集または変更するに連れて、このテキストの期間を一致させるように、オーディオビジュアル素材を連続的かつ自動的にトリミングすることができる。

テキストの推定期間を用いて可能な他の有用な動作は、テキスト内の位置を、セグメントのオーディオビジュアル素材における対応する時間位置とマッピングすることである。
即ち、カーソルは通常テキストの現編集位置を表す。カーソルとテキストの先頭との間、またはカーソルとテキストの終端との間のテキストを用いると、カーソルに対応する時間位置を判定することができる。テキストとオーディオビジュアル素材との間の位置のマッピングを用いると、オーディオビジュアル・シーケンス全体の再生中における、テキスト内での現在位置を、例えば、強調表示の移動によって、示すことができる。ビデオにおける（図２におけるインディケータ２０４によって示すような）再生の現在位置は、カーソル位置と一致するように更新することができる。

また、テキストおよびオーディオビジュアル素材間におけるタイミングのマッピングを用いると、現在位置インディケータを固定し、ビデオ・モニタの直下で、テキストの微速取り込み表示(crawling caption display)を行い、テキスト・スクロールがオーディオビジュアル再生と同期し、再生中のいずれの時点においても、現オーディオビジュアル位置にマッピングしたテキストを、現在位置インディケータと位置を合わせるようにすることができる。

加えて、セグメントの関連テキストの編集に応答して、対応する編集動作を、当該セグメントのオーディオビジュアル情報への参照に対して自動的に実行することもできる。例えば、テキストをセグメントの終端に追加して、テキストの期間がビデオ・セグメントよりも長くなると、ビデオ・セグメントを自動的にトリミングして長くすることができる。同様に、テキストを除去すると、ビデオ・セグメントを自動的にトリミングして短くすることができる。また、ユーザ・インターフェースは、このようなトリミングを行うことができるだけの十分なビデオ情報があるか否か表示することもできる。

テキスト上で他の編集動作を行うと、ビデオ情報にも編集動作を行うことができる。例えば、新たな段落または新たなページまたはページの切れ目を作成するテキスト編集コマンドの場合、ストーリの新たなセグメントを作成することによって、セグメントを２つのセグメントに分割することができ、これは、編集コマンドを実行したテキストの位置の後に生じたオーディオビジュアル情報およびテキストへの参照を含む。

ビデオをテキストに合わせ、テキストをビデオに合わせるのに役立つこれらの機能によって、ジャーナリストが準備しているスクリプト、コピーまたはテキストに対して主に行われる編集動作を通じて、ジャーナリストはオーディオビジュアル・ストーリを編集し易くなる。

これまでニュースルーム・システムについて説明してきたが、オーディオビジュアル情報と関連テキストの組み合わせは、スクリプトのテキストを、スクリプトが関係するオーディオビジュアル素材と共に編集する可能性がある、あらゆる種類のストーリを制作するためにも用いることができる。例えば、この組み合わせを用いると、ナレータによって画面外の声(voice over)として読まれるスクリプトを備えたドキュメンタリを準備することができる。また、この編集システムを用いると、ストーリの追加メディアの制作の前およびその間に、ストーリボード機能の一部として、ビデオのクリップ、アニメーション、静止画像、またはその他のメディアと共にスクリプトを編集することができる。この場合、スクリプトと共に用いられるクリップは、後に制作されるメディアと置き換えられるプレースホルダ(placeholder)となることができる。

ここに記載するようなシステムは、ソフトウェアまたはハードウェアまたはファームウェア、あるいはこれら３つの組み合わせで実施することができる。システムの種々のエレメントは、個別であれ組み合わせであれ、コンピュータによる実行のためにコンピュータ読み取り可能媒体上にコンピュータ・プログラム命令が格納されている、１つ以上のコンピュータ・プログラム製品として実施することができる。プロセスの種々のステップは、
このようなコンピュータ・プログラム命令を実行するプログラムによって、行うことができる。コンピュータ・システムは、マルチプロセッサ・コンピュータ・システムでもよく、あるいはコンピュータ・ネットワークを通じて接続されている多数のコンピュータを含むこともできる。図１に示した構成要素は、コンピュータ・プログラムの別個のモジュールでもよく、または別個のコンピュータ上で動作可能な、別個のコンピュータ・プログラムでもよい。これらの構成要素によって生成されるデータは、メモリ・システムに格納するか、またはコンピュータ・システム間で送信することができる。

ここに記載したシステムの種々の構成要素は、汎用コンピュータ・システムを用いて、コンピュータ・プログラムとして実施することもできる。このようなコンピュータ・システムは、通例、ユーザに情報を表示する出力デバイスと、ユーザからの入力を受ける入力デバイスの双方に接続された主ユニットを含む。主ユニットは、一般に、相互接続機構を通じて、メモリ・システムに接続されているプロセッサを含む。入力デバイスおよび出力デバイスも、相互接続機構を通じて、プロセッサおよびメモリ・システムに接続されている。

１つ以上の出力デバイスをコンピュータ・システムに接続することもできる。出力デバイスの例には、陰極線管ディスプレイ、液晶ディスプレイ、およびその他のビデオ出力デバイス、プリンタ、モデムのような通信デバイス、ならびにディスクまたはテープのような記憶装置が含まれるが、これらに限定する訳ではない。１つ以上の入力デバイスをコンピュータ・システムに接続することもできる。入力デバイスの例には、キーボード、キーパッド、トラック・ボール、マウス、ペンおよびタブレット、通信デバイス、ならびにデータ入力デバイスが含まれるが、これらに限定する訳ではない。本発明は、コンピュータ・システムと組み合わせて用いられる特定の入力または出力デバイスにも、またここに記載したものにも限定されることはない。

コンピュータ・システムは、コンピュータ・プログラミング言語を用いてプログラム可能な、汎用コンピュータ・システムとすることができる。また、コンピュータ・システムは、特別にプログラムされた、特殊目的ハードウェアとすることもできる。汎用コンピュータ・システムでは、プロセッサは、通例、市販のプロセッサである。また、汎用コンピュータは、通例、オペレーティング・システムを含み、オペレーティング・システムが、他のコンピュータ・プログラムの実行を制御し、スケジューリング、デバッグ、入力／出力制御、アカウント処理(accounting)、コンパイル、ストレージの割り当て、データ管理、およびメモリ管理、ならびに通信制御および関係するサービスを行う。メモリ・システムは、通例、コンピュータ読み取り可能媒体を含む。この媒体は、揮発性または不揮発性、書き込み可能または書き込み不可能、および／または書き換え可能または書き換え不可能でもよい。メモリ・システムは、通例、二進形式でデータを格納する。このようなデータは、マイクロプロセッサが実行するアプリケーション・プログラム、またはディスク上に格納されアプリケーション・プログラムが処理する情報を定めることができる。本発明は、特定のメモリ・システムに限定されることはない。

以上いくつかの実施形態について説明したが、前述したことは単なる例示であり限定ではなく、一例として提示したに過ぎないことは、当業者には明白なはずである。多数の変更やその他の実施形態も本発明の範囲内に該当するものとする。

図１は、編集システムを含むニュースルーム・システムの一例の図である。 図２は、図１における編集システムのユーザ・インターフェースの一例の図である。 図３は、編集システムにおいてストーリを表すデータ構造の一例の図である。

符号の説明

１００ オーディオビジュアル情報ソース
１０２ 取り込みシステム
１０４ ストレージ
１０６ ランダウン
１０８ 制作エディタ
１１０ 再生システム
１１２ 編集システム
１１４ ビデオ
１１６ テキスト
２００ インターフェース
２０２ ビデオ・ビューア
２０４ 位置バー
２０６ 誘導および編集ボタン
２０８ 探索および閲覧インターフェース
２１０ 探索タブ
２１２ インターフェース
２１４ ランダウン・タブ
２１６ ランダウン・タブ
２２０ ストーリ編集インターフェース
２２２、２２４ セグメント
２２６ 静止フレーム
２２８ 関連テキスト
３００ データ構造
３０２ 対
３０４ オーディオビジュアル情報
３０６ 関連テキスト

Claims (16)

1. 編集システムであって、
   オーディオビジュアル・ストーリを一連のセグメントとして表す手段であって、各セグメントを、オーディオビジュアル情報および関連テキストへの１つ以上の参照によって定める、手段と、
   編集者にセグメントの前記関連テキストを編集できるようにする手段と、
   セグメントの前記オーディオビジュアル情報への前記１つ以上の参照を編集する手段と、
   各セグメントの前記関連テキストを発話するための推定期間と、前記セグメントの参照するオーディオビジュアル情報の期間との間の差を判定する手段と、
   を備えた、編集システム。
2. 請求項１記載の編集システムであって、更に、前記判定した差の指示を前記編集者に表示する手段を備えた、編集システム。
3. 請求項１記載の編集システムであって、更に、セグメントの前記関連テキストの編集中に、前記関連テキストにおいて行っている編集動作の現在位置に対応する、オーディオビジュアル情報における時間位置を、前記編集者に示す手段を備えた、編集システム。
4. 請求項１記載の編集システムにおいて、セグメントの前記オーディオビジュアル情報への参照を編集する前記手段は、セグメントの前記関連テキストの編集に応答して動作して、前記セグメントの前記オーディオビジュアル情報への前記参照に対して、対応する編集動作を自動的に行う手段を備えた、編集システム。
5. 編集システムであって、
   オーディオビジュアル・ストーリを一連のセグメントとして表す手段であって、各セグメントを、オーディオビジュアル情報および関連テキストへの１つ以上の参照によって定める、手段と、
   編集者にセグメントの前記関連テキストを編集できるようにする手段と、
   セグメントの前記関連テキストの編集に応答して動作して、前記セグメントの参照するオーディオビジュアル情報に対して、対応する編集動作を自動的に行う、手段と、
   を備えた、編集システム。
6. 請求項５記載の編集システムであって、更に、セグメントの前記関連テキストの編集中に、前記関連テキストにおいて行っている編集動作の現在位置に対応する、前記オーディオビジュアル情報における時間位置を、前記編集者に示す手段を備えた、編集システム。
7. 編集システムであって、
   オーディオビジュアル・ストーリを一連のセグメントとして表す手段であって、各セグメントを、オーディオビジュアル情報および関連テキストへの参照によって定める、手段と、
   編集者にセグメントの前記関連テキストを編集できるようにする手段と、
   セグメントの前記関連テキストの編集中に、前記関連テキストにおいて行っている編集動作の現在位置に対応する、前記オーディオビジュアル情報における時間位置を、前記編集者に示す手段と、
   を備えた、編集システム。
8. 請求項７記載の編集システムであって、更に、セグメントの参照するオーディオビジュアル情報を編集する手段を備えている、編集システム。
9. コンピュータ・プログラム製品であって、
   コンピュータ読み取り可能媒体と、
   前記コンピュータ読み取り可能媒体上に格納されており、コンピュータによって処理されると、前記コンピュータに、オーディオビジュアル・ストーリを編集するプロセスを実行するように命令するコンピュータ・プログラム命令と、
   を備え、前記プロセスが、
   オーディオビジュアル・ストーリを表すデータ構造を、一連のセグメントであって、各セグメントがオーディオビジュアル情報および関連テキストへの１つ以上の参照により定められる、前記の一連のセグメントとして定め、
   セグメントの前記関連テキストを編集するため編集者から命令を受け、
   セグメントの前記オーディオビジュアル情報への前記１つ以上の参照を編集し、
   各セグメントの前記関連テキストを発話するための推定期間と、前記セグメントの参照するオーディオビジュアル情報の期間との間の差を計算する、
   ことを含む、コンピュータ・プログラム製品。
10. 請求項９記載のコンピュータ・プログラム製品において、前記プロセスは、更に、前記判定した差の指示を前記編集者に表示することを含む、コンピュータ・プログラム製品。
11. 請求項９記載のコンピュータ・プログラム製品において、前記プロセスは、更に、セグメントの前記関連テキストの編集中に、前記関連テキストにおいて行われている編集動作の現在位置に対応する、前記オーディオビジュアル情報における時間位置を前記編集者に示すことを含む、コンピュータ・プログラム製品。
12. 請求項９記載のコンピュータ・プログラム製品において、セグメントの前記オーディオビジュアル情報への前記参照の編集は、前記セグメントの前記関連テキストの編集に応答して、前記セグメントの前記オーディオビジュアル情報への前記参照に対して編集動作を自動的に行うことを含む、コンピュータ・プログラム製品。
13. コンピュータ・プログラム製品であって、
    コンピュータ読み取り可能媒体と、
    前記コンピュータ読み取り可能媒体上に格納されており、コンピュータによって処理されると、前記コンピュータに、オーディオビジュアル・ストーリを編集するプロセスを実行するように命令するコンピュータ・プログラム命令と、
    を備え、前記プロセスが、
    オーディオビジュアル・ストーリを表すデータ構造を、一連のセグメントであって、各セグメントがオーディオビジュアル情報および関連テキストへの１つ以上の参照によって定められる、前記の一連のセグメントとして定め、
    セグメントの前記関連テキストを編集するため編集者から命令を受け、
    セグメントの参照するオーディオビジュアル情報に対する編集動作を、前記セグメントの関連テキストの編集に応答して自動的に行う、
    ことを含む、コンピュータ・プログラム製品。
14. 請求項１３記載のコンピュータ・プログラム製品において、前記プロセスは、更に、セグメントの前記関連テキストの編集中に、前記関連テキストにおいて行われている編集動作の現在位置に対応する、前記オーディオビジュアル情報における時間位置を前記編集者に示すことを含む、コンピュータ・プログラム製品。
15. コンピュータ・プログラム製品であって、
    コンピュータ読み取り可能媒体と、
    前記コンピュータ読み取り可能媒体上に格納されており、コンピュータによって処理されると、前記コンピュータに、オーディオビジュアル・ストーリを編集するプロセスを実行するように命令するコンピュータ・プログラム命令と、
    を備え、前記プロセスが、
    オーディオビジュアル・ストーリを表すデータ構造を、一連のセグメントであって、各セグメントがオーディオビジュアル情報および関連テキストへの１つ以上の参照によって定められる、前記の一連のセグメントとして定め、
    セグメントの前記関連テキストを編集するため編集者から命令を受け、
    セグメントの前記関連テキストの編集中に、前記関連テキストにおいて行われている編集動作の現在位置に対応する、前記オーディオビジュアル情報における時間位置を前記編集者に示す、
    ことを含む、コンピュータ・プログラム製品。
16. 請求項１５記載のコンピュータ・プログラム製品において、前記プロセスは、更に、セグメントの参照するオーディオビジュアル情報を編集することを含む、コンピュータ・プログラム製品。