JP2009111761A - 字幕番組編集装置および字幕編集方法 - Google Patents

Abstract

【課題】字幕編集が容易な字幕番組編集装置および字幕編集方法を提供する。
【解決手段】素材サーバ部２のＳＣＤ２６は、フレーム間の相関からシーンチェンジを検出し、そのシーンチェンジ検出信号をＣＴＤ２７へ出力し、ＣＴＤ２７は、その新チェンジのあったタイミングを示すタイムタグ情報を付加した変化タイミング情報を字幕送出装置２に送信する。変化タイミング情報を受信した字幕送出装置２は、予め作成された字幕リストテーブル３２をシーンチェンジのあったフレームが素材サーバ部２から字幕重畳装置１へ出力される正確なタイミングに修正し、その字幕リストテーブル３３とタイマ３５とを照合し、的確な字幕表示タイミングに表示される字幕データを記憶手段３０から読み出して、字幕重畳装置１に出力することにより字幕表示が的確なタイミングな字幕重畳を行う。
【選択図】図１

Description

本発明は、ビデオサーバを用いた字幕番組編集装置および字幕編集方法に関する。

近年、放送番組はビデオサーバと呼ばれるような素材記録再生装置から映像と音声とのコンテンツ（素材）が出力されて放送されるものが多い。そして、字幕情報がコンテンツの映像に重畳されて放送されるスーパーや、映像と同期した字幕放送が導入、活用され、更にデジタル放送の開始に伴って字幕が重畳されるか、または同期して放送される番組（以下、ここでは字幕放送番組と呼ぶ。）が増えている。

これらの字幕放送番組は、音声や文字と同期して文字情報が画面に表示されるように編集する編集作業に膨大な時間が掛かっていた。従来、番組によっては、音声情報を編集して字幕を放送するものがあり、その編集には、編集に掛かる工数を削減するために音声の自動認識を用いて音声から文章を作成する方法も考案されている（例えば、特許文献１）。

しかしながら、その方法においても字幕番組放送は音声で文字表示のタイミング合わせを行うよりも画面のシーンに合わせて字幕表示の開始タイミングを合わせないと不自然さが残るので、それを防ぐためにオペレータが番組を視聴して確認しながら字幕表示タイミングを設定して字幕重畳されたコンテンツを作成しなければならないので、労力の削減が困難な問題があった。
特開２００２−３５１４９０号公報（第９頁、第４図）

従来の字幕放送番組の編集は、画面のシーンに同期した重畳字幕を表示するために、字幕編集作業に多大の時間を要する問題が有った。

本発明は、上記問題を解決するためになされたもので、字幕編集が容易な字幕番組編集装置および番組編集方法を提供することを目的とする。

上記目的を達成するために、本発明の字幕番組編集装置は、記憶再生手段から番組の素材ビデオ信号を読み出して出力する素材サーバ部と、前記出力される素材ビデオ信号に番組台本に従った各画面に重畳される字幕データそれぞれを出力する字幕送出部と、前記字幕データと前記出力される素材ビデオ信号とを重畳多重して出力する字幕重畳部とを備え、字幕多重番組のコンテンツを編集する字幕番組編集装置において、前記読み出される前記素材ビデオ信号を前記字幕重畳部へ所定の時間遅延して出力する遅延手段と、前記素材ビデオ信号が遅延して出力されるよりも先に、前記読み出された前記素材ビデオ信号から画面表示のシーンチェンジを検出、又は、音声開始を検出した信号変化を通知する検出手段と、前記通知を入力して前記信号変化が検出された変化タイミング情報を付加した変化タイミング信号を生成して前記字幕送出部に送信する変更タイミング通知手段とを備える素材サーバ部と、レコード単位で管理される前記字幕データと、各前記字幕データの出力タイミングをリストした字幕データリストとを記憶する記憶手段と、受信する前記変化タイミング信号から前記変化タイミング情報を判読し、前記記憶手段にアクセスして前記素材サーバ部から前記遅延して出力される前記素材ビデオ信号の前記シーンチェンジするフレームか、又は前記音声開始のフレームに一致する様に前記字幕データリストの前記各字幕データの出力タイミングの修正を行い、前記修正された字幕データリストを照合して前記修正されたタイミングに前記各字幕データを前記字幕重畳部へ出力する制御手段とを備える字幕送出部と、前記遅延されて出力された前記素材ビデオ信号に前記修正されたタイミングで出力される各字幕データを重畳する字幕重畳部とを具備することを特徴とする。

また本発明の字幕番組編集装置の字幕編集方法は、記憶再生手段から素材ビデオ信号を読み出して出力する素材サーバ部と、前記出力される素材ビデオ信号に番組台本に従った各画面に重畳される字幕データそれぞれを出力する字幕送出部と、前記字幕データと前記出力される素材ビデオ信号とを重畳多重して出力する字幕多重部とを備え、字幕多重番組のコンテンツを編集する字幕番組編集装置の字幕編集方法において、前記素材サーバ部は、前記読み出された前記素材ビデオ信号を前記字幕重畳部へ所定の時間遅延して出力し、前記素材ビデオ信号が出力されるよりも先に、前記読み出された前記素材ビデオ信号から画面表示のシーンチェンジ、又は、音声開始の信号変化を検出し、前記信号変化が検出された変化タイミング情報を付加した変化タイミング信号を生成して前記字幕送出部に送信し、前記字幕送出部は、レコード単位で管理される前記字幕データと、各前記字幕データの出力タイミングをリストした字幕データリストとを記憶し、前記変化タイミング信号を受信して前記変化タイミング情報を判読すると、前記素材サーバ部から前記遅延して出力される前記素材ビデオ信号が前記シーンチェンジするフレームか、又は前記音声開始のフレームに一致する様に前記字幕データリストの前記各字幕データの出力タイミングを修正し、前記修正された字幕データリストを照合して前記修正されたタイミングに各前記字幕データを前記字幕重畳部へ出力することを特徴とする。

本発明によれば、字幕編集が容易な字幕番組編集装置および字幕編集方法を提供することが出来る。

以下、図面を参照して本発明の実施例を説明する。

図１は、本発明の実施例に係わる字幕番組編集装置の機能構成を説明するブロック図である。

図１において、放送局のスタジオ等に設置される字幕番組編集装置は、放送番組の映像情報に字幕情報を重畳して出力する字幕重畳部１、映像や音声の素材信号を送出する素材サーバ部２、字幕情報を送出する字幕送出部３、制御操作卓４、スタジオに設置される各装置や機材等の構成間での同期を取るための局内時計５と、上記構成の間を接続して制御信号、モニタ信号を伝送する制御信号網６とを備えている。

字幕重畳部１は、デジタル映像信号にデジタル字幕情報を重畳（又は、多重）するデジタル多重装置であるか、または、アナログ映像信号に、アナログ文字映像を混合して重畳表示するいずれのものであっても良いが、以下ではデジタル映像信号で多重して重畳する場合を例に説明する。

制御操作卓４は、放送番組送出制御、または、素材編集用の制御卓であって、局内時計５の時刻情報を元に字幕重畳部１、素材サーバ部２、字幕送出部３の各装置を制御するコマンドやデータを入力したり、各装置の動作をモニタする。

番組編集は、図示されないが、ＡＭＳ（Ａｓｓｅｔ Ｍａｎａｇｅｍｅｎｔ Ｓｅｒｖｅｒ）により、予め素材データ管理や重畳する字幕・文字情報のデータ入力等が行われる。

局内時計５は、素材サーバ部２および字幕送出部３がそれぞれ有するタイマの基準となり、素材サーバ部２と字幕送出部３は、両タイマを参照することにより同期、即ち、タイミング合わせを行っている。

素材サーバ部２には、ＡＭＳの管理により予め所要の素材、また、字幕送出部３には、コンテンツ毎の字幕表示台本に基づいて各字幕表示のタイミングをリストにした字幕リストテーブル３２と、その１回毎に表示される字幕のレコード単位にした字幕データ３３が記憶手段３０に保存（記録）される。そして、素材サーバ部２と字幕送出部３とは、制御操作卓４からのコマンドによって字幕編集の開始、終了等の作業が管理・制御される。

図２は、本発明の実施例に係わる字幕番組編集装置で記憶処理される字幕データの例を示す図である。
図２において、字幕データは、各レコードに識別番号が付与されている。例えば、識別番号「Ｍ１」は、「京都の夏の風物詩である・・」から始まる１つの字幕文章が１つのレコードとして図１の字幕送出部３の記憶手段３０に記録されている。

図３は、字幕データの各レコードをリストした字幕リストテーブルの１例である。
図３において表示タイミングリスト３２の各字幕（レコード）の表示開始タイミングは、その字幕が表示される番組のスケジュール台本に順番に従ってリスト化され、同じく字幕表示部の記憶手段３０に記憶されている。

例えば、Ｎ０（番号）、ＦＩＤ（フレーム識別情報）Start Timing（表示開始タイミング）、ＩＤ（字幕識別情報）、Ｒｅｆ（表示時間長）に対応して１行目の欄は「１，００：００：０５，Ｍ１，２ｓ」の様に、予め編集されるコンテンツがその先頭からその字幕を表示するまでの時間により表示開始タイミングが１秒単位で示されている。なお、ＦＩＤは、各フレームに対して付与されるフレーム識別情報であるが、字幕リストテーブル３２が作成され最初に記憶された時には空欄となっている。

画面の変更、即ちシーンチェンジが生じるタイミングは、更に短い１０ミリ秒単位の画面フレーム変更単位で発生するので、シーンチェンジのタイミングに同期して字幕表示が開始される様に制御することが望ましい。例えば、所望の画面が表示される前に字幕が表示されるか、反対に遅れた場合は、間が空いた不自然な感じになるので、従来は、番組画面をオペレータが監視しながら詳細に表示される字幕の送出タイミングを手動制御する等により字幕重畳の編集を行っていた。

再び図１に戻る。図１において素材サーバ部２は、局内時計５に同期して管理するためのＲＴＰ（リアルタイム プロセッサ）２１とタイマ２２とを備え、更に素材記憶部２３、デコーダ部２４、遅延部２５、シーンチェンジ検出部（以下ＳＣＤと称する。）２６、チェンジタイミング抽出部（以下、ＣＴＤと称する。）２７、データＩ／Ｏ部２８と、これらの構成の間を接続する内部バス等Ｂ２とを備える。なお、素材サーバ部２を制御、またはメンテナンスするコンソール２ｃが内部構成として更に備えられることもある。

映像、音声の素材、即ち、番組の素材ビデオ信号は、例えば、大容量の半導体メモリや、ディスク装置等による素材記憶部２３に圧縮符号化されたデータとして記憶、蓄積されている。制御操作卓４からの編集の開始等のコマンドによって読み出された圧縮データは、素材データに変換後、字幕重畳部１へ出力され、字幕送出部３からの字幕情報と多重、重畳処理が行われる。

また、オペレータによって入力され、制御操作卓４から出力される字幕編集作業の開始のコマンド等は、制御信号網６を介して素材サーバ部２のＲＴＰ２１とデータＩ／Ｏ部２８とが受信する。

素材サーバ部２中の動作処理に係わるコマンドとデータは、データＩ／Ｏ部２８から内部バス等２３を介して所定の各構成に向けて制御信号となって転送され、それぞれ所定の処理が各構成で実行される。ＲＴＰ２１は局内時計５を参照し、上記コマンドを実行するタイミング制御を行う。

素材記憶部２３は、所定の番組の映像、音声素材のＨ２６４、ＭＰＥＧ１、またはＭＰＥＧ２等の圧縮符号化された圧縮データを書き込み、また読み出して（直接、または、内部バス等２３を介して）デコーダ部２４へ出力する記録再生装置であり、狭義のビデオサーバである。

ＲＴＰ２１からの素材読み出し開始のコマンドにより出力を開始したタイミングから、局内時計５と同期するタイマ２２で経過時間がカウントされ、後のシーンチェンジ等が検出されたタイミング（時間）は、このタイマ２２でカウントされた経過時間と参照される。

デコーダ部２４で圧縮データから、例えば、ＨＤＴＶの様な素材フォーマットにデコードされた映像、音声データ（エレメンタリ ストリーム、以下、必要がない限り素材データと称する。）は、デコーダ部２４から、一方は画面の切替や、音声の開始タイミングを検出するためのＳＣＤ２６へ、他方は遅延部２５に出力される。

この素材データに、フレーム番号とそれに対応するタイムタグ等のフレーム情報が付加されていると、後述の字幕テーブルリストの修正処理が容易である。これらのフレーム単位でのタイムタグを付加した編集処理が可能な一例として、例えば、
http://www.evc.jp/product/mpeg/mpeg_edit_studio_pro.html
がある。デコーダ部２４はタイムタグ付きデコード機能を実行する。なお、素材記憶部２３がエレメンタリ ストリームに対応するような素材データを記憶するものである場合デコーダ部２４が不要なことは言うまでもない。

遅延部２５は、字幕重畳部１で映像情報に字幕データを所要のタイミングで重畳できるよう、後述のシーンチェンジ検出等の処理に必要な時間以上素材データを遅延させて字幕重畳部１に出力する遅延手段である。例えば、バッファメモリとシフトレジスタのような遅延回路である。

また、他の方法として、ＨＤＤのマルチヘッドアクセスにより読み出しタイミングを別系統にし、２系統の内後の方を遅延出力として字幕重畳部１にする方法や、半導体メモリでの同様なマルチアクセスによる遅延出力するものであっても良い。この様な方法によりデコーダ部２４が素材記憶部２３から遅延しない出力で先読みする場合には、この遅延部２５は省略される。

遅延時間は、例えば、数１００ｍｓｅｃ程度の短時間で済ませるか、また、数秒程度にするかは、シーンチェンジの検出や、字幕リストテーブル３２の書き換えに要する時間等を勘案して素材サーバ部２の制御手段であるコンソール２ｃ、又は、制御操作卓４から制御信号網６を介して送信される制御データ等の方法により初期設定される。その遅延時間の設定は、後述の字幕送出部３の制御部３１にも同様に行われ、背景映像と字幕の重畳タイミングの一致が図られる。

また、素材データは、説明上、図１の様に表現される機能構成の間を独立したデータラインで供給されても良いが、内部バス等Ｂ２で複数の機能構成間で共通なバスラインに接続され、例えば、ＣＴＤ２７にも供給されるものであっても良い。

ＳＣＤ２６は、例えば、後述の画面の相関処理や、デコーダ部２４からのフレーム情報をもとに画面の切替、即ちシーンチェンジを検出すると直ちに、内部バス等Ｂ２を介してシーンチェンジ検出信号をＣＴＤ２７へ出力する。また、必要であれば、映像のシーンチェンジのみでなく、音声信号を監視して出演者の音声開始を検出して、字幕情報の表示トリガに利用するための音声検出信号をＣＴＤ２７へ出力する。シーンチェンジは、短時間で検出可能なフレーム間で検出出来る方法とすることが好ましいことは勿論である。

ＣＴＤ２７は、タイマ２２からのタイミング情報か、または、デコーダ部２４が出力する素材データに記述されたタイムタグとフレーム番号とのフレーム情報と、ＳＣＤ２６から入力されたシーンチェンジ検出信号および音声検出信号とを照合対比し、それぞれの検出信号に検出時刻情報（フレーム情報）が付加された変化タイミング信号を生成して内部バス等Ｂ２を介してデータＩ／Ｏ部２８へ出力する。

データＩ／Ｏ部２８は、予め、コンソール２ｃ、または制御操作卓４によって変化タイミング信号の転送先である字幕送出部３の送信先アドレスが設定されている。そして、変化タイミング信号がＣＴＤ２７から入力され次第、制御信号網６を介して字幕送出部３へ送信する。字幕送出部３は、この変化タイミング信号を元に、さらに図３に示された字幕リストテーブル３２の各字幕の表示タイミングをフレーム単位の時刻で指定する変更処理を行う。

さて、字幕送出部３は、内部に字幕データ３３、字幕リストテーブル３２等を記憶、蓄積する記憶手段３０、制御部３１、およびデータＩ／Ｏ部３４、タイマ３５と、ＲＴＰ３６とを備えている。ＲＴＰ３６、データＩ／Ｏ部３４は、制御操作卓４からのコマンドを制御信号網６を介して受信し、内部バス等Ｂ３により制御部３１へ出力する。

制御部３１は、素材サーバ部２から制御信号網６を介してデータＩ／Ｏ部３４が受信した変化タイミング信号を内部バス等Ｂ３を介して監視する。初期設定された素材サーバ部２の遅延部２５による遅延時間を自分のタイマ３５とを照合して、素材サーバ部２が出力する映像情報のタイミングに合わせて、所定の字幕情報を字幕重畳装置１に向けて出力する制御を行う。

編集準備として制御部３１は、字幕重畳の編集コマンドを受信すると、字幕リストテーブルを読み出し、字幕編集コマンドを受信した時に起動された局内時計５と同期するタイマ３５を参照することにより予定された字幕表示タイミングの前、例えば、各字幕表示の２秒前から修正スタンバイに入る。

そして、シーンチェンジがあった変化タイミング信号を素材サーバ部２から受信次第、受信した変化タイミング信号に記述されたタイムタグ情報か、フレーム情報によるタイミングによって記憶手段３０の字幕リストテーブル３２の字幕表示タイミングを上書き修正する。

なお、シーンチェンジ、又は音声検出があったフレームのタイミングに字幕を表示するのではなく、例えば、１００ｍｓｅｃの様に一定の遅れ、又は進み時間（バイアス時間）を設けてから字幕を表示して画面変化の親和感を聴取者に与えるようにしても良い。このバイアス時間の設定は、前述の素材データ出力の遅延時間の初期設定で与えるか、又は、編集時に字幕送出装置３のコンソール３ｃから制御部３１へ字幕リストテーブル３２（図３におけるStart Timing）の修正時間にバイアス（例えば、「100DL」の遅延）を与えるコマンドを入力する。

制御部３１は、修正スタンバイモードから字幕出力スタンバイモードに入りタイマ３５を参照しながら修正された字幕リストテーブル３２を照合する。修正された字幕表示タイミングに、記憶手段３０から読み出した当該字幕データを字幕重畳部１へ出力する制御を行う。

即ち、表示サーバ部２の遅延部２５で生じる遅延時間は、制御部３１にも通知、設定されている。その結果、例えば、設定された遅延時間が５秒であった場合、制御部３１は、タイマ３５により、字幕リストテーブル３２に記された表示時刻の５秒後にその字幕データを字幕重畳部１へ送出すれば、所望のフレームの画面に字幕が一致する。

局内時計５を基準として素材サーバ２のタイマ２２と字幕送出部３のタイマ３５とが同期しており、前述の遅延時間合わせの調整が行われているので字幕重畳部１では、字幕表示タイミングに該当するシーンチェンジの映像と字幕データとが揃って入力し、的確なタイミングで字幕重畳が開始される。

字幕重畳部１では、シーンチェンジのタイミング以降、字幕送出部３から所定の字幕データが字幕リストテーブル３２に示される時間（たとえば、２秒間。）素材データのフレームの字幕表示データフィールドに入力され、書き込まれる重畳処理が行われる。

以上の説明では、素材サーバ部２から素材データを出力しながら同時に字幕送出部３で字幕リストテーブル３２の修正を行い、更に同時に字幕重畳部１で字幕重畳処理を行うことが可能であり、編集作業時間が短縮可能である。

更に、本実施例の字幕重畳の編集作業では、一旦、字幕リストテーブル３２の修正作業を完成後、改めて素材送出部３と素材サーバ部２とからそれぞれ素材データと字幕データとを字幕重畳部１へ出力する２段階の作業としても有効である。言い換えれば、シーンチェンジの検出と、その検出されるフレームに字幕データを送出するタイミングが微調整された字幕リストテーブル３２の修正が自動的に行われるので従来よりも画期的に編集時間が短縮される効果がある。

次に、本実施例の素材サーバ部２におけるシーンチェンジの検出方法について詳しく説明する。

シーンチェンジの検出には、様々な方法があるが字幕の編集と重畳処理を自動的に速やかに行うのには、検出に要する時間が短いほうが好ましい。シーンチェンジについては、画面の撮影対象が大きく変わるので、画面の変化を検出すれば良く、画面のフレーム毎の相関関係を連続的に調べればよいが、画面全体に亘っての相関を調べるとデータ量が膨大となり相関処理に時間がかかってしまう。

図４は、本実施例に係わる字幕番組編集装置のシーンチェンジ検出の方法の一例を説明する図である。
図４（ａ）は、ある風景シーンの画面例であり、画面上下の中央に水平１ラインの抽出部ＨＬが示されている。図４（ｂ）は、あるタイミング（フレーム）でその水平１ラインの抽出部ＨＬを水平軸上で所定の画区（画素でも良い。）で２値化した数値列「１０００・・・中略・・・１０１００」を示している。即ち、画面上で設定されたある輝度（ビデオ信号レベル）以上では、「１」、それ以下の場合は「０」と判定している。

図４（ｃ）は、その次のフレームにおける同様な数値列「１１０００・・・中略・・・１０１０」であるが、数値列としては大きな変化は無い。

図４（ｄ）は、図４（ａ）からシーンチェンジされた画面であって、図４（ｅ）は、図４（ｂ）、４（ｃ）に対応する数値列「１１１１・・・１０１０・・・１１１１」である。

ＳＣＤ２６の内部には、図示しないが映像コリレータ（相関器）により各フレームのＨＬの数値列の相関度が計算され、同じ画面、即ち、全部同じ数値列であれば、その相関度は１００％、であり、画面が変われば、その相関度は、低いパーセンテージになる。例えば、図４（ｂ）と４（ｃ）では、８０％であり、図４（ｃ）と図４（ｅ）では、１０％となれば、図４（ｃ）と図４（ｅ）に対応するフレーム間でシーンチェンジがあったと判断する。

そして、シーンチェンジがあったことを示すシーンチェンジ検出信号をＣＴＤ２７へ出力する。ＣＴＤ２７は、このシーンチェンジ検出信号を受信すると、タイマ２２から経過時間を読みとり、タイムタグ情報「００：００：０４：４９」をそのシーンチェンジ信号である識別符号「ｓｃ」に付与し、ｓｃ［００：００：０４：５９］の変化タイミング信号を生成し、データＩ／Ｏ部２８から制御信号網６を介して字幕送出部３へ送信する。

字幕送出部３の制御部３１は、予め上記のごとくスタンバイモードにあるので素材サーバ部２から制御信号網６とデータＩ／Ｏ部３４とを介してこの変化タイミング信号を受信すると、ＩＤが「Ｍ１」の字幕の表示タイミングを「００：００：０５」から［００：００：０４：５９］に修正上書きする。

そして、タイマ３５を参照し、所要の遅延時間経過後に「Ｍ１」の「京都の夏の風物詩である・・」のレコードを字幕重畳装置１へ向けて出力する。このコリレーション判定は、水平走査線１本の様な映像中の中央部のみを取り出して行うので処理時間が短くて済むメリットを有している。

また、シーンチェンジを検出したタイミング検出については、上記のタイマを利用したものでも良いし、前述のタイムタグを素材データに付加して出力するデコード方法を採れば、変化を検出したフレームに付加されるタイムタグをＣＴＤ２７が読み出してタイムタグ情報とするのでも良い。

相関計算については、色々な計算があるが、フレームごとに水平部分の数値列の各対応する画区でＥＸ−ＯＲを求め、その一列の総和を取る方法が早い。即ち、同じ様なフレームが続く場合には、対応するＥＸ−ＯＲの値は、同じなので「０」となるが、フレーム間で絵が異なると、「１」の部分が増えるので、その総和を相関値の判定レベルとしても良い。

以上は、映像の変化であるシーンチェンジをトリガとして字幕送出タイミングを決定して編集する方法だが、例えば、出演者の会話音声の字幕を表示するような場合、字幕送出タイミングの設定に音声情報を利用する方法がある。簡単な方法として、音声レベルが所定のレベルが超えたとき、音声に対応する字幕文字の開始タイミングとする方法が従来提案されていたが、このような音声タイミングだけでは、予め収録された編集素材中の背景音がある場合に、背景音が会話の開始点と誤判断される雑音となって誤動作する問題があった。

本実施例では、ＳＣＤ２６中の映像信号用のコリレータの代わり、又は、追加の音声用コリレータとして、音声認識による文字入力判定に用いる音声コリレータを用いる。そして入力音声が、文字置換（単語、、又は文節変換）が可能な音声が入力したタイミングを音声検出信号として変化タイミング信号とすれば、誤検出を防ぐことが可能になる。

そのためには、ＳＣＤ２６は、読み出された素材データの音声信号のレベル判定を行い、ＣＴＤ２７は、そのレベルを超えたタイミングをタイマ２２でカウントして記憶し、同時に音声認識を行う。文字入力可能で有ることを認識するまでには、複数の音節入力後であるなど時間を要する。そして音声と判断された場合に記憶されたカウント値を音声開始タイミングのタイムタグとする。従って、音声認識を行う場合には、素材サーバ部２の遅延部２５の遅延時間は、音声レベルの判定だけによる音声開始タイミング判定よりもこの判定時間分長く取られねばならない。

また、この音声と映像の両者の相関の「ＡＮＤ」を取って新たに変化タイミング信号を生成しても良い。例えば、映像変化の検出信号があったフレーム以降での音声検出タイミングを変化タイミング信号でのタイムタグ情報とすると、映像表示後、画面変化経過後に字幕が表示されるので落ち着いた感じの画面になる。

また、本発明は、その趣旨を逸脱しない範囲で以上の構成の組み合わせ等を変えた場合であっても適用が可能である。例えば、字幕重畳部１と字幕送出部３とが一体化されていても良い。

図５は、字幕重畳部１と字幕送出部３とが一体化された字幕送出部３Ｘの動作を説明する字幕番組編集装置の機能ブロック図である。
図５において、字幕送出部３Ｘは、多重回路である字幕重畳部１と内部バスＢ３で接続される。それ以外の字幕番組編集装置の構成、動作等は、基本的に図１におけるものと同様である。

字幕送出部３の制御部３１は、字幕重畳部１が素材サーバ部２から受信する素材データにタイムタグと共に付与されるフレーム情報を読取る。そして、そのフレーム情報が、字幕送出部の制御部３１が指示する字幕重畳するタイミングを示すフレーム情報に一致した時点で字幕重畳（多重）を開始する。

即ち、素材サーバ部２のＣＴＤ２７は、デコーダ２４が図３の「ＦＩＤ」の欄に記された例の「００００１ｎ」の様なフレームを識別する情報を受信して判読する。そしてＳＣＤ２６からシーンチェンジ検出信号を受信した時に、その「００００１ｎ」をタイムタグ情報に示されるタイミングの代わりに、又はそれを併記した変化タイミング信号を生成して字幕送出部３Ｘに送信する。

字幕送出部３Ｘでは、詳細は省略するが制御部３１は、素材サーバ部２のＣＴＤ２７からの変化タイミング信号を受信して同様に字幕リストテーブル３２を修正する。引き続き修正した字幕リストテーブル３２と、内部バスＢ３を介して字幕重畳部１に入力される素材データをフレーム単位で監視、照合し、識別情報「ＦＩＤ」に「００００１ｎ」が書き込まれた素材データのフレームを発見次第、そのフレーム以降に「Ｍ１」の識別番号が不要された字幕データ（レコード）を字幕重畳部１へ出力して多重する。制御部３１は、タイマ３５を参照しなくてもこのフレームの識別情報「ＦＩＤ」のみを監視するだけで良いので、タイミング制御が容易になる。

以上、述べた如く本発明の実施例に係わる字幕番組編集装置によれば、容易な字幕重畳番組が編集可能となる。

本発明の実施例に係わる字幕番組編集装置の機能ブロック図。 本発明の実施例に係わる字幕番組編集装置で記憶処理される字幕データの例を示す図。 字幕データの各レコードをリストした字幕リストテーブルの１例。 本実施例に係わる字幕番組編集装置のシーンチェンジ検出の方法の１例を説明する図。 字幕重畳部と字幕送出部とが一体化された字幕送出部の動作を説明する字幕番組編集装置の機能ブロック図。

符号の説明

１ 字幕重畳部
２ 素材サーバ部
２１、３６ ＲＴＰ（リアルタイム プロセッサ）
２２、３５ タイマ
２３ 素材記憶部
２４ デコーダ部
２５ 遅延部
２６ シーンチェンジ検出部（ＳＣＤ）
２７ チェンジタイミング検出部（ＣＴＤ）
２８ データＩ／Ｏ部
３ 字幕送出部
３０ 記憶手段
３１ 制御部
３２ 字幕リストテーブル
３３ 字幕データ
３４ データＩ／Ｏ部
４ 制御操作卓
５ 局内時計
Ｂ２、Ｂ３ 内部バス等

Claims (9)

1. 記憶再生手段から番組の素材ビデオ信号を読み出して出力する素材サーバ部と、前記出力される素材ビデオ信号に番組台本に従った各画面に重畳される字幕データそれぞれを出力する字幕送出部と、前記字幕データと前記出力される素材ビデオ信号とを重畳多重して出力する字幕重畳部とを備え、字幕多重番組のコンテンツを編集する字幕番組編集装置において、
   前記読み出される前記素材ビデオ信号を前記字幕重畳部へ所定の時間遅延して出力する遅延手段と、前記素材ビデオ信号が遅延して出力されるよりも先に、前記読み出された前記素材ビデオ信号から画面表示のシーンチェンジを検出、又は、音声開始を検出した信号変化を通知する検出手段と、前記通知を入力して前記信号変化が検出された変化タイミング情報を付加した変化タイミング信号を生成して前記字幕送出部に送信する変更タイミング通知手段とを備える素材サーバ部と、
   レコード単位で管理される前記字幕データと、各前記字幕データの出力タイミングをリストした字幕データリストとを記憶する記憶手段と、受信する前記変化タイミング信号から前記変化タイミング情報を判読し、前記記憶手段にアクセスして前記素材サーバ部から前記遅延して出力される前記素材ビデオ信号の前記シーンチェンジするフレームか、又は前記音声開始のフレームに一致する様に前記字幕データリストの前記各字幕データの出力タイミングの修正を行い、前記修正された字幕データリストを照合して前記修正されたタイミングに前記各字幕データを前記字幕重畳部へ出力する制御手段とを備える字幕送出部と、
   前記遅延されて出力された前記素材ビデオ信号に前記修正されたタイミングで出力される各字幕データを重畳する字幕重畳部
   とを具備することを特徴とする字幕番組編集装置。
2. 前記変化タイミング情報は、
   前記素材ビデオ信号を出力する開始タイミングに起動されるタイマにより、前記素材ビデオ信号の先頭から前記シーンチェンジ、又は前記音声開始の検出が通知されるまでの経過時間をカウントして取得されるタイムタグで有ることを特徴とする請求項１記載の字幕番組編集装置。
3. 前記変化タイミング情報は、
   前記出力される前記素材ビデオ信号に書き込まれたタイムタグであって、前記素材ビデオ信号の前記シーンチェンジ、又は前記音声開始の検出が通知されたタイミングのフレームに付加されたタイムタグであることを特徴とする請求項１記載の字幕番組編集装置。
4. 記憶再生手段から素材ビデオ信号を読み出して出力する素材サーバ部と、前記出力される素材ビデオ信号に番組台本に従った各画面に重畳される字幕データそれぞれを出力する字幕送出部と、前記字幕データと前記出力される素材ビデオ信号とを重畳多重して出力する字幕多重部とを備え、字幕多重番組のコンテンツを編集する字幕番組編集装置の字幕編集方法において、
   前記素材サーバ部は、
   前記読み出された前記素材ビデオ信号を前記字幕重畳部へ所定の時間遅延して出力し、
   前記素材ビデオ信号が出力されるよりも先に、前記読み出された前記素材ビデオ信号から画面表示のシーンチェンジ、又は、音声開始の信号変化を検出し、前記信号変化が検出された変化タイミング情報を付加した変化タイミング信号を生成して前記字幕送出部に送信し、
   前記字幕送出部は、
   レコード単位で管理される前記字幕データと、各前記字幕データの出力タイミングをリストした字幕データリストとを記憶し、
   前記変化タイミング信号を受信して前記変化タイミング情報を判読すると、前記素材サーバ部から前記遅延して出力される前記素材ビデオ信号が前記シーンチェンジするフレームか、又は前記音声開始のフレームに一致する様に前記字幕データリストの前記各字幕データの出力タイミングを修正し、
   前記修正された字幕データリストを照合して前記修正されたタイミングに各前記字幕データを前記字幕重畳部へ出力することを特徴とする字幕番組編集装置の字幕編集方法。
5. 前記変化タイミング情報は、
   前記素材ビデオ信号を出力する開始タイミングに起動されるタイマにより、前記素材ビデオ信号の先頭から前記シーンチェンジ、又は前記音声開始の検出が通知されるまでの経過時間をカウントして取得されるタイムタグで有ることを特徴とする請求項４記載の字幕番組編集装置の字幕編集方法。
6. 前記変化タイミング情報は、
   前記出力される前記素材ビデオ信号に書き込まれたタイムタグであって、前記素材ビデオ信号の前記シーンチェンジ、又は前記音声開始の検出が通知されたタイミングのフレームに付加されたタイムタグであることを特徴とする請求項４記載の字幕番組編集装置の字幕編集方法。
7. 前記音声開始の検出は、
   前記ビデオ信号中の音声信号が文字入力可能な音声信号か否かの音声認識が行われ、文字入力可能な音声信号が入力したタイミングを音声開始の検出タイミングとする
   ことを特徴とする請求項４記載の字幕番組編集装置の字幕編集方法。
8. 前記変化タイミング情報は、
   前記素材ビデオ信号の前記シーンチェンジに続く前記音声開始の検出が最初に通知されたタイミングであることを特徴とする請求項５、又は６に記載の字幕番組編集装置の字幕編集方法。
9. 前記各字幕データの出力タイミングの修正は、前記素材ビデオ信号が前記シーンチェンジするフレームか、又は前記音声開始のフレームに一致するタイミングに一定のバイアス時間を与えて前記字幕データリストの前記を修正することを特徴とする請求項５、又は６に記載の字幕番組編集装置の字幕編集方法。

Images