JP2005204291A - 制御信号を利用したインデックス付与システム - Google Patents

制御信号を利用したインデックス付与システム Download PDF

Info

Publication number
JP2005204291A
JP2005204291A JP2004359053A JP2004359053A JP2005204291A JP 2005204291 A JP2005204291 A JP 2005204291A JP 2004359053 A JP2004359053 A JP 2004359053A JP 2004359053 A JP2004359053 A JP 2004359053A JP 2005204291 A JP2005204291 A JP 2005204291A
Authority
JP
Japan
Prior art keywords
control signal
attribute information
identifier
unit
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004359053A
Other languages
English (en)
Other versions
JP4531546B2 (ja
Inventor
Norihiko Kobayashi
紀彦 小林
Toru Nakada
透 中田
Masaaki Yoshikawa
雅昭 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004359053A priority Critical patent/JP4531546B2/ja
Priority to PCT/JP2004/018568 priority patent/WO2005057431A1/ja
Priority to EP04806929A priority patent/EP1698983A1/en
Priority to KR1020067011595A priority patent/KR20060123316A/ko
Priority to US10/583,045 priority patent/US7873637B2/en
Publication of JP2005204291A publication Critical patent/JP2005204291A/ja
Application granted granted Critical
Publication of JP4531546B2 publication Critical patent/JP4531546B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs

Abstract

【課題】 修正作業を排し、正確なメタデータを自動生成し、番組に関する情報を自動付与することができるインデックス付与システムを提供する。
【解決手段】 各種制御信号を検知するに従い、制御信号の種別や制御信号を一意に特定する識別子を判断し、検知した時刻を取得する制御信号検知部12と、制御信号の識別子とそれに関する属性情報とを紐付けて管理しておき、制御信号検知部12で取得した識別子を元に属性情報を判断する制御信号属性情報管理部14と、制御信号検知部12で判別した種別や識別子、及び時刻を取得するに従いメタデータを生成し、一方、制御信号属性情報管理部へ要求して取得した属性情報をメタデータに付与するインデックス生成部13とを備える。
【選択図】 図2

Description

本発明は、放送局システムの番組製作現場において利用される各種制御信号を使用してインデックスを自動付与するインデックス付与技術に関する。
放送番組における自動的なインデックス付与手法として、顔画像認識技術、テロップ文字認識技術、音声認識、話者認識技術を用いることにより、番組出演者の特定やあるシーンでの話者特定を行い、その結果をメタデータ化しインデックス付与する手法が一般的である。例えば、特許文献1のように、テロップの文字列を文字認識することによって、映像にメタデータとして付与する手法がある。ここで、「メタデータ」とは放送番組などのコンテンツの識別子、名前、出演者、内容などを記述したデータをいう。
特開平11−167583号公報
顔画像認識技術は、画面位置や背景映像、複数の被写体が同時に映る場合など、認識率にバラツキが生じ、精度の高いメタデータ化は難しかった。テロップ文字認識に関しても、テロップ文字の出現位置、背景映像、文字のフォントなどに制限があり、環境に左右されない確度の高い認識は困難であった。また、音声認識や話者認識技術に関しても、複数話者が混在する番組や、不特定多数の話者が頻出する場合には誤認識が多く発生し、やはり人手による修正作業という負荷がかかっていた。
このように、各種認識技術を用いる場合、正確なメタデータを付与するためには人手の介在(修正作業)が必要であり、極力人手による修正作業を排したいメタデータの自動付与には程遠いのが現実であった。
本発明は、かかる点に鑑みてなされたものであり、修正作業を排し、正確なメタデータを自動生成し、番組に関する情報を自動付与することができるインデックス付与システムを提供することを目的とする。
本発明の自動インデックス付与システムは、放送局において利用される各種機器の制御信号を用いてメタデータを自動付与するインデックス付与システムであって、各種制御信号を検知するに従い、制御信号の種別や制御信号を一意に特定する識別子を判断し、検知した時刻を取得する制御信号検知部と、制御信号の識別子とそれに関する属性情報とを紐付けて管理しておき、制御信号検知部で取得した識別子を元に属性情報を判断する制御信号属性情報管理部と、制御信号検知部で判別した種別や識別子、及び時刻を取得するに従いメタデータを生成し、一方、制御信号属性情報管理部へ要求して取得した属性情報をメタデータに付与するインデックス生成部とを備えることを特徴としている。
また、本発明の自動インデックス付与システムは、制御信号検知部から識別子と時刻を取得するに従い、識別子毎に時刻を整理したログデータを生成し、これをインデックス生成部へ出力するログ解析部を備えることを特徴としている。ログ解析部は、制御信号の識別子と検知時刻を用いて識別子毎に時刻を整理したログデータを生成し、ネットワークあるいはリムーバブルメディアへログデータを出力するログ出力部と、ネットワークあるいはリムーバブルメディアを介してログデータを入力し、インデックス生成部へログデータを送るログ入力部とを備えることを特徴としている。
また、本発明の自動インデックス付与システムは、制御信号属性情報管理部が、属性情報の詳細情報を格納しているデータベースへ接続するデータベース検索部を備え、データベースから取得した詳細情報をインデックス生成部で生成するメタデータに自動付与することを特徴としている。ここで、属性情報の詳細情報を格納しているデータベースとは、人物、ニュース、及び台本の少なくとも何れかの詳細情報を格納したデータベースであることを特徴としている。
本発明によれば、制御信号検知部が番組放送中に利用される各種制御信号を検知してその種別や識別子と時刻を判断し、これをインデックス生成部が取得するに従い、メタデータを自動生成するようにしている。また、インデックス生成部は、各種制御信号の識別子とその属性情報とを紐付けて管理させた制御信号属性情報管理部に対して、判別された識別子に紐付けられている属性情報を要求、取得し、それをメタデータに自動付与するようにしている。すなわち、本発明は、番組放送を構成する様々な情報を示すメタデータの生成を番組放送中に同期して自動生成することが可能になり、従来の人手によるメタデータ生成作業を大幅に削減し、かつ正確な情報を付与することができるという効果が得られる。
また、本発明によれば、ログ解析部を用いることにより、識別子毎に時刻を整理したログデータを生成し、これをインデックス生成部へ出力するようにしているので、ログデータを用いることによりメタデータをまとめて生成することができる。また、ログデータを生成することにより、番組放送を構成する様々な情報を示すメタデータの生成を番組放送中に同期しなくても、いつでも自動生成することが可能になり、従来の人手によるメタデータ生成作業を大幅に削減し、かつ正確な情報を付与することができるという効果が得られる。
さらに本発明によれば、識別子を元に取得した属性情報をさらに検索キーとして人物、ニュース、及び台本等に関する詳細情報を別のデータベースから取得し、これをメタデータに付与することができる。これにより、取得した属性情報が少ない場合でも、正確で情報豊富なメタデータを自動的に生成することができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。本発明の骨子は、番組を放送する局システムにおいて利用される各種機器の制御信号を制御信号検知部で検知して、その種別や識別子、時刻を取得してメタデータを生成し、また、制御信号検知部で検知した制御信号に紐付けられる属性情報を制御信号属性情報管理部から取得し、それをメタデータに付与することによって、番組のメタデータを正確に自動生成し、メタデータに情報を自動付与していくものである。ここで、種別は機器の種類を判別するものであり、識別子は同種類の機器を一意に特定するために付与されるものである。
以下、本発明の第1実施例を説明する。図1は、本発明の一実施の形態に係るインデックス付与システムのメインブロックの構成である。図1に示すインデックス付与システム10は、番組放送の制作・収録・送出を行なう番組放送スタジオシステム11と、番組放送を行なうに際して番組放送スタジオシステム11から出力される制御信号を検知し、制御信号の種別やその識別子、時刻などを判断する制御信号検知部12と、制御信号の識別子とそれに関する属性情報とを紐付けて管理しておき、制御信号検知部12が取得した識別子を元に属性情報を判断する制御信号属性情報管理部14と、制御信号検知部12から種別、識別子、検知時刻などを取得するに従いメタデータを生成し、その一方、制御信号属性情報管理部14に対して要求、取得した属性情報をメタデータに付与するインデックス生成部13とから構成される。
図2は、実際に放送局などでインデックス付与システム10を適用する場合に考えられる放送システムの概略構成を示すブロック図である。この放送システムは大きく分けてスタジオ1と、このスタジオ1へ指示を出したり、スタジオ1から映像信号や音声信号などを取り込んで番組制作・収録・送出作業を行なう調整ブース2とから成っている。
スタジオ1にはアナウンサーや出演者が装着するマイクロフォンとしてのピンマイク(Pm1,Pm2,Pm3がある)20とスタジオカメラ(StC1,StC2がある)30等が配置されている。また、調整ブース2には、図1に示した制御信号検知部12、インデックス生成部13、及び制御信号属性情報管理部14以外に、スタジオ1のどのスタジオカメラ(StC1かStC2か)がオンエア映像として放送するかを切替えるカメラ切替スイッチ15、VTRに記録された映像を切替えるVTR切替スイッチ16、カメラ映像に挿入するテロップ映像を切替えるテロップ切替スイッチ17、出演者が装着するマイクで拾った音声を集音するかを切替える音声切替えスイッチ18などを組み込んで一元管理する編集スイッチ19と、テロップ映像を生成するテロップ発生機50と、テロップ発生機50におけるテロップ生成動作をコントロールするためのテロップ作成機51と、VTRの記録再生動作を制御するVTR制御機40と、番組放送素材の編集処理を行なうための編集PC(パーソナルコンピュータ)41と、実際にVTRの再生処理を実行するカートマシン42と、中継放送のための制御を行なう中継制御機60とが配置されている。
編集スイッチ19は制御信号検知部12に接続されており、制御信号検知部12は編集スイッチ19からの各種制御信号を検知する。つまり、ピンマイク20が出力するピンマイク音声信号、スタジオカメラ30が出力するスタジオカメラ切替信号、VTR制御機40が出力するVTR切替信号、テロップ発生機50が出力するテロップ切替信号など各種機器が出力する制御信号の入力検知を行う。なお、ピンマイク20、スタジオカメラ30、VTR制御機40、編集PC41、カートマシン42、テロップ発生機50、テロップ作成機51、中継制御機60などは図2のように接続されている。
次いで図3を用いて制御信号検知部12の内部構成を説明する。制御信号検知部12は、入力される制御信号を検知してその種別やその識別子を判別し、時刻を取得した上でインデックス生成部13に対してメタデータ生成の要求を行うものである。制御信号検知部12は、制御信号を検知してその種別や識別子を判別する制御信号種別判別部121、制御信号の判別を可能にするため、制御信号とその種別や識別子を紐付けて管理する制御信号種別管理部122、制御信号が検知された時刻を取得する時刻取得部125、判別された種別やその識別子、取得した時刻をインデックス生成部13に送り、メタデータ生成の要求を行うインデックス生成要求部124から成る。ここで、制御信号種別管理部122には、システム運用前に制御信号を登録し、その種別や識別子についても登録しておく。識別子の登録については、制御信号の登録に従い、自動的に付与させるようにしてもよい。
制御信号種別判別部121は、入力される制御信号のヘッダ部分を解析することによって、その種別やその識別子を判別する。制御信号は種別やその識別子などの情報を含むヘッダ部200と制御信号そのもののボディ部201とに分けることができ、このヘッダ部200の信号種別を表すビット列を解析し、制御信号種別管理部122に登録されている信号種別211や信号ID210(識別子)と比較することにより、入力される制御信号の種別やその識別子を判別する。また、図4は、制御信号である音声信号の音圧レベルを判定する場合の制御信号検知部12の内部構成である。番組出演者に付与されるマイク30から入力される音声は、音声切替スイッチ18を経てマイク信号音圧レベル判別部123に入力される。マイク信号音圧レベル判別部123は、入力される音声の音圧レベルを検知する。
図5は、デジタル化された制御信号の構造例を示した図である。制御信号のヘッダ部200の上位8ビットに信号種別を示す情報、下位8ビットに信号種別を一意に特定する識別子を示す情報が割り当てられている。図6は制御信号種別管理部122における管理データの構成例を示す図である。制御信号種別管理部122は、制御信号の種別を示す情報211、信号種別を一意に特定する識別子情報212、信号種別情報211に対応する種別213、及び識別子情報212に対応する信号ID(識別子)210を紐付けてテーブル形式で管理する。
制御信号検知部12の制御信号種別判別部121に対して、図5に示す制御信号が入力された場合、制御信号種別判別部121は制御信号のヘッダ部を抽出し、制御信号種別管理部122に対して種別やその識別子を問い合わせる。制御信号種別管理部122では、信号種別情報を示すヘッダ部200の上位8ビットは「00000010」であるので、制御信号種別管理部122は信号種別情報211の一致する項目に紐付けられている「ピンマイク」の種別213であることを判断し、さらに、下位8ビットは「00000001」であるので、識別子情報212の一致する項目に紐付けられている「PM−1」の識別子210であることを判断する。これにより、制御信号種別管理部122は、入力された制御信号は種別が「ピンマイク」であり識別子が「PM−1」であることを判断し、制御信号種別判別部121に対して「ピンマイク」や「PM−1」を通知する。
なお、ここでは、種別と識別子を制御信号種別判別部121に対して通知しているが、識別子だけで種別を判断できるのであれば、識別子(「PM−1」)だけを通知しても良い。また、信号の種別やその識別子を判定するためのビット列の長さや位置などは既述の例に限定されるものではない。さらに、入力信号から識別子への変換プロセスについても、アナログ信号から直接種別やその識別子を判断したり、検知したい制御信号の数だけ制御信号判別部121に別々に入力系統を用意し、それぞれ別の入力系統から入力される入力信号を判断しても良い。また、編集スイッチ19にGUI(Graphical User Interface)機能を設け、このGUI上で入力信号と識別子との関連付け設定を事前に行い、入力信号を識別子に変換しても良い。
次に図7を用いて制御信号属性情報管理部14の内部構成を説明する。制御信号属性情報管理部14は、事前に各種制御信号と属性情報とを紐付けられるよう登録がされている。例えば、制御信号を一意に特定する識別子と属性情報とを紐付けて管理しておき、制御信号検知部12が取得した識別子を元に属性情報を判別できるようにする。
制御信号属性情報管理部14は、各種制御信号の識別子や属性情報を登録する属性情報登録部141、属性情報登録部141からの登録を受けて属性情報データベース143に属性情報を登録し、また、インデックス生成部13からの属性情報要求を受け付け、属性情報データベース143から識別子を元に属性情報を読出す等の管理をする属性情報管理部142、及び制御信号の種別やその識別子、ならびにそれに対応する属性情報を紐付けて格納する属性情報データベース143から成る。
属性情報の登録は、番組の制作や編集に関わる者が手作業で登録を行なう他に、放送局において利用される各種機器からオンラインで登録することもできる。例えば、テロップ作成機51で作成する文字列や編集PC41で編集したVTRの映像等の情報を流用し、各種機器の識別子と紐付けてオンライン登録することができる。これにより、文字列や映像情報等を示した属性情報の登録作業が軽減される。
つづいてインデックス生成部13を説明する。インデックス生成部13は、制御信号の種別やその識別子と検知時刻を取得するに従いメタデータを生成し、その一方、制御信号属性情報管理部14に対して取得した識別子に紐付けられた属性情報を要求し、制御信号属性情報管理部14から取得した属性情報を生成しているメタデータに付与するものである。
以上のように構成されたインデックス付与システムにおいて、各種機器の制御信号を検知した場合にメタデータを生成するまでの処理の流れについて、以下説明する。
<ピンマイクの制御信号を検知した場合>
はじめに、ピンマイクを使用する場合のメタデータ生成について説明する。各々の番組出演者がピンマイクを着けることによって、自分の発声は自分のピンマイクで集音するというスタイルが番組収録では一般的である。特にニュース番組など、明瞭な発声を必要とする番組では、話者の口からの距離を一定に保つことが可能なピンマイクの利用が好まれている。このピンマイク利用の利点は、上に述べた話者の口から一定距離を保持しやすいことによる音声の明瞭化の他にも、他者の発話音声を拾いにくい、という点が挙げられる。つまり、それぞれのピンマイクには特定の人物の発話音声のみ集音されると言えるので、ピンマイクに入力される音声と特定の人物を関連付けることが可能になると考えられる。
既に説明したように、制御信号検知部12の制御信号種別管理部122には、各種機器の制御信号、種別、識別子が番組の放送・収録より前に登録されている。つまり、音声に切り替える音声制御信号が検知された場合にピンマイクの信号であることを判別し、さらにどのピンマイクの入力があったのかを判別できるようピンマイクの制御信号、種別、識別子を事前に登録し、制御信号検知後は種別や識別子に変換させる。一方、ピンマイクを誰が着けるのか(どの識別子が誰に対応するのか)については、制御信号属性情報管理部14に登録しておく。
図8は制御信号属性情報管理部14の属性情報データベース143に登録されたピンマイク識別子とそのピンマイクを着用する出演者との関係を表したものであり、ピンマイクが出力する信号に対応する識別子と、ピンマイク着用者を組にして管理登録されることを想定している。図8ではピンマイクの識別子である、PM−1、PM−2、PM−3が、デフォルトの状態ではそれぞれ出演者A、出演者B、出演者Cと紐付けられていることを示しており、実際に出演者を登録する段階で属性情報登録部141に対して属性情報の更新処理をすることでそれぞれのピンマイクの着用者である、山田太郎、田中二郎、鈴木花子が紐付けられて更新管理されていることを示している。また属性情報データベース143には、一度設定された属性情報が記録されており、以降は属性情報データベース143から選択式などの手法で簡単に属性情報を識別子と関係付けることができる。
図9はピンマイクに入力された音声制御信号の音圧レベルを検知し、音圧レベルに達した音声制御信号を制御信号種別判別部121に通知するまでのフローチャート、図10は制御信号種別判別部121に音声制御信号が通知されてからメタデータ生成要求を行うまでのフローチャートである。図9及び図10のフローチャートにしたがってメタデータ生成処理の流れを説明する。番組の収録が開始されると、発話が起こる度にピンマイクから音声制御信号が音声切替えスイッチ18を経由して制御信号検知部12のマイク信号音圧レベル判別部123へ入力される(S20、S21)。
マイク信号音圧レベル判別部123では、雑音などを発話とみなさず、ある一定以上の音圧レベルに達した音声制御信号のみ、発話が行われているものとみなし、制御信号種別判別部121に音声制御信号が入力される。一方、一定以上の音圧レベルに達していない音声制御信号は、発話が行われていないもの、終了したものとみなされ、制御信号種別判別部121には音声制御信号が入力されない、あるいは発話が終了したことを通知する。
具体的には、入力された音声制御信号の音圧レベルが一定値を超えているかを判定(S22)し、超えている場合には発話フラグ(当該話者の発話が既に開始されているのかを判断するための内部フラグ)を確認(S23)し、発話フラグがOFFなら当該信号IDの発話フラグをONにして(S25)制御信号種別判別部121へ音声制御信号を入力し、発話が開始されていることを通知する(S27)。同様に発話フラグがONの時に入力された音声制御信号の音圧レベルが一定値を下回った場合には発話フラグをOFFにして(S24)、制御信号種別判別部121へ音声制御信号を入力し、発話が終了していることを通知する(S27)。なお、ここでは、発声の開始や終了を検知するために、一定以上の音圧レベルに達した場合や音圧レベルを下回った場合にのみ制御信号種別判別部121へその旨の通知を行うことを説明したが、一定期間継続して音圧レベルを達していた場合に限って発話されたものと判断して、制御信号種別判別部121に音声制御信号を通知するようにしても良い。また、一定期間継続して音圧レベルを下回っていた場合に限っても制御信号種別判別部121に通知するようにしても良い。
制御信号種別判別部121に音声制御信号が入力されると、制御信号種別判別部121は、そのヘッダ部を抽出して制御信号種別管理部122へ送り、音声制御信号に対応している種別や識別子を問い合わせる。制御信号種別管理部122ではヘッダ部200に示されている信号種別情報や信号識別子を元に音声制御信号の種別や識別子を判別し、制御信号種別判別部121に対して、種別や識別子を通知する。なお、ここで、識別子だけで種別も判断できるのであれば(図6参照)、識別子だけを通知しても良い(S12)。
制御信号種別判別部121は、種別や識別子を取得するに従い、それらをインデックス生成要求部124へ送り、インデックス生成要求124は、それに従い、時刻取得部125に対して現在時刻を問い合わせ、時刻を取得する(S13)。インデックス生成要求部124は、音声制御信号の種別や識別子、時刻を取得するに従い、これらをインデックス生成部13へ送り、インデックス(メタデータ)生成を要求する(S14)。
インデックス生成部13は、制御信号検知部12(インデックス生成要求部124)から種別や識別子、時刻を取得するに従いメタデータを生成していき、その一方、種別や識別子を制御信号属性情報管理部14へ送り、属性情報を問い合わせる。制御信号属性情報管理部14は、送られてくる種別や識別子を元に紐付けられて管理している属性情報を取得し、これをインデックス生成部13に通知する。インデックス生成部13は属性情報が通知されるに従い、生成しているメタデータに属性情報を付与する。制御信号検知部12が音声制御信号を検知する度に上記の処理を行っていくことにより、ピンマイクを着用している出演者の発話の開始及び終了時刻を出演者毎に整理したメタデータを生成することができる。
図11は、インデックス生成部13で生成される制御信号の種別や識別子とその属性情報の関係を模式化したものである。例えば制御信号の信号ID=PM−1からの音声信号は、時刻t1からt2の間、t3からt4の間、t5からt6の間に検知されたことを示しており、ある区間での話者の特定を行うことができる。図12は、上記処理の結果をXML(eXtensible Markup Language)表現した一例であり、話者がどの時間に発話を開始し、終了したかが一目でわかる。
以上、番組出演者の発声と同時にその制御を行う音声制御信号を制御信号検知部が検知することにより、どのタイミングで、誰が発話したのかという情報を自動的かつ正確にメタデータ生成でき、さらにその属性情報も付与することにより、従来の人手によるメタデータ生成に比して大幅なコスト削減が達せられる。
また、話者の特定や発話時刻だけでなく、ピンマイクからの音声信号に音声認識技術を適用することにより、発話内容の特定を行うことも考えられる。この場合、図12に示した話者特定情報XMLに音声認識結果を付加することによって、「何を」話したのかという情報を付与することも可能である。
<VTRの制御信号を検知した場合>
次に、VTRを使用する場合のメタデータ生成について説明する。ニュース番組に代表される生放送番組において、編集済みのVTR映像を1つのコーナーやトピックとして放送することは多い。VTRは編集PC41で編集、出力される。
また、制御信号検知部12の制御信号種別管理部122には、各種機器の制御信号、種別、識別子がシステム運用前に登録されている。つまり、番組放送中にVTR制御機40を用いてVTRに切り替えられる際、VTR切替スイッチ16から出力されるVTR制御信号を制御信号検知部12が検知し、さらにどのVTRの入力であったのかを判別できるようVTRの制御信号、種別、識別子を事前に登録しておく。また、VTRは、その編集時に「タイトル」、「内容」、「ロケ地」、「時間」等も記録されると考えられる。これらの属性情報は、制御信号属性情報管理部14にも登録され、どのVTRであるのかを識別するために、属性情報(ここではタイトル)と識別子を紐付けて管理する。ここで、制御信号属性情報管理部14へ登録される属性情報と識別子は、編集PC41からのオンライン接続により登録することもできる。これにより、VTR編集と同時期に作成した属性情報と識別子がそのまま制御信号属性情報管理部14へ自動登録される。また、オンライン登録ではなく、CD−ROMやフレキシブルディスク、DVD、SDメモリカードなどのリムーバブルメディアに属性情報と識別子を記録し、そのリムーバブルメディアを用いて制御信号属性情報管理部14へ登録することもできる。
図13は制御信号属性情報管理部14の属性情報データベース143に登録されたVTR識別子とVTRのタイトルとの関係を表したものであり、VTRの識別子と、タイトルを組にして管理登録されることを想定している。図13では、VTRの識別子である、VTR−1、VTR−2,VTR−3が、それぞれ撮影した映像のタイトル「焼死体事件続報」、「解散前夜の永田町」、「スポーツコーナー映像」と紐付けられて管理されている。なお、属性情報データベース143に登録される属性情報は、VTRのタイトル以外に、VTRの内容、時間、ロケ地、出演者、収録時期などの情報を紐付けて管理しても良い。
番組放送中、編集室のVTR切替スイッチ16を操作することにより、指定したVTRはVTR制御機40によって放送され、一方、これと同時にVTR制御信号は制御信号検知部12の制御信号種別判別部121に入力される。制御信号種別判別部121にVTR制御信号が入力されると、図10に示す処理フローに従い、制御信号種別判別部121は、そのヘッダ部を抽出して制御信号管理部122へ送り、VTR制御信号に対応している種別や識別子を問い合わせる。制御信号種別管理部122ではヘッダ部200に示されている信号種別情報や信号識別子を元にVTR制御信号の種別や識別子を判別し、制御信号種別判別部121に対して、種別や識別子を通知する。なお、ここで、識別子だけで種別も判断できるのであれば(図6参照)、識別子だけを通知しても良い。
制御信号種別判別部121は、種別や識別子を取得するに従い、それらをインデックス生成要求部124へ送り、インデックス生成要求124は、それに従い、時刻取得部125に対して現在時刻を問い合わせ、時刻を取得する。インデックス生成要求部124は、音声制御信号の種別や識別子、時刻を取得するに従い、これらをインデックス生成部13へ送り、インデックス(メタデータ)生成を要求する。
インデックス生成部13は、制御信号検知部12(インデックス生成要求部124)から種別や識別子、時刻を取得するに従いメタデータを生成していき、その一方、種別や識別子を制御信号属性情報管理部14へ送り、属性情報を問い合わせる。制御信号属性情報管理部14は、送られてくる種別や識別子を元に紐付けられて管理している属性情報を取得し、これをインデックス生成部13に通知する。インデックス生成部13は属性情報が通知されるに従い、生成しているメタデータに属性情報を付与する。
VTRの制御と同時に編集スイッチ19から出力されるVTR制御信号を制御信号検知部12が検知する度に上記の処理を行っていくことにより、VTRが使用された時刻をVTR毎に整理したメタデータを生成し、属性情報を付与することができる。図14は、上記処理の結果をXML表現した一例であり、VTRがどの時刻に放送され、またそのタイトルがどのようなものであるかが一目でわかる。
以上、VTRが使用されると同時にVTR制御信号を制御信号検知部で検知することにより、VTRがいつ使用されたのかという情報を自動的かつ正確にメタデータ化し、さらにその属性情報も付与することにより、従来の人手によるメタデータ生成に比して大幅な工数削減が達せられる。
<テロップの制御信号を検知した場合>
次に、テロップを使用する場合のメタデータ生成について説明する。番組放送において人物の氏名や日付時刻、場所、内容説明など、画面説明補助の用途でテロップを利用することは多い。テロップはテロップ文書作成ツール等の電子的な処理を行うテロップ作成機51で作成、出力される。
また、制御信号検知部12の制御信号種別管理部122には、各種機器の制御信号、種別、識別子がシステム運用前に登録されている。つまり、番組放送中にテロップ発生機50を用いてテロップが使用される際、テロップ切替スイッチ17から出力されるテロップ制御信号を制御信号検知部12が検知し、さらにどのテロップの入力であったのかを判別できるようテロップの制御信号、種別、識別子を事前に登録しておく。また、テロップは、その作成時に「文字列」、「文字列の種別」、「フォント」、「字体」、「色」等の情報も記録されると考えられる。これらの属性情報は、制御信号属性情報管理部14にも登録され、どのテロップであるのかを識別するために、属性情報(ここでは文字列)と識別子を紐付けて管理する。ここで、制御信号属性情報管理部14へ登録される属性情報と識別子は、テロップ作成機51からのオンライン接続により登録することもできる。これにより、テロップ作成と同時期に作成した属性情報と識別子がそのまま制御信号属性情報管理部14へ自動登録される。また、オンライン接続ではなく、CD−ROMやフレキシブルディスク、DVD、SDメモリカードなどのリムーバブルメディアに属性情報と識別子を記録し、そのリムーバブルメディアを用いて制御信号属性情報管理部14へ登録することもできる。
図15は制御信号属性情報管理部14の属性情報データベース143に登録されたテロップ識別子とテロップ文字列との関係を表したものであり、テロップの識別子と、文字列を組にして管理登録されることを想定している。図15では、テロップの識別子である、TP−1、TP−2、TP−3、TP−4がそれぞれ作成したテロップの文字列やその種別「山田太郎、人名」、「佐藤二郎、人名」、「焼死体事件続報、トピック名」、「解散前夜の永田町、トピック名」と紐付けられて管理されている。なお、属性情報データベース143に登録される属性情報は、テロップの文字列やその種別以外に、テロップのフォント、字体、色などの情報を紐付けて管理しても良い。
番組放送中、編集室のテロップ切替スイッチ17を操作することにより、指定したテロップはテロップ発生機50によって放送され、一方、これと同時にテロップ制御信号は制御信号検知部12の制御信号種別判別部121に入力される。制御信号種別判別部121にテロップ制御信号が入力されると、図10に処理フローに従い、制御信号種別判別部121は、そのヘッダ部を抽出して制御信号管理部122へ送り、テロップ制御信号に対応している種別や識別子を問い合わせる。制御信号種別管理部122ではヘッダ部200に示されている信号種別情報や信号識別子を元にテロップ制御信号の種別や識別子を判別し、制御信号種別判別部121に対して、種別や識別子を通知する。なお、ここで、識別子だけで種別も判断できるのであれば(図6参照)、識別子だけを通知しても良い。
制御信号種別判別部121は、種別や識別子を取得するに従い、それらをインデックス生成要求部124へ送り、インデックス生成要求124は、それに従い、時刻取得部125に対して現在時刻を問い合わせ、時刻を取得する。インデックス生成要求部124は、音声制御信号の種別や識別子、時刻を取得するに従い、これらをインデックス生成部13へ送り、インデックス(メタデータ)生成を要求する。
インデックス生成部13は、制御信号検知部12(インデックス生成要求部124)から種別や識別子、時刻を取得するに従いメタデータを生成していき、その一方、種別や識別子を制御信号属性情報管理部14へ送り、属性情報を問い合わせる。制御信号属性情報管理部14は、送られてくる種別や識別子を元に紐付けられて管理している属性情報を取得し、これをインデックス生成部13に通知する。インデックス生成部13は属性情報が通知されるに従い、生成しているメタデータに属性情報を付与する。
テロップの制御と同時に編集スイッチ19から出力されるテロップ制御信号を制御信号検知部12が検知する度に上記の処理を行っていくことにより、テロップが使用された時刻をテロップ毎に整理したメタデータを生成し、属性情報を付与することができる。図16は、上記処理の結果をXML表現した一例であり、このXMLからテロップがどの時刻に放送され、またそのテロップがどのようなものであるかが一目でわかる。
以上、テロップが使用されると同時にテロップ制御信号を制御信号検知部で検知することにより、テロップがいつ使用されたのかという情報を自動的かつ正確にメタデータ化し、さらにその属性情報も付与することにより、従来の人手によるメタデータに比して大幅な工数削減が達せられる。従来のテロップを利用したメタデータ生成技術は、テロップの文字列そのものを認識することによって情報を取得していたために誤認識があり、誤ったメタデータが付与されたが、本発明は、誤ったメタデータが付与されるようなことはない。
<カメラの制御信号を検知した場合>
次に、スタジオカメラを使用する場合のメタデータ生成について説明する。番組放送は、スタジオにある多数のカメラを用い、それらを切り替えて撮影することにより、放送を行っている。スタジオカメラ30の切り替えは、カメラ切替えスイッチ15により切り替えられ、これと同時にカメラ切替えスイッチ15は、制御信号検知部12へカメラ制御信号を送る。
また、制御信号検知部12の制御信号種別管理部122には、各種機器の制御信号、種別、識別子がシステム運用前に登録されている。つまり、カメラを切り替えるカメラ制御信号が送られてきた場合にカメラが切り替えられたことを判別し、さらにどのカメラが切り替えられたのかを判別できるようカメラの制御信号、種別、識別子を事前に登録しておく。カメラが切り替えられると同時にカメラ制御信号を制御信号検知部12で検知することにより、どのカメラがいつ使用されたのかというカメラワーク情報を自動的かつ正確にメタデータ化することができる。また、中継映像からスタジオ映像への切替を行ったカメラ制御信号を検知することにより、中継映像の挿入情報をメタデータ化することもできる。
この他にも、RFタグ(Radio Frequency タグ)を番組出演者に取り付け、カメラ30にRFタグからの信号を読み出すリーダーを設置することにより、どの出演者が現在映像に映っているのかを判断することができ、この情報をメタデータ化することもできる。この場合、制御信号検知部12の制御信号種別管理部122には、RFタグの信号、種別、識別子がシステム運用前に登録され、制御信号属性情報管理部14の属性情報データベース143には、RFタグの識別子とRFタグが取り付けられている出演者に関する属性情報となる主演者の指名や生年月日等が紐付けられて登録される。
また、これらの各種制御信号を単独で利用するのではなく、2つ以上の制御信号を制御信号検知部12が同時に検知することにより、各種機器がいつ使用されたのかという情報を自動的かつ正確にメタデータ化し、さらにそれらの属性情報も付与することにより、番組放送を構成する様々な情報を番組放送中に同期してメタデータ化することが可能になり、従来の人手によるメタデータ生成作業を大幅に削減し、かつ正確な情報を付与することができるという効果が得られる。
<外部データベースを使用する場合>
さらに、図17及び図18に示すように、制御信号属性情報管理部14において、属性情報の詳細情報を格納しているデータベースへ接続するデータベース検索部144を備え、データベース70から取得した詳細情報をインデックス生成部13で生成するメタデータに自動付与するようにしても良い。本実施例においてデータベース70は人物情報データベース71、ニュースデータベース72、及び台本データベース73を備えており、これらはオンライン接続されている。図19に示すように、人物情報データベース71には、人物名、性別、生年月日、出身地等が紐付けられて管理されている。また、ニュースデータベース72には、映像情報、内容、ロケ地等が紐付けられて管理されている。また、台本データベース73には、文字列情報、映像情報、出演者等が紐付けられて管理されている。
次に、図20を用いてメタデータ生成までの処理手順を説明する。制御信号属性情報管理部14において、インデックス生成部13から送られてくる各種機器の識別子を属性情報管理部142が取得するに従い、属性情報管理部142は、属性情報データベース143に対して、識別子に紐付けられている属性情報があるか否かを問い合わせる(S201)。属性情報データベース143は、識別子に紐付けられている属性情報について検索し(S202)、属性情報管理部142へ属性情報を通知する。属性情報管理部142は通知された属性情報を識別子と紐付ける一方(S203)、属性情報をデータベース検索部144に送る。データベース検索部144は、人物情報データベース71、ニュースデータベース72、及び台本データベース73に対して属性情報の詳細情報があるか否かを問い合わせる(S204)。ここで、各種データベースへの問い合わせは選択的に行うようにしても良い。各種データベース71乃至73は、属性情報に紐付けられている詳細情報について検索し、データベース検索部144を介して属性情報管理部142へ詳細情報を通知する。属性情報管理部142は、属性情報データベース143から取得した属性情報、ならびに各種データベース71乃至73から取得した詳細情報を紐付けてインデックス生成部13へ通知する(S206)。
以上の処理は、ひとつの識別子を元に紐付けられた属性情報について詳細情報を検索するものであるが、属性情報が複数ある場合は、新たな属性情報を検索キーとして詳細情報を検索する。そして、制御信号属性情報管理部14が属性情報を元に検索した詳細情報を属性情報とともにインデックス生成部13へ送ると、インデックス生成部13は、生成しているメタデータに通知された属性情報及び詳細情報を付与する。図21及び図22に示すのは属性情報及び詳細情報を付与したメタデータの例である。
以上、制御信号属性情報管理部は、自身が管理している属性情報の詳細情報を検索するデータベース検索部144を備えることにより、識別子を元に取得した属性情報について、外部のデータベース71乃至73からその詳細情報を取得することができ、これをメタデータに付与することができる。識別子に紐付けられている属性情報を元に詳細情報を取得することができるので、制御信号属性情報管理部14で管理する属性情報は必要最低限な情報でよい。
以上、本実施例によれば、番組放送中の各種機器の使用状態について、それら制御信号を制御信号検知部が検知してそれらの種別、識別子を判別するとともに時刻を取得し、これらをインデックス生成部が取得するに従い、メタデータを自動生成するようにしている。また、インデックス生成部は、各種制御信号の識別子とその属性情報とを紐付けて管理させた制御信号属性情報管理部に対して、判別された識別子に紐付けられている属性情報を要求、取得し、それをメタデータに自動付与するようにしている。すなわち、本実施例は、番組放送を構成する様々な情報を示すメタデータの生成を番組放送中に同期して自動生成することが可能になり、従来の人手によるメタデータ生成作業を大幅に削減し、かつ正確な情報を付与することができるという効果が得られる。また、識別子に紐付けられている属性情報を元に、さらに他のデータベースからその詳細情報を取得して、メタデータに付与することもできるので、属性情報が少ない場合でも、それを検索キーとして詳細情報を取得することにより、詳細情報が正確で情報豊富なメタデータを自動的に生成することができる。
以下、本発明の第2実施例を説明する。実施例1では、番組放送を構成する様々な情報について、番組放送中に同期して自動的にメタデータ化しているが、本実施例では、中間データとしてログデータを出力することにして、番組放送中とは非同期にログデータを入力することでメタデータ化することを特徴としている。図23は、本発明の一実施の形態に係るインデックス付与システムのメインブロックの構成である。図1に示したインデックス付与システムと同様の構成には同一の符号を付し、重複した説明は省略する。図1に示したシステムと異なる構成は、ログ解析部230を備えたことにある。ログ解析部230は、制御信号検知部12から制御信号の種別や識別子と時刻を取得するに従い、ログデータを生成し、出力するものである。図25に示すように、ログデータは識別子毎に時刻を整理したデータである。また、図24に示すように、ログ解析部は、ログデータを生成し、ネットワークあるいはリムーバブルメディア233へログデータを出力するログ出力部241と、ログデータを入力してインデックス生成部13へログデータを送るログ入力部242とを備えている。なお、ここでいうネットワークはオンライン接続されたものが考えられ、また、リムーバブルメディア243はCD−ROMやフレキシブルディスク、DVD、SDメモリカードなど記録媒体が考えられる。また、ログ解析部230は、ネットワークや記録媒体を介さなくてもよく、単に識別子毎に時刻を整理したログデータを生成して、これを出力するブロックでも良く、物理的に一体になっているものでもよい。
ログ解析部230のログ出力部241は、制御信号検知部12から制御信号の識別子と検知時刻を取得するに従い、識別子毎に時刻を整理していきログデータを生成する(図25参照)。図に示すログデータはピンマイクの制御信号を識別子毎にログ化したものである。ピンマイクは発話の開始及び終了時刻をみているので、ここに示されている時刻は、出演者の発話開始及び終了を繰り返した状態が示される。
生成されたログデータはログ出力部241からネットワークあるいはリムーバブルメディア243を介してログ入力部242に入力され、ログ入力部242は、インデックス生成部13へログデータを送る。識別子毎に時刻が整理されたログデータをインデックス生成部13が取得するに従い、インデックス生成部13は図12に示すようなメタデータを生成する。ログデータは識別子毎に時刻が整理されているので、まとめてメタデータ化することができる。
また、その一方、インデックス生成部13は、ログデータに示されている識別子を用いて、制御信号属性情報管理部14に対して、紐付けて管理されている属性情報を問い合わせる。制御信号属性情報管理部14はインデックス生成部13から識別子を取得すると、紐付けられている属性情報を取得し、それをインデックス生成部13に対して通知し、これに従い、インデックス生成部13は生成しているメタデータにその属性情報を付与する。
なお、本実施例では、一例としてピンマイク制御信号を検知した場合に生成するログデータを説明したが、上記実施例1で説明した、VTR、テロップ、あるいはカメラやRFタグの制御信号を検知した場合でも、同様にログデータは生成でき、実施例1と同様、図14及び図16に示すようなメタデータを生成できる。また、制御信号属性情報管理部14は、ログデータに示されている識別子から取得した属性情報を検索キーとして、さらにデータベース検索部144から人物情報データベース71、ニュースデータベース72、及び台本データベース73へアクセスし、詳細情報を取得するようにしても良い。この場合、実施例1と同様、図21及び図22に示すようなメタデータが生成される。
以上、本実施例によれば、番組放送中の各種機器の使用状態について、それら制御信号を検知してそれらの種別、識別子を判別するとともに時刻を取得し、これらをログ解析部が取得すると、識別子毎に時刻を整理したログデータを生成している。そして生成されたログデータをインデックス生成部が取得するに従い、インデックス生成部はメタデータを自動生成するようにしている。また、インデックス生成部は、各種制御信号の識別子とその属性情報とを紐付けて管理させた制御信号属性情報管理部に対して、判別された識別子に紐付けられている属性情報を要求、取得し、それをメタデータに自動付与するようにしている。すなわち、本実施例は、判別した制御信号の種別、識別子及び時刻を用いて、識別子毎に時刻を整理したログデータを生成することにより、番組放送を構成する様々な情報のメタデータ化を、例えば録画収録番組において収録映像の編集作業が完了した後にログデータをメタデータ化するといったように、番組撮影時に同期しなくても任意のタイミングで自動的に番組放送を構成する様々な情報のメタデータ生成が実現可能になり、従来の人手によるメタデータ生成作業を大幅に削減し、かつ正確な情報を付与することができるという効果が得られる。
以上で詳細に説明したように、放送局の番組放送において、放送時に利用される各種制御信号とその信号に付随する情報を属性情報として予め設定しておくことにより、制御信号の検知をトリガとして自動的にメタデータ化することが可能になる。また、正確なインデキシングが実行でき、人手による修正作業の手間を省くという効果を得ることができる。さらに、VTR編集装置やテロップ作成装置などとオンライン接続することによって、人手による属性情報の事前設定をも簡略化することが可能になる。
本発明の一実施の形態に係るインデックス付与システムの全体構成を示したブロック図 放送局で使用するインデックス付与システムの運用形態を示したブロック図(実施例1) 制御信号検知部の内部構成を示したブロック図 音圧レベルを検知する制御信号検知部の内部構成を示したブロック図 デジタル化された制御信号の構造を示した図 制御信号種別管理部で管理されているデータ構成を示した図 制御信号属性情報管理部の内部構成を示したブロック図 属性情報データベースに登録される識別子と属性情報との対応関係を示した図(ピンマイク) 音声制御信号の音圧レベルを判定する処理を示したフロー図 音声制御信号を検知し、メタデータ生成要求を行う処理を示したフロー図 各種ピンマイクとそれらの使用開始時刻及び使用終了時刻を模式的に示した図 音声制御信号を検知することにより生成されるインデックス情報をXML表現した例 属性情報データベースに登録される識別子と属性情報との対応関係を示した図(VTR) VTR制御信号を検知することにより生成されるインデックス情報をXML表現した例 属性情報データベースに登録される識別子と属性情報との対応関係を示した図(テロップ) テロップ制御信号を検知することにより生成されるインデックス情報をXML表現した例 外部データベースを用いる場合のインデックス付与システムを示したブロック図 外部データベースを用いる場合の制御信号属性情報管理部の内部構成を示したブロック図 各種外部データベースに登録される情報を示した図 属性情報に紐付けられた情報を各種外部データベースから取得する処理を示したフロー図 外部データベースから取得する情報をインデックス情報に付与してXML表現した例(ピンマイク) 外部データベースから取得する情報をインデックス情報に付与してXML表現した例(テロップ) 本発明の一実施の形態に係るインデックス付与システムの全体構成を示したブロック図(実施例2) 放送局で使用するインデックス付与システムの運用形態を示したブロック図(実施例2) 各種制御信号の種別や識別子と時刻を取得するに従い、生成したログデータを示した図(ピンマイク)
符号の説明
1 スタジオ
2 調整ブース
10 インデックス付与システム
11 番組放送スタジオシステム
12 制御信号検知部
121 制御信号種別判別部
122 制御信号種別管理部
123 マイク信号音圧レベル判別部
124 インデックス生成要求部
125 時刻取得部
13 インデックス生成部
14 制御信号属性情報管理部
141 属性情報登録部
142 属性情報管理部
143 属性情報データベース
144 データベース検索部
15 カメラ切替スイッチ
16 VTR切替スイッチ
17 テロップ切替スイッチ
18 音声切替スイッチ
19 編集スイッチ
20 ピンマイク
30 スタジオカメラ
40 VTR制御機
41 編集PC
42 カートマシン
50 テロップ発生機
51 テロップ作成機
60 中継制御機
70 外部データベース
71 人物情報データベース
72 ニュースデータベース
73 台本データベース
230 ログ解析部
241 ログ出力部
242 ログ入力部
243 リムーバブルメディア

Claims (16)

  1. 放送局において利用される各種機器の制御信号を用いてメタデータを生成するシステムであって、
    各種制御信号を検知するに従い、制御信号の種別や制御信号を一意に特定する識別子を判別し、検知した時刻を取得する制御信号検知部と、
    前記制御信号の識別子とそれに関する属性情報を紐付けて管理しておき、前記制御信号検知部で取得した識別子を元に属性情報を判別する制御信号属性情報管理部と、
    前記制御信号検知部で判別した種別や識別子、及び時刻を取得するに従いメタデータを生成し、その一方、前記制御信号属性情報管理部へ要求して取得した属性情報を前記メタデータに付与するインデックス生成部とを備えることを特徴とするインデックス付与システム。
  2. 出演者自身の発声を入力するマイクの音声制御信号を検知してマイクの識別子を判別し、検知した時刻を取得する制御信号検知部と、
    前記マイクの識別子とマイクを着用している人物に関する属性情報とを紐付けて管理しておき、前記制御信号検知部で取得した識別子を元に人物に関する属性情報を判別する制御信号属性情報管理部と、
    前記制御信号検知部判別した識別子と時刻を取得するに従いメタデータを生成し、その一方、前記制御信号属性情報管理部へ要求して取得した人物に関する属性情報を前記メタデータに付与するインデックス生成部とを備えることを特徴とするインデックス付与システム。
  3. VTRを切替えるVTRの制御信号を検知してその識別子を判別し、検知した時刻を取得する制御信号検知部と、
    前記VTRの識別子とVTRに関する属性情報とを紐付けて管理しておき、前記制御信号検知部で取得した識別子を元にVTRに関する属性情報を判別する制御信号属性情報管理部と、
    前記制御信号検知部で判別した識別子と時刻を取得するに従いメタデータを生成し、その一方、前記制御信号属性情報管理部へ要求して取得したVTRに関する属性情報を前記メタデータに付与するインデックス生成部とを備えることを特徴とするインデックス付与システム。
  4. テロップを切替えるテロップの制御信号を検知してその識別子を判別し、検知した時刻を取得する制御信号検知部と、
    前記テロップの識別子とテロップに関する属性情報とを紐付けて管理しておき、前記制御信号検知部で取得した識別子を元にテロップに関する属性情報を判別する制御信号属性情報管理部と、
    前記制御信号検知部で判別した識別子と時刻を取得するに従いメタデータを生成し、その一方、前記制御信号属性情報管理部へ要求して取得したテロップに関する属性情報を前記メタデータに付与するインデックス生成部とを備えることを特徴とするインデックス付与システム。
  5. 前記制御信号検知部から識別子と時刻を取得するに従い、識別子毎に時刻を整理したログデータを生成し、これを前記インデックス生成部へ出力するログ解析部を備えることを特徴とする請求項1乃至4の何れかに記載のインデックス付与システム。
  6. 前記ログ解析部は、制御信号の識別子と検知時刻を用いて識別子毎に時刻を整理したログデータを生成し、これをネットワークあるいはリムーバブルメディアへ出力するログ出力部と、ネットワークあるいはリムーバブルメディアを介してログデータを入力し、前記インデックス生成部へログデータを出力するログ入力部とを備えることを特徴とする請求項5に記載のインデックス付与システム。
  7. 前記インデックス付与システムは、マイク、VTR、及びテロップの何れかの制御信号を検知して、その種別や識別子、及び時刻を取得するに従いメタデータを生成し、その一方、前記制御信号に関する属性情報を前記メタデータに付与することを特徴とする請求項1に記載のインデックス付与システム。
  8. 前記制御信号検知部は、入力される制御信号を検知してその種別や識別子を判別する制御信号種別判別部と、制御信号の判別を可能にするため前記制御信号とその種別や識別子を紐付けて管理する制御信号種別管理部と、制御信号を検知した時刻を取得する時刻取得部と、判別された種別や識別子、及び取得した時刻を前記インデックス生成部に送り、メタデータ生成を要求するインデックス生成要求部とを備えることを特徴とする請求項1乃至4の何れかに記載のインデックス付与システム。
  9. 前記制御信号検知部は、入力された音声信号の音圧レベルを測定し、発声の有無を判断するマイク信号音圧レベル判定部を備えることを特徴とする請求項2または8に記載のインデックス付与システム。
  10. 前記マイク信号音圧レベル判定部は、測定した音圧レベルが一定値以上の場合にだけ、発話されたものと判断し、前記制御信号種別判別部へ音声制御信号を通知することを特徴とする請求項9に記載のインデックス付与システム。
  11. 前記マイク信号音圧レベル判定部は、測定した音圧レベルを判定し、この音圧レベルが一定期間継続して達していた場合にだけ、発話されたものと判断し、前記制御信号種別判別部へ音声制御信号を通知することを特徴とする請求項9に記載のインデックス付与システム。
  12. 前記制御信号属性情報管理部は、各種機器の制御信号を一意に特定する識別子と各種機器を利用する者あるいは各種機器に関する情報である属性情報とを紐付けて格納する属性情報データベースと、前記インデックス生成部から属性情報の要求を受け付けて前記属性情報データベースから属性情報を取得する属性情報管理部と、前記属性情報データベースに格納する前記識別子や属性情報の登録を受け付ける属性情報登録部とを備えることを特徴とする請求項1乃至4の何れかに記載のインデックス付与システム。
  13. 制御信号属性情報管理部は、属性情報の詳細情報を格納しているデータベースへ接続するデータベース検索部を備え、前記データベースから取得した詳細情報をインデックス生成部で生成するメタデータに自動付与することを特徴とする請求項12に記載のインデックス付与システム。
  14. 前記データベースは、人物、ニュース、及び台本の少なくとも何れかの詳細情報を格納したデータベースであることを特徴とする請求項13に記載のインデックス付与システム。
  15. 前記属性情報登録部へ登録される識別子及び属性情報は、VTR編集装置あるいはテロップ作成装置とオンライン接続され、VTR編集装置あるいはテロップ作成装置を操作することにより取得あるいは入力した情報をオンライン登録することを特徴とする請求項12に記載のインデックス付与システム。
  16. 前記属性情報登録部へ登録される識別子及び属性情報は、各種機器を操作することにより取得あるいは入力された情報をリムーバブルメディアを介して登録することを特徴とする、請求項12に記載のインデックス付与システム。
JP2004359053A 2003-12-15 2004-12-10 制御信号を利用したインデックス付与システム Expired - Fee Related JP4531546B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004359053A JP4531546B2 (ja) 2003-12-15 2004-12-10 制御信号を利用したインデックス付与システム
PCT/JP2004/018568 WO2005057431A1 (ja) 2003-12-15 2004-12-13 制御信号を利用したインデックス付与システム
EP04806929A EP1698983A1 (en) 2003-12-15 2004-12-13 Index imparting system using control signal
KR1020067011595A KR20060123316A (ko) 2003-12-15 2004-12-13 제어 신호를 이용한 인덱스 부여 시스템
US10/583,045 US7873637B2 (en) 2003-12-15 2004-12-13 Automatically imparting an index by using various kinds of control signals

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003416929 2003-12-15
JP2004359053A JP4531546B2 (ja) 2003-12-15 2004-12-10 制御信号を利用したインデックス付与システム

Publications (2)

Publication Number Publication Date
JP2005204291A true JP2005204291A (ja) 2005-07-28
JP4531546B2 JP4531546B2 (ja) 2010-08-25

Family

ID=34680653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004359053A Expired - Fee Related JP4531546B2 (ja) 2003-12-15 2004-12-10 制御信号を利用したインデックス付与システム

Country Status (5)

Country Link
US (1) US7873637B2 (ja)
EP (1) EP1698983A1 (ja)
JP (1) JP4531546B2 (ja)
KR (1) KR20060123316A (ja)
WO (1) WO2005057431A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009075427A1 (en) * 2007-12-10 2009-06-18 Electronics And Telecommunications Research Institute Digital data tagging apparatus, system and method for providing tagging and search service using sensory and environmental information
WO2022059686A1 (ja) * 2020-09-16 2022-03-24 日本紙工株式会社 映像評価システム、映像評価プログラム、映像評価方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4432877B2 (ja) * 2005-11-08 2010-03-17 ソニー株式会社 情報処理システム、および、情報処理方法、情報処理装置、プログラム、並びに、記録媒体
US8620946B2 (en) * 2010-12-16 2013-12-31 Sap Ag Storage and searching of temporal entity information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339379A (ja) * 1995-06-12 1996-12-24 Nippon Telegr & Teleph Corp <Ntt> 映像解析方法および装置
JPH11155122A (ja) * 1997-11-20 1999-06-08 Matsushita Electric Ind Co Ltd 映像録画システム
JPH11167583A (ja) * 1997-12-04 1999-06-22 Nippon Telegr & Teleph Corp <Ntt> テロップ文字認識方法および映像蓄積表示装置、テロップ文字認識・検索端末、映像検索端末
JP2001069436A (ja) * 1999-08-30 2001-03-16 Nippon Hoso Kyokai <Nhk> 話者情報記録装置および検索装置
JP2002027374A (ja) * 2000-06-30 2002-01-25 Sony Corp 情報記録装置及び方法、情報処理装置及び方法、情報処理システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5418621A (en) * 1987-09-29 1995-05-23 Goldstar Co., Ltd. Circuit for detecting TV/radio broadcasting program, auto-tuning to channel selection and controlling VCR tape in recording operation
US5805545A (en) * 1991-08-14 1998-09-08 Pioneer Electronic Corporation Midi standards recorded information reproducing device with repetitive reproduction capacity
EP0583196B1 (en) * 1992-08-06 2002-05-02 Fujitsu Limited Transaction processing system utilizing teletext broadcasting system
US5706352A (en) * 1993-04-07 1998-01-06 K/S Himpp Adaptive gain and filtering circuit for a sound reproduction system
US5579537A (en) * 1993-04-08 1996-11-26 Digital D.J. Inc. Broadcast system with associated data capabilities
US5491838A (en) * 1993-04-08 1996-02-13 Digital D.J. Inc. Broadcast system with associated data capabilities
KR0171930B1 (ko) * 1993-12-15 1999-03-30 모리시다 요이치 반도체 메모리, 동화기억 메모리, 동화기억장치, 동화표시장치, 정지화기억 메모리 및 전자노트
US7055166B1 (en) * 1996-10-03 2006-05-30 Gotuit Media Corp. Apparatus and methods for broadcast monitoring
US6366699B1 (en) * 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
JP3615657B2 (ja) * 1998-05-27 2005-02-02 株式会社日立製作所 映像検索方法及び装置ならびに記録媒体
US6542611B1 (en) * 1998-07-31 2003-04-01 Circuit Research Labs, Inc. Multi-state echo suppressor
US6637028B1 (en) * 1999-02-18 2003-10-21 Cliq Distribution, Inc. Integrated television and internet information system
US7228305B1 (en) * 2000-01-24 2007-06-05 Friskit, Inc. Rating system for streaming media playback system
US7293279B1 (en) * 2000-03-09 2007-11-06 Sedna Patent Services, Llc Advanced set top terminal having a program pause feature with voice-to-text conversion
US7712123B2 (en) * 2000-04-14 2010-05-04 Nippon Telegraph And Telephone Corporation Method, system, and apparatus for acquiring information concerning broadcast information
JP2002101393A (ja) * 2000-09-22 2002-04-05 Sony Corp 映像表示装置
KR100434545B1 (ko) * 2002-03-15 2004-06-05 삼성전자주식회사 홈네트워크로 연결된 가전기기들을 제어하는 방법 및 장치
JP4954471B2 (ja) * 2002-06-07 2012-06-13 トムソン ライセンシング ネットワークに接続された装置から別の装置へのデータの配信を制御する方法
US7509321B2 (en) * 2003-01-21 2009-03-24 Microsoft Corporation Selection bins for browsing, annotating, sorting, clustering, and filtering media objects
US7487072B2 (en) * 2004-08-04 2009-02-03 International Business Machines Corporation Method and system for querying multimedia data where adjusting the conversion of the current portion of the multimedia data signal based on the comparing at least one set of confidence values to the threshold

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339379A (ja) * 1995-06-12 1996-12-24 Nippon Telegr & Teleph Corp <Ntt> 映像解析方法および装置
JPH11155122A (ja) * 1997-11-20 1999-06-08 Matsushita Electric Ind Co Ltd 映像録画システム
JPH11167583A (ja) * 1997-12-04 1999-06-22 Nippon Telegr & Teleph Corp <Ntt> テロップ文字認識方法および映像蓄積表示装置、テロップ文字認識・検索端末、映像検索端末
JP2001069436A (ja) * 1999-08-30 2001-03-16 Nippon Hoso Kyokai <Nhk> 話者情報記録装置および検索装置
JP2002027374A (ja) * 2000-06-30 2002-01-25 Sony Corp 情報記録装置及び方法、情報処理装置及び方法、情報処理システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009075427A1 (en) * 2007-12-10 2009-06-18 Electronics And Telecommunications Research Institute Digital data tagging apparatus, system and method for providing tagging and search service using sensory and environmental information
WO2022059686A1 (ja) * 2020-09-16 2022-03-24 日本紙工株式会社 映像評価システム、映像評価プログラム、映像評価方法
JPWO2022059686A1 (ja) * 2020-09-16 2022-03-24
JP7255918B2 (ja) 2020-09-16 2023-04-11 日本紙工株式会社 映像評価システム、映像評価プログラム、映像評価方法

Also Published As

Publication number Publication date
US7873637B2 (en) 2011-01-18
EP1698983A1 (en) 2006-09-06
KR20060123316A (ko) 2006-12-01
WO2005057431A1 (ja) 2005-06-23
JP4531546B2 (ja) 2010-08-25
US20080154932A1 (en) 2008-06-26

Similar Documents

Publication Publication Date Title
JP4794740B2 (ja) オーディオ/ビデオ信号生成装置、及びオーディオ/ビデオ信号生成方法
US20050228665A1 (en) Metadata preparing device, preparing method therefor and retrieving device
JP4600828B2 (ja) 文書対応付け装置、および文書対応付け方法
JP4599244B2 (ja) 動画データから字幕を作成する装置及び方法、プログラム、並びに記憶媒体
JP5145937B2 (ja) 再生開始位置制御付きコンテンツ再生方法および装置
US7924325B2 (en) Imaging device and imaging system
JP4491700B2 (ja) 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置
KR20070118038A (ko) 정보처리 장치 및 정보처리 방법과 컴퓨터·프로그램
JP4405418B2 (ja) 情報処理装置及びその方法
JP2009216986A (ja) 音声データ検索システム及び音声データの検索方法
JP2005341015A (ja) 議事録作成支援機能を有するテレビ会議システム
WO2001016935A1 (fr) Procede et dispositif d&#39;extraction/traitement d&#39;informations, et procede et dispositif de stockage
JP2014222290A (ja) 議事録記録装置、議事録記録方法及びプログラム
KR20060020114A (ko) 음악 검색 서비스 제공 시스템 및 방법
JP2001092838A (ja) マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体
JP2014146066A (ja) 文書データ生成装置、文書データ生成方法及びプログラム
JP3781715B2 (ja) メタデータ制作装置及び検索装置
JP4531546B2 (ja) 制御信号を利用したインデックス付与システム
JP2015084504A (ja) 信号記録装置、カメラレコーダおよび信号処理装置
JP4235635B2 (ja) データ検索装置及びその制御方法
JP3594359B2 (ja) 情報検索装置
WO2020057467A1 (zh) 信息处理装置、信息处理系统以及影像装置
GB2349764A (en) 2-D Moving image database
CN115699723A (zh) 影像编辑装置、影像编辑方法以及计算机程序
JP2001069436A (ja) 話者情報記録装置および検索装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100518

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100609

R150 Certificate of patent or registration of utility model

Ref document number: 4531546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees