JP2008269460A

JP2008269460A - 動画シーン種別判定装置及び方法

Info

Publication number: JP2008269460A
Application number: JP2007114139A
Authority: JP
Inventors: Koichi Hotta; 浩市堀田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2007-04-24
Filing date: 2007-04-24
Publication date: 2008-11-06

Abstract

【課題】字幕に含まれる外字に基づいた動画ストリームのシーン種別判定を実現する。
【解決手段】動画シーン種別判定装置は、動画ストリームから音声データ及び字幕データを分離する分離部（２０）、外字の字形を記憶する一般外字記憶部（４０）、字幕データを受け、これに含まれる外字定義データに基づいて外字の字形を一般外字記憶部（４０）に記録する外字管理部（３０）、特定のシーン種別に連関する外字の字形を記憶する特定外字記憶部（５０）、及び動画ストリームのシーン種別を判定する判定部（６０）を備えている。ここで、判定部（６０）は、一般外字記憶部（４０）及び特定外字記憶部（５０）から字幕データ中の外字に対応する字形を読み出して比較し、これらが一致すると判断したとき、動画ストリームは特定のシーン種別に係るものであると判定する一方、一致しないと判断したとき、音声データに基づいて動画ストリームのシーン種別を判定する。
【選択図】図１

Description

本発明は、動画ストリームのシーン種別の判定に関し、特に、デジタル放送コンテンツのダイジェスト生成に好適なシーン種別判定に関する。

ハードディスクなどの記録媒体の大容量化、低価格化、記録媒体への記録再生アクセス速度の高速化、記録再生伝送速度の高速化、及び画像と音声を含む動画信号を圧縮符号化する処理の高速化が進んだことに伴い、これらの技術を用いて、圧縮符号化したデジタル放送番組の動画信号を記録し、復号して再生する動画記録再生装置が開発されている。このような動画記録再生装置によれば、ハードディスクに代表される大容量の記録媒体に複数のデジタル放送番組の動画信号（放送コンテンツ）を記録することが可能となる。

しかし、時間的な制約から、大量に録り貯めた番組をすべて視聴することは困難である。そこで、大量に記録された放送コンテンツの中からいかにしてユーザが求めるものを効率よく提示するダイジェスト再生が重要となってくる。ダイジェスト再生の一手法として、放送コンテンツの中からユーザが希望するシーン種別に係るもののみを提示するものがある。そして、シーン種別の判定に関して、放送コンテンツの字幕データに含まれる記号文字などの付加情報に基づいてシーン種別を判定するものがある（例えば、特許文献１参照）。
特開平１１−３３１７６１号公報

日本のデジタル放送では、番組冒頭のテーマソング演奏などの音楽が流れるシーンの字幕には普通の文字ではなくＤＲＣＳ（Dynamically Redefinable Character Set）と呼ばれる外字が使用されることが多い。したがって、外字を考慮して字幕を解析することでシーン種別判定の精度向上が期待される。

しかし、ＤＲＣＳは再定義可能な文字セットであるため、個々の番組ごとにその字形が少しずつ異なることがある。また、外字の文字コードと字形との関連付けも再定義可能なため、文字コードは同じでも字形が異なる、あるいは文字コードが異なるが字形が同じである場合もある。このように、外字は普通の文字とは異なる性質を有するため、従来のシーン種別手法では外字を考慮したシーン種別判定が行われていない。このため、例えば、音楽シーンにおいて例えば音符を表す外字が表示される場合であっても、字幕データからは当該シーンが音楽シーンであるとは判定することができずにシーン種別判定を誤ってしまうおそれがある。

上記問題に鑑み、本発明は、字幕に含まれる外字に基づいた動画ストリームのシーン種別判定を可能にすることを課題とする。

上記課題を解決するために本発明が講じた手段は、動画ストリームのシーン種別を判定する動画シーン種別判定装置として、動画ストリームから音声データ及び字幕データを分離する分離部と、外字の字形を記憶する第１の外字記憶部と、前記字幕データを受け、これに含まれる外字定義データに基づいて当該外字の字形を前記第１の外字記憶部に記録する外字管理部と、特定のシーン種別に連関する外字の字形を記憶する第２の外字記憶部と、前記第１及び第２の外字記憶部から前記字幕データ中の外字に対応する字形を読み出して比較し、これらが一致すると判断したとき、前記動画ストリームは前記特定のシーン種別に係るものであると判定する一方、一致しないと判断したとき、前記音声データに基づいて前記動画ストリームのシーン種別を判定する判定部とを備えたものとする。また、動画ストリームのシーン種別を判定する動画シーン種別判定方法として、動画ストリームから音声データ及び字幕データ分離するステップと、前記字幕データに含まれる外字定義データに基づいて当該外字の字形を第１の外字記憶部に記録するステップと、前記第１の外字記憶部及び所定のシーン種別に連関する外字の字形を記憶する第２の外字記憶部から、前記字幕データ中の外字に対応する字形を読み出して異同を判定するステップと、前記読み出した外字の字形が一致すると判定されたとき、前記動画ストリームは前記所定のシーン種別に係るものであると判定するステップと、前記読み出した外字の字形が一致しないと判定されたとき、前記音声データに基づいて前記動画ストリームのシーン種別を判定するステップとを備えたものとする。

これによると、動画ストリームのシーン種別を判定する場合において、字幕データ中の外字の字形が、あらかじめ記憶されている特定のシーン種別に連関するものであれば、音声データに基づくシーン種別判定を行うことなく当該動画ストリームは当該特定のシーン種別に係るものであると判定することができる。

前記判定部は、前記音声データに基づいて判定した前記動画ストリームのシーン種別が前記特定のシーン種別であったとき、前記第１の外字記憶部から読み出した外字の字形を前記第２の外字記憶部に記録することが好ましい。また、上記方法は、前記音声データに基づいて判定した前記動画ストリームのシーン種別が前記所定のシーン種別であったとき、前記第１の外字記憶部から読み出した外字の字形を前記第２の外字記憶部に記録するステップを備えていることが好ましい。これによると、音声データに基づくシーン種別判定の結果に基づいて特定のシーン種別に連関する外字の字形が第２の外字記憶部に新たに記録されるため、以後、字幕データ中に当該外字が含まれる場合には音声データに基づくシーン種別判定を省略することができる。

具体的には、前記分離部に入力される動画ストリームは、あらかじめシーン分割されて記録されたものである。また、具体的には、前記分離するステップでは、あらかじめシーン分割されて記録された動画ストリームが処理される。

好ましくは、上記装置は、デジタル放送波から所望のチャンネルを選局し、当該選局したチャンネルの動画ストリームを出力するチューナと、前記出力された動画ストリームをシーン分割するシーン分割部と、動画ストリームを記憶するための動画記憶部とを備えている。ここで、前記分離部に入力される動画ストリームは、前記チューナから出力されたものであり、前記判定部は、前記シーン分割された動画ストリームごとにそのシーン種別を判定し、当該動画ストリームを当該判定したシーン種別と関連付けて前記動画記憶部に記録するものである。また、好ましくは、上記方法は、デジタル放送波から所望のチャンネルを選局し、当該選局したチャンネルの動画ストリームを生成するステップと、前記生成された動画ストリームをシーン分割するステップと、前記シーン分割された動画ストリームごとにそのシーン種別を判定し、当該動画ストリームを当該判定したシーン種別と関連付けて、動画ストリームを記憶するための動画記憶部に記録するステップとを備えている。ここで、前記分離するステップでは、選局されたチャンネルから生成された動画ストリームが処理される。これによると、受信した動画ストリームのシーン分割をしながらそのシーン種別判定をすることができる。

前記判定部は、前記特定のシーン種別に係る動画ストリームのみを前記動画記憶部に記録することが好ましい。また、前記記録するステップでは、前記所定のシーン種別に係る動画ストリームのみが前記動画記憶部に記録されることが好ましい。これによると、動画記憶部の記憶容量が限られていても、ユーザの好みのシーン種別に係る動画ストリームをより多く記録することができる。

本発明によると、字幕に含まれる外字に基づいた動画ストリームのシーン種別判定が可能となる。これにより、大量の録画物の中からユーザ所望のシーンをより速く、より高精度に抽出し、再生することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

（第１の実施形態）
図１は、第１の実施形態に係る動画シーン種別判定装置の構成を示す。動画記憶部１０にはあらかじめシーン分割された複数の動画ストリームが記録されている。動画ストリームは、例えば、デジタル放送で伝達されるＴＳ（Transport Stream）である。図１では、シーン分割されて記録された動画ストリームを“動画１”〜“動画ｎ”として表している。なお、動画記憶部１０は、ハードディスク装置、光ディスク装置などで構成可能である。

分離部２０は、動画記憶部１０から動画ストリームを受け、これから音声データ及び字幕データを分離する。外字管理部３０は、分離部２０から出力された字幕データを受け、これに含まれる外字定義データ（例えば、ＤＲＣＳ）に基づいて当該外字の字形を一般外字記憶部４０に記録する。図１では、一般外字記憶部４０が記憶している外字の字形を“字形１”〜“字形ｐ”として表している。なお、一般外字記憶部４０は、フラッシュメモリなどで構成可能である。

図２は、外字字形の例を示す。本例の外字字形は１６×１６ピクセルの白黒二次元テーブルで表現されているが、一般外字記憶部４０に記憶される字形サイズはこれ以外のものであってもよい。また、縦横のピクセル長が違っていても、ピクセル当たりの情報量が１ビット以上であってもよい。

外字字形の管理は、例えば、図３に示したような管理テーブルを用いて行う。当該管理テーブルにおいて、字形番号は一般外字記憶部４０が記憶している外字字形の識別番号であり、外字コードは字幕データ中で外字を表す文字コードである。字幕データに外字が含まれている場合、その外字コードに対応する字形が一般外字記憶部４０から読み出されて表示されることとなる。

図１に戻り、特定外字記憶部５０は特定のシーン種別（例えば、音楽シーン）に連関する外字の字形を記憶する。図１では、特定外字記憶部５０が記憶している外字の字形を“字形１”〜“字形ｑ”として表している。なお、特定外字記憶部５０は、フラッシュメモリなどで構成可能である。

判定部６０は、動画記憶部１０に記録されている各動画ストリームを受け、当該動画ストリームから分離された字幕データ中の外字に対応する字形を一般外字記憶部４０及び特定外字記憶部５０からそれぞれ読み出して比較する。そして、これらが一致すると判断したとき、当該動画ストリームは特定外字記憶部５０に対応するシーン種別に係るものであると判定し、一致しないと判断したとき、音声データに基づいて当該動画ストリームのシーン種別を判定して、判定結果を判定結果記憶部７０に記録する。判定結果は各動画ストリームと対応付けて動画記憶部１０に記録するようにしてもよい。

以下、本実施形態に係る動画シーン種別判定装置の動作について説明する。本装置の動作は外字字形の更新処理及び動画ストリームのシーン種別判定の二つからなる。

図４は、外字字形の更新処理フローを示す。当該更新処理は外字管理部３０が実行する。まず、外字管理部３０は、分離部２０から出力された字幕データから外字定義データを抽出する（Ｓ１１）。外字定義データには外字の文字コードと例えばビットマップ形式で表された外字字形とが含まれている。そして、管理テーブルを参照して、抽出された外字コードが管理テーブルに存在する場合、すなわち、外字コードが記録済みであった場合（Ｓ１２のＹＥＳ肢）、外字管理部３０は、一般外字記憶部５０に記憶されている当該外字コードに対応する外字字形を削除し（Ｓ１３）、管理テーブルから当該外字コードを削除する（Ｓ１４）。ステップＳ１３とＳ１４の順序は逆であってもよい。一方、外字コードがまだ記録されていない場合（Ｓ１２のＮＯ肢）、あるいはステップＳ１２に続いて、外字管理部３０は、抽出された外字定義データによって定義される外字の字形を一般外字記憶部５０に記録し（Ｓ１５）、管理テーブルに当該外字コードを追加する（Ｓ１６）。ステップＳ１５とＳ１６の順序は逆であってもよい。

図５は、動画シーン種別の判定処理フローを示す。当該判定処理は判定部６０が実行する。まず、判定部６０は、分離部２０から出力された字幕データを解析して、字幕に外字が含まれているか否かを判定する（Ｓ２１）。字幕に外字が含まれている場合（Ｓ２２のＹＥＳ肢）、判定部６０は、管理テーブルを参照して当該外字コードに対応する外字字形を一般外字記憶部４０及び特定外字記憶部５０から読み出して比較し（Ｓ２３）、両者の異同を判定する。当該異同判定はピクセルの完全一致に限られない。例えば、外字字形をパターンとして認識した場合に両者がほぼ同じパターンであると判定されるのであれば両者は一致する判定してもよい。

判定部６０は、二つの外字字形が一致すると判断した場合（Ｓ２４のＹＥＳ肢）、後述する音声データに基づいたシーン種別判定処理をスキップして、当該動画ストリームは特定外字記憶部５０に対応するシーン種別に係るものであると判定して（Ｓ３１）、処理を終了する。一方、二つの外字字形が一致しないと判断した場合（Ｓ２４のＮＯ肢）、あるいは字幕に外字が含まれていない場合（Ｓ２２のＮＯ肢）、判定部６０は、分離部２０から出力された音声データに基づいて動画ストリームのシーン種別を判定する（Ｓ２５）。例えば、歌や音楽を含む動画ストリームでは音声データの周波数スペクトルのピークが時間の経過とともに周波数方向に安定しているため、音声データの周波数スペクトルピークの安定度を検出することで当該動画ストリームのシーン種別を音楽シーンと判定することができる。もちろん、周波数スペクトル以外の指標により音声データを解析して動画ストリームのシーン種別を判定することも可能である。

判定部６０が判定するシーン種別は音楽シーンに限られない。例えば、ドラマ番組などの通話シーンでは電話着信音と着信を示す外字が連動して出現する場合がある。この場合には、音声データを解析して電話着信音を検出することで当該動画ストリームが通話シーンであると判定することができる。また、バラエティ番組などの喝采シーンでは拍手音と喝采を示す外字が連動して出現する場合がある。この場合には、音声データを解析して拍手音を検出することで当該動画ストリームが喝采シーンであると判定することができる。

ステップＳ２５で判定されたシーン種別が特定外字記憶部５０に対応するシーン種別とは異なる場合（Ｓ２６のＮＯ肢）、判定部６０は、当該動画ストリームは特定外字記憶部５０に対応するシーン種別に係るものではないと判定して（Ｓ３２）、処理を終了する。

ステップＳ２５で判定されたシーン種別が特定外字記憶部５０に対応するシーン種別と一致する場合（Ｓ２６のＹＥＳ肢）、字幕に外字が含まれていなければ（Ｓ２７のＮＯ肢）、当該動画ストリームは特定外字記憶部５０に対応するシーン種別に係るものであると判定して（Ｓ３１）、処理を終了する。一方、字幕に外字が含まれていれば（Ｓ２７のＹＥＳ肢）、判定部６０は、一般外字記憶部４０から読み出した外字字形を特定外字記憶部５０に記録する（Ｓ２８）。そして、当該動画ストリームは特定外字記憶部５０に対応するシーン種別に係るものであると判定して（Ｓ３１）、処理を終了する。

以上、本実施形態によると、字幕に特定のシーン種別に連関する外字が含まれている場合には当該外字に基づいて動画ストリームのシーン種別を判定することができる。これにより、比較的処理負荷が大きく、また、比較的精度が低い音声データに基づくシーン種別判定処理を行わなくて済むため、ダイジェスト生成の高速化、装置の低消費電力化及び高精度化を図ることができる。

なお、動画シーン種別判定装置は、互いに異なるシーン種別に係る複数の特定外字記憶部５０を備えてもよい。これにより、動画記憶部１０に記録された各動画ストリームを各シーン種別に分類することができる
（第２の実施形態）
図６は、第２の実施形態に係る動画シーン種別判定装置の構成を示す。本実施形態に係る動画シーン種別判定装置は、図１に示した第１の実施形態に係る動画シーン種別判定装置に、チューナ８０、シーン分割部９０及びアンテナ１００を追加した構成をしている。以下、第１の実施形態と異なる点についてのみ説明する。

チューナ８０は、アンテナ１００が受信したデジタル放送波を受け、当該デジタル放送波から所望のチャンネルを選局して、当該選局したチャンネルの動画ストリームを出力する。分離部２０は、チューナ８０から出力された動画ストリームを受け、これから音声データ及び字幕データを分離する。シーン分割部９０は、チューナ８０から出力された動画ストリームをシーン分割する。シーン分割は画面の切り替わりを検出するなどして行うことができる。

判定部６０は、シーン分割部９０によって分割された動画ストリームごとにそのシーン種別を判定する。当該シーン種別の判定方法は上述したとおりである。そして、判定部６０は、シーン分割された動画ストリームを当該判定したシーン種別と関連付けて動画記憶部１０に記録する。図６では、シーン分割されて記録された動画ストリームを“動画１”〜“動画ｎ”として表している。

以上、本実施形態によると、デジタル放送を受信しながらその動画ストリームのシーン分割及びシーン種別判定を行うことができる。そして、動画ストリームの記録後に所望のシーン種別に係るものだけを選択的に再生することができる。

なお、判定部６０は、特定のシーン種別に係る動画ストリームのみ、あるいは特定のシーン種別以外に係る動画ストリームのみを動画記憶部１０に記録するようにしてもよい。これにより、動画記憶部１０の記憶容量が限られていても、ユーザの好みのシーン種別に係る動画ストリームをより多く記録することができる。

本発明に係る動画シーン種別判定装置は、字幕に含まれる外字に基づいた動画ストリームのシーン種別判定が可能であるため、ダイジェスト再生機能を有するハードディスクビデオレコーダなどに有用である。

第１の実施形態に係る動画シーン種別判定装置の構成図である。外字字形の例を示す図である。外字字形管理テーブルである。外字字形の更新処理のフローチャートである。動画シーン種別の判定処理のフローチャートである。第２の実施形態に係る動画シーン種別判定装置の構成図である。

符号の説明

１０動画記憶部
２０分離部
３０外字管理部
４０一般外字記憶部（第１の外字記憶部）
５０特定外字記憶部（第２の外字記憶部）
６０判定部
８０チューナ
９０シーン分割部

Claims

動画ストリームのシーン種別を判定する装置であって、
動画ストリームから音声データ及び字幕データを分離する分離部と、
外字の字形を記憶する第１の外字記憶部と、
前記字幕データを受け、これに含まれる外字定義データに基づいて当該外字の字形を前記第１の外字記憶部に記録する外字管理部と、
特定のシーン種別に連関する外字の字形を記憶する第２の外字記憶部と、
前記第１及び第２の外字記憶部から前記字幕データ中の外字に対応する字形を読み出して比較し、これらが一致すると判断したとき、前記動画ストリームは前記特定のシーン種別に係るものであると判定する一方、一致しないと判断したとき、前記音声データに基づいて前記動画ストリームのシーン種別を判定する判定部とを備えた
ことを特徴とする動画シーン種別判定装置。
請求項１に記載の動画シーン種別判定装置において、
前記判定部は、前記音声データに基づいて判定した前記動画ストリームのシーン種別が前記特定のシーン種別であったとき、前記第１の外字記憶部から読み出した外字の字形を前記第２の外字記憶部に記録する
ことを特徴とする動画シーン種別判定装置。
請求項１に記載の動画シーン種別判定装置において、
前記分離部に入力される動画ストリームは、あらかじめシーン分割されて記録されたものである
ことを特徴とする動画シーン種別判定装置。
請求項１に記載の動画シーン種別判定装置において、
デジタル放送波から所望のチャンネルを選局し、当該選局したチャンネルの動画ストリームを出力するチューナと、
前記出力された動画ストリームをシーン分割するシーン分割部と、
動画ストリームを記憶するための動画記憶部とを備え、
前記分離部に入力される動画ストリームは、前記チューナから出力されたものであり、
前記判定部は、前記シーン分割された動画ストリームごとにそのシーン種別を判定し、当該動画ストリームを当該判定したシーン種別と関連付けて前記動画記憶部に記録する
ことを特徴とする動画シーン種別判定装置。
請求項４に記載の動画シーン種別判定装置において、
前記判定部は、前記特定のシーン種別に係る動画ストリームのみを前記動画記憶部に記録する
ことを特徴とする動画シーン種別判定装置。
動画ストリームのシーン種別を判定する方法であって、
動画ストリームから音声データ及び字幕データ分離するステップと、
前記字幕データに含まれる外字定義データに基づいて当該外字の字形を第１の外字記憶部に記録するステップと、
前記第１の外字記憶部及び所定のシーン種別に連関する外字の字形を記憶する第２の外字記憶部から、前記字幕データ中の外字に対応する字形を読み出して異同を判定するステップと、
前記読み出した外字の字形が一致すると判定されたとき、前記動画ストリームは前記所定のシーン種別に係るものであると判定するステップと、
前記読み出した外字の字形が一致しないと判定されたとき、前記音声データに基づいて前記動画ストリームのシーン種別を判定するステップとを備えた
ことを特徴とする動画シーン種別判定方法。
請求項６に記載の動画シーン種別判定方法において、
前記音声データに基づいて判定した前記動画ストリームのシーン種別が前記所定のシーン種別であったとき、前記第１の外字記憶部から読み出した外字の字形を前記第２の外字記憶部に記録するステップを備えた
ことを特徴とする動画シーン種別判定方法。
請求項６に記載の動画シーン種別判定方法において、
前記分離するステップでは、あらかじめシーン分割されて記録された動画ストリームが処理される
ことを特徴とする動画シーン種別判定方法。
請求項６に記載の動画シーン種別判定方法において、
デジタル放送波から所望のチャンネルを選局し、当該選局したチャンネルの動画ストリームを生成するステップと、
前記生成された動画ストリームをシーン分割するステップと、
前記シーン分割された動画ストリームごとにそのシーン種別を判定し、当該動画ストリームを当該判定したシーン種別と関連付けて、動画ストリームを記憶するための動画記憶部に記録するステップとを備え、
前記分離するステップでは、選局されたチャンネルから生成された動画ストリームが処理される
ことを特徴とする動画シーン種別判定方法。
請求項６に記載の動画シーン種別判定方法において、
前記記録するステップでは、前記所定のシーン種別に係る動画ストリームのみが前記動画記憶部に記録される
ことを特徴とする動画シーン種別判定方法。