JP2010130700A - Video analysis apparatus and program - Google Patents
Video analysis apparatus and program Download PDFInfo
- Publication number
- JP2010130700A JP2010130700A JP2009278778A JP2009278778A JP2010130700A JP 2010130700 A JP2010130700 A JP 2010130700A JP 2009278778 A JP2009278778 A JP 2009278778A JP 2009278778 A JP2009278778 A JP 2009278778A JP 2010130700 A JP2010130700 A JP 2010130700A
- Authority
- JP
- Japan
- Prior art keywords
- still image
- content
- main part
- boundary
- commercial message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、テレビ番組の録画時にコマーシャルメッセージを録画しないようにするCMカットに用いられる映像解析機能を有する映像解析装置およびプログラムに関する。 The present invention relates to a video analysis apparatus and program having a video analysis function used for CM cut so as not to record a commercial message when a television program is recorded.
テレビ番組の前後や番組の途中に、短い広告放送であるコマーシャルメッセージ(CM:commercial message)が流されることは、民間放送においては一般的なこととなっている。例えば、日本のテレビ放送における個々のCMの長さは、15秒、30秒、60秒など15秒を基本としている。 It is common in commercial broadcasting that a commercial message (CM), which is a short advertisement broadcast, is sent before and after a TV program or in the middle of a program. For example, the length of each CM in Japanese television broadcasting is basically 15 seconds such as 15 seconds, 30 seconds, 60 seconds, and the like.
一方、近年においては、磁気ディスク等の記憶媒体に対して効率良く記憶するなどの目的で、テレビ番組の録画時にCMを録画しないようにするCMカット機能を備えた録画装置が開発されている(例えば、特許文献1参照)。 On the other hand, in recent years, a recording apparatus having a CM cut function for preventing a CM from being recorded at the time of recording a TV program has been developed for the purpose of efficiently storing it in a storage medium such as a magnetic disk. For example, see Patent Document 1).
特許文献1記載の録画装置によれば、画像にチャンネルロゴなどの静止画が含まれている区間をテレビ番組の本編と判断してそれ以外をCMと判断するようにしている。これにより、CM時間が日本のように15秒、30秒のように規則的ではないヨーロッパ諸国などにおけるテレビ放送においてもCMカット機能を実現することができる。
According to the recording apparatus described in
ところで、実際のテレビ放送においては、本編でもチャンネルロゴなどの静止画がない部分がある。そのため、特許文献1記載の録画装置に開示された技術では、本編でもチャンネルロゴなどの静止画がない部分については、テレビ番組の本編にもかかわらず静止画がないためにCMと誤判定してしまう、という問題がある。
By the way, in actual television broadcasting, there is a part without a still image such as a channel logo even in the main part. For this reason, in the technology disclosed in the recording device described in
本発明は、上記に鑑みてなされたものであって、テレビ放送において本編であってもチャンネルロゴなどの静止画がない部分がある場合であっても、コンテンツの内容の種類(コンテンツの本編またはコマーシャルメッセージ)が変化する位置を正確に検出することができる映像解析装置およびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and even if the main part of a television broadcast is a part without a still image such as a channel logo, the content type (content main part or An object of the present invention is to provide a video analysis apparatus and program capable of accurately detecting a position where a commercial message changes.
上述した課題を解決し、目的を達成するために、本発明の映像解析装置は、映像および音声で構成されるコンテンツの映像フレームに出現する一定時間継続して表示される表示画像であって画面の一部に表示される静止画を検出する静止画検出手段と、前記コンテンツを構成する映像と音声との少なくともいずれか一方の特徴を検出する特徴検出手段と、前記静止画検出手段による検出結果と前記特徴検出手段による検出結果とに基づいて、コンテンツの本編とコマーシャルメッセージとを判定する区間種類判定手段と、前記区間種類判定手段による判定結果から前記コンテンツの本編と前記コマーシャルメッセージとの境界を検出する境界位置検出手段と、を備える。 In order to solve the above-described problems and achieve the object, the video analysis apparatus of the present invention is a display image that is continuously displayed for a certain period of time and appears on a video frame of content composed of video and audio. Still image detection means for detecting a still image displayed in a part of the image, feature detection means for detecting at least one of the features of video and audio constituting the content, and detection results by the still image detection means And a section type determining means for determining the main part of the content and the commercial message based on the detection result by the feature detecting means, and a boundary between the main part of the content and the commercial message from the determination result by the section type determining means. Boundary position detecting means for detecting.
また、本発明のプログラムは、コンピュータを、映像および音声で構成されるコンテンツの映像フレームに出現する一定時間継続して表示される表示画像であって画面の一部に表示される静止画を検出する静止画検出手段と、前記コンテンツを構成する映像と音声との少なくともいずれか一方の特徴を検出する特徴検出手段と、前記静止画検出手段による検出結果と前記特徴検出手段による検出結果とに基づいて、コンテンツの本編とコマーシャルメッセージとを判定する区間種類判定手段と、前記区間種類判定手段による判定結果から前記コンテンツの本編と前記コマーシャルメッセージとの境界を検出する境界位置検出手段と、として機能させる。 In addition, the program of the present invention detects a still image displayed on a part of a screen, which is a display image continuously displayed for a certain period of time that appears in a video frame of content composed of video and audio. Based on a detection result of the still image detection means, a detection result of the feature detection means, and a detection result of the feature detection means. The section type determining means for determining the main part of the content and the commercial message, and the boundary position detecting means for detecting the boundary between the main part of the content and the commercial message from the determination result by the section type determining means. .
本発明によれば、テレビ放送において本編であってもチャンネルロゴなどの静止画がない部分がある場合であっても、コンテンツの内容の種類(コンテンツの本編またはコマーシャルメッセージ)が変化する位置を正確に検出することができる、という効果を奏する。 According to the present invention, the position where the content type (content main content or commercial message) changes can be accurately determined even if there is a portion without a still image such as a channel logo even in the main content in a television broadcast. There is an effect that it can be detected.
以下に添付図面を参照して、この発明にかかる映像解析装置およびプログラムの最良な実施の形態を詳細に説明する。 Exemplary embodiments of a video analysis apparatus and a program according to the present invention are explained in detail below with reference to the accompanying drawings.
本発明の実施の一形態を図1ないし図10に基づいて説明する。本実施の形態は映像解析装置としてパーソナルコンピュータを適用した例である。 An embodiment of the present invention will be described with reference to FIGS. This embodiment is an example in which a personal computer is applied as a video analysis apparatus.
図1は、本発明の実施の一形態にかかる映像解析装置100の構成を示すブロック図である。映像解析装置100は、情報処理を行うCPU(Central Processing Unit)101、BIOSなどを記憶した読出し専用メモリであるROM(Read Only Memory)102、各種データを書換え可能に記憶するRAM(Random Access Memory)103、各種データベースとして機能するとともに各種のプログラムを格納するHDD(Hard Disk Drive)104、記憶媒体110を用いて情報を保管したり外部に情報を配布したり外部から情報を入手するためのDVDドライブ等の媒体読取装置105、ネットワーク200を介して外部の他のコンピュータと通信により情報を伝達するための通信制御装置106、処理経過や結果等を操作者に表示するLCD(Liquid Crystal Display)等の表示部107、並びに操作者がCPU101に命令や情報等を入力するためのキーボードやマウス等の入力部108等から構成されており、これらの各部間で送受信されるデータをバスコントローラ109が調停して動作する。
FIG. 1 is a block diagram showing a configuration of a
このような映像解析装置100では、ユーザが電源を投入するとCPU101がROM102内のローダーというプログラムを起動させ、HDD104よりOS(Operating System)というコンピュータのハードウェアとソフトウェアとを管理するプログラムをRAM103に読み込み、このOSを起動させる。このようなOSは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。OSのうち代表的なものとしては、Windows(登録商標)等が知られている。これらのOS上で走る動作プログラムをアプリケーションプログラムと呼んでいる。なお、アプリケーションプログラムは、所定のOS上で動作するものに限らず、後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
In such a
ここで、映像解析装置100は、アプリケーションプログラムとして、映像解析プログラムをHDD104に記憶している。この意味で、HDD104は、映像解析プログラムを記憶する記憶媒体として機能する。
Here, the
また、一般的には、映像解析装置100のHDD104にインストールされるアプリケーションプログラムは、DVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等の各種方式のメディア等の記憶媒体110に記憶され、この記憶媒体110に記憶された動作プログラムがHDD104にインストールされる。このため、DVD等の光情報記憶メディアやFD等の磁気メディア等の可搬性を有する記憶媒体110も、アプリケーションプログラムを記憶する記憶媒体となり得る。さらには、アプリケーションプログラムは、例えば通信制御装置106を介して外部のネットワーク200から取り込まれ、HDD104にインストールされても良い。
In general, application programs installed in the
映像解析装置100は、OS上で動作する映像解析プログラムが起動すると、この映像解析プログラムに従い、CPU101が各種の演算処理を実行して各部を集中的に制御する。映像解析装置100のCPU101が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。
In the
図2は、映像解析装置100の概略的な機能構成を示すブロック図である。図2に示すように、映像解析装置100は、映像解析プログラムに従うことにより、コンテンツ情報解析部1と、境界位置検出手段として機能する境界位置検出部2と、を備える。
FIG. 2 is a block diagram illustrating a schematic functional configuration of the
以下において、映像解析装置100の特徴的な機能を有する各部について説明する。
Below, each part which has the characteristic function of the
まず、コンテンツ情報解析部1について説明する。コンテンツ情報解析部1は、アンテナおよび受信装置(いずれも図示せず)を介して入力されたコンテンツの映像および音声を解析する。より詳細には、コンテンツ情報解析部1は、コンテンツの映像上に合成される静止画が存在する区間を検出する静止画検出手段である静止画検出部11と、映像フレームが単一の色からなる区間を検出する単色検出手段(特徴検出手段)である単色検出部12と、音量が一定の閾値を下回る区間を検出する無音検出手段(特徴検出手段)である無音検出部13とを備えている。
First, the content
静止画検出部11は、図3に示すように、映像フレーム上に出現する静止画のうち、画面の端に長時間表示される静止画Xを検出する。テレビ番組のコンテンツの本編中に一定期間継続して表示される表示画像である静止画Xとしては、テレビ局のロゴマークやテレビ局名である場合が多い。ただし、コンテンツの本編中に継続して表示される静止画ならば、上述のものに限定されない。なお、静止画(例えば、ロゴマーク)Xを検出する方法は広く知られているが、例えば特開2007−274154号公報に開示されている方法を使うことができる。
As shown in FIG. 3, the still
ところで、コンテンツの本編の冒頭や末尾などのような映像フレームの種類が切り替わる付近では、静止画(例えば、ロゴマーク)の位置や形が変わることが多い。そこで、静止画検出部11は、静止画を検出する既存の方法に加え、以下に示すような方法(図4参照)を用い、静止画の位置や形が変わっていても、同一種類の静止画として検出できるようにしたものである。
1.検出された複数の静止画(例えば、ロゴマーク)であって同時刻に出現していないものについて、出現座標を比較する。ここで、図4は、コンテンツから3種類の映像フレームを抽出した例である。図4に示す映像フレームのうち、静止画X1、静止画X2はテレビ局のロゴであり、同時刻には出現していないが、似た場所に出現している。このように、静止画X1と静止画X2との出現位置の差異が予め定めた閾値以内ならば、たとえ静止画X1から静止画X2へのように変化していたとしても、同じ箇所に出現した静止画としてまとめ、1つの静止画グループG1とする。一方、静止画X3は、異なる位置に出現しているため異なる静止画グループG2とする。
2.各静止画グループについて出現した時間長を算出し、時間長が所定の閾値に満たないならば排除する。図4に示す例によれば、静止画X3はコマーシャルメッセージ中に出現した静止画である。通常コマーシャルメッセージは短いため、静止画グループG2の時間長が閾値に満たない(すなわち、出現している時間が短い)ならばコマーシャルメッセージ中に出現した静止画と判断して、静止画グループG2を排除する。例えば、静止画グループG2の時間長が1分以下であれば、CMと判断する。この処理を行うことで、コマーシャルメッセージ中の静止画を検出した場合でも、コンテンツの本編であると誤検出しなくなる。
3.検出した静止画グループをまとめる。より詳細には、図5に示す例によれば、静止画X1、X2から静止画グループG1が構成され、静止画X4から静止画グループG3が構成される。静止画グループG1、G3のように時刻が重なっているグループをまとめ、静止画の出現区間を作成する。なお、図5に示す例で静止画グループG3が静止画グループG1よりも先に出現しているのは、本編に入ってもしばらくの間はテレビ局のロゴマークが出現しなかったためである。
By the way, the position and shape of a still image (for example, a logo mark) often change in the vicinity where the types of video frames such as the beginning and end of the main part of the content are switched. Therefore, the still
1. The appearance coordinates of a plurality of detected still images (for example, logo marks) that do not appear at the same time are compared. Here, FIG. 4 is an example in which three types of video frames are extracted from the content. Among the video frames shown in FIG. 4, the still image X1 and the still image X2 are logos of television stations and do not appear at the same time but appear in similar places. In this way, if the difference in the appearance position between the still image X1 and the still image X2 is within a predetermined threshold value, it appears in the same location even if it changes from the still image X1 to the still image X2. The still images are grouped into one still image group G1. On the other hand, since the still image X3 appears at a different position, it is set as a different still image group G2.
2. The time length that appears for each still image group is calculated, and if the time length does not reach a predetermined threshold, it is excluded. According to the example shown in FIG. 4, the still image X3 is a still image that appears in the commercial message. Since the commercial message is usually short, if the time length of the still picture group G2 is less than the threshold (that is, the appearance time is short), the still picture group G2 is determined as a still picture that appears in the commercial message. Exclude. For example, if the time length of the still image group G2 is 1 minute or less, it is determined as CM. By performing this process, even if a still image in a commercial message is detected, it is not erroneously detected that the content is the main part.
3. Group detected still image groups. More specifically, according to the example shown in FIG. 5, the still image group G1 is configured from the still images X1 and X2, and the still image group G3 is configured from the still image X4. Groups that overlap in time, such as still image groups G1 and G3, are grouped together to create a still image appearance section. In the example shown in FIG. 5, the still picture group G3 appears before the still picture group G1 because the logo mark of the television station did not appear for a while even after entering the main part.
単色検出部12は、映像フレームの色情報を解析し、映像フレームが単一の色(例えば、全画面が黒一色のブラックフレーム)から構成されているかどうかを判定する。これは、ヨーロッパ諸国などにおけるテレビ放送において、CMの開始位置に「ブラックフレーム」が挿入されることが多いからである。また、単一の色の映像フレームとしては、黒一色のブラックフレームに限るものではなく、青一色や白一色などの映像フレームであっても良い。また、映像フレームの全領域を解析しても良いが、画像の端にはノイズが含まれることが多いので、映像フレームの中心部分のみを解析するようにしても良い。
The single
無音検出部13は、コンテンツの音量を解析して無音状態(音量が一定の閾値を下回る区間)を検出するものである。音量の計算方法はデコードしたPCMレベルから計算しても良いし、デコード前の音声スペクトル情報から計算したものでも良い。なお、コンテンツの音量の検出手法は、上述のものに限定されるものではない。これは、ヨーロッパ諸国などにおけるテレビ放送において、CMの開始位置が無音(または、無音に近い)である場合が多いからである。
The
なお、単色検出部12による処理を実行した後、無音検出部13の処理を実行するようにしたほうが、高精度な検出が可能になる。
Note that it is possible to perform highly accurate detection by executing the processing of the
次に、境界位置検出部2について説明する。境界位置検出部2は、コンテンツ情報解析部1における解析の結果として得られた情報から、内容の種類が変化する位置を計算する。本実施の形態における内容の種類とは、コンテンツの本編とコマーシャルメッセージである。ただし、内容の種類として、この2種類に限定されるものではない。境界位置検出部2は、区間種類判定手段として機能する区間種類判定部21と、境界位置補正手段として機能する境界位置補正部22とを備えている。
Next, the boundary
区間種類判定部21は、図6に示すように、コンテンツ中で静止画が出現した区間A,C、出現しなかった区間Bによってコンテンツを複数のセグメント(S1、S2、S3)に分割する。
As shown in FIG. 6, the section
そして、区間種類判定部21は、静止画検出部11によって静止画が検出された区間および静止画がされなかった区間それぞれについて、その区間内に含まれる映像、音声の情報から内容の種類(コンテンツの本編またはコマーシャルメッセージ)を判定する。
Then, the section
ここで、映像種類の判定について詳述する。具体的には、図7に示すように、セグメント(S1、S2、S3)の中に含まれる単色(a,b,c,d)や無音(e,f,g)などの映像、音声の情報を用いてセグメントの種類を計算する。図7に示す静止画が表示されているセグメント(S1、S3)は本編である確率が高く、単色や無音が多く出現しているセグメント(S2)はコマーシャルメッセージである確率が高い。この特性から、セグメント中の静止画の有無、セグメント中に含まれる単色、無音の数を使い、セグメントが本編である確率を計算する。 Here, the determination of the video type will be described in detail. Specifically, as shown in FIG. 7, video and audio such as monochrome (a, b, c, d) and silence (e, f, g) included in the segment (S1, S2, S3). The segment type is calculated using the information. The segment (S1, S3) in which the still image shown in FIG. 7 is displayed has a high probability of being a main part, and the segment (S2) in which many monochrome colors and silences appear has a high probability of being a commercial message. From this characteristic, the probability that the segment is the main part is calculated using the presence / absence of a still image in the segment, the number of single colors and silences included in the segment.
ここで、セグメントが本編である確率の計算例について説明する。
1.セグメント中に、静止画と単色かつ無音の部分の両方が存在する場合、1分当たりの単色かつ無音数を算出し、閾値と比較し、本編とコマーシャルメッセージとでどちらの確率が高いかを決定する。単色かつ無音の数が多ければコマーシャルメッセージ(本編の確率は0%)とし、そうでない場合は本編とする。
2.セグメント中に、静止画はないが、単色かつ無音の部分がある場合、本編を含むCM区間と考え、本編の確率を20%とする。
3.セグメント中の静止画の有無に関わらず、単色かつ無音がなければ100%の確率で本編とする。
4.セグメント毎に本編である確率が計算できたら、隣接するセグメントで確率が大きく変化する境界を、本編とコマーシャルメッセージの境界とする。
Here, a calculation example of the probability that the segment is the main part will be described.
1. If both a still image and a single color and silence are present in the segment, calculate the number of single color and silence per minute, compare with the threshold, and determine which probability is higher between the main volume and the commercial message To do. If the number of single colors and silence is large, a commercial message (the probability of the main part is 0%), and if not, the main part is set.
2. If there is no still image in the segment but there is a monochrome and silent part, it is considered as a CM section including the main part, and the probability of the main part is 20%.
3. Regardless of the presence or absence of a still image in the segment, if there is no single color and no sound, it will be the main part with 100% probability.
4). If the probability of being the main part can be calculated for each segment, the boundary where the probability greatly changes in the adjacent segment is set as the boundary between the main part and the commercial message.
静止画は多くの場合コンテンツの本編中に表示されているが、コマーシャルメッセージ中にも同一箇所に長時間表示されることがある。テレビ局の番組宣伝にテレビ局のロゴマークが連続して表示される場合などである。単色や無音といった情報を使うとこのような場合でも正しくコマーシャルメッセージであると判定できる。 In many cases, still images are displayed in the main part of the content, but they may be displayed in the same location in commercial messages for a long time. This is the case when the logo mark of the television station is continuously displayed in the program advertisement of the television station. If information such as single color or silence is used, it is possible to correctly determine that the message is a commercial message.
境界位置補正部22は、区間種類判定部21で判定された種類と、単色検出部12で検出された単色の映像フレームと、無音検出部13で検出された無音または無音に近い情報とを用い、内容の種類が変化する位置(境界)をより正しいと判定される位置に補正する。
The boundary
ここで、区間種類判定部21で検出した内容の種類が変化する位置(境界)を、境界位置補正部22がコマーシャルメッセージと本編との正確な境界に補正する方法について詳述する。具体的には、図8に示すように、静止画は正確なコマーシャルメッセージと本編の境界からずれて表示されることが多く、コマーシャルメッセージ間際では静止画が消失しているなど、セグメントの境界は基本的に本編側にずれていることが多い。すなわち、本編からコマーシャルメッセージに変わる境界では、正確な境界よりも前側に、コマーシャルメッセージから本編に変わる境界では、正確な境界よりも後ろ側にずれる傾向がある。図8に示す例では、区間D,Fは本編であると検出された区間であり、区間Eはコマーシャルメッセージであると検出された区間である。なお、区間D,E,Fは、同種類の複数のセグメントから構成されていることもある。静止画の有無で検出された本編からコマーシャルメッセージに変わる位置(境界)が符号Oで示す位置であり、コマーシャルメッセージから本編に変わる位置(境界)が符号Rで示す位置である。符号h,i,jは検出された単色であり、符号k,l,m,nは検出された無音である。境界位置補正部22は、図8で例示する単色と無音が同時に検出された符号P,Qで示す位置に注目する。符号Pで示す位置は符号Oで示す位置に最も近い時刻に検出された単色と無音の時刻で、符号Oで示す位置よりもコマーシャルメッセージ側にあるものである。符号Qで示す位置は符号Rで示す位置に最も近い時刻に検出された単色と無音の時刻で、符号Rで示す位置よりもコマーシャルメッセージ側にあるものである。本編とコマーシャルメッセージの境界には単色と無音が同時に出現するなど、映像・音声に特徴がある。本編からコマーシャルメッセージに変わる境界では後側の映像、音声の特徴を優先して、コマーシャルメッセージから本編に変わる境界では、正確な境界よりも前側の映像、音声の特徴を優先して探せばよいため、境界位置補正部22は、符号Oで示す位置、符号Rで示す位置を取り消し、符号P示す位置および符号Qで示す位置を新たな境界とする。
Here, a method in which the boundary
これにより、静止画のみによる境界位置検出で若干のずれが発生してしまうような場合であっても、より正確に境界位置を検出することができる。 As a result, the boundary position can be detected more accurately even in the case where a slight shift occurs in the boundary position detection using only the still image.
次に、静止画の有無で検出された境界よりも検出された単色と無音の時刻が本編側にある場合について図9を参照して説明する。 Next, a case where the monochromatic and silent time detected from the boundary detected by the presence or absence of a still image is on the main part side will be described with reference to FIG.
図9に示す例では、区間G,Iは本編であると検出された区間であり、区間Hはコマーシャルメッセージであると検出された区間である。なお、区間G,H,Iは、同種類の複数のセグメントから構成されていることもある。静止画の有無で検出された本編からコマーシャルメッセージに変わる位置(境界)が符号Tで示す位置であり、コマーシャルメッセージから本編に変わる位置(境界)が符号Uで示す位置である。符号o,p,qは検出された単色であり、符号r,s,t,uは検出された無音である。図9に示す例では、境界位置補正部22は、単色と無音が同時に検出された符号S,Vで示す位置に注目する。符号Sで示す位置は符号Tで示す位置に最も近い時刻に検出された単色と無音の時刻で、符号Tで示す位置より本編側にあるものである。符号Vで示す位置は符号Uで示す位置に最も近い時刻に検出された単色と無音の時刻で、符号Uで示す位置より本編側にあるものである。映像と音声の特徴はコマーシャルメッセージ側に近いほうに検出されることが多いため、図9に示す例のように逆方向に映像と音声の特徴が出現している場合は慎重に判断する必要がある。境界位置補正部22は、符号Sで示す位置と符号Tで示す位置、および、符号Uで示す位置と符号Vで示す位置の時間間隔を計算し、その値が閾値以内ならば映像と音声の特徴がある時刻を新たな境界とする。図9に示す例では、符号Sで示す位置と符号Tで示す位置は時間的に近接しているため、例えばCM中に本編と同じ位置にロゴマークがあったとして符号Tで示す位置を取り消し、符号Sで示す位置を新たな境界とする。一方、符号Uで示す位置と符号Vで示す位置は時間的に閾値以上離れているために符号Vで示す位置を新たな境界とせず、符号Uで示す位置を保持する。
In the example shown in FIG. 9, the sections G and I are sections detected as being the main part, and the section H is a section detected as being a commercial message. The sections G, H, and I may be composed of a plurality of segments of the same type. A position (boundary) at which the main part is changed from the main message to the commercial message detected by the presence or absence of a still image is a position indicated by a symbol T, and a position (boundary) at which the commercial message is changed to the main part is a position indicated by a reference symbol U. The symbols o, p, and q are detected single colors, and the symbols r, s, t, and u are detected silence. In the example illustrated in FIG. 9, the boundary
なお、図8および図9に示す例では、単色と無音が同時に発生した時刻に補正したが、単色と無音のどちらかが検出された時刻に検出された時刻を補正対象としても良い。 In the example shown in FIGS. 8 and 9, the correction is made at the time when the single color and the silence are generated at the same time, but the time detected at the time when either the single color or the silence is detected may be corrected.
次いで、上述したような映像解析装置100のCPU101が実行する特徴的な処理である映像解析処理について図10のフローチャートを参照して説明する。
Next, video analysis processing, which is characteristic processing executed by the
まず、アンテナおよび受信装置(いずれも図示せず)を介して入力された映像および音声を含むコンテンツについて、静止画検出部11による静止画検出、単色検出部12による単色検出、無音検出部13による無音検出といった映像および音声解析を行う(ステップS1)。
First, for content including video and audio input via an antenna and a receiving device (both not shown), still image detection by the still
次いで、区間種類判定部21が、静止画が出現した区間、静止画が出現しなかった区間でセグメントを定義する(ステップS2)。
Next, the section
全てのセグメントについての処理が終了していなければ(ステップS3のNo)、処理対象のセグメントを1つ選び(ステップS4)、区間種類判定部21は、セグメントの中に存在する無音(音量が一定の閾値を下回る区間)の数、単色の数、単色かつ無音(音量が一定の閾値を下回る区間)の数をカウントする(ステップS5)。
If the processing has not been completed for all segments (No in step S3), one segment to be processed is selected (step S4), and the section
選択したセグメントに単色かつ無音(音量が一定の閾値を下回る区間)がない場合は(ステップS6のYes)、区間種類判定部21は、そのセグメントを本編であると判定する(ステップS9)。
If the selected segment is monochromatic and has no sound (a section where the volume falls below a certain threshold) (Yes in step S6), the section
一方、セグメントに単色かつ無音(音量が一定の閾値を下回る区間)はあるが、静止画はない場合は(ステップS6のNo,ステップS7のYes)、区間種類判定部21は、そのセグメントをコマーシャルメッセージと判定する(ステップS10)。
On the other hand, if the segment has a single color and no sound (a section where the volume falls below a certain threshold) but no still image (No in step S6, Yes in step S7), the section
セグメントに単色かつ無音(音量が一定の閾値を下回る区間)も、静止画もある場合は(ステップS6のNo,ステップS7のNo)、1分あたりの単色かつ無音(音量が一定の閾値を下回る区間)の数を計算した値と閾値を比較し、閾値を上回れば(ステップS8のYes)、区間種類判定部21は、そのセグメントをコマーシャルメッセージと判定する(ステップS10)。閾値を下回れば(ステップS8のNo)、区間種類判定部21は、そのセグメントを本編であると判定する(ステップS9)。
If there is a single color and silence in the segment (a section where the volume falls below a certain threshold) or a still image (No in step S6, no in step S7), a monochrome and silence per minute (volume falls below a certain threshold) The threshold value is compared with the calculated value of the number of (sections), and if the threshold is exceeded (Yes in step S8), the section
なお、図10に示すフローチャートでは、本編である確率を100%か0%かで計算したが、細かく計算するよう変更しても良い。 In the flowchart shown in FIG. 10, the probability of being the main part is calculated based on 100% or 0%, but it may be changed so as to be calculated finely.
以上によりセグメントの種類が判定できたので、直前に判定したセグメントの種類と比較する(ステップS11)。 Since the segment type can be determined as described above, it is compared with the segment type determined immediately before (step S11).
直前に判定したセグメントの種類と種類が変わっている場合には(ステップS11のYes)、境界位置補正部22は、内容の種類が変化する位置(境界)をより正しいと判定される位置に補正する。具体的には、コマーシャルメッセージから本編に変化する位置(境界)ならば(ステップS12のYes)、セグメントの前側近傍に単色かつ無音(音量が一定の閾値を下回る区間)があれば、その位置に境界を補正する(ステップS14)。
If the segment type and type determined immediately before have changed (Yes in step S11), the boundary
一方、境界位置補正部22は、本編からコマーシャルメッセージに変化する位置(境界)ならば(ステップS12のNo)、セグメントの後側近傍に単色かつ無音(音量が一定の閾値を下回る区間)があれば、その位置に境界を補正する(ステップS13)。
On the other hand, if the position (boundary) changes from the main part to the commercial message (No in step S12), the boundary
以上ステップS4〜S14の処理は、全てのセグメントについての処理が終了するまで(ステップS3のYes)、繰り返される。 The processes in steps S4 to S14 are repeated until the processes for all segments are completed (Yes in step S3).
なお、図10のフローチャートでは単色と無音が同時に発生した時刻に補正したが、単色と無音のどちらかが検出された時刻に検出された時刻を補正対象としても良い。 In the flowchart of FIG. 10, the correction is made at the time when monochrome and silence occur at the same time, but the time detected at the time when either monochrome or silence is detected may be corrected.
また、セグメント毎に上記の処理を実行するのではなく、コンテンツの先頭から末尾までの情報を全て保持し、まとめて処理しても良いし、セグメントを検出して必要な情報がたまった都度、逐次的に処理しても良い。 Also, instead of executing the above processing for each segment, all the information from the beginning to the end of the content may be held and processed together, or whenever a segment is detected and necessary information is accumulated, You may process sequentially.
このように本実施の形態によれば、コンテンツの映像フレームに出現する略同一な静止画の群である静止画グループが存在する区間または静止画グループが存在しない区間であるかどうかに加えて、コンテンツを構成する映像フレームのうち単一色の映像フレームとコンテンツを構成する音声の音量が一定の閾値を下回る無音区間との少なくとも一方の情報も用いて、コンテンツの内容の種類が変化する位置を検出することにより、テレビ放送において本編であってもチャンネルロゴなどの静止画がない部分がある場合であっても、コンテンツの内容の種類(コンテンツの本編またはコマーシャルメッセージ)が変化する位置を正確に検出することができる。 As described above, according to the present embodiment, in addition to whether or not a section in which a still image group that is a group of substantially identical still images appearing in a video frame of content exists or a section in which no still image group exists, Detects the position where the content type changes by using at least one of the information of the single color video frame and the silent section where the volume of the audio constituting the content falls below a certain threshold. As a result, even if the main part of a TV broadcast is a part without a still image such as a channel logo, the position where the content type (content main part or commercial message) changes can be accurately detected. can do.
なお、本実施の形態においては、映像解析装置100としてパーソナルコンピュータを適用したが、これに限るものではなく、テレビ、HDDレコーダ、ワンセグ搭載端末などにも適用可能である。
In this embodiment, a personal computer is applied as the
2 境界位置検出手段
11 静止画検出手段
12 単色検出手段、特徴検出手段
13 無音検出手段、特徴検出手段
21 区間種類判定手段
22 境界位置補正手段
100 映像解析装置
2 Boundary position detection means 11 Still image detection means 12 Monochromatic detection means, feature detection means 13 Silence detection means, feature detection means 21 Section type determination means 22 Boundary position correction means 100 Video analysis apparatus
Claims (9)
前記コンテンツを構成する映像と音声との少なくともいずれか一方の特徴を検出する特徴検出手段と、
前記静止画検出手段による検出結果と前記特徴検出手段による検出結果とに基づいて、コンテンツの本編とコマーシャルメッセージとを判定する区間種類判定手段と、
前記区間種類判定手段による判定結果から前記コンテンツの本編と前記コマーシャルメッセージとの境界を検出する境界位置検出手段と、
を備えることを特徴とする映像解析装置。 A still image detecting means for detecting a still image displayed on a part of the screen, which is a display image continuously displayed for a certain period of time appearing in a video frame of content composed of video and audio;
Feature detection means for detecting at least one of the features of video and audio constituting the content;
Section type determination means for determining the main part of the content and the commercial message based on the detection result by the still image detection means and the detection result by the feature detection means,
Boundary position detection means for detecting a boundary between the main part of the content and the commercial message from the determination result by the section type determination means;
A video analysis apparatus comprising:
ことを特徴とする請求項1記載の映像解析装置。 The feature detection means includes at least one of a single color video frame of the video frames constituting the content and a silent section in which the volume of audio constituting the content falls below a certain threshold as the feature. To detect,
The video analysis apparatus according to claim 1.
ことを特徴とする請求項2記載の映像解析装置。 The feature detection means detects the silent section after detecting the single color video frame;
The video analysis apparatus according to claim 2.
ことを特徴とする請求項1記載の映像解析装置。 The still image detecting means excludes the still image whose time length of appearance does not satisfy a predetermined threshold;
The video analysis apparatus according to claim 1.
ことを特徴とする請求項1記載の映像解析装置。 The section type determination unit includes the single color video frame detected by the feature detection unit and the section in which the still image is detected by the still image detection unit and the section in which the still image is not detected. Determining the main part of the content and the commercial message from at least one of the silent sections;
The video analysis apparatus according to claim 1.
ことを特徴とする請求項1記載の映像解析装置。 Boundary position correction means for correcting a boundary position between the main part of the content and the commercial message to an accurate boundary position;
The video analysis apparatus according to claim 1.
ことを特徴とする請求項6記載の映像解析装置。 The boundary position correcting means gives priority to at least one information of the single color video frame or the silent section after the boundary at a boundary where the main part of the content changes to the commercial message, and the main part of the content from the commercial message. In the boundary that changes to the above, priority is given to the information of at least one of the single color video frame or the silent period before the boundary,
The video analysis apparatus according to claim 6.
ことを特徴とする請求項6記載の映像解析装置。 The boundary position correction means, when there is at least one information of the single color video frame or the silent section in the main part of the content, the boundary position between the main part of the content and the commercial message, A time interval from a position where information of at least one of a single color video frame or the silent section exists is calculated, and if the value is within a threshold value, there is information of at least one of the single color video frame or the silent section. With time as a new boundary,
The video analysis apparatus according to claim 6.
映像および音声で構成されるコンテンツの映像フレームに出現する一定時間継続して表示される表示画像であって画面の一部に表示される静止画を検出する静止画検出手段と、
前記コンテンツを構成する映像と音声との少なくともいずれか一方の特徴を検出する特徴検出手段と、
前記静止画検出手段による検出結果と前記特徴検出手段による検出結果とに基づいて、コンテンツの本編とコマーシャルメッセージとを判定する区間種類判定手段と、
前記区間種類判定手段による判定結果から前記コンテンツの本編と前記コマーシャルメッセージとの境界を検出する境界位置検出手段と、
として機能させることを特徴とするプログラム。 Computer
A still image detecting means for detecting a still image displayed on a part of the screen, which is a display image continuously displayed for a certain period of time appearing in a video frame of content composed of video and audio;
Feature detection means for detecting at least one of the features of video and audio constituting the content;
Section type determination means for determining the main part of the content and the commercial message based on the detection result by the still image detection means and the detection result by the feature detection means,
Boundary position detection means for detecting a boundary between the main part of the content and the commercial message from the determination result by the section type determination means;
A program characterized by functioning as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009278778A JP2010130700A (en) | 2009-12-08 | 2009-12-08 | Video analysis apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009278778A JP2010130700A (en) | 2009-12-08 | 2009-12-08 | Video analysis apparatus and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008305359A Division JP4427600B1 (en) | 2008-11-28 | 2008-11-28 | Video analysis apparatus and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010130700A true JP2010130700A (en) | 2010-06-10 |
Family
ID=42330674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009278778A Pending JP2010130700A (en) | 2009-12-08 | 2009-12-08 | Video analysis apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010130700A (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002521977A (en) * | 1998-07-28 | 2002-07-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Apparatus and method for locating commercials located within a video data stream |
WO2005013613A1 (en) * | 2003-08-05 | 2005-02-10 | Matsushita Electric Industrial Co., Ltd. | Program recording device |
JP2007124550A (en) * | 2005-10-31 | 2007-05-17 | Toshiba Corp | Video-editing apparatus and method |
JP2007274154A (en) * | 2006-03-30 | 2007-10-18 | Toshiba Corp | Video splitter, telop extractor, method, and program |
-
2009
- 2009-12-08 JP JP2009278778A patent/JP2010130700A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002521977A (en) * | 1998-07-28 | 2002-07-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Apparatus and method for locating commercials located within a video data stream |
WO2005013613A1 (en) * | 2003-08-05 | 2005-02-10 | Matsushita Electric Industrial Co., Ltd. | Program recording device |
JP2007124550A (en) * | 2005-10-31 | 2007-05-17 | Toshiba Corp | Video-editing apparatus and method |
JP2007274154A (en) * | 2006-03-30 | 2007-10-18 | Toshiba Corp | Video splitter, telop extractor, method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4427600B1 (en) | Video analysis apparatus and program | |
EP3361740B1 (en) | Display device and method for replacing advertisement | |
EP2109313B1 (en) | Television receiver and method | |
JP4331240B2 (en) | Electronic apparatus and image display method | |
JP4613867B2 (en) | Content processing apparatus, content processing method, and computer program | |
JP4267649B2 (en) | VIDEO PROGRAM PROCESSING METHOD, RELATED DEVICE, AND RELATED MEDIUM | |
JP5685224B2 (en) | Context-adaptive user interface system | |
US20120093487A1 (en) | Apparatus and method for editing | |
JP2009089032A (en) | Electronic apparatus and scene-type display method | |
RU2646532C2 (en) | Method for presentation of digital multimedia content and device | |
JP2009130899A (en) | Image playback apparatus | |
CN117745589A (en) | Watermark removing method, device and equipment | |
US20090226144A1 (en) | Digest generation device, digest generation method, recording medium storing digest generation program thereon and integrated circuit used for digest generation device | |
JP2010130700A (en) | Video analysis apparatus and program | |
JP4949912B2 (en) | Subtitle display area determining apparatus and subtitle display program | |
JP7268848B2 (en) | commercial detector | |
KR101086434B1 (en) | Method and apparatus for displaying video data | |
JP2007300158A (en) | Monochrome frame detection method | |
EP2087482B1 (en) | Method for controlling output of display unit and system enabling of the method | |
JP2006050483A (en) | Video analysis device, video analysis method, content preparing device, program, and recording medium | |
CN114727111A (en) | Picture decoding method and device, set top box and computer readable storage medium | |
US20080204597A1 (en) | Method and apparatus for reproducing moving picture data having sub-screen picture data | |
JP2009218874A (en) | Recording/reproducing device | |
JP2009164771A (en) | File management device, file management method and file management program | |
JP2010243942A (en) | Image display device and method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120717 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121113 |