JP2009159260A - Video character detecting method, device and program - Google Patents

Video character detecting method, device and program Download PDF

Info

Publication number
JP2009159260A
JP2009159260A JP2007334580A JP2007334580A JP2009159260A JP 2009159260 A JP2009159260 A JP 2009159260A JP 2007334580 A JP2007334580 A JP 2007334580A JP 2007334580 A JP2007334580 A JP 2007334580A JP 2009159260 A JP2009159260 A JP 2009159260A
Authority
JP
Japan
Prior art keywords
frame
telop
video
character detection
frame acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007334580A
Other languages
Japanese (ja)
Other versions
JP4930364B2 (en
Inventor
Hisao Furukawa
久雄 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007334580A priority Critical patent/JP4930364B2/en
Publication of JP2009159260A publication Critical patent/JP2009159260A/en
Application granted granted Critical
Publication of JP4930364B2 publication Critical patent/JP4930364B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To efficiently search and detect subtitles in a video without sequentially processing many frames included in stored video and to reduce the processing amount thereof. <P>SOLUTION: In the video character detecting method, a frame acquisition interval setting unit 13A changes time intervals with respect to a next acquired frame to be processed of a frame acquisition unit 11A for each of frames acquired by the frame acquisition unit 11A on the basis of the result of estimating the possibility that subtitles are included, by a frame analysis unit 12A, i.e. whether or not subtitle characters are detected in a previous frame. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は映像解析方法、映像解析装置、および映像解析プログラムに関し、特に放送映像中のテロップ文字を検出する映像文字検出方法、映像文字検出装置、および映像文字検出プログラムに関する。   The present invention relates to a video analysis method, a video analysis device, and a video analysis program, and more particularly to a video character detection method, a video character detection device, and a video character detection program for detecting a telop character in a broadcast video.

放送のテロップに代表されるような、映像中に現れる文字等の図形を検出し、認識する技術が種々提案されている。   Various techniques for detecting and recognizing characters such as characters appearing in video, such as broadcast telop, have been proposed.

例えば特許文献１は、映像中の連続フレームを解析して輝度平均・分散や固定エッジなどを調べ、映像中のテロップを検出し認識する技術についての発明を開示している。特許文献２は、映像中のシーンチェンジ前後に探索範囲を絞ってテロップを検出する技術についての発明を開示している。特許文献３は、放送映像を各種解析手法で区間分割し、各区間の重要度を判定して、重要度に従い再生速度を変更し、ダイジェスト映像を作成する技術についての発明を開示している。
特許第００３６９２０１８号(特開２００１−２８５７１６号公報) 特開２００７−６４５４号公報 特開２００５−２５２３７２号公報 For example, Patent Document 1 discloses an invention relating to a technique for detecting and recognizing a telop in a video by analyzing continuous frames in the video and examining luminance average / dispersion, fixed edge, and the like. Patent Document 2 discloses an invention relating to a technique for detecting a telop by narrowing a search range before and after a scene change in a video. Patent Document 3 discloses an invention relating to a technique for creating a digest video by dividing a broadcast video into sections by various analysis methods, determining the importance of each section, changing the playback speed according to the importance.
Patent No. 003692018 (Japanese Patent Laid-Open No. 2001-285716) JP 2007-6454 A JP 2005-252372 A

放送映像に重畳されるテロップは通常、視聴者の可読性を考慮して一定時間継続される場合が大半である。すなわち各フレームにつき独立してテロップが現れることは稀であり、時間軸上では局所的な映像区間に集中して表示される場合が多い。   In most cases, the telop superimposed on the broadcast video is usually continued for a certain time in consideration of the readability of the viewer. That is, it is rare that a telop appears independently for each frame, and it is often displayed concentrated on a local video section on the time axis.

上記の発明には、このような特性を持つテロップを検出するために映像中の多数のフレームを連続して密に探索するものがある。これは入力映像として放送映像などを扱うなどリアルタイム映像を前提にしているほか、各フレームにテロップが独立して発生することを仮定しており、上記のテロップの出現パタンとは乖離するものである。すなわち連続フレームで継続表示されるテロップを個別に再度検出してしまうなど無駄が多く、実際のテロップを検出するには処理負荷上非効率的であった。このため、多数の映像を含むアーカイブにつきテロップ認識するのは困難であった。   In the above-described invention, there is one in which a large number of frames in a video are continuously searched closely in order to detect a telop having such characteristics. This assumes real-time video such as handling broadcast video as input video, and assumes that telops occur independently in each frame, which is different from the above-mentioned telop appearance pattern. . That is, there is a lot of waste, such as individually detecting telops continuously displayed in continuous frames, and it is inefficient in terms of processing load to detect actual telops. For this reason, it is difficult to recognize the telop for an archive including a large number of videos.

本発明の目的は、主に既に記録された蓄積オフライン映像において、効率的な追跡・探索を行え、処理量を削減できる映像文字検出方法、装置、およびプログラムを提供することにある。   An object of the present invention is to provide a video character detection method, apparatus, and program capable of efficiently tracking and searching for stored offline video that has already been recorded and reducing the amount of processing.

本発明の映像文字検出装置はフレーム取得手段とフレーム解析手段とフレーム取得間隔設定手段とテロップ検出手段を有する。   The video character detection apparatus of the present invention includes frame acquisition means, frame analysis means, frame acquisition interval setting means, and telop detection means.

フレーム取得手段は、入力として与えられたテロップを含む映像からフレームを取得する。フレーム解析手段は、フレーム取得手段で得られたフレームを解析し、テロップの存在する可能性を推定する処理を行う。フレーム取得間隔設定手段は、フレーム取得手段で得られたフレームについて、フレーム解析手段によって得られたテロップの存在可能性の推定結果をもとに、フレーム取得手段で取得する、次の処理対象とするフレームまでの時間間隔を変更する。テロップ検出手段は、フレーム解析手段によって得られたテロップの含まれる可能性のあるフレーム内を探索し、テロップの存在する領域を詳細に検出する処理を行う。   The frame acquisition means acquires a frame from a video including a telop given as an input. The frame analysis unit analyzes the frame obtained by the frame acquisition unit and performs a process of estimating the possibility that a telop exists. The frame acquisition interval setting means sets the frame obtained by the frame acquisition means as the next processing object to be acquired by the frame acquisition means based on the estimation result of the existence of the telop obtained by the frame analysis means. Change the time interval to frame. The telop detection means searches for a frame in which the telop obtained by the frame analysis means may be included, and performs processing for detecting in detail the area where the telop exists.

本発明は、映像中の散在するテロップ文字列を、一定間隔でフレーム走査する場合に比べて効率的に検出して認識することができ、その処理量を削減できる効果がある。その理由は、テロップ文字の無い映像区間や、同一の文字が表示されていると思しき映像区間の処理を回避しつつ、テロップ文字が存在すると思しき映像区間や新しいテロップ文字の出現可能性の高い映像区間を集中的に探査するためである。すなわち、オフラインの映像の全フレームに対するテロップ探索を回避し、テロップの存在する可能性の高いフレームを探索して効率的にテロップを検出するからである。   The present invention can detect and recognize scattered telop character strings in a video more efficiently than the case where frames are scanned at regular intervals, and has an effect of reducing the processing amount. The reason for this is that the video section without a telop character or the video section where the same character is thought to be displayed is avoided, while the video section where the telop character is thought to exist or a video with a high possibility of the appearance of a new telop character. This is to intensively explore the section. That is, it is possible to avoid the telop search for all the frames of the offline video, and to detect the telop efficiently by searching for a frame having a high possibility of the presence of the telop.

次に、本発明の実施の形態について図面を参照して詳細に説明する。   Next, embodiments of the present invention will be described in detail with reference to the drawings.

［第１の実施の形態］
図１を参照すると、本発明の第１の実施の形態の映像文字検出装置はフレーム取得部１１Ａとフレーム解析部１２Ａとフレーム取得間隔設定部１３Ａとテロップ検出部１４Ａを有する。 [First Embodiment]
Referring to FIG. 1, the video character detection apparatus according to the first embodiment of the present invention includes a frame acquisition unit 11A, a frame analysis unit 12A, a frame acquisition interval setting unit 13A, and a telop detection unit 14A.

フレーム取得部１１Ａは、入力として与えられた、テロップを含む映像からフレームを取得する。フレーム解析部１２Ａは、フレーム取得部１１Ａによって得られたフレームにつき、エッジ、差分、カラーヒストグラムなどのフレーム特徴量を求め、これを用いてテロップの存在する可能性を推定するフレーム解析処理を行う。フレーム取得間隔設定部１３Ａは、フレーム取得部１１Ａによって得られたフレームにつき、フレーム解析部１２Ａによって得られたテロップの存在可能性の推定結果、すなわち直前フレームにおけるテロップ文字検出の有無を用いて、フレーム取得部１１Ａにおける次の処理対象としての取得フレームまでの時間間隔を変更する処理を行う。テロップ検出部１４Ａは、フレーム解析部１２Ａによって得られたテロップの含まれる可能性のあるフレーム内を探索し、テロップの存在する領域を詳細に検出する処理を行う。   The frame acquisition unit 11A acquires a frame from a video including a telop given as an input. The frame analysis unit 12A obtains a frame feature amount such as an edge, a difference, and a color histogram for the frame obtained by the frame acquisition unit 11A, and performs a frame analysis process for estimating the possibility that a telop exists using this. The frame acquisition interval setting unit 13A uses the estimation result of the existence of the telop obtained by the frame analysis unit 12A, that is, the presence / absence of telop character detection in the immediately preceding frame, for the frame obtained by the frame obtaining unit 11A. A process of changing the time interval until the acquisition frame as the next processing target in the acquisition unit 11A is performed. The telop detection unit 14A searches for a frame in which the telop obtained by the frame analysis unit 12A may be included, and performs processing for detecting in detail a region where the telop exists.

次に、図１および図２のフローチャートを参照して本実施の形態の映像文字検出装置の動作について詳細に説明する。   Next, the operation of the video character detection device of this embodiment will be described in detail with reference to the flowcharts of FIGS.

テロップを含む映像から、フレーム取得部１１Ａによってフレームが取得され(ステップ１０１)、フレーム解析部１２Ａに与えられる。フレーム解析部１２Ａでは、エッジ、差分、カラーヒストグラムなどのフレーム特徴量を求め、これを用いてテロップの存在する可能性を推定するフレーム解析処理が行われる(ステップ１０２)。フレーム解析部１２Ａによってテロップが存在すると推定された場合には、当該フレームをテロップ検出部１４Ａに与えて、テロップの存在する領域を詳細に検出する処理が行われる(ステップ１０３)。このテロップ検出については既存の手法を用いてよい。得られたテロップ検出領域についての情報、例えば矩形範囲やフレーム番号などは、検出結果として出力される。さらに、上記のテロップ検出処理(ステップ１０３)と並行して、フレーム解析部１２Ａにおけるフレーム解析処理結果に基づき、フレーム取得間隔設定部１３Ａにおいてフレーム間引きの間隔を変更する処理が行われる(ステップ１０４)。概略としては、フレーム解析部１２Ａによってあるフレームについてテロップが存在すると推定された場合には、フレーム取得部１１Ａにおける当該フレームからのフレーム間引きの間隔を狭くする。逆に、フレーム解析部１２Ａによってテロップの存在確率が低いとされた際には、フレーム取得部１１Ａにおける当該フレーム間引き間隔を広げる。   A frame is acquired by the frame acquisition unit 11A from the video including the telop (step 101), and is provided to the frame analysis unit 12A. The frame analysis unit 12A performs frame analysis processing for obtaining frame feature amounts such as edges, differences, and color histograms and estimating the possibility of the presence of telops using these (step 102). When the frame analysis unit 12A estimates that a telop exists, the frame is supplied to the telop detection unit 14A, and processing for detecting in detail the area where the telop exists is performed (step 103). For this telop detection, an existing method may be used. Information about the obtained telop detection area, for example, a rectangular range and a frame number is output as a detection result. Further, in parallel with the telop detection process (step 103), the frame acquisition interval setting unit 13A performs a process of changing the frame decimation interval based on the frame analysis process result in the frame analysis unit 12A (step 104). . As an outline, when it is estimated by the frame analysis unit 12A that a telop exists for a certain frame, the frame thinning interval from the frame in the frame acquisition unit 11A is narrowed. Conversely, when the frame analysis unit 12A determines that the existence probability of the telop is low, the frame thinning interval in the frame acquisition unit 11A is increased.

このフレーム取得間隔設定部１３Ａでのフレーム間引きの間隔設定処理(ステップ１０４)を、図３に示す模式図を参照して具体的に説明する。入力映像の各フレームを図中左から右の時間軸順に取り出しながら、フレーム解析処理を行い、テロップの存在確率を調べる。テロップはフレーム単位で明滅することは稀であり、その出現区間は連続性をもつと考えられる。すなわち、あるフレームについてテロップが存在しないと判定された場合(図中で×を付加したフレーム)には、そのフレームの近くにはテロップが現れる可能性が少ないと考えられるので、次のフレームを取得するフレーム間隔を広げる。これに対して、テロップが存在するものと推定されたフレーム(図中で○を付加したフレーム)については、時間的に近接するフレームにおいても継続してテロップが表示されているものと考えられるため、フレーム取得の間隔を狭くする。このような処理で入力映像から選択されたフレーム群のみを、テロップ検出部１４Ａにおける以降のテロップ検出処理に与える。これによって、テロップ文字が無いと思われる映像区間では粗く、テロップ文字がありそうな映像区間では細かく探索できる。   The frame thinning interval setting process (step 104) in the frame acquisition interval setting unit 13A will be specifically described with reference to the schematic diagram shown in FIG. While extracting each frame of the input video in order of the time axis from the left to the right in the figure, the frame analysis process is performed to check the existence probability of the telop. A telop rarely flickers in units of frames, and its appearance interval is considered to be continuous. In other words, if it is determined that a telop does not exist for a certain frame (frames with an x in the figure), the telop is unlikely to appear near that frame, so the next frame is acquired. Increase the frame interval. On the other hand, for frames estimated to have telops (frames with a circle in the figure), it is considered that telops are still displayed even in temporally adjacent frames. Reduce the frame acquisition interval. Only the frame group selected from the input video by such processing is given to the subsequent telop detection processing in the telop detection unit 14A. As a result, it is possible to search coarsely in a video section where there is no telop character and finely search in a video section where a telop character is likely.

次に、本実施の形態の効果について説明する。本実施の形態では、文字の無い映像区間や、同一の文字が表示されていると思しき映像区間の処理を回避しつつ、文字のありそうな映像区間や新しいテロップ文字列の出現可能性の高い映像区間を集中的に探査することで映像中の散在するテロップ文字列を、一定間隔でフレーム走査する場合に比べて効率的に検出することができる。そのため、多数の映像が蓄積された映像アーカイブに対して効率的にテロップ検出やその後の認識などの処理を行える。これによって、多数の映像コンテンツを含むデータベースのメタデータ作成や、検索その他の応用展開が容易となる。   Next, the effect of this embodiment will be described. In this embodiment, while avoiding the processing of a video section without characters or a video section that seems to be displaying the same character, a video section that seems to have characters or a new telop character string is highly likely to appear. By intensively searching the video section, scattered telop character strings in the video can be detected more efficiently than when frame scanning is performed at regular intervals. Therefore, processing such as telop detection and subsequent recognition can be efficiently performed on a video archive in which a large number of videos are accumulated. This facilitates the creation of database metadata including a large number of video contents, search, and other application developments.

［第２の実施の形態］
図４を参照すると、本発明の第２の実施の形態の映像文字検出装置はフレーム取得部１１Ｂとフレーム解析部１２Ｂとフレーム取得間隔設定部１３Ｂとテロップ検出部１４Ｂを有する。 [Second Embodiment]
Referring to FIG. 4, the video character detection device according to the second exemplary embodiment of the present invention includes a frame acquisition unit 11B, a frame analysis unit 12B, a frame acquisition interval setting unit 13B, and a telop detection unit 14B.

第２の実施の形態の動作を、第１の実施の形態との相違点を中心に、図５を参照して説明する。   The operation of the second embodiment will be described with reference to FIG. 5 with a focus on differences from the first embodiment.

フレームが与えられたフレーム解析部１２Ｂでは、テロップの存在の検知を行い、テロップがあると判断されたフレームをテロップ検出部１４Ｂに与える。テロップ検出部１４Ｂ内のフレーム取得間隔設定部１３Ｂでは、フレームに含まれるテロップの出現位置を特定し、縦ないし横にスクロールするかどうかをフレーム間で追跡して判定する。スクロールテロップと判断されたテロップについては、推定した移動速度が維持されるものと仮定し、現フレームでの検出位置からスクロールを継続し、画面外に出るまでのフレーム数を推定する。フレーム取得間隔設定部１３Ｂは、この推定フレーム数を、現フレームからのスキップフレーム数としてフレーム取得部１１Ｂに設定する。フレーム取得部１１Ｂは、該スキップフレーム数だけ当該スクロールテロップが出現する間のフレームをスキップし、画面外に消滅した時点のフレームを次フレームとして取得する。   The frame analysis unit 12B to which the frame is given detects the presence of the telop, and gives the frame determined to have the telop to the telop detection unit 14B. The frame acquisition interval setting unit 13B in the telop detection unit 14B specifies the appearance position of the telop included in the frame, and determines whether to scroll vertically or horizontally by tracing between frames. For a telop that is determined to be a scroll telop, it is assumed that the estimated moving speed is maintained, and scrolling is continued from the detected position in the current frame, and the number of frames until it goes out of the screen is estimated. The frame acquisition interval setting unit 13B sets the estimated number of frames in the frame acquisition unit 11B as the number of skip frames from the current frame. The frame acquisition unit 11B skips frames during the appearance of the scroll telop by the number of skip frames, and acquires the frame at the time when it disappears from the screen as the next frame.

本実施の形態によれば、継続表示されている同一のスクロールテロップを繰り返し検出ないし認識することを回避して、探索を効率化できる。   According to the present embodiment, it is possible to avoid the repeated detection or recognition of the same scroll telop that is continuously displayed and to improve the search efficiency.

［第３の実施の形態］
図６を参照すると、本発明の第３の実施の形態の映像文字検出装置はフレーム取得部１１Ｃとフレーム解析部１２Ｃとフレーム取得間隔設定部１３Ｃとテロップ検出部１４Ｃを有する。 [Third Embodiment]
Referring to FIG. 6, the video character detection apparatus according to the third embodiment of the present invention includes a frame acquisition unit 11C, a frame analysis unit 12C, a frame acquisition interval setting unit 13C, and a telop detection unit 14C.

第３の実施の形態の動作を、第１の実施の形態との相違点を中心に、図７を参照して説明する。   The operation of the third embodiment will be described with reference to FIG. 7 with a focus on differences from the first embodiment.

フレームが与えられたフレーム解析部１２Ｃは、テロップの存在の検知を行い、テロップがあると判断されたフレームをテロップ検出部１４Ｃに与える。テロップ検出部１４Ｃ内のフレーム取得間隔設定部１３Ｃは、フレームに含まれるテロップの出現位置を特定し、縦ないし横にスクロールするかどうかをフレーム間で追跡して判定する。このうち、同一箇所に継続して表示されている静止テロップと判断されたものについては、その検出箇所に対応する所定のテロップ表示時間基準を参照して、次フレーム取得までの間隔を決定する。このテロップ表示時間基準は、多くの場合静止テロップは通常可読性のため一定時間以上継続表示されることを踏まえて定められるもので、画面内の位置に依存するフレーム数の分布として設定する。これは図７の画面中央に表示される静止テロップは頻繁に切り替わり表示時間は比較的短いのに対して、画面隅に表示される静止テロップでは、あるトピックについて継続表示されるなど比較的長い場合が多い知見を考慮しているためである。フレーム取得間隔設定部１３Ｃは、このテロップ表示時間基準フレーム数を、現フレームからのスキップフレーム数としてフレーム取得部１１Ｃに設定する。フレーム取得部１１Ｃは、当該静止テロップが出現する間のフレームをスキップして、次フレームの取得を行う。   The frame analysis unit 12C to which the frame is given detects the presence of the telop, and gives the frame determined to have the telop to the telop detection unit 14C. The frame acquisition interval setting unit 13C in the telop detection unit 14C specifies the appearance position of the telop included in the frame, and determines whether to scroll vertically or horizontally by tracing between frames. Among these, for those determined to be still telops that are continuously displayed at the same location, an interval until the next frame acquisition is determined with reference to a predetermined telop display time standard corresponding to the detected location. This telop display time standard is determined based on the fact that in many cases still telops are normally continuously displayed for a certain period of time for readability, and is set as a distribution of the number of frames depending on the position in the screen. This is because the stationary telop displayed in the center of the screen in FIG. 7 is frequently switched and the display time is relatively short, whereas the stationary telop displayed in the corner of the screen is relatively long, such as being continuously displayed on a topic. This is because many knowledge is taken into consideration. The frame acquisition interval setting unit 13C sets the telop display time reference frame number in the frame acquisition unit 11C as the number of skip frames from the current frame. The frame acquisition unit 11C skips the frame while the still telop appears and acquires the next frame.

本実施の形態によれば、継続表示されている同一の静止テロップを繰り返し検出ないし認識することを回避して、探索を効率化できる。   According to the present embodiment, it is possible to avoid the repeated detection or recognition of the same still telop that is continuously displayed and to improve the search efficiency.

［第４の実施の形態］
本発明の映像文字検出装置は、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータ内の揮発性メモリのように、一定時間プログラムを保持しているものを含む。 [Fourth Embodiment]
The video character detection device of the present invention records a program for realizing its function on a computer-readable recording medium, and causes the computer to read and execute the program recorded on the recording medium. Also good. The computer-readable recording medium refers to a recording medium such as a flexible disk, a magneto-optical disk, and a CD-ROM, and a storage device such as a hard disk device built in a computer system. Further, the computer-readable recording medium is a medium that dynamically holds the program for a short time (transmission medium or transmission wave) as in the case of transmitting the program via the Internet, and in the computer serving as a server in that case Such as a volatile memory that holds a program for a certain period of time.

［変形例］
本発明は上記の実施の形態に限られるものではなく、本発明の範囲内で種々の変形、修正が可能である。 [Modification]
The present invention is not limited to the above-described embodiments, and various modifications and corrections are possible within the scope of the present invention.

例えば、第２の実施の形態と、第３の実施の形態を組み合わせ、静止テロップとスクロールテロップのそれぞれを並行して処理する構成としてもよい。   For example, the second embodiment and the third embodiment may be combined, and a stationary telop and a scroll telop may be processed in parallel.

また、静止テロップについてスキップしたフレームの前後で認識結果が異なる場合には、時間軸の逆方向に所定フレーム数戻って再度探索を行い、テロップ表示の更新されたフレームを検出してもよい。   If the recognition result is different before and after the skipped frame for the still telop, the search may be performed again by returning a predetermined number of frames in the reverse direction of the time axis to detect the updated telop display frame.

さらに、スキップ中新規に出現した別テロップを発見できるように、処理スキップをテロップの検出された領域に限定しつつ、フレームの他の部分では探索を継続するようにしてもよい。   Further, the search may be continued in the other part of the frame while the processing skip is limited to the area where the telop is detected so that another telop that newly appears during the skip can be found.

あるいは、映像に音声が付随する場合には、その音声を既存の手法で認識し、音声が発せられる映像区間においてはテロップの出現の確率が高いとしてフレーム取得間隔を狭くするなど、認識音声情報を用いてフレーム取得間隔を設定するようにしてもよい。   Alternatively, if the video is accompanied by audio, the audio is recognized by an existing method, and in the video section where the audio is emitted, the recognized audio information is reduced such that the frame acquisition interval is narrowed because the probability of appearance of a telop is high. It may be used to set the frame acquisition interval.

第３の実施の形態の変形例として、所定のテロップ表示時間基準の代わりに、事前ないしリアルタイムに映像ライブラリからテロップの継続時間の分布を調べ、その平均などの統計量を算出して学習し、これをテロップ表示時間基準に用いてもよい。   As a modified example of the third embodiment, instead of a predetermined telop display time reference, a distribution of telop durations is examined from a video library in advance or in real time, and a statistic such as an average is calculated and learned. This may be used as a telop display time reference.

なお、上記におけるすべての構成において、テロップ検出出力部の検出テロップ出力を既知の手法を用いるテロップ認識手段に与えてその表示内容を認識するようにしてもよい。   In all the configurations described above, the detected telop output of the telop detection output unit may be given to telop recognition means using a known method to recognize the display content.

本発明によれば、多数の放送映像に含まれる情報を抽出し、展開応用を容易にするシステムに広く適用できる。たとえば、映像コンテンツを含むデータベースのメタデータ作成や、映像検索システムにおけるサムネイル画像などによるインデクス作成等の用途に用いることができる。   The present invention can be widely applied to systems that extract information included in a large number of broadcast videos and facilitate deployment applications. For example, it can be used for metadata creation of a database including video content, index creation by thumbnail images, etc. in a video search system.

本発明の第１の実施の形態の映像文字検出装置のブロック図である。It is a block diagram of the video character detection apparatus of the 1st Embodiment of this invention. 第１の実施の形態の映像文字検出装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the video character detection apparatus of 1st Embodiment. 第１の実施の形態におけるフレーム取得間隔設定部１３Ａの動作を説明する模式図である。It is a schematic diagram explaining operation | movement of the flame | frame acquisition space | interval setting part 13A in 1st Embodiment. 本発明の第２の実施の形態の映像文字検出装置のブロック図である。It is a block diagram of the video character detection apparatus of the 2nd Embodiment of this invention. 第２の実施の形態におけるフレーム取得間隔設定部１３Ｂの動作を説明する模式図である。It is a schematic diagram explaining operation | movement of the flame | frame acquisition space | interval setting part 13B in 2nd Embodiment. 本発明の第３の実施の形態の映像文字検出装置のブロック図である。It is a block diagram of the video character detection apparatus of the 3rd Embodiment of this invention. 第３の実施の形態において対象とするテロップを含む映像の画面例を表す模式図である。It is a schematic diagram showing the example of a screen of the image | video containing the target telop in 3rd Embodiment.

符号の説明Explanation of symbols

１１Ａ、１１Ｂ、１１Ｃ フレーム取得部
１２Ａ、１２Ｂ、１１Ｃ フレーム解析部
１３Ａ、１３Ｂ、１３Ｃ フレーム取得間隔設定部
１４Ａ、１４Ｂ、１４Ｃ テロップ検出部 11A, 11B, 11C Frame acquisition unit 12A, 12B, 11C Frame analysis unit 13A, 13B, 13C Frame acquisition interval setting unit 14A, 14B, 14C Telop detection unit

Claims (18)

入力として与えられた、テロップを含む映像からフレームを取得するフレーム取得ステップと、
前記フレーム取得ステップより得られたフレームを解析し、テロップの存在する可能性を推定する処理を行うフレーム解析ステップと、
前記フレーム取得ステップで得られたフレームについて、前記フレーム解析ステップによって得られたテロップの存在可能性の推定結果をもとに、前記フレーム取得ステップで取得する、次の処理対象とするフレームまでの時間間隔を変更するフレーム取得間隔設定ステップと、
前記フレーム解析ステップによって得られたテロップの含まれる可能性のあるフレーム内を探索し、テロップの存在する領域を詳細に検出する処理を行うテロップ検出ステップと
を有する映像文字検出方法。 A frame acquisition step of acquiring a frame from a video including a telop given as an input;
A frame analysis step of analyzing the frame obtained from the frame acquisition step and performing a process of estimating the possibility of the presence of a telop;
For the frame obtained in the frame acquisition step, the time until the next frame to be processed, acquired in the frame acquisition step, based on the estimation result of the existence of the telop obtained in the frame analysis step A frame acquisition interval setting step for changing the interval;
A video character detection method comprising: a telop detection step of searching in a frame in which a telop obtained by the frame analysis step may contain a telop and performing a process of detecting in detail a region where the telop exists. 前記フレーム取得間隔設定ステップは、前記フレーム解析ステップによって得られたテロップの存在可能性の推定結果を用い、テロップが存在しないと推定されたフレームについては、次処理対象とするフレームまでの時間間隔を大きくし、テロップが存在すると推定されたフレームについては、次処理対象とするフレームまでの時間間隔を小さくする、請求項１記載の映像文字検出方法。   The frame acquisition interval setting step uses the estimation result of the presence of the telop obtained in the frame analysis step, and for a frame estimated to have no telop, the time interval until the frame to be processed next is set. The video character detection method according to claim 1, wherein the time interval until a frame to be processed next is reduced for a frame that is enlarged and estimated to have a telop. 前記フレーム取得間隔設定ステップは、画面中を移動するテロップの現フレームにおける画面内検出位置と推定移動速度より、当該テロップが画面内に残留する時間を推定して次処理対象とするフレームまでの時間間隔とする、請求項１記載の映像文字検出方法。   The frame acquisition interval setting step estimates the time that the telop remains in the screen from the in-screen detection position and the estimated moving speed in the current frame of the telop that moves in the screen, and the time until the frame to be processed next The video character detection method according to claim 1, wherein the interval is an interval. 前記フレーム取得間隔設定ステップは、同一箇所に継続表示される静止テロップの検出箇所に対応する所定のテロップ表示時間基準を参照して、次処理対象とするフレームまでの時間間隔とする、請求項１記載の映像文字検出方法。   The frame acquisition interval setting step refers to a predetermined telop display time reference corresponding to a detected position of a stationary telop continuously displayed at the same location, and sets a time interval to a frame to be processed next. The video character detection method described. 前記フレーム取得間隔設定ステップは、前記所定のテロップ表示時間基準の代わりに、事前にまたはリアルタイムに映像ライブラリからテロップの継続時間の分布を調べ、その平均などの統計量を算出して学習し、これをテロップ表示時間基準に用いる、請求項４記載の映像文字検出方法。   In the frame acquisition interval setting step, instead of the predetermined telop display time reference, the distribution of the telop duration time is examined from the video library in advance or in real time, and a statistic such as an average is calculated and learned. 5. The video character detection method according to claim 4, wherein is used as a telop display time reference. 前記フレーム取得間隔設定ステップは、映像に音声が付随する場合には、その音声を認識し、音声が発せられる映像区間においてはテロップの出現の確率が高いとしてフレーム取得間隔を狭くする、請求項１記載の映像文字検出方法。   2. The frame acquisition interval setting step recognizes the audio if the video is accompanied by audio, and narrows the frame acquisition interval on the assumption that the probability of appearance of a telop is high in the video section where the audio is emitted. The video character detection method described. 入力として与えられた、テロップを含む映像からフレームを取得するフレーム取得手段と、
前記フレーム取得手段より得られたフレームを解析し、テロップの存在する可能性を推定する処理を行うフレーム解析手段と、
前記フレーム取得手段で得られたフレームについて、前記フレーム解析手段によって得られたテロップの存在可能性の推定結果をもとに、前記フレーム取得手段で取得する、次の処理対象とするフレームまでの時間間隔を変更するフレーム取得間隔設定手段と、
前記フレーム解析手段によって得られたテロップの含まれる可能性のあるフレーム内を探索し、テロップの存在する領域を詳細に検出する処理を行うテロップ検出手段と
を有する映像文字検出装置。 Frame acquisition means for acquiring a frame from a video including a telop given as an input;
Analyzing the frame obtained from the frame acquisition means, frame analysis means for performing a process of estimating the presence of a telop,
For the frame obtained by the frame obtaining unit, the time until the next processing target frame obtained by the frame obtaining unit based on the estimation result of the existence of the telop obtained by the frame analyzing unit Frame acquisition interval setting means for changing the interval;
A video character detection device comprising: a telop detection unit that searches a frame in which a telop obtained by the frame analysis unit may be included and detects a region in which the telop exists in detail. 前記フレーム取得間隔設定手段は、前記フレーム解析手段によって得られたテロップの存在可能性の推定結果を用い、テロップが存在しないと推定されたフレームについては、次処理対象とするフレームまでの時間間隔を大きくし、テロップが存在すると推定されたフレームについては、次処理対象とするフレームまでの時間間隔を小さくする、請求項７記載の映像文字検出装置。   The frame acquisition interval setting means uses the estimation result of the existence possibility of the telop obtained by the frame analysis means, and for the frame estimated that no telop exists, the time interval until the next processing target frame is set. The video character detection device according to claim 7, wherein the time interval until a frame to be processed next is reduced for a frame that is enlarged and estimated to have a telop. 前記フレーム取得間隔設定手段は、画面中を移動するテロップの現フレームにおける画面内検出位置と推定移動速度より、当該テロップが画面内に残留する時間を推定して次処理対象とするフレームまでの時間間隔とする、請求項７記載の映像文字検出装置。   The frame acquisition interval setting means estimates the time that the telop remains in the screen from the detected position and estimated moving speed in the current frame of the telop that moves in the screen, and the time until the frame to be processed next The video character detection device according to claim 7, wherein the video character detection device is an interval. 前記フレーム取得間隔設定手段は、同一箇所に継続表示される静止テロップの検出箇所に対応する所定のテロップ表示時間基準を参照して、次処理対象とするフレームまでの時間間隔とする、請求項７記載の映像文字検出装置。   The frame acquisition interval setting means refers to a predetermined telop display time reference corresponding to a detected position of a stationary telop that is continuously displayed at the same location, and sets a time interval to a frame to be processed next. The video character detection device described. 前記フレーム取得間隔設定手段は、前記所定のテロップ表示時間基準の代わりに、事前にまたはリアルタイムに映像ライブラリからテロップの継続時間の分布を調べ、その平均などの統計量を算出して学習し、これをテロップ表示時間基準に用いる、請求項１０記載の映像文字検出装置。   The frame acquisition interval setting means examines the distribution of the telop duration from the video library in advance or in real time instead of the predetermined telop display time reference, calculates and learns statistics such as the average, The video character detection device according to claim 10, which is used as a telop display time reference. 前記フレーム取得間隔設定手段は、映像に音声が付随する場合には、その音声を認識し、音声が発せられる映像区間においてはテロップの出現の確率が高いとしてフレーム取得間隔を狭くする、請求項７記載の映像文字検出装置。   The frame acquisition interval setting means recognizes the audio when the video is accompanied by audio, and narrows the frame acquisition interval because the probability of appearance of a telop is high in the video section where the audio is emitted. The video character detection device described. 入力として与えられた、テロップを含む映像からフレームを取得するフレーム取得手順と、
前記フレーム取得手順より得られたフレームを解析し、テロップの存在する可能性を推定する処理を行うフレーム解析手順と、
前記フレーム取得手順で得られたフレームについて、前記フレーム解析手順によって得られたテロップの存在可能性の推定結果をもとに、前記フレーム取得手順で取得する、次の処理対象とするフレームまでの時間間隔を変更するフレーム取得間隔設定手順と、
前記フレーム解析手順によって得られたテロップの含まれる可能性のあるフレーム内を探索し、テロップの存在する領域を詳細に検出する処理を行うテロップ検出手順と
をコンピュータに実行させるための映像文字検出プログラム。 A frame acquisition procedure for acquiring a frame from a video including a telop given as an input;
Analyzing the frame obtained from the frame acquisition procedure, a frame analysis procedure for performing a process of estimating the presence of a telop,
Time until the next frame to be processed, acquired by the frame acquisition procedure, based on the estimation result of the existence of a telop obtained by the frame analysis procedure for the frame obtained by the frame acquisition procedure Frame acquisition interval setting procedure to change the interval,
A video character detection program for causing a computer to execute a telop detection procedure for searching for a frame in which a telop obtained by the frame analysis procedure may be included and detecting a region where the telop exists in detail. . 前記フレーム取得間隔設定手順は、前記フレーム解析手順によって得られたテロップの存在可能性の推定結果を用い、テロップが存在しないと推定されたフレームについては、次処理対象とするフレームまでの時間間隔を大きくし、テロップが存在すると推定されたフレームについては、次処理対象とするフレームまでの時間間隔を小さくする、請求項１３記載の映像文字検出プログラム。   The frame acquisition interval setting procedure uses the estimation result of the existence of a telop obtained by the frame analysis procedure, and for a frame estimated to have no telop, the time interval until the frame to be processed next is set. The video character detection program according to claim 13, wherein the time interval until a frame to be processed next is reduced for a frame that is enlarged and estimated to have a telop. 前記フレーム取得間隔設定手順は、画面中を移動するテロップの現フレームにおける画面内検出位置と推定移動速度より、当該テロップが画面内に残留する時間を推定して次処理対象とするフレームまでの時間間隔とする、請求項１３記載の映像文字検出プログラム。   The frame acquisition interval setting procedure is based on the detection time and estimated moving speed in the current frame of the telop moving in the screen, and the time until the telop remains in the screen until the frame to be processed next. 14. The video character detection program according to claim 13, wherein the video character detection program is an interval. 前記フレーム取得間隔設定手順は、同一箇所に継続表示される静止テロップの検出箇所に対応する所定のテロップ表示時間基準を参照して、次処理対象とするフレームまでの時間間隔とする、請求項１３記載の映像文字検出プログラム。   14. The frame acquisition interval setting procedure refers to a predetermined telop display time reference corresponding to a detected position of a stationary telop that is continuously displayed at the same location, and sets a time interval to a frame to be processed next. The video character detection program described. 前記フレーム取得間隔設定手順は、前記所定のテロップ表示時間基準の代わりに、事前にまたはリアルタイムに映像ライブラリからテロップの継続時間の分布を調べ、その平均などの統計量を算出して学習し、これをテロップ表示時間基準に用いる、請求項１６記載の映像文字検出プログラム。   In the frame acquisition interval setting procedure, instead of the predetermined telop display time reference, the distribution of the telop duration time is examined from the video library in advance or in real time, and a statistic such as an average is calculated and learned. The video character detection program according to claim 16, wherein is used as a telop display time reference. 前記フレーム取得間隔設定手順は、映像に音声が付随する場合には、その音声を認識し、音声が発せられる映像区間においてはテロップの出現の確率が高いとしてフレーム取得間隔を狭くする、請求項１３記載の映像文字検出プログラム。   The frame acquisition interval setting procedure recognizes the sound when the video is accompanied by audio, and narrows the frame acquisition interval on the assumption that the appearance probability of the telop is high in the video section where the audio is emitted. The video character detection program described.
JP2007334580A 2007-12-26 2007-12-26 Video character detection method, apparatus, and program Active JP4930364B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007334580A JP4930364B2 (en) 2007-12-26 2007-12-26 Video character detection method, apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007334580A JP4930364B2 (en) 2007-12-26 2007-12-26 Video character detection method, apparatus, and program

Publications (2)

Publication Number Publication Date
JP2009159260A true JP2009159260A (en) 2009-07-16
JP4930364B2 JP4930364B2 (en) 2012-05-16

Family

ID=40962795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007334580A Active JP4930364B2 (en) 2007-12-26 2007-12-26 Video character detection method, apparatus, and program

Country Status (1)

Country Link
JP (1) JP4930364B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10037606B2 (en) 2014-03-05 2018-07-31 Nec Corporation Video analysis apparatus, monitoring system, and video analysis method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11167583A (en) * 1997-12-04 1999-06-22 Nippon Telegr & Teleph Corp <Ntt> Telop character recognition method, video storage display device, telop character recognition and retrieval terminal and video retrieval terminal
JP2000187904A (en) * 1998-12-17 2000-07-04 Matsushita Electric Ind Co Ltd Video recording device and program recording medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11167583A (en) * 1997-12-04 1999-06-22 Nippon Telegr & Teleph Corp <Ntt> Telop character recognition method, video storage display device, telop character recognition and retrieval terminal and video retrieval terminal
JP2000187904A (en) * 1998-12-17 2000-07-04 Matsushita Electric Ind Co Ltd Video recording device and program recording medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10037606B2 (en) 2014-03-05 2018-07-31 Nec Corporation Video analysis apparatus, monitoring system, and video analysis method

Also Published As

Publication number Publication date
JP4930364B2 (en) 2012-05-16

Similar Documents

Publication Publication Date Title
JP4643829B2 (en) System and method for analyzing video content using detected text in a video frame
JP5031312B2 (en) Method and system for generating a video summary including a plurality of frames
JP4613867B2 (en) Content processing apparatus, content processing method, and computer program
Zabih et al. A feature-based algorithm for detecting and classifying production effects
WO2018028583A1 (en) Subtitle extraction method and device, and storage medium
JP4981128B2 (en) Keyframe extraction from video
US8103062B2 (en) Video processing apparatus
JP4377887B2 (en) Video dividing device
TWI457770B (en) Keyword extraction method and device, search method and device, and storage medium readable by a computer
KR20040070269A (en) Family histogram based techniques for detection of commercials and other video content
JPH08227462A (en) Method and device for detecting change point of moving picture
JP2010246161A (en) Apparatus and method for locating commercial disposed within video data stream
KR20030026529A (en) Keyframe Based Video Summary System
JP2010503006A5 (en)
JP2014139681A (en) Method and device for adaptive video presentation
CN112567416A (en) Apparatus and method for processing digital video
US20070061727A1 (en) Adaptive key frame extraction from video data
JP4930364B2 (en) Video character detection method, apparatus, and program
JPH11265396A (en) Music video classification method, its device and medium for recording music video classification program
Zhang et al. A new edge-based text verification approach for video
JP5176487B2 (en) Image character detection device, image character detection method, and image character detection program
US8594454B2 (en) Image production device, reproduction device, reproduction system, image production method, and reproduction method
JP3024574B2 (en) Video search device
CN108363981B (en) Title detection method and device
Detyniecki et al. Video rushes summarization by adaptive acceleration and stacking of shots

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120130

R150 Certificate of patent or registration of utility model

Ref document number: 4930364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3