JP2014212434A - Device and method for video signal processing, program, and recording medium - Google Patents
Device and method for video signal processing, program, and recording medium Download PDFInfo
- Publication number
- JP2014212434A JP2014212434A JP2013087598A JP2013087598A JP2014212434A JP 2014212434 A JP2014212434 A JP 2014212434A JP 2013087598 A JP2013087598 A JP 2013087598A JP 2013087598 A JP2013087598 A JP 2013087598A JP 2014212434 A JP2014212434 A JP 2014212434A
- Authority
- JP
- Japan
- Prior art keywords
- telop
- interpolation
- video signal
- time
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/66—Transforming electric information into light information
Abstract
Description
本発明は、映像信号処理装置及び方法に関し、特に映像中の不要なテロップ領域を削除する方法に関する。本発明はまた、上記の映像信号処理装置の構成要素の機能、又は映像信号処理方法の各ステップの処理をコンピュータで実現するためのプログラム、及び該プログラムを記録した記録媒体に関する。 The present invention relates to a video signal processing apparatus and method, and more particularly to a method for deleting an unnecessary telop area in a video. The present invention also relates to a program for realizing the functions of the constituent elements of the video signal processing apparatus or the steps of the video signal processing method by a computer, and a recording medium on which the program is recorded.
映像に含まれる緊急速報などのテロップは、リアルタイムで視聴する場合は意味を持つが、録画した映像信号を視聴する場合にはテロップの情報が必要でない場合が多い。そこで輝度情報と色差情報から文字領域を検出し、文字画素の近傍の画素を使って作成した補間値で上書きし、表示が点滅、あるいは移動している場合は時間的に近接したフレームから補間値を求め、文字情報に対する上書きを行っていた（例えば、特許文献１）。 A telop such as an emergency bulletin included in a video is meaningful when viewed in real time, but in many cases, telop information is not necessary when viewing a recorded video signal. Therefore, the character area is detected from the luminance information and the color difference information, overwritten with the interpolation value created using the pixels near the character pixel, and if the display is blinking or moving, the interpolation value is calculated from the temporally adjacent frame. The character information is overwritten (for example, Patent Document 1).
従来のように、時間的近接フレームから文字画素の補間値を求めると、当該フレームと時間的に近接したフレームとの間にシーンチェンジがあった場合に補間値が当該フレームとは異なるシーンの映像になり、この補間値で文字画素を上書きした映像は上書きされた領域だけ異なるシーンの映像がはめ込まれ、周囲と調和しない映像になるという問題があった。 When the interpolated value of a character pixel is obtained from a temporally close frame as in the past, if there is a scene change between the frame and the temporally close frame, the video of the scene where the interpolated value is different from the frame Thus, there is a problem that the video in which the character pixel is overwritten with the interpolation value is inserted into the video of a scene that is different only in the overwritten area, and the video does not match the surroundings.
本発明は、緊急速報などのテロップを消去し、シーンチェンジが発生した場合にも、本来の画像（テロップを重ねる前の画像）に、より近い画像を生成することを可能にすることを目的とする。 An object of the present invention is to make it possible to generate an image that is closer to the original image (the image before the telop is overlaid) even when a telop such as an emergency bulletin is deleted and a scene change occurs. To do.
本発明の映像信号処理装置は、
映像信号で表される映像に含まれるテロップの文字を構成する画素を検出するとともに、前記テロップの出現時刻及び消滅時刻を検出するとともに、前記テロップの出現時刻から消滅時刻までの期間にテロップが１回以上変更された場合には、該変更の時刻を検出するテロップ検出部と、
前記映像のシーンチェンジを検出するシーンチェンジ検出部と、
前記検出されたテロップの文字を構成する画素を含む領域を補間対象領域として、当該補間対象領域内の画素値を、前記補間対象領域外の画素の画素値で補間して、補間後の映像信号を出力する画像処理部とを有し、
前記画像処理部は、前記テロップ検出部によって検出されたテロップの出現時刻、消滅時刻、及び変更時刻、並びに前記シーンチェンジ検出部によって検出されたシーンチェンジの発生時刻に基づいて、前記補間の方法を決定する
ことを特徴とする。
The video signal processing apparatus of the present invention is
While detecting pixels constituting the telop character included in the video represented by the video signal, the appearance time and disappearance time of the telop are detected, and the telop is 1 in the period from the appearance time to the disappearance time of the telop. When changed more than once, a telop detection unit that detects the time of the change;
A scene change detector for detecting a scene change of the video;
Interpolated video signal by interpolating the pixel value in the interpolation target area with the pixel value of the pixel outside the interpolation target area, with the area including the pixels constituting the detected telop character as the interpolation target area An image processing unit for outputting
The image processing unit performs the interpolation method based on the appearance time, disappearance time, and change time of the telop detected by the telop detection unit, and the occurrence time of the scene change detected by the scene change detection unit. It is characterized by being determined.
本発明は、映像信号からテロップ出現時刻、テロップ消滅時刻、テロップ変更時刻、及びシーンチェンジ時刻を検出し、これらに基づいて異なる方法でテロップを構成する文字の画素の画素値の置き換えを行っているので、本来の画像により近い画像を表す映像信号を生成することができる。 The present invention detects a telop appearance time, a telop disappearance time, a telop change time, and a scene change time from the video signal, and replaces pixel values of character pixels constituting the telop based on these. Therefore, it is possible to generate a video signal representing an image closer to the original image.
実施の形態１．
図１は、本発明の実施の形態１に係る映像信号処理装置の構成を示す。図示の映像信号処理装置は、制御部１と、ストリーム解析部２と、画像処理部３とを備える。
制御部１は、デマックス（多重分離部）１１と、ストリームバッファ１２と、デコーダ１３と、デコーダ１４とを備える。
FIG. 1 shows a configuration of a video signal processing apparatus according to
The
制御部１には、トランスポートストリーム（ＴＳ）が入力される。デマックス１１は制御部１に入力されたトランスポートストリームから、映像信号を分離する。ストリームバッファ１２は、デマックス１１によって分離された映像信号（符号化映像信号）を一旦蓄積する。ストリームバッファ１２からストリーム解析用の符号化映像信号が読み出されてデコーダ１３に出力され、画像処理用の符号化映像信号が読み出されてデコーダ１４に出力される。
A transport stream (TS) is input to the
デコーダ１４は入力された符号化映像信号を復号し、復号後の映像信号Ｄ１４を画像処理用の映像信号として画像処理部３に出力する。以下では、復号後の映像信号を単に映像信号と呼ぶこともある。
The
デコーダ１３は入力された符号化映像信号を復号し、復号後の映像信号Ｄ１３をストリーム解析用の映像信号としてストリーム解析部２に出力する。デコーダ１３からストリーム解析部２に供給される映像信号には、各フレームの時刻（再生時刻、例えばコンテンツの先頭からの再生時間）を示す情報（フレーム時刻情報）ＦＴＮが付加されている。このフレーム時刻情報ＦＴＮとしては、例えばフレームの番号又はプレゼンテーションタイムスタンプを用いることができる。
The
ストリーム解析部２は、テロップ検出部２０と、シーンチェンジ検出部２３とを備え、デコーダ１３から映像信号Ｄ１３は、テロップ検出部２０とシーンチェンジ検出部２３とに入力される。
The
テロップ検出部２０は、映像に含まれるテロップの文字を内部に含むテロップ領域を検出し、テロップの出現時刻及び消滅時刻を検出するとともに、テロップの出現時刻から消滅時刻までの期間にテロップが１回以上変更された場合には、該変更の時刻を検出する。
The
テロップ検出部２０は、テロップ領域検出部２１と、テロップ切替点検出部２２とを有する。
テロップ領域検出部２１は、映像信号Ｄ１３で表される映像の各フレームに含まれるテロップ領域の位置を検出する。即ち、テロップ領域検出部２１は各フレームの映像信号から映像信号に重畳された文字であるテロップを検出し、テロップで占められる領域の位置を検出し、該領域の、フレーム内における位置を特定する情報（テロップ領域検出位置情報）Ｄ２１ａと、テロップが検出された時刻（テロップが検出されたフレームの時刻）を示す情報Ｄ２１ｂをテロップ切替点検出部２２に出力する。ここで言う時刻も、例えばコンテンツの先頭を基準とした相対時刻であって、テロップが検出されたフレームを特定する情報（フレーム番号）であっても良く、プレゼンテーションタイムスタンプであっても良い。以下の説明における他の「時刻」についても同様である。
The
The telop
テロップ切替点検出部２２は、入力されたテロップに関する情報（Ｄ２１ａ、Ｄ２１ｂ）を内部のメモリ２２ｍに蓄積し、蓄積した情報に基づいてテロップ領域の位置（フレーム内における空間的位置）の時間変化を解析する。そして、テロップ領域の位置が所定の閾値よりも大きく変化した時刻をテロップ変更時刻乃至変更点として検出する。
The telop switching
テロップ切替点検出部２２はまた、入力されたテロップに関する情報（Ｄ２１ａ、Ｄ２１ｂ）に基づいて、テロップの出現の検出（出現したとの判定）、及びテロップの消滅の検出（消滅したとの判定）をも行い、これらが検出された時刻を、テロップ出現時刻乃至出現点、テロップ消滅時刻乃至消滅点として検出する。
The telop switching
テロップ切替点検出部２２は、検出されたテロップの出現、消滅、変更の時刻を示す情報を、テロップ切替時刻情報Ｄ２２ａとして出力する。
The telop
以下では、テロップの出現時刻（出現点）、消滅時刻（消滅点）及び変更時刻（変更点）を切替時刻（切替点）と総称し、テロップの出現時刻から消滅時刻までの期間のうち、一つの切替時刻から次の切替時刻までの期間を一つのテロップの持続期間と言う。一つの持続期間は一つのテロップが連続して表示される期間である。 Hereinafter, the appearance time (appearance point), disappearance time (disappearance point), and change time (change point) of a telop are collectively referred to as switching time (switching point), and one of the periods from the appearance time of the telop to the disappearance time is one. A period from one switching time to the next switching time is called a duration of one telop. One duration is a period in which one telop is continuously displayed.
テロップ切替点検出部２２はまた、テロップ領域検出部２１で検出されたテロップの出現時刻から消滅時刻までの期間のうち、１又は２以上のテロップの各々の持続期間について、テロップ領域の代表的位置を検出し、該代表的位置を表す情報Ｄ２２ｂを出力する。
The telop switching
例えば、テロップの持続期間の各々におけるテロップ領域の検出位置の平均的位置、又は当該持続期間内のフレームのいずれかにおけるテロップ領域の検出位置が、当該持続期間におけるテロップ領域の代表的位置として用いられる。 For example, the average position of the detected position of the telop area in each of the telop durations, or the detected position of the telop area in any of the frames within the duration is used as the representative position of the telop area in the duration. .
シーンチェンジ検出部２３は、映像信号Ｄ１３で表される映像のシーンチェンジを検出する。シーンチェンジとは、映像のシーンの切り替わりである。シーンチェンジ検出部２３は、シーンチェンジが発生した時刻を示す情報（シーンチェンジ時刻情報）Ｄ２３を出力する。ここでも、時刻とは例えばコンテンツ内における再生時刻（コンテンツの先頭からの経過時間）を意味する。
The scene
ストリーム解析部２は、テロップ切替点検出部２２が生成したテロップ切替時刻情報Ｄ２２ａとテロップ領域代表位置情報Ｄ２２ｂと、シーンチェンジ検出部２３が生成したシーンチェンジ時刻情報Ｄ２３とを画像処理部３に供給する。
The
画像処理部３は、デコーダ１４からの映像信号Ｄ１４を受け、テロップ切替時刻情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ時刻情報Ｄ２３を参照して、テロップ検出部２０で検出されたテロップ領域を補間対象領域として、補間対象領域内の画素の画素値を、補間対象領域以外の画素の画素値で補間して、補間後の映像信号を出力する。
The
補間の方法として、画像処理部３は、補間対象領域と同じフレーム内の画素を用いる空間補間、又は補間対象領域とは異なるフレーム内の、補間対象領域と同じ位置の画素を用いる時間補間、又は空間補間と時間補間の組合せのいずれかを選択する。
時間補間と空間補間の組合せを用いる場合には、時間補間を優先的に用いる方が良い。
As an interpolation method, the
When using a combination of temporal interpolation and spatial interpolation, it is better to use temporal interpolation preferentially.
画像処理部３は、テロップの出現時刻から消滅時刻までの期間（テロップの表示期間）内における１又は２以上のテロップの各々の持続期間について、補間方法を決定し、各持続期間におけるテロップの代表的位置（テロップ切替点検出部２２で検出される）の領域を補間対象領域として、該補間対象領域内の画素に対して決定された補間方法で補間を行う。
補間方法の決定は以下のように行われる。
The
The interpolation method is determined as follows.
まず、画像処理部３は、テロップ変更時刻の前及び後の一方にあるフレーム内の補間対象領域内の画素の補間に当たり、当該テロップ変更時刻を挟んで反対側にあるフレーム内の、補間対象領域と同じ位置が、上記反対側にあるフレーム内に位置するテロップの文字を構成する画素を含む領域内のものであるか否か（テロップの文字で隠されているか否か）に応じて異なる方法で補間を行う。即ち、テロップの文字で隠されていない場合には、当該同じ位置の画素の画素値を用いた時間補間を行う。一方、テロップの文字で隠されている場合には、補間対象領域と同じフレーム内の画素の画素値を用いた空間補間を行う。
First, when interpolating the pixels in the interpolation target area in the frame that is one before or after the telop change time, the
また、画像処理部３は、テロップの出現時刻から消滅時刻までの期間内に、１又は２以上のシーンチェンジが検出された場合、各シーンチェンジの発生時刻の前及び後のうちの一方におけるフレーム内の補間対象領域内の画素の補間に当たり、当該シーンチェンジの発生時刻を挟んで反対側に位置するフレーム内の画素を用いた補間を行わず、当該シーンチェンジの発生時刻に対して同じ側に位置するフレーム内の画素を用いて補間を行う。
In addition, when one or two or more scene changes are detected within the period from the appearance time to the disappearance time of the telop, the
また、画像処理部３は、テロップ出現時刻から消滅時刻までの期間（テロップ表示期間）内に、シーンチェンジが発生したか否かに応じて補間方法を変える。即ち上記テロップ表示期間内にシーンチェンジが発生しなかった場合には、上記テロップ表示期間内のすべてのフレーム内の補間対象領域内の画素の補間を、当該補間対象領域を含むフレームとは異なるフレーム内の画素を用いた時間補間で行う。
上記テロップ表示期間内に、１又は２以上のシーンチェンジが発生した場合には、シーンチェンジ発生時刻で分割されるそれぞれの区間毎に、以下のように補間方法を決める。
テロップ出現時刻から上記１又は２以上のシーンチェンジのうちの最初のシーンチェンジの発生時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、テロップ出現時刻よりも前のフレーム内の画素を用いた時間補間で行う。
上記１又は２以上のシーンチェンジのうちの最後のシーンチェンジの発生時刻から消滅時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、前記テロップ消滅時刻よりも後のフレーム内の画素を用いた時間補間で行う。
Further, the
When one or more scene changes occur within the telop display period, the interpolation method is determined as follows for each section divided at the scene change occurrence time.
Interpolation of pixels in the interpolation target area in the frame in the period from the telop appearance time to the first scene change occurrence time among the one or more scene changes is performed in the frame before the telop appearance time. Performed by time interpolation using pixels.
Among the one or more scene changes, the interpolation of the pixels in the interpolation target area in the frame in the period from the last scene change occurrence time to the disappearance time is performed in a frame after the telop disappearance time. Performed by time interpolation using pixels.
さらに、画像処理部３は、テロップ出現時刻から消滅時刻までの期間内に発生した１又は２以上のシーンチェンジのうちの１つのシーンチェンジの発生時刻から次のシーンチェンジの発生時刻までの期間（シーンチェンジ間期間）については、当該シーンチェンジ間期間にテロップ変更点が含まれているか否かに応じて以下のように補間方法を変える。即ち、当該シーンチェンジ間期間にテロップ変更点が含まれている場合には、上記テロップ変更点の一方の側のフレーム内の補間対象領域内の画素の補間に当たって、上記テロップ変更点の他方の側のフレーム内の、上記補間対象領域と同じ位置の画素が、当該他方の側のフレーム内におけるテロップの文字を構成する画素を含む領域内のものであるか否か（テロップの文字で隠されているか否か）に応じて異なる方法で補間を行う。
即ち、テロップの文字で隠されていない場合には、当該同じ位置の画素の画素値を用いた時間補間を行う。一方、テロップの文字で隠されている場合には、上記補間対象領域と同じフレーム内の画素を用いた空間補間を行う。
Furthermore, the
That is, when not hidden by the telop characters, temporal interpolation is performed using the pixel value of the pixel at the same position. On the other hand, when the text is hidden by the telop character, spatial interpolation is performed using pixels in the same frame as the interpolation target area.
画像処理部３は、補間処理部３１と補間制御部３２とを有する。
テロップ切替時刻情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ時刻情報Ｄ２３は、補間制御部３２に入力される。
The
The telop switching time information D22a, the telop area representative position information D22b, and the scene change time information D23 are input to the
補間制御部３２は、テロップ領域代表位置情報Ｄ２２ｂから補間対象領域を決定して、補間対象領域を示す情報Ｄ３２ｃを生成するとともに、テロップ切替時刻情報Ｄ２２ａとシーンチェンジ時刻情報Ｄ２３とから、補間対象領域の画素の補間値を求めるための補間方法、及び当該補間方法を適用する期間を決定して、決定した補間方法を示す情報Ｄ３２ａと、その補間方法を適用する期間を示す情報Ｄ３２ｂとを生成し、これらの情報Ｄ３２ａ、Ｄ３２ｂ及びＤ３２ｃを、補間処理部３１に出力する。
The
補間制御部３２はさらに、補間方法を示す情報Ｄ３２ａとその補間方法を適用する期間を示す情報Ｄ３２ｂとから、画像処理用の映像信号（符号化映像信号）を特定する情報（映像信号特定情報）Ｄ３２ｄを生成して、制御部１のストリームバッファ１２に出力する。ここで画像処理用に映像信号には、補間の対象となる映像信号と、補間に用いられる映像信号（補間のために参照される映像信号）が含まれる。
The
補間処理部３１には、情報Ｄ３２ｄによって特定されて、ストリームバッファ１２から読み出され、デコーダ１４でデコードすることで得られた映像信号Ｄ１４と、補間制御部３２からの、補間方法を示す情報Ｄ３２ａと、その補間方法を適用する期間を示す情報Ｄ３２ｂと、補間対象領域を示す情報Ｄ３２ｃとが入力される。
In the
補間処理部３１は、デコーダ１４からの映像信号Ｄ１４のうちの、情報Ｄ３２ｃで示される領域（補間対象領域）内の画素に対し、同じく映像信号Ｄ１４のうちの、補間に用いられる映像信号を用いて、情報Ｄ３２ａが示す補間方法を、情報Ｄ３２ｂで示される期間に亘って適用し、補間後の映像信号Ｄ３を生成する。補間後の映像信号Ｄ３は画像処理部３から出力される。
The
以下、実施の形態１の映像信号処理装置の動作について、より詳しく説明する。
映像信号処理装置の外部から供給されるトランスポートストリームＴＳがデマックス１１に入力される。
Hereinafter, the operation of the video signal processing apparatus according to the first embodiment will be described in more detail.
A transport stream TS supplied from the outside of the video signal processing apparatus is input to the
デマックス１１は入力されたトランスポートストリームを分離し、符号化映像信号を抽出する。ここで、トランスポートストリームＴＳは放送波を復調したものであり、トランスポートストリームＴＳは、映像信号と音声信号とデータ信号（文字放送用のデータ）と制御信号とを含む。映像信号と音声信号とデータ信号とは符号化されている。
The
デマックス１１で抽出された、符号化映像信号は、ストリームバッファ１２に送られ、ストリームバッファ１２は符号化映像信号を一旦蓄積する。
ストリームバッファ１２が蓄積する符号化映像信号の量は、後述する画像処理部３における補間に用いられる映像信号の範囲に依存する。
The encoded video signal extracted by the
The amount of the encoded video signal stored in the
ストリームバッファ１２は、蓄積している符号化映像信号のうち、デマックス１１から入力されたばかりの（最も新たに入力された）符号化映像信号を、ストリーム解析用の符号化映像信号として、デコーダ１３に出力する。
The
また、ストリームバッファ１２は、画像処理部３から入力された映像信号特定情報Ｄ３２ｄによって特定される映像信号を、画像処理用の符号化映像信号としてデコーダ１４に出力する。
The
デコーダ１３は、入力された符号化映像信号を復号し、復号された映像信号Ｄ１３をストリーム解析部２に出力する。ストリーム解析部２に入力された映像信号Ｄ１３は、テロップ検出部２０のテロップ領域検出部２１とシーンチェンジ検出部２３とに入力される。
The
テロップ領域検出部２１は、映像信号Ｄ１３からテロップの領域を検出する。
図２は、テロップ領域検出部２１が検出するテロップの領域の一例を示す。
図中の「ＡＢＣＤＥ」が検出対象のテロップであり、テロップを構成する文字を形成するすべての画素を内部に含み、水平方向の辺の長さ及び垂直方向の辺の長さがともに最短の矩形の領域ＴＬａがテロップ領域である。図示のテロップ領域ＴＬａは、画面ＦＳの上部中央に位置している。なお、水平方向の辺の長さ及び垂直方向の辺の長さは、テロップの文字を内部に含むように定められれば良く、最短でなくても、若干の余裕を持つようにしても良い。
The telop
FIG. 2 shows an example of a telop area detected by the telop
“ABCDE” in the figure is a telop to be detected, and includes all the pixels that form the characters constituting the telop, and has the shortest horizontal side length and vertical side length. The area TLa is a telop area. The illustrated telop area TLa is located in the upper center of the screen FS. Note that the length of the horizontal side and the length of the vertical side need only be determined so as to include a telop character inside, and may have a slight margin even if it is not the shortest.
テロップの一例として緊急速報のテロップがある。これは、リアルタイムで視聴する場合は意味を持つが、録画した映像信号を視聴する場合には必要でない場合が多く、補間処理を施してテロップを消去すると、不要な情報が表示されず、快適な視聴をユーザーに提供することが可能となる。 An example of a telop is an emergency breaking telop. This is meaningful when viewed in real time, but is often not necessary when viewing recorded video signals. When interpolation processing is performed to delete the telop, unnecessary information is not displayed and it is comfortable. Viewing can be provided to the user.
テロップ領域検出部２１は、検出したテロップ領域の、フレーム（画面）内における位置を示すテロップ領域検出位置情報Ｄ２１ａをテロップ切替点検出部２２に出力する。テロップ領域検出位置情報Ｄ２１ａとしては、例えば、フレームの縦（垂直方向）と横（水平方向）とをそれぞれ軸とする座標系における、テロップの領域の左上と右下の座標がある。また、テロップ領域の左上の座標と、テロップ領域の縦の長さと横の長さの組合せでもよい。
The telop
テロップ領域検出部２１はさらに、テロップが検出された時刻を示す情報Ｄ２１ｂをテロップ切替点検出部２２に出力する。
The telop
ここで、テロップ領域検出部２１が映像信号から緊急速報のテロップの領域を検出する方法について、図３を用いて説明する。緊急速報のテロップは白字に黒い縁がついている。この特徴を利用してテロップの領域を検出する。図中の「ＡＡＡ」が検出対象のテロップを示す。
Here, a method in which the telop
まず、映像信号を各行に沿って水平方向に、黒色（Ｒ＝０かつＧ＝０かつＢ＝０）の画素を探索し、黒色の画素が検出されたら白色（Ｒ＝２５５かつＧ＝２５５かつＢ＝２５５）の画素を探索する。但し、Ｒ、Ｇ、Ｂの信号が８ビットの信号であり、０〜２５５の範囲内の値を持つ場合を想定している。白色の画素が検出されたら、再び黒色の画素を探索する。このような処理によって、各行における黒色の画素と白色の画素とを検出する。上記の処理を複数の行について繰り返す。 First, a black (R = 0 and G = 0 and B = 0) pixel is searched for in the horizontal direction along each row of the video signal, and when a black pixel is detected, white (R = 255 and G = 255 and The pixel of B = 255) is searched. However, it is assumed that the R, G, and B signals are 8-bit signals and have values in the range of 0 to 255. When the white pixel is detected, the black pixel is searched again. Through such processing, black pixels and white pixels in each row are detected. The above processing is repeated for a plurality of rows.
次に、行毎に検出した黒色の画素に挟まれた、互いに連続する白色の画素の数を求め、この数が所定の閾値より小さいか否かを判定する。閾値よりも小さい場合、この行にはテロップがあると判定する。この白色の画素は文字の構成要素（例えばストローク）を示し、黒色の画素は文字の構成要素の縁を示し、白色の画素が連続して存在する数は文字の構成要素の幅、例えば縦方向のストロークの太さを示す。所定の値は、例えば、フレームの短辺の１０％にあたる画素数（短辺が１０８０であれば１０８画素）とする。また、テロップがあると判定された行において、初めて黒色の画素が検出された位置と最後に黒色の画素が検出された位置を算出する。このようにして、行毎にテロップで占められる帯状の領域Ｌｂｉの左端位置ＬｂｉＬと右端位置ＬｂｉＲが検出される。 Next, the number of continuous white pixels sandwiched between black pixels detected for each row is obtained, and it is determined whether this number is smaller than a predetermined threshold value. If it is smaller than the threshold, it is determined that there is a telop in this line. This white pixel indicates the character component (for example, stroke), the black pixel indicates the edge of the character component, and the number of consecutive white pixels is the width of the character component, for example, the vertical direction Indicates the thickness of the stroke. The predetermined value is, for example, the number of pixels corresponding to 10% of the short side of the frame (108 pixels if the short side is 1080). Further, in the row where it is determined that there is a telop, the position where the black pixel is first detected and the position where the black pixel is finally detected are calculated. In this way, the left end position LbiL and the right end position LbiR of the band-like region Lbi occupied by the telop for each row are detected.
このようにして検出された複数の行の帯状の領域であって互いに垂直方向に連続するものＬｂ１〜ＬｂＩからなる領域ＴＬｂを検出する。このとき、複数の帯状の領域Ｌｂ１〜ＬｂＩの左端位置Ｌｂ１Ｌ〜ＬｂＩＬを、その中で最も左に位置するものに揃え、複数の帯状の領域Ｌｂ１〜ＬｂＩの右端位置Ｌｂ１Ｒ〜ＬｂＩＲを、その中で最も右に位置するものに揃えることで、矩形の領域を形成する。 A region TLb composed of a plurality of rows of strip-like regions detected in this manner and continuous in the vertical direction is detected. At this time, the left end positions Lb1L to LbIL of the plurality of band-like regions Lb1 to LbI are aligned with the leftmost position among them, and the right end positions Lb1R to LbIR of the plurality of band-like regions Lb1 to LbI are included therein. A rectangular region is formed by aligning with the rightmost one.
このような処理を行う結果、図示の例では符号ＴＬｂで示す矩形の領域がテロップ領域として検出される。
テロップ領域の位置を示す情報として、テロップ領域検出部２１は、例えば、フレーム内における、テロップ領域ＴＬｂの左上隅の頂点ＰＴｃと右下隅の頂点ＰＴｄの位置を示す情報（座標値）を出力する。
As a result of performing such processing, in the example shown in the figure, a rectangular area indicated by reference numeral TLb is detected as a telop area.
As information indicating the position of the telop area, for example, the telop
なお、検出するのは、真っ黒（Ｒ＝０かつＧ＝０かつＢ＝０）と真っ白（Ｒ＝２５５かつＧ＝２５５かつＢ＝２５５）の画素でなくてもよい。これは、映像信号が圧縮されることにより、黒が多少グレーに、白が暗くなっている場合があるためである。このため黒に近い（例えば、Ｒ＜１６かつＧ＜１６かつＢ＜１６）画素と白に近い（例えば、Ｒ＞２２４かつＧ＞２２４かつＢ＞２２４）画素を検出する。 Note that it is not necessary to detect pixels that are completely black (R = 0, G = 0, and B = 0) and completely white (R = 255, G = 255, and B = 255). This is because black may be somewhat gray and white may be dark due to the compression of the video signal. Therefore, pixels close to black (for example, R <16 and G <16 and B <16) and pixels close to white (for example, R> 224 and G> 224 and B> 224) are detected.
また、緊急速報以外のテロップとの区別をするには、テロップ領域ＴＬｂはテロップ領域を構成する文字の縁の部分にエッジが立っていること、及び／又は複数フレームに亘り上記エッジの位置が変化しないことを利用することとしても良い。
エッジの検出は、隣接する画素の映像信号の差分値により検出することができる。テロップの領域（文字の領域）は文字以外の画像の領域よりもこの差分値が大きい。よって、差分値をある閾値と比較し、閾値よりも大きい場合にエッジがあると判定することができる。
Also, in order to distinguish from telops other than emergency bulletins, the telop area TLb has an edge standing at the edge of the characters constituting the telop area and / or the position of the edge changes over a plurality of frames. It is good to use what you do not.
Edge detection can be performed based on a difference value between video signals of adjacent pixels. The difference value is larger in the telop area (character area) than in the image area other than characters. Therefore, the difference value is compared with a certain threshold value, and if it is larger than the threshold value, it can be determined that there is an edge.
テロップ領域検出部２１から、テロップ領域検出位置情報Ｄ２１ａと、テロップが検出された時刻を示す情報Ｄ２１ｂとが出力され、テロップ切替点検出部２２に入力される。
From the telop
テロップ切替点検出部２２は入力されたテロップ領域検出位置情報Ｄ２１ａで示されるテロップ領域の位置が大きく変化したときにテロップが変更されたものとして検出する。テロップが変更されたタイミングをテロップ変更時刻或いはテロップ変更点と言う。テロップ切替点検出部２２は、テロップの変更を検出するため、一つ前のフレームのテロップ領域検出位置情報Ｄ２１ａを保持しておく。テロップ切替点検出部２２は、入力された各フレーム（ｎ）のテロップ領域検出位置情報Ｄ２１ａ（ｎ）と、一フレーム前のテロップ領域検出位置情報Ｄ２１ａ（ｎ−１）との差分ΔＤ２１ａ（ｎ）を算出する。例えば、テロップ領域検出位置情報Ｄ２１ａ（ｎ−１）における点ＰＴｃ、ＰＴｄとテロップ領域検出位置情報Ｄ２１ａ（ｎ）における点ＰＴｃ、ＰＴｄの座標値の差（差分値）を算出する。
The telop
テロップの位置が大きく変化した場合、この差分値が急に大きくなる。このとき、テロップが変更されたと判定し、テロップ変更点として検出する。差分値が急に大きくなったか否かは、閾値と比較することによって判定される。 When the position of the telop changes greatly, this difference value suddenly increases. At this time, it is determined that the telop has been changed, and is detected as a telop change point. Whether or not the difference value has suddenly increased is determined by comparing with a threshold value.
例えば、テロップ領域検出位置情報Ｄ２１ａ（ｎ）における点ＰＴｃ、ＰＴｄの座標値をそれぞれ（ｘｃ（ｎ），ｙｃ（ｎ））、（ｘｄ（ｎ），ｙｄ（ｎ））で表し、テロップ領域検出位置情報Ｄ２１ａ（ｎ−１）における点ＰＴｃ、ＰＴｄの座標をそれぞれ（ｘｃ（ｎ−１），ｙｃ（ｎ−１））、（ｘｄ（ｎ−１），ｙｄ（ｎ−１））で表すとき、
Δｘｃ＝ｘｃ（ｎ）−ｘｃ（ｎ−１）
Δｙｃ＝ｙｃ（ｎ）−ｙｃ（ｎ−１）
Δｘｄ＝ｘｄ（ｎ）−ｘｄ（ｎ−１）
Δｙｄ＝ｙｄ（ｎ）−ｙｄ（ｎ−１）
によって水平方向の位置の差分値、垂直方向の位置の差分値を求め、求めた各点についての各方向の差分値Δｘｃ、Δｙｃ、Δｘｄ、Δｙｄのうちのいずれかが、それぞれに対して予め定められた閾値を超えるときテロップが変更されたとの判断をしても良い。代わりに、上記の差分値に基づいて
Δｍｃ＝（Δｘｃ２＋Δｙｃ２）１／２
Δｍｄ＝（Δｘｄ２＋Δｙｄ２）１／２
によって点相互間の距離を求め、該距離Δｍｃ、Δｍｄのいずれかが、それぞれに対して予め定められた閾値を超えるときにテロップが変更されたとの判断をしても良い。
For example, the coordinate values of the points PTc and PTd in the telop area detection position information D21a (n) are represented by (xc (n), yc (n)) and (xd (n), yd (n)), respectively, The coordinates of the points PTc and PTd in the position information D21a (n-1) are represented by (xc (n-1), yc (n-1)), (xd (n-1), yd (n-1)), respectively. When
Δxc = xc (n) −xc (n−1)
Δyc = yc (n) −yc (n−1)
Δxd = xd (n) −xd (n−1)
Δyd = yd (n) −yd (n−1)
To obtain a horizontal position difference value and a vertical position difference value, and each of the obtained difference values Δxc, Δyc, Δxd, Δyd for each point is determined in advance. It may be determined that the telop has been changed when the threshold value is exceeded. Instead, based on the above difference value, Δmc = (Δxc 2 + Δyc 2 ) 1/2
Δmd = (Δxd 2 + Δyd 2 ) 1/2
The distance between the points may be obtained by the above, and it may be determined that the telop has been changed when either of the distances Δmc and Δmd exceeds a predetermined threshold value.
上記のΔｘｃ、Δｙｃ、Δｘｄ、Δｙｄ、Δｍｃ、Δｍｄに対する閾値は、例えば、いずれもフレーム（画面）の長辺の長さの１０％程度に定められる。 The threshold values for the above Δxc, Δyc, Δxd, Δyd, Δmc, and Δmd are all set to about 10% of the length of the long side of the frame (screen), for example.
テロップ切替点検出部２２は、検出したテロップ変更時刻乃至変更点を示す情報を生成する。例えば、テロップ変更の直前又は直後のフレームの時刻を示す情報（フレーム時刻情報）ＦＴＮを、テロップ変更時刻乃至変更点を示す情報として出力する。
The telop switching
また、テロップ切替点検出部２２は、テロップの出現の検出（出現したとの判定）、及びテロップの消滅の検出（消滅したとの判定）をも行い、これらが検出された時刻、即ち、テロップ出現点及びテロップ消滅点を表す情報を生成する。
テロップ切替点検出部２２は、テロップ変更点を示す情報、テロップ出現点を示す情報、及びテロップ消滅点を示す情報を含むテロップ切替時刻情報Ｄ２２ａを、画像処理部３に出力する。
The telop switching
The telop switching
テロップ出現点からテロップ消滅点までの期間内にｎ個のテロップ変更点が存在する場合、上記テロップの出現点から消滅点までの間に（ｎ＋１）個の互いに異なるテロップが表示されているとして扱う。そして、テロップ出現点から最初のテロップ変更点までの時間、最後のテロップ変更点からテロップ消滅点までの時間、相前後するテロップ変更点相互間の時間を、それぞれのテロップの持続期間として扱う。なお、テロップ出現点から消滅点までの期間にテロップ変更点が存在しない場合には、テロップ出現点からテロップ消滅点までの一つのテロップの持続期間である。 If there are n telop change points in the period from the telop appearance point to the telop disappearance point, it is treated that (n + 1) different telops are displayed from the telop appearance point to the disappearance point. . Then, the time from the telop appearance point to the first telop change point, the time from the last telop change point to the telop disappearance point, and the time between successive telop change points are treated as the duration of each telop. When no telop change point exists in the period from the telop appearance point to the disappearance point, it is the duration of one telop from the telop appearance point to the telop disappearance point.
また、テロップ切替点検出部２２は、テロップ出現点から消滅点までの期間内の、一つのテロップ切替点（変更点、出現点、又は消滅点）から次のテロップ切替点までの期間、
即ち上記テロップ持続期間の各々において、テロップ領域の代表的位置を示す情報（テロップ領域代表位置情報）Ｄ２２ｂを生成する。
Further, the telop switching
That is, in each of the telop durations, information (telop area representative position information) D22b indicating the representative position of the telop area is generated.
例えば、上記の持続期間内の複数のフレームのテロップ領域検出位置情報で示される位置の平均的位置を、テロップ領域代表位置情報としても良く、複数のフレームのうちの一つのフレームのテロップ領域検出位置情報を選択してテロップ領域代表位置情報としても良い。 For example, the average position of the positions indicated by the telop area detection position information of a plurality of frames within the above-described duration may be used as the telop area representative position information, and the telop area detection position of one frame among the plurality of frames Information may be selected and used as telop area representative position information.
こうすることにより、テロップが表示される期間中の全てのフレームのテロップ領域検出位置情報Ｄ２１ａを保存する必要がなくなり、メモリ２２ｍの容量を小さくすることができる。
By doing so, it is not necessary to save the telop area detection position information D21a of all the frames during the telop display period, and the capacity of the
テロップ切替点検出部２２は、このようにして生成されたテロップ領域情報Ｄ２２ｂを、テロップ切替時刻情報Ｄ２２ａとともに、画像処理部３に出力する。
The telop switching
シーンチェンジ検出部２３は、映像信号からシーンチェンジを検出する。シーンチェンジの検出は、公知の方法で行い得る。例えば、映像信号の平均輝度を算出し、平均輝度が相前後するフレーム間で大きく変化した場合、シーンチェンジがあると判定する。シーンチェンジ検出部２３は、シーンチェンジの直前又は直後のフレームの時刻を示す情報をシーンチェンジ時刻情報Ｄ２３として画像処理部３に出力する。例えば、処理対象となっているフレームにおいて、シーンチェンジが検出されたか否か、即ち、一つ前のフレームとの間に大きな差があるか否かの判断が行われ、シーンチェンジが検出された（シーンチェンジが発生したとの判定がされた）場合には、シーンチェンジが検出されたフレームの時刻を示す情報Ｄ２３が出力される。
The scene
画像処理部３には、ストリーム解析部２からテロップ切替時刻情報Ｄ２２ａとテロップ領域代表位置情報Ｄ２２ｂとシーンチェンジ時刻情報Ｄ２３とが入力される。これらの情報は、補間制御部３２に入力される。
The
補間制御部３２は、テロップ領域代表位置情報Ｄ２２ｂで示されるテロップ領域を補間対象領域とし、テロップ切替時刻情報Ｄ２２ａとシーンチェンジ時刻情報Ｄ２３とから、補間対象領域の映像信号に施す補間方法を決定する。補間方法の決定方法を説明する前に、補間処理部３１で実行可能な補間処理の種類について、説明する。
The
補間処理部３１は、テロップ領域代表位置情報Ｄ２２ｂで示される領域を補間対象領域として、補間を行う。補間処理部３１で実行可能な補間処理には、他のフレームの映像信号を用いて補間する時間補間処理と、同一フレームの映像信号を用いて補間する空間補間処理とがある。
The
図４は、時間補間処理を示す。
図中の符号ＡＰが補間対象領域を示す。時間補間処理はあるフレームＦ（ｎ）内の領域ＡＰ内の画像を、別のフレームＦ（ｍ）において、領域ＡＰと同じ位置にある領域ＡＱの画像で置き換える（領域ＡＰ内の各画素の画素値を、領域ＡＱ内の対応する画素（同じ位置の画素）の画素値で置き換える）処理である。
但し、上記の別フレームＦ（ｍ）において、領域ＡＱｇが上記別のフレームＦ（ｍ）内のテロップ領域（フレームＦ（ｎ）内のテロップ領域とは異なるテロップ領域）に含まれていないことを条件とする。
FIG. 4 shows the time interpolation process.
A symbol AP in the drawing indicates an interpolation target area. In the time interpolation processing, an image in an area AP in a frame F (n) is replaced with an image in an area AQ at the same position as the area AP in another frame F (m) (pixels in each area AP). (Replace the value with the pixel value of the corresponding pixel (pixel at the same position) in the area AQ).
However, in the other frame F (m), the area AQg is not included in the telop area in the other frame F (m) (the telop area different from the telop area in the frame F (n)). Condition.
図５は、空間補間処理を説明する図である。
図５は、補間対象領域とその周辺の画素を示している。破線で囲まれた領域が、補間対象領域ＡＰである。補間対象領域ＡＰ内の斜線を付した画素Ｐｐを補間する場合、補間対象領域の周辺（補間対象領域ＡＰの外部）の画素Ｐａ、Ｐｂ、Ｐｃ、Ｐｄを補間に用いる画素とし、これ周辺の画素の画素値ｖａ、ｖｂ、ｖｃ、ｖｄと、補間対象画素Ｐｐから上記周辺の画素Ｐａ、Ｐｂ、Ｐｃ、Ｐｄまでの距離ｌａ、ｌｂ、ｌｃ、ｌｄとから補間値ｖｐを算出し、補間対象画素の画素値を補間値ｖｐで上書きする（算出した補間値ｖｐを補間対象画素Ｐｐの画素値として用いる）。
FIG. 5 is a diagram illustrating the spatial interpolation process.
FIG. 5 shows the interpolation target area and surrounding pixels. A region surrounded by a broken line is an interpolation target region AP. When interpolating the shaded pixel Pp in the interpolation target area AP, the pixels Pa, Pb, Pc, and Pd around the interpolation target area (outside the interpolation target area AP) are pixels used for interpolation, and the surrounding pixels The interpolation value vp is calculated from the pixel values va, vb, vc, vd of the pixel and the distances la, lb, lc, ld from the interpolation target pixel Pp to the surrounding pixels Pa, Pb, Pc, Pd. Is overwritten with the interpolation value vp (the calculated interpolation value vp is used as the pixel value of the interpolation target pixel Pp).
補間値ｖｐの算出は下記の式で表される演算で行われる。 The interpolation value vp is calculated by an operation represented by the following equation.
式（１）〜（１ｄ）に示される演算は、補間に用いる画素の各々に対して、補間対象画素からの距離が短いほどより大きな重みを付けた加重平均を求める処理であると言える。 It can be said that the operations shown in the equations (1) to (1d) are processes for obtaining a weighted average with a larger weight for each pixel used for interpolation, the shorter the distance from the interpolation target pixel.
なお、画素毎に上記の計算を行うのではなく、複数の画素から成る領域毎に上記の計算を行うこととしても良い。その場合、図５に符号Ｐｐで示し、斜線を付した領域を１つの画素ではなく、複数の画素から成る領域とし、同様に符号Ｐａ、Ｐｂ、Ｐｃ、Ｐｄで示す矩形を複数の画素から成る領域を示すものとし、領域Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの各々内の画素の画素値の平均値を、式（１）のｖａ、ｖｂ、ｖｃ、ｖｄとし、式（１）で求められたｖｐを領域Ｐｐ内のすべての画素の画素値として用いることとしても良い。 In addition, it is good also as not performing said calculation for every pixel but performing said calculation for every area | region which consists of a some pixel. In this case, the area indicated by the symbol Pp in FIG. 5 is a hatched area that is composed of a plurality of pixels instead of one pixel, and the rectangles denoted by the symbols Pa, Pb, Pc, and Pd are also composed of a plurality of pixels. Vp obtained by Expression (1), where the average value of the pixel values of the pixels in each of the areas Pa, Pb, Pc, and Pd is defined as va, vb, vc, and vd in Expression (1). May be used as the pixel values of all the pixels in the region Pp.
また、補間値ｖｐは下記の式で表される演算で求めても良い。 Further, the interpolation value vp may be obtained by calculation represented by the following equation.
式（２）に示される演算も、式（１）〜（１ｄ）と同様に、補間に用いる画素のそれぞれに対して、補間対象画素からの距離が短いほどより大きな重みをつけた加重平均を求める処理である。式（２）の方が、距離による重みの差がより大きくなるため、縦に対して横が非常に長いテロップ領域では、算出した補間値はテロップ領域の上下の画素（ｖａ、ｖｄ）に近い値になり、本来の画像（テロップが重畳されない場合に表示されるはずだった画像）に、より近い画像を生成することができる。 Similarly to the equations (1) to (1d), the calculation shown in the equation (2) is performed by calculating a weighted average with a larger weight as the distance from the interpolation target pixel is shorter. This is the processing that is required. In Formula (2), the difference in weight due to distance is larger, so in a telop area that is very long horizontally, the calculated interpolation value is closer to the upper and lower pixels (va, vd) of the telop area. It becomes a value, and an image closer to the original image (image that should have been displayed when the telop is not superimposed) can be generated.
次に、補間方法の決定の方法について図６を用いて説明する。
図６はテロップ表示期間内の各区間における補間方法を示している。
補間制御部３２は、テロップ出現点からテロップ消滅点までの期間内の補間方法を決定する。
Next, a method for determining an interpolation method will be described with reference to FIG.
FIG. 6 shows an interpolation method in each section in the telop display period.
The
補間に用いられる画素はシーンチェンジが起きる度に変更される。これは、本来の画像（テロップが重畳されない場合に表示されるはずだった画像）に、より近い画像を生成するための補間に用いられるべき画素が、シーンチェンジの発生の前後で異なるためである。 The pixels used for interpolation are changed each time a scene change occurs. This is because the pixels to be used for interpolation to generate an image closer to the original image (the image that should have been displayed when the telop is not superimposed) are different before and after the occurrence of the scene change. .
一般的に空間補間よりも時間補間の方が、本来の画像（テロップがない場合の画像）に近い画像で置き換えることができるため、可能な限り時間補間を行うのが望ましい。しかしながら、シーンチェンジが起きた場合、シーンチェンジの前後の複数フレームを用いて時間補間をすると、テロップ領域だけ別のシーンの画像がはめ込まれ、本来の画像とは著しく異なるものとなる。そこでシーンチェンジが起きた場合には、シーンチェンジの前及び後のうちの一方では、他方からの時間補間を行わない。 In general, temporal interpolation can be replaced with an image closer to the original image (image without a telop) rather than spatial interpolation, so it is desirable to perform temporal interpolation as much as possible. However, when a scene change occurs, if time interpolation is performed using a plurality of frames before and after the scene change, an image of another scene is inserted only in the telop area, which is significantly different from the original image. Therefore, when a scene change occurs, time interpolation from the other side is not performed either before or after the scene change.
また、相前後するシーンチェンジ相互間の期間であって、該期間内にテロップ変更点が含まれない場合には、空間補間のみを行う。
相前後するシーンチェンジ相互間の期間であって、該期間内にテロップ変更点が含まれる場合には、テロップ変更点の前及び後のうちの一方で他方からの時間補間を行うことはあり得る。この場合、上記他方に属するフレーム内に、上記一方に属するフレーム内の補間対象領域と同一の位置の画素が、上記他方に属するフレーム内のテロップ領域に含まれない場合には、時間補間が行われる。そうでなければ空間補間が行われる。
即ち、補間方法として空間補間のみとするか空間補間と時間補間を併用するかは、相前後する２つのシーンチェンジに挟まれた期間内にテロップ変更点が存在するか否か、及びテロップ変更点の前後でのテロップ領域が重なっているか否かで変わる。
以下に補間方法の決定のための基準を説明する。
In addition, when it is a period between successive scene changes and no telop change point is included in the period, only spatial interpolation is performed.
It is a period between successive scene changes, and if a telop change point is included in the period, it is possible to perform time interpolation from one of the other before and after the telop change point . In this case, if a pixel at the same position as the interpolation target area in the frame belonging to the other is not included in the telop area in the frame belonging to the other, the temporal interpolation is performed. Is called. Otherwise, spatial interpolation is performed.
That is, whether the interpolation method is only spatial interpolation or the combination of spatial interpolation and temporal interpolation is whether or not there is a telop change point within a period between two adjacent scene changes, and the telop change point. It changes depending on whether the telop areas before and after overlap.
The criteria for determining the interpolation method will be described below.
（Ｊａ） テロップ出現点（ｔ１１）から最初のシーンチェンジ（ｔ１２）までの期間（例えばＴａ）と、最後のシーンチェンジ（ｔ１６）からテロップ消滅点（ｔ１７）までの期間（例えばＴｆ）は、時間補間とする。
但し、期間Ｔａでは、テロップ出現点（ｔ１１）よりも前の画像を用いた時間補間を行い、期間Ｔｆでは、テロップ消滅点（ｔ１７）よりも後の画像を用いた時間補間を行う。
これは、テロップで隠れた画素から成る画像がテロップ出現前もしくはテロップ消滅後のフレームに存在するためである。この画像で補間することにより、テロップを消去して、本来の画像により近い画像で置き換えることができる。
(Ja) The period from the telop appearance point (t11) to the first scene change (t12) (for example, Ta) and the period from the last scene change (t16) to the telop disappearance point (t17) (for example, Tf) are time Interpolate.
However, in the period Ta, the time interpolation using the image before the telop appearance point (t11) is performed, and in the period Tf, the time interpolation using the image after the telop disappearance point (t17) is performed.
This is because an image composed of pixels hidden by the telop exists in a frame before the telop appears or after the telop disappears. By interpolating with this image, the telop can be erased and replaced with an image closer to the original image.
（Ｊｂ） シーンチェンジ点（ｔ１２、ｔ１３、ｔ１６）相互間の期間（Ｔｂ、Ｔｈ）は、その期間中にテロップ変更点があるか否かで補間方法が異なる。
例えば期間Ｔｂのように、テロップ変更点がない場合、補間方法は空間補間のみとする。
例えば期間Ｔｈのように、テロップ変更点（ｔ１４、ｔ１５）がある場合、補間方法は時間補間と空間補間を組み合わせて用いる。
(Jb) Interpolation methods differ between periods (Tb, Th) between scene change points (t12, t13, t16) depending on whether there is a telop change point during that period.
For example, when there is no telop change point as in the period Tb, the interpolation method is only spatial interpolation.
For example, when there is a telop change point (t14, t15) as in the period Th, the interpolation method uses a combination of temporal interpolation and spatial interpolation.
時間補間と空間補間を組み合わせて処理をする（併用する）場合、時間補間を優先する。時間補間できる場合、すなわち、テロップで隠れた画素から成る画像が別のフレームに存在する場合には時間補間を適用する。 When processing is performed by combining temporal interpolation and spatial interpolation (used together), priority is given to temporal interpolation. When temporal interpolation is possible, that is, when an image composed of pixels hidden by a telop exists in another frame, temporal interpolation is applied.
例えば期間Ｔｃ内のフレーム内のテロップＴＬ１の領域を補間対象領域とする画素の補間には、テロップ変更点ｔ１４以降のフレームにおける、テロップＴＬ１の領域（補間対象領域）内の各画素と同一位置の画素が用いられる。この場合、テロップ変更点ｔ１４以降のフレームにおいて、テロップＴＬ１の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ２の領域内に含まれる場合には、その画素については、空間補間のみが用いられる。 For example, for the interpolation of a pixel having the telop TL1 region in the frame within the period Tc as the interpolation target region, the same position as each pixel in the telop TL1 region (interpolation target region) in the frame after the telop change point t14 is used. Pixels are used. In this case, in the frame after the telop change point t14, when the same position as each pixel in the telop TL1 area (interpolation target area) is included in the telop TL2 area, spatial interpolation is performed for that pixel. Only is used.
期間Ｔｄ内のフレーム内のテロップＴＬ２の領域を補間対象領域とする画素の補間には、テロップ変更点ｔ１４以前又はテロップ変更点ｔ１５以降のフレームにおける、テロップＴＬ２の領域（補間対象領域）内の各画素と同一位置の画素が用いられる。 For interpolation of a pixel having the telop TL2 region in the frame within the period Td as an interpolation target region, each of the telop TL2 regions (interpolation target regions) in the frame before the telop change point t14 or after the telop change point t15 is used. A pixel at the same position as the pixel is used.
この場合、テロップ変更点ｔ１４以前のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ１の領域内に含まれ、かつテロップ変更点ｔ１５以降のフレームにおいて、テロップＴＬ２の領域内（補間対象領域）の各画素と同一の位置が、テロップＴＬ３の領域内に含まれる場合には、その画素については、空間補間のみが用いられる。 In this case, in the frame before the telop change point t14, the same position as each pixel in the telop TL2 region (interpolation target region) is included in the telop TL1 region, and in the frame after the telop change point t15, When the same position as each pixel in the telop TL2 area (interpolation target area) is included in the telop TL3 area, only spatial interpolation is used for that pixel.
テロップ変更点ｔ１４以前のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ１の領域内に含まれ、かつテロップ変更点ｔ１５以降のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ３の領域内に含まれない場合には、テロップ変更点ｔ１５以降のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置の画素が用いられる。 In the frame before the telop change point t14, the same position as each pixel in the telop TL2 region (interpolation target region) is included in the telop TL1 region, and in the frame after the telop change point t15, the telop TL2 When the same position as each pixel in the region (interpolation target region) is not included in the telop TL3 region, each frame in the telop TL2 region (interpolation target region) in the frame after the telop change point t15. A pixel at the same position as the pixel is used.
逆に、テロップ変更点ｔ１４以前のフレームにおいて、テロップＴＬ２の領域内（補間対象領域）の各画素と同一の位置が、テロップＴＬ１の領域内に含まれず、かつテロップ変更点ｔ１５以降のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ３の領域内に含まれる場合には、テロップ変更点ｔ１４以前のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置の画素が用いられる。 Conversely, in the frame before the telop change point t14, the same position as each pixel in the telop TL2 region (interpolation target region) is not included in the telop TL1 region, and in the frames after the telop change point t15, When the same position as each pixel in the telop TL2 region (interpolation target region) is included in the telop TL3 region, in the telop TL2 region (interpolation target region) in the frame before the telop change point t14 Pixels at the same position as each of the pixels are used.
さらに、テロップ変更点ｔ１４以前のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ１の領域内に含まれず、かつテロップ変更点ｔ１５以降のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ３の領域内に含まれない場合に、テロップ変更点ｔ１４以前のフレームの画素を用いるか、テロップ変更点ｔ１５以降のフレームの画素を用いるかは、期間Ｔｄにおける期間Ｔｄ中の時点によって決めても良い。例えば、期間Ｔｄを前半Ｔｄ１と後半Ｔｄ２に分け、前半はテロップ変更点ｔ１４以前のフレームを用い、後半Ｔｄ２はテロップ変更点ｔ１５以降のフレームを用いても良い。 Further, in the frame before the telop change point t14, the same position as each pixel in the telop TL2 region (interpolation target region) is not included in the telop TL1 region, and the telop in the frame after the telop change point t15 When the same position as each pixel in the TL2 area (interpolation target area) is not included in the telop TL3 area, the pixel of the frame before the telop change point t14 is used, or the frame after the telop change point t15 Whether to use these pixels may be determined according to the time point in the period Td in the period Td. For example, the period Td may be divided into the first half Td1 and the second half Td2, the first half may use frames before the telop change point t14, and the second half Td2 may use frames after the telop change point t15.
期間Ｔｅ内のフレーム内のテロップＴＬ３の領域を補間対象領域とする画素の補間には、テロップ変更点ｔ１５以前のフレームにおける、テロップＴＬ３の領域（補間対象領域）内の各画素と同一位置の画素が用いられる。この場合、テロップ変更点ｔ１５以前のフレームにおいて、テロップＴＬ３の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ２の領域内に含まれる場合には、その画素については、空間補間のみが用いられる。 For interpolation of a pixel having the telop TL3 region in the frame within the period Te as the interpolation target region, pixels in the same position as each pixel in the telop TL3 region (interpolation target region) in the frame before the telop change point t15 Is used. In this case, if the same position as each pixel in the telop TL3 region (interpolation target region) is included in the telop TL2 region in the frame before the telop change point t15, spatial interpolation is performed for that pixel. Only is used.
補間制御部３２は、以上のような決定の結果に基づき、時間補間、空間補間又はその両方の組合せを補間方法として示す情報Ｄ３２ａと、その補間方法を適用する期間を示す情報Ｄ３２ｂと、画像処理用の映像信号（符号化映像信号）を特定する情報（映像信号特定情報）Ｄ３２ｄとを制御部１のストリームバッファ１２に出力する。
補間方法が空間補間の場合には、画像処理用の映像信号は、補間処理の対象である映像信号のみを含み、補間方法が時間補間を含む場合には、画像処理用に映像信号には、補間に用いられる映像信号も含まれる。
Based on the determination results as described above, the
When the interpolation method is spatial interpolation, the video signal for image processing includes only the video signal to be interpolated, and when the interpolation method includes temporal interpolation, the video signal for image processing includes Video signals used for interpolation are also included.
補間制御部３２は、映像信号特定情報Ｄ３２ｄをストリームバッファ１２に出力し、補間方法を示す情報Ｄ３２ａと、補間方法を適用する期間を示す情報Ｄ３２ｂと、補間処理対象領域を示す情報Ｄ３２ｃとを補間処理部３１に出力する。
ストリームバッファ１２は、補間制御部３２より入力された映像信号特定情報Ｄ３２ｄで特定された映像信号をデコーダ１４に出力する。
The
The
図７を用いて、ストリームバッファ１２が蓄積する映像信号および画像処理用の符号化映像信号について説明する。
図は補間処理部３１の処理タイミングを示す。
補間制御部３２が補間方法を決定するのはシーンチェンジの発生、テロップの変更、又はテロップの消滅が検出された時である。
The video signal stored in the
The figure shows the processing timing of the
The
図７に示す期間ＴＡ（テロップ出現点ｔ２１から最初のシーンチェンジまたはテロップ変更点ｔ２２までの期間）中のフレームに対する補間方法は、テロップ出現点ｔ２１の後の最初のシーンチェンジまたはテロップ変更点ｔ２２が検出されたときに決定され、矢印ＤＥａで示すようにその時点ｔ２２以降に期間ＴＡ中のフレームに対する補間の処理が実行される。
よって、ストリームバッファ１２は、矢印ＳＤａで示すように、テロップ出現点ｔ２１の直前のフレームと、テロップ出現点ｔ２１からシーンチェンジまたはテロップ変更点ｔ２２までの映像信号を、時点ｔ２２まで蓄積し、保持する必要がある。
The interpolation method for the frame in the period TA (period from the telop appearance point t21 to the first scene change or telop change point t22) shown in FIG. 7 is that the first scene change or telop change point t22 after the telop appearance point t21 is It is determined when it is detected, and as shown by the arrow DEa, interpolation processing is performed on frames in the period TA after the time t22.
Therefore, the
同様に、期間ＴＢ（最初のシーンチェンジ又はテロップ変更点ｔ２２から次のシーンチェンジ又はテロップ変更点ｔ２３までの期間）中のフレームに対する補間方法は、シーンチェンジ又はテロップ変更点ｔ２３が検出されたときに決定され、矢印ＤＥｂで示すようにその時点ｔ２３以降に、期間ＴＢ中のフレームに対する補間の処理が実行される。よって、ストリームバッファ１２は、矢印ＳＤｂで示すように、シーンチェンジ又はテロップ変更点ｔ２２の直前のフレームと、シーンチェンジ又はテロップ変更点ｔ２２からシーンチェンジまたはテロップ変更点ｔ２３までの映像信号を、時点ｔ２３まで蓄積し、保持する必要がある。
Similarly, the interpolation method for the frame during the period TB (the period from the first scene change or telop change point t22 to the next scene change or telop change point t23) is as follows. As shown by the arrow DEb, after the time t23, interpolation processing for the frame in the period TB is executed. Therefore, as shown by the arrow SDb, the
同様に、期間ＴＣ（シーンチェンジ又はテロップ変更点ｔ２３からテロップ消滅点ｔ２４までの期間）中のフレームに対する補間方法は、テロップ消滅点ｔ２４が検出されたときに決定され、矢印ＤＥｃで示すようにその時点ｔ２４以降に、期間ＴＣ中のフレームに対する補間の処理が実行される。よって、ストリームバッファ１２は、矢印ＳＤｃで示すように、シーンチェンジまたはテロップ変更点ｔ２３の直前のフレームと、シーンチェンジ又はテロップ変更点ｔ２３からテロップ消滅点ｔ２４までの映像信号を時点ｔ２４まで蓄積し、保持する必要がある。
Similarly, the interpolation method for the frame during the period TC (the period from the scene change or telop change point t23 to the telop disappearance point t24) is determined when the telop disappearance point t24 is detected, and as shown by the arrow DEc After time t24, interpolation processing for the frame in the period TC is executed. Therefore, the
ストリームバッファ１２は、映像信号特定情報Ｄ３２ｄに基づいて、これらのフレームのデータを蓄積し、保持する。
The
デコーダ１４は、ストリームバッファ１２から入力された画像処理用の符号化映像信号を復号して、復号後の映像信号を画像処理部３の補間処理部３１に出力する。
映像信号特定情報Ｄ３２ｄで特定される画像処理用の映像信号には、画像処理対象である映像信号と補間に使用する映像信号とが含まれる。補間制御部３２が決定した補間方法が空間補間処理である場合には、画像処理対象である映像信号と補間に使用する映像信号は同一の映像信号となる。
The
The video signal for image processing specified by the video signal specifying information D32d includes a video signal to be processed and a video signal used for interpolation. When the interpolation method determined by the
補間処理部３１には、補間制御部３２から補間方法を示す情報Ｄ３２ａと補間期間を示す情報Ｄ３２ｂと補間処理対象領域を示す情報Ｄ３２ｃとが入力され、制御部１のデコーダ１４から画像処理対象である映像信号が入力される。
補間処理部３１は、補間に使用する映像信号において、補間処理対象領域と同一の位置の画像からテロップで隠れた画素の映像信号を上述した方法で生成し、補間処理対象である映像信号に上書きして補間映像を生成し、生成した補間映像Ｄ３を画像処理部３から出力する。
Information D32a indicating the interpolation method, information D32b indicating the interpolation period, and information D32c indicating the interpolation processing target area are input from the
The
以下、実施の形態１の映像処理方法を図８及び図９のフローチャートを用いて、説明する。
以下では、一つのコンテンツを構成する映像信号に対して順次処理を行うものとして説明する。
まず、デマックス１１がトランスポートストリーム（ＴＳ）から映像信号を抽出する（ＳＴ１）。
Hereinafter, the video processing method according to the first embodiment will be described with reference to the flowcharts of FIGS.
In the following description, it is assumed that processing is sequentially performed on video signals constituting one content.
First, the
次に、ストリームバッファ１２が映像信号を蓄積する（ＳＴ２）。
次に、デコーダ１３がストリーム解析用の映像信号をデコードする（ＳＴ３）。
ステップＳＴ３でデコードされた映像信号はテロップ領域検出部２１とシーンチェンジ検出部２３に送られる。
Next, the
Next, the
The video signal decoded in step ST3 is sent to the
次に、テロップ領域検出部２１が映像信号からテロップの領域の検出を行う（ＳＴ４）。このテロップ領域の検出においては、各フレーム（順次処理対象となるフレームの各々）内にテロップ領域が存在するかどうかの判定、及び存在する場合には、その位置の検出が行われ、テロップ領域検出位置情報Ｄ２１ａ及びテロップ領域が検出された時刻を示す情報Ｄ２１ｂが出力される。
Next, the telop
次に、ステップＳＴ４でのテロップ領域の検出結果（テロップ領域が存在すか否かの判定の結果を示す情報、テロップ領域が存在するとの判定に伴う、テロップ領域の位置を示す情報、及びテロップ領域が存在すると判定されたフレームの時刻を示す情報）に基づいて、処理対象となっているフレームにおいて、テロップ切替点（出現点、変更点、又は消滅点）が発生したか否かの判定を行う（ＳＴ５）。
また、テロップ切替点が発生したと判定された場合、それがテロップ出現点であるか否かの判定を行う（ＳＴ６）。
この判定は、ステップＳＴ４におけるテロップ領域検出の結果に基づいて行われる。
Next, the detection result of the telop area in step ST4 (information indicating the result of determining whether or not the telop area exists, information indicating the position of the telop area and the telop area associated with the determination that the telop area exists) Based on the information indicating the time of the frame determined to exist), it is determined whether or not a telop switching point (appearance point, change point, or disappearance point) has occurred in the frame to be processed ( ST5).
If it is determined that a telop switching point has occurred, it is determined whether or not it is a telop appearance point (ST6).
This determination is made based on the result of the telop area detection in step ST4.
ステップＳＴ６でテロップ出現点であれば（ＳＴ６でＹＥＳ）、ステップＳＴ７でテロップ出現点が発生したことを補間制御部３２内のメモリ３２ｍに記憶し、その後ステップＳＴ１９に進む。
If it is a telop appearance point in step ST6 (YES in ST6), the fact that a telop appearance point has occurred is stored in the
テロップ出現点以外であれば（ＳＴ６でＮＯ）、テロップ領域代表位置情報Ｄ２２ｂを生成し（ＳＴ８）、その後ステップＳＴ１０に進む。 If it is not a telop appearance point (NO in ST6), telop area representative position information D22b is generated (ST8), and then the process proceeds to step ST10.
ステップＳＴ５〜ＳＴ８の処理と並行して、シーンチェンジ検出部２３が映像信号からシーンチェンジを検出する（ＳＴ９）。ステップＳＴ９の次にステップＳＴ１０に進む。
In parallel with the processing of steps ST5 to ST8, the scene
ステップＳＴ１０では、テロップ切替点又はシーンチェンジが発生したか否かの判定が行われる。この判定は、ステップＳＴ４におけるテロップ領域の検出結果、及びステップＳＴ９における検出結果に基づいて行われる。 In step ST10, it is determined whether a telop switching point or a scene change has occurred. This determination is performed based on the detection result of the telop area in step ST4 and the detection result in step ST9.
ステップＳＴ１０でＮＯの場合（テロップ切替点及びシーンチェンジのいずれもが発生しなかった場合にはステップＳＴ１９に進む。）
ステップＳＴ１０でＹＥＳの場合（テロップ切替点又はシーンチェンジが発生した場合）には、ステップＳＴ１１に進む。
If NO in step ST10 (if neither a telop switching point nor a scene change has occurred, the process proceeds to step ST19)
If YES in step ST10 (when a telop switching point or a scene change occurs), the process proceeds to step ST11.
ステップＳＴ１１では、ステップＳＴ１０での判定の結果に基づいて、テロップ切替点又はシーンチェンジがあったとの検出情報、及びテロップ切替点の場合には、テロップ出現点、テロップ変更点及びテロップ消滅点のいずれであるかを示す情報が供給される。
次にステップＳＴ１２では、補間制御部３２内のメモリ３２ｍに記録される。この検出情報は、テロップ出現点、テロップ変更点、テロップ消滅点、及びシーンチェンジのいずれが発生したかを示すものである。
In step ST11, based on the result of determination in step ST10, detection information that a telop switching point or scene change has occurred, and in the case of a telop switching point, any of the telop appearance point, the telop change point, and the telop disappearance point Information indicating whether or not is supplied.
Next, in step ST12, it is recorded in the
メモリ３２ｍは、入力された検出情報のうち、最新のものと一つ前のもののみを保持する。即ちすでに２つの検出情報が記録されている状態で新たな検出情報が入力されると、古い方を検出情報に対して新たに入力された検出情報を上書きする。
The
次に、ステップＳＴ１３では、メモリ３２ｍを参照して、記録されている検出情報がともにテロップ変更点を示すものであるか否かの判定を行う。
ともにテロップ変更点を示すものであれば（ＳＴ１３でＹＥＳ）、ステップＳＴ１４に進み、現在用いている補間方法をそのまま用いること（補間方法を変更しない）との処理を行う。
Next, in step ST13, with reference to the
If both indicate a telop change point (YES in ST13), the process proceeds to step ST14, and processing is performed in which the interpolation method currently used is used as it is (the interpolation method is not changed).
少なくともいずれか一方がテロップ変更点を示すものではないときは（ＳＴ１３でＮＯ）、ステップＳＴ１５に進む。
ステップＳＴ１５では、最新の検出情報の内容と一つ前の検出情報の内容に基づいて補間方法を決定する。具体的には、以下のように決定する。
When at least one of them does not indicate a telop change point (NO in ST13), the process proceeds to step ST15.
In step ST15, an interpolation method is determined based on the latest detection information content and the previous detection information content. Specifically, it is determined as follows.
（ＳＴ１５ａ）一つ前の検出情報が「テロップ出現点」を示し、最新の検出情報が「シーンチェンジ」を示せば、時間補間処理とする。
（ＳＴ１５ｂ）一つ前の検出情報が「テロップ出現点」を示し、最新の検出情報が「テロップ変更点」を示せば、時間補間処理とする。
（ＳＴ１５ｃ）一つ前の検出情報が「テロップ出現点」を示し、最新の検出情報が「テロップ消滅点」を示せば、時間補間処理とする。
（ＳＴ１５ｄ）一つ前の検出情報が「シーンチェンジ」を示し、最新の検出情報が「シーンチェンジ」を示せば、空間補間処理とする。
（ＳＴ１５ｅ）一つ前の検出情報が「シーンチェンジ」を示し、最新の検出情報が「テロップ変更点」を示せば、時間補間処理と空間補間処理の両方とする。
（ＳＴ１５ｆ）一つ前の検出情報が「シーンチェンジ」を示し、最新の検出情報が「テロップ消滅点」を示せば、時間補間処理とする。
（ＳＴ１５ｇ）一つ前の検出情報が「テロップ変更点」を示し、最新の検出情報が「シーンチェンジ」を示せば、時間補間処理と空間補間処理の両方とする。
（ＳＴ１５ｈ）一つ前の検出情報が「テロップ変更点」を示し、最新の検出情報が「テロップ消滅点」を示せば、時間補間処理とする。
(ST15a) If the previous detection information indicates “telop appearance point” and the latest detection information indicates “scene change”, the time interpolation processing is performed.
(ST15b) If the previous detection information indicates “telop appearance point” and the latest detection information indicates “telop change point”, time interpolation processing is performed.
(ST15c) If the previous detection information indicates “telop appearance point” and the latest detection information indicates “telop disappearance point”, the time interpolation processing is performed.
(ST15d) If the previous detection information indicates “scene change” and the latest detection information indicates “scene change”, the spatial interpolation processing is performed.
(ST15e) If the previous detection information indicates “scene change” and the latest detection information indicates “telop change point”, both time interpolation processing and spatial interpolation processing are performed.
(ST15f) If the previous detection information indicates “scene change” and the latest detection information indicates “telop vanishing point”, the time interpolation processing is performed.
(ST15g) If the previous detection information indicates “telop change point” and the latest detection information indicates “scene change”, both temporal interpolation processing and spatial interpolation processing are performed.
(ST15h) If the previous detection information indicates “telop change point” and the latest detection information indicates “telop disappearance point”, the time interpolation processing is performed.
決定基準ＳＴ１５ｅ及びＳＴ１５ｇ並びにステップＳＴ１４の処理で用いられる基準を組み合わせると、以下の如くとなる。即ち、
（ＳＴ１５ｉ） 一つのシーンチェンジから次のシーンチェンジまでの期間（シーンチェンジ間期間）においては、補間方法は、時間補間と空間補間の組合せを用いる。
Combining the criteria used in the determination criteria ST15e and ST15g and the processing of step ST14 results in the following. That is,
(ST15i) In the period from one scene change to the next scene change (inter-scene change period), the interpolation method uses a combination of temporal interpolation and spatial interpolation.
補間制御部３２は、ステップＳＴ１５で決定した補間方法を示す情報をメモリ３２ｍに保存する。補間制御部３２はさらに、補間のための画像処理用の映像信号を示す情報（映像信号特定情報）Ｄ３２ｄを生成する。
The
ステップＳＴ１４又はＳＴ１５の次にステップＳＴ１６に進む。
ステップＳＴ１６で、補間制御部３２は、決定した補間方法を示す情報Ｄ３２ａ、及び映像信号特定情報Ｄ３２ｄを出力する。
After step ST14 or ST15, the process proceeds to step ST16.
In step ST16, the
次に、ステップＳＴ１７で、映像信号特定情報Ｄ３２ｄがストリームバッファ１２に伝えられ、情報Ｄ３２ｄで特定された映像信号が読み出されて、デコーダ１４でデコードされる。
Next, in step ST17, the video signal specifying information D32d is transmitted to the
デコードされた映像信号Ｄ１４は、補間処理部３１に供給され、補間処理部３１では、補間制御部３２によって補間対象領域の画素に対して、指定される補間方法で補間を行う（ＳＴ１８）。
The decoded video signal D14 is supplied to the
ステップＳＴ１８の次にステップＳＴ１９に進む。
ステップＳＴ１９では、処理対象となっているコンテンツの最後か否かの判定が行われ、最後であれば、処理を終了する。最後でなければ、ステップＳＴ１に戻り、同様の動作を繰り返す。
After step ST18, the process proceeds to step ST19.
In step ST19, it is determined whether or not the content to be processed is the last, and if it is the last, the processing is terminated. If it is not the last, it returns to step ST1 and repeats the same operation.
上記の映像信号処理装置では、ストリーム解析部２でテロップの出現点及び消滅点のほか、テロップ変更点及びシーンチェンジを検出し、これらに基づきテロップ領域（補間対象領域）に施す補間の方法を決定しているため、各期間において最適の方法で補間を行うことができ、本来の画像により近い画像を表す映像信号を生成することができるという効果が得られる。これにより、録画した映像信号を視聴する場合には不要となったテロップがない映像信号をユーザーに提供できる。
In the above video signal processing apparatus, the
また、本実施の形態１の映像信号処理装置では、シーンチェンジの一方の側では他方の側の画素或いは画像を用いた補間を行わないので、異なるシーンの映像を補間に用いることによって周囲と調和しない映像が発生するのを防ぐことができる。 In addition, in the video signal processing apparatus according to the first embodiment, since interpolation using pixels or images on the other side is not performed on one side of the scene change, the video of a different scene is used for interpolation to match the surroundings. It is possible to prevent the occurrence of unintended video.
なお、本実施の形態では、トランスポートストリームが制御部１に入力される構成にしているが、これに限らず、プログラムストリームでも構わない。この場合、ＤＶＤまたはＢＤレコーダー等に記録した映像信号について、テロップを検出し、消去する映像信号処理装置になる。
In the present embodiment, the transport stream is input to the
また、本実施の形態では、補間制御部３２が決定する補間方法は、シーンチェンジとシーンチェンジとの間の期間に空間補間または時間補間と空間補間を適用することとしているが、空間補間は補間値を計算して生成しているため処理に時間がかかる。そこで、補間処理を高速化するため、空間補間処理はシーンチェンジ直後の１フレームだけに適用し、その後のフレームについては空間補間で得られたこの１フレームのテロップ領域の画像を用いた時間補間を行うこととしてもよい。
In the present embodiment, the interpolation method determined by the
また、本実施の形態では、補間処理部３１の空間補間処理は、テロップ領域内の全画素の補間値を、テロップ領域の周辺画素を用いて算出する構成にしているが、ストリーム解析部２が検出するテロップ領域はテロップの文字を構成する画素を含む矩形であるため、テロップ領域にはテロップの文字を構成している画素（以下、文字画素と表現する）ではない画素も含まれる。そこで、テロップ領域内の文字画素の補間値のみを算出し、テロップ領域内の文字画素以外の画素については、補間値の算出や補間値による置き換えなどの処理をしないようにしてもよい。このとき、文字画素の補間値算出に使用する周辺画素は、当該画素の上下左右の各方向について最も近い文字画素以外の画素を用いると、テロップを消去して本来の画像により近い画像を生成することができる。
In the present embodiment, the spatial interpolation processing of the
また、本実施の形態では、補間制御部３２が決定した補間方法が時間補間処理であった場合、補間に使用する映像信号をテロップ切替点ないしシーンチェンジの直前もしくは直後のフレームとしているが、テロップ切替点ないしシーンチェンジの数フレーム前もしくは数フレーム後のフレームとしてもよい。数フレームとは、例えば、2フレームにする。これは、テロップやシーンの切り替わりが、３フレーム以上のフレームに亘り徐々に切り替わることがあるためである。
In the present embodiment, when the interpolation method determined by the
実施の形態２．
図１０は、本発明の実施の形態２に係る映像信号処理装置の構成を示す。本実施の形態に係る映像信号処理装置は、制御部１、ストリーム解析部２、画像処理部３、受信部４、復調部５、及び表示部６を備える。
FIG. 10 shows a configuration of a video signal processing apparatus according to
実施の形態１に対する相違点は、受信部４と、受信部４で受信した放送波を復調する復調部５を備え、復調部５で復調することで得られたトランスポートストリームが制御部１に入力される点と、画像処理部３が出力した映像信号を表示する表示部６を備える点である。実施の形態１と同じ符号を付した構成要素は同じ動作をする。
The difference from the first embodiment is that a receiving unit 4 and a demodulating unit 5 that demodulates a broadcast wave received by the receiving unit 4 are provided, and a transport stream obtained by demodulating by the demodulating unit 5 is transmitted to the
受信部４は放送波を受信し、復調部５は受信部４が受信した放送波を復調し、トランスポートストリームの形式に変換して制御部１へ出力する。
The receiving unit 4 receives the broadcast wave, and the demodulating unit 5 demodulates the broadcast wave received by the receiving unit 4, converts it into a transport stream format, and outputs it to the
制御部１は、入力されたトランスポートストリームを受け、実施の形態１と同様に、画像処理部３からの情報Ｄ３２ｄに基づいて画像処理用の映像信号Ｄ１４を画像処理部３に出力し、ストリーム解析用の映像信号Ｄ１３をストリーム解析部２に出力する。ストリーム解析部２は映像信号Ｄ１３からテロップ領域とテロップ切替点とシーンチェンジ点とを検出し、テロップ切替点情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ点情報Ｄ２３を画像処理部３に出力する。
The
画像処理部３は、ストリーム解析部２から入力されたテロップ切替時刻情報Ｄ２２ａ及びテロップ領域代表位置情報Ｄ２２ｂ、並びにシーンチェンジ時刻情報Ｄ２３に基づき、実施の形態１で説明したのと同様に補間処理を行い、補間により生成した映像信号を表示部６に出力する。
表示部６は、入力された補間後の映像信号を表示する。
Based on the telop switching time information D22a, the telop area representative position information D22b, and the scene change time information D23 input from the
The
実施の形態２の映像信号処理装置は、表示部６を有する構成であるため、テロップを消去した本来の映像により近い映像を視聴することが可能になるという効果がある。
Since the video signal processing apparatus according to the second embodiment has the
また、受信部４と復調部５と表示部を有する構成であるため、放送波を受信し、テロップを消去し本来の映像により近い映像を視聴することができるという効果が得られる。 In addition, since the receiving unit 4, the demodulating unit 5, and the display unit are provided, an effect is obtained in which a broadcast wave is received, a telop is deleted, and a video closer to the original video can be viewed.
なお、本実施の形態は、映像信号の受信機、すなわち、家庭用のテレビや車載用のテレビに適用可能である。 Note that the present embodiment can be applied to a video signal receiver, that is, a home television set or a vehicle-mounted television set.
実施の形態３．
図１１は、本発明の実施の形態３に係る映像信号処理装置の構成を示す。本実施の形態に係る映像信号処理装置は、制御部１、ストリーム解析部２、画像処理部３、エンコーダ７、及びストリーム蓄積部８を備える。
FIG. 11 shows a configuration of a video signal processing apparatus according to
実施の形態１に対する相違点は、エンコーダ７とストリーム蓄積部８を有し、画像処理部３が出力した映像信号をエンコーダ７で符号化し、ストリーム蓄積部８に蓄積する点である。実施の形態１と同じ符号を付した構成要素は同じ動作をする。
The difference from the first embodiment is that the
制御部１は、入力されたトランスポートストリームを受け、実施の形態１と同様に、画像処理部３からの情報Ｄ３２ｄに基づいて画像処理用の映像信号Ｄ１４を画像処理部３に出力し、ストリーム解析用の映像信号Ｄ１３をストリーム解析部２に出力する。ストリーム解析部２は、映像信号Ｄ１３からテロップ領域とテロップ切替点とシーンチェンジ点とを検出し、テロップ切替点情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ点情報Ｄ２３を画像処理部３に出力する。
The
画像処理部３は、ストリーム解析部２から入力されたテロップ切替時刻情報Ｄ２２ａ及びテロップ領域代表位置情報Ｄ２２ｂ、並びにシーンチェンジ時刻情報Ｄ２３に基づき、実施の形態１で説明したのと同様の補間処理を行い、補間により生成した映像信号をエンコーダ７に出力する。
Based on the telop switching time information D22a, the telop area representative position information D22b, and the scene change time information D23 input from the
エンコーダ７は、入力された映像信号（補間後の映像信号）を、蓄積するために符号化する。この符号化は蓄積に必要なメモリ容量を削減するために行われる。エンコーダ７で符号化された補間後の映像信号は、ストリーム蓄積部８に出力される。ストリーム蓄積部８は入力された符号化された補間後の映像信号を蓄積する。
The
ストリーム蓄積部８に保存された符号化された補間後の映像信号は、例えば再び復号して図示しない表示部に表示される。この場合、ストリーム蓄積部８から符号化された補間後の映像信号が図示しないデコーダに出力され、デコーダが復号を行い、復号後の映像信号が図示しない表示部で表示される。このようにすることで、補間後の映像信号を再生して視聴することが可能である。
The encoded video signal after interpolation stored in the
実施の形態３の映像信号処理装置は、ストリーム蓄積部８を有する構成であるため、補間処理をした映像信号を保存することができるという効果が得られる。
Since the video signal processing apparatus according to the third embodiment is configured to include the
なお、実施の形態３は、実施の形態１の装置にエンコーダ７とストリーム蓄積部８とを追加した構成にしているが、さらに実施の形態２と同様の受信部と復調部とデコーダと表示部とを追加して録画機能を有するテレビ受信機の構成にしてもよい。
In the third embodiment, the
実施の形態４．
図１２は、本発明の実施の形態４に係る映像信号処理装置の構成を示す。本実施の形態に係る映像信号処理装置は、制御部１ａ、ストリーム解析部２、及び画像処理部３ａを備える。制御部１ａは、デマックス１１、デコーダ１３、デコーダ１４、ストリーム蓄積部１５、解析結果蓄積部１６、及びテロップ選択部１７を備える。
Embodiment 4 FIG.
FIG. 12 shows a configuration of a video signal processing apparatus according to Embodiment 4 of the present invention. The video signal processing apparatus according to the present embodiment includes a
実施の形態１に対する相違点は、制御部１ａが実施の形態１のストリームバッファ１２の代わりにストリーム蓄積部１５を有し、画像処理部３の代わりに画像処理部３ｂが設けられ、ストリーム解析部２の解析結果を蓄積する解析結果蓄積部１６と、補間対象のテロップを選択するテロップ選択部１７とが付加されている点である。実施の形態１と同じ符号を付した構成要素は同じ動作をする。
The difference from the first embodiment is that the
ストリーム蓄積部１５は、デマックス１１から入力された符号化映像信号を蓄積する。解析結果蓄積部１６は、ストリーム解析部２から入力された解析結果としてのテロップ切替時刻情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ時刻情報Ｄ２３を蓄積し、テロップ切替時刻情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ時刻情報Ｄ２３を、ストリーム蓄積部１５とテロップ選択部１７とに出力する。
The
解析結果蓄積部１６で解析結果を蓄積するのは、ストリームの蓄積、すなわち、映像信号の録画が終了した後に、テロップ消去のための画像処理を行うためである。解析結果蓄積部１６はストリームの蓄積が終了してから、蓄積した解析結果をストリーム蓄積部１５とテロップ選択部１７へと出力する。
The analysis
ストリーム蓄積部１５は解析結果蓄積部１６から入力されたテロップ切替時刻情報Ｄ２２ａに基づいて、テロップ出現点の画像（出現後の最初のフレーム）、及びテロップ変更点の画像（変更後最初のフレーム）をデコーダ１４に出力する。デコーダ１４は、ストリーム蓄積部１５から入力された映像信号Ｄ１５を復号し、復号後の映像信号Ｄ１４ｂをテロップ選択部１７に出力する。
Based on the telop switching time information D22a input from the analysis
テロップ選択部１７は、デコーダ１４から入力された映像信号Ｄ１４ｂで表される映像を表示部６に表示し、外部からテロップ選択情報が入力されるのを待つ。即ち、ユーザーに表示部６に表示された映像の各々についてテロップを消去するか否かの判断を促し、判断結果が入力されるのを待つ。
The
テロップ選択部１７は、デコーダ１４から供給された映像信号Ｄ１４ｂで表される映像（解析結果蓄積部１６に蓄積された、コンテンツ中のすべてのテロップ出現点情報、及びテロップ変更点情報で特定されるフレームの画像）を一覧表示する。
The
一覧表示は、例えば複数の子画面にテロップ出現点及びテロップ変更点の画像を表示することで行われる。テロップ出現点及びテロップ変更点の画像のすべてを一度に表示することができないときは、画面を切り替えながら、順に表示する。
テロップ選択情報は、テロップ選択部１７が表示させた、テロップを含む画像の一覧のうち、ユーザーが選択した画像（或いは画像に含まれるテロップ）を特定する情報である。ユーザーにより消去対象と判定されたテロップを、以下、「消去する（消去すべき）テロップ」と呼ぶ。
List display is performed, for example, by displaying images of telop appearance points and telop change points on a plurality of sub-screens. When all the images of the telop appearance point and the telop change point cannot be displayed at once, the images are displayed in order while switching the screen.
The telop selection information is information for specifying an image (or a telop included in the image) selected by the user from the list of images including the telop displayed by the
本実施の形態は、「消去するテロップ」のテロップ領域に対する画素補間処理を行う。テロップを選択して補間処理により消去するのは、緊急速報のテロップであっても、選挙速報など個々のユーザーにとっては残しておきたい情報である場合があるためである。 In the present embodiment, pixel interpolation processing is performed on a telop area of “erased telop”. The reason for selecting a telop and erasing it by interpolation processing is that even if it is an urgent bulletin telop, it may be information that individual users want to keep, such as election bulletin.
テロップ選択部１７は「消去するテロップ」のテロップ切替時刻情報Ｄ２２ａｓ（ストリーム解析部２から出力されるテロップ切替時刻情報Ｄ２２ａのうち、テロップ選択部１７で選択されたもの）を補間制御部３２に出力する。これとともに、補間制御部３２には、録画したコンテンツのすべてのテロップ切替時刻情報Ｄ２２ａ、対応するテロップ領域代表位置情報Ｄ２２ｂ、シーンチェンジ時刻情報Ｄ２３が解析結果蓄積部１６から供給される。
The
画像処理部３ａの補間制御部３２ａは、解析結果蓄積部１６及びテロップ選択部１７から供給された情報に基づいて、消去するテロップ領域の各々についての補間方法を決定し、映像信号特定情報Ｄ３２ｄをストリーム蓄積部１５に出力する。ストリーム蓄積部１５は、情報Ｄ３２ｄによって特定される映像信号をデコーダ１４に出力する。
The
以下、実施の形態４の映像信号処理方法を図１３のフローチャートを用いて、説明する。
まず、録画を行う（ＳＴ３０）。
録画の詳細を図１４に示す。
最初に、デマックス１１がトランスポートストリームから映像信号を抽出する（ＳＴ３１）。
Hereinafter, the video signal processing method according to the fourth embodiment will be described with reference to the flowchart of FIG.
First, recording is performed (ST30).
Details of the recording are shown in FIG.
First, the
ストリーム蓄積部１５は、抽出された映像信号を蓄積する（ＳＴ３２）。
一方、デコーダ１３は、デマックス１１から入力された映像信号を、ストリーム解析用の映像信号としてデコードし（ＳＴ３３）、ストリーム解析部２がストリーム解析を行って、解析結果としてテロップ切替時刻情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ時刻情報Ｄ２３を生成する（ＳＴ３４）。解析結果蓄積部１６は、ストリーム解析部２による解析結果を蓄積する（ＳＴ３５）。
The
On the other hand, the
ステップＳＴ３６で録画が終了したか否かを判定する。録画が終了していなければ、ステップＳＴ３１に戻る。ステップＳＴ３１〜ＳＴ３６の処理は、録画（例えば一つのコンテンツの録画）が終了するまで繰り返される。
図１３に戻り、録画（ＳＴ３０）が終了した後、ステップＳＴ４１の処理を行う。
In step ST36, it is determined whether the recording is finished. If the recording has not ended, the process returns to step ST31. The processes of steps ST31 to ST36 are repeated until recording (for example, recording of one content) is completed.
Returning to FIG. 13, after the recording (ST30) is completed, the process of step ST41 is performed.
ステップＳＴ４１では、テロップ選択部１７が録画中に検出したテロップを含む画像を表示部６を用いて一覧表示し、外部からユーザーによってテロップを選択する信号が入力されるのを待つ（ＳＴ４２）。
In step ST41, the
ステップＳＴ４２で、所定時間内にテロップを選択する信号が入力された場合（ステップＳＴ４２でＹＥＳ）、ステップＳＴ４３に進む。
ステップＳＴ４２で、所定時間以内にテロップを選択する信号が入力されなければ（ＳＴ４２でＮＯ）、ステップＳＴ４４に進む。
If a signal for selecting a telop is input within a predetermined time in step ST42 (YES in step ST42), the process proceeds to step ST43.
If a signal for selecting a telop is not input within a predetermined time in step ST42 (NO in ST42), the process proceeds to step ST44.
ステップＳＴ４４では、ユーザーから視聴の指示を待つ。ユーザーから視聴の指示があれば（ＳＴ４４でＹＥＳ）、ステップＳＴ４５に進み、テロップの一覧表示を行い、ユーザーによる消去するテロップの選択入力を待つ（ＳＴ４６）。
ステップＳＴ４６で、所定時間内に選択入力があれば（ＳＴ４６でＹＥＳ）、ステップＳＴ４３に進む。
ステップＳＴ４３では、選択されたテロップを消去（補間）すべきものと決定する。
所定時間以内に選択入力がなければ（ステップＳ４３でＮＯ）、ステップＳ４５に進む。
ステップＳＴ４７では、すべてのテロップを消去（補間）すべきものと決定する。
なお、所定時間以内に選択入力がないときには、すべてのテロップを消去（補間）しないとの決定を行うこととしても良い。
ステップＳＴ４３又はＳＴ４７の次にステップＳＴ４８に進む。
In step ST44, the user waits for a viewing instruction. If there is a viewing instruction from the user (YES in ST44), the process proceeds to step ST45, a list of telops is displayed, and a selection input of telops to be erased by the user is waited (ST46).
If there is a selection input within a predetermined time in step ST46 (YES in ST46), the process proceeds to step ST43.
In step ST43, it is determined that the selected telop is to be erased (interpolated).
If there is no selection input within the predetermined time (NO in step S43), the process proceeds to step S45.
In step ST47, it is determined that all telops should be erased (interpolated).
If there is no selection input within a predetermined time, it may be determined not to delete (interpolate) all the telops.
After step ST43 or ST47, the process proceeds to step ST48.
ステップＳＴ４８では、テロップの各々に関し、それぞれの持続期間について補間方法の決定を行う。
ステップＳＴ４８では、補間制御部３２が選択されたテロップ、即ち「消去するテロップ」の各々に関し、それぞれの持続期間について補間方法を決定し、これとともに、映像信号特定情報Ｄ３２ｄを生成し、これに応じてストリーム蓄積部１５が画像処理用の映像信号をデコーダ１４に出力する。
In step ST48, the interpolation method is determined for each duration for each telop.
In step ST48, the
ステップＳＴ４９において、デコーダ１４は、ストリーム蓄積部１５から供給された画像処理用の映像信号をデコードする。
In step ST49, the
最後にステップＳＴ５０で補間処理部３１が画素補間処理を実行する。
ステップＳＴ５０の次の処理を終了する。
Finally, in step ST50, the
The next process of step ST50 is terminated.
実施の形態４の映像信号処理装置は、録画時にテロップの検出を行い、録画後にユーザーにより選択された「消去するテロップ（消去すべきテロップ）」のみを画素補間処理で消去するので、消去するテロップをユーザーが選択することができるという効果が得られる。また、図１２の映像信号処理装置を、放送波を復調することで得られた映像信号を処理するために用いる場合、ユーザーはリアルタイムでは放送された映像信号をそのまま、即ちテロップが重畳された映像を視聴し、録画した映像信号を視聴するときは、テロップが消去された映像を視聴することが可能である。 The video signal processing apparatus according to the fourth embodiment detects a telop at the time of video recording, and erases only “the telop to be erased (telop to be erased)” selected by the user after the video recording by the pixel interpolation process. The effect that the user can select is obtained. When the video signal processing apparatus shown in FIG. 12 is used to process a video signal obtained by demodulating a broadcast wave, the user can use the video signal broadcast in real time, that is, a video on which a telop is superimposed. When viewing the recorded video signal, it is possible to view the video from which the telop has been deleted.
なお、本実施の形態では、テロップ選択部１７はテロップを含む映像信号を表示する際、フレーム全体を表示する構成にしているが、テロップ領域代表位置情報Ｄ２２ｂが示すテロップ領域のみを表示しても良い。
In the present embodiment, the
なおまた、本実施の形態の映像信号処理方法では、録画終了直後にテロップの一覧を表示し、「消去するテロップ」を決定する際、所定時間以内にテロップを選択する信号の入力がなければ、図１３のステップＳＴ４４に進むこととしているが、本発明はこれに限定されない。例えば、所定時間以内にテロップを選択する信号の入力がない時点で全てのテロップを「消去するテロップ」としてもよい。また全てのテロップを「消去するテロップ」ではないとしてもよい。 In addition, in the video signal processing method of the present embodiment, a list of telops is displayed immediately after the end of recording, and when a telop to be deleted is determined, if a signal for selecting a telop is not input within a predetermined time, The process proceeds to step ST44 in FIG. 13, but the present invention is not limited to this. For example, all telops may be “erased telops” when there is no input of a telop selection signal within a predetermined time. Also, not all telops may be “erasing telops”.
また、図１３のステップＳＴ４２でＮＯの後、ステップＳＴ４４を介してステップＳＴ４５に進んで、テロップを一覧表示するタイミングも、ステップＳＴ３２で蓄積した映像信号をユーザーが視聴するタイミングに限らない。
例えば、ユーザーが別のコンテンツの録画予約や録画再生などレコーダーの操作をしているときに、一覧表示を行って消去すべきコンテンツの選択を行わせても良い。
In addition, after NO in step ST42 of FIG. 13, the process proceeds to step ST45 via step ST44, and the timing for displaying a list of telops is not limited to the timing when the user views the video signal accumulated in step ST32.
For example, when the user is operating the recorder such as recording reservation or recording playback of another content, a list display may be performed to select the content to be deleted.
実施の形態５．
図１５は、本発明の実施の形態５に係る映像信号処理装置の構成を示す。本実施の形態に係る映像信号処理装置は、制御部１ａ、ストリーム解析部２、画像処理部３ｂ、表示部６、及び画像合成部９を備える。
Embodiment 5. FIG.
FIG. 15 shows the configuration of a video signal processing apparatus according to Embodiment 5 of the present invention. The video signal processing apparatus according to the present embodiment includes a
実施の形態４に対する相違点は、実施の形態４の画像処理部３ａの代わりに画像処理部３ｂが設けられ、画像処理部３ｂが、テロップ領域（補間対象領域）の補間映像を表す映像信号Ｄ３ｂを生成して出力する点と、表示部６及び画像合成部９を有する点である。即ち、実施の形態３の画像処理部３は、映像信号Ｄ１４で表される映像のうちの、テロップ領域を補間対象領域として補間することで得られる映像（画面全体に亘る補間後の映像）を表す映像信号を出力するが、これに対して実施の形態５の画像処理部３ｂから出力される映像信号Ｄ３ｂは、画面全体に亘る映像のうちの補間対象領域のみの、補間後の映像を表すものであり、これとは別に画面全体に亘る補間前の映像を表す映像信号Ｄ１４が制御部１ａから画像合成部９に供給される。実施の形態４と同じ符号を付した構成要素は同じ動作をする。
The difference from the fourth embodiment is that an
画像合成部９は、制御部１ａからの補間前の映像信号Ｄ１４と、画像処理部３ｂからの補間映像を表す映像信号Ｄ３ｂとを入力として、デコーダ１４からの補間前の映像信号Ｄ１４で表される映像に、映像信号Ｄ３ｂで表される補間映像を重畳して、合成映像を生成し、該合成映像を表す映像信号を生成する。この合成はオンスクリーン表示機能を用いて行われる。表示部６は画像合成部９が生成した映像信号を受けて、合成映像を表示する。
The image composition unit 9 receives the pre-interpolation video signal D14 from the
この合成映像においては、例えば制御部１ａからの映像信号Ｄ１４で表される映像が表示部６の画面全体を使って通常表示され、画像処理部３ｂからの補間映像Ｄ３ｂが、画面の一部を占めるオンスクリーン表示領域に表示される。即ち、テロップ領域（補間対象領域）をオンスクリーン表示領域として補間映像を合成することで、映像信号Ｄ１４で表される映像のうちのテロップ領域を補間映像で置き換えた映像（実施の形態１などで合成処理部３から出力される映像信号に基づいて表示される映像と同じもの）が表示される。
In this synthesized video, for example, the video represented by the video signal D14 from the
実施の形態５の映像信号処理装置は、補間処理を施す前の映像信号Ｄ１４で表される映像に、補間映像Ｄ３ｂを画像合成部９で重畳して表示する構成にしているため、補間処理を施す前の映像信号とテロップ補間映像を表す映像信号を別々に保存することが可能である。これにより、補間映像を重畳表示するか否かを切り替えることが可能である。 Since the video signal processing apparatus according to the fifth embodiment is configured to display the interpolated video D3b superimposed on the video represented by the video signal D14 before the interpolation processing by the image synthesis unit 9, the interpolation processing is performed. It is possible to store separately the video signal before being applied and the video signal representing the telop interpolation video. Thereby, it is possible to switch whether or not the interpolated video is displayed in a superimposed manner.
以上本発明を映像信号処理装置として説明したが、上記の映像信号処理装置によって実施される映像信号処理方法もまた本発明の一部をなす。また、上記の映像信号処理装置の各部の機能をコンピュータに実行させるためのプログラム、上記の映像信号処理方法の各工程の処理をコンピュータに実行させるためのプログラム、並びに上記のプログラムを記録したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。 Although the present invention has been described as a video signal processing apparatus, the video signal processing method implemented by the video signal processing apparatus described above also forms part of the present invention. In addition, a program for causing a computer to execute the functions of each unit of the video signal processing apparatus, a program for causing a computer to execute the process of each step of the video signal processing method, and a computer recording the above program A readable recording medium also forms part of the present invention.
１、１ａ 制御部、 ２ ストリーム解析部、 ３、３ａ、３ｂ 画像処理部、 ４ 受信部、 ５ 復調部、 ６ 表示部、 ７ エンコーダ、 ８ ストリーム蓄積部、 ９ 画像合成部、 １１ デマックス、 １２ ストリームバッファ、 １３ デコーダ、 １４ デコーダ、 １５ ストリーム蓄積部、 １６ 解析結果蓄積部、 １７ テロップ選択部、 ２０ テロップ検出部、 ２１ テロップ領域検出部、 ２２ テロップ切替点検出部、 ２３ シーンチェンジ検出部、 ３１ 補間処理部、 ３２ 補間制御部。 1, 1a control unit, 2 stream analysis unit, 3, 3a, 3b image processing unit, 4 reception unit, 5 demodulation unit, 6 display unit, 7 encoder, 8 stream storage unit, 9 image synthesis unit, 11 demax, 12 stream Buffer, 13 decoder, 14 decoder, 15 stream storage unit, 16 analysis result storage unit, 17 telop selection unit, 20 telop detection unit, 21 telop area detection unit, 22 telop switching point detection unit, 23 scene change detection unit, 31 interpolation A processing unit, 32 an interpolation control unit.
Claims (18)
前記映像のシーンチェンジを検出するシーンチェンジ検出部と、
前記検出されたテロップの文字を構成する画素を含む領域を補間対象領域として、当該補間対象領域内の画素値を、前記補間対象領域外の画素の画素値で補間して、補間後の映像信号を出力する画像処理部とを有し、
前記画像処理部は、前記テロップ検出部によって検出されたテロップの出現時刻、消滅時刻、及び変更時刻、並びに前記シーンチェンジ検出部によって検出されたシーンチェンジの発生時刻に基づいて、前記補間の方法を決定する
ことを特徴とする映像信号処理装置。 While detecting pixels constituting the telop character included in the video represented by the video signal, the appearance time and disappearance time of the telop are detected, and the telop is 1 in the period from the appearance time to the disappearance time of the telop. When changed more than once, a telop detection unit that detects the time of the change;
A scene change detector for detecting a scene change of the video;
Interpolated video signal by interpolating the pixel value in the interpolation target area with the pixel value of the pixel outside the interpolation target area, with the area including the pixels constituting the detected telop character as the interpolation target area An image processing unit for outputting
The image processing unit performs the interpolation method based on the appearance time, disappearance time, and change time of the telop detected by the telop detection unit, and the occurrence time of the scene change detected by the scene change detection unit. A video signal processing apparatus characterized by determining.
前記画像処理部が、前記検出されたテロップ領域を前記補間対象領域として補間を行うことを特徴とする請求項１に記載の映像信号処理装置。 The telop detection unit detects a telop area including all the pixels constituting the character of the telop,
The video signal processing apparatus according to claim 1, wherein the image processing unit performs interpolation using the detected telop area as the interpolation target area.
前記映像の各フレームにおいて、前記テロップ領域の位置を検出するテロップ領域検出部と、
前記テロップの出現時刻から消滅時刻までの期間内における、１又は２以上のテロップの各々が連続して表示される持続期間について、前記テロップ領域の代表的位置を検出するテロップ切替点検出部とを有し、
前記画像処理部は、前記持続期間の各々について前記補間の方法を決定し、前記代表的位置の領域を前記補間対象領域として、該補間対象領域内の画素に対して、前記決定された補間の方法で補間を行う
ことを特徴とする請求項１乃至３のいずれかに記載の映像信号処理装置。 The telop detection unit
A telop area detector for detecting the position of the telop area in each frame of the video;
A telop switching point detection unit that detects a representative position of the telop area for a duration in which each of one or more telops is continuously displayed within a period from the appearance time to the disappearance time of the telop; Have
The image processing unit determines the interpolation method for each of the durations, sets the region at the representative position as the interpolation target region, and performs the determined interpolation on the pixels in the interpolation target region. The video signal processing apparatus according to claim 1, wherein interpolation is performed by a method.
前記補間の方法として、前記補間対象領域と同じフレーム内の画素を用いる空間補間、又は前記テロップ領域とは異なるフレーム内の、前記テロップ領域と同じ位置の画素を用いる時間補間、又は前記空間補間と前記時間補間の組合せのいずれかを選択することを特徴とする請求項１乃至４のいずれかに記載の映像信号処理装置。 The image processing unit
As the interpolation method, spatial interpolation using pixels in the same frame as the interpolation target area, temporal interpolation using pixels at the same position as the telop area in a frame different from the telop area, or spatial interpolation 5. The video signal processing apparatus according to claim 1, wherein one of the combinations of time interpolation is selected.
前記テロップ変更時刻の前及び後の一方にあるフレーム内の補間対象領域内の画素の補間に当たり、
当該テロップ変更時刻を挟んで反対側にあるフレーム内の、前記補間対象領域と同じ位置が、前記反対側にあるフレーム内に位置するテロップの文字を構成する画素を含む領域内のものではない場合には、当該同じ位置の画素の画素値を用いた時間補間を行い、
当該テロップ変更時刻を挟んで反対側にあるフレーム内の、前記補間対象領域と同じ位置が、前記反対側にあるフレーム内に位置するテロップの文字を構成する画素を含む領域内のものである場合には、前記補間対象領域と同じフレーム内の画素の画素値を用いた空間補間を行う
ことを特徴とする請求項１乃至６のいずれかに記載の映像信号処理装置。 The image processing unit
In the interpolation of the pixels in the interpolation target area in the frame before and after the telop change time,
When the same position as the interpolation target area in the frame on the opposite side across the telop change time is not in the area including the pixels constituting the text of the telop located in the frame on the opposite side Performs time interpolation using the pixel value of the pixel at the same position,
When the same position as the interpolation target area in the frame on the opposite side across the telop change time is within the area including the pixels constituting the text of the telop located in the frame on the opposite side The video signal processing device according to claim 1, wherein spatial interpolation is performed using pixel values of pixels in the same frame as the interpolation target region.
前記テロップの出現時刻から消滅時刻までの期間内に、シーンチェンジが発生しなかった場合には前記テロップの出現時刻から消滅時刻までの期間内のすべてのフレーム内の補間対象領域内の画素の補間を、前記補間対象領域を含むフレームとは異なるフレーム内の画素を用いた時間補間で行い、
前記テロップの出現時刻から消滅時刻までの期間内に、１又は２以上のシーンチェンジが発生した場合に、
前記テロップ出現時刻から前記１又は２以上のシーンチェンジのうちの最初のシーンチェンジの発生時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、前記テロップ出現時刻よりも前のフレーム内の画素を用いた時間補間で行い、
前記１又は２以上のシーンチェンジのうちの最後のシーンチェンジの発生時刻からテロップ消滅時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、前記テロップ消滅時刻よりも後のフレーム内の画素を用いた時間補間で行う
ことを特徴とする請求項１乃至８のいずれかに記載の映像信号処理装置。 The image processing unit
If no scene change occurs within the period from the appearance time to the disappearance time of the telop, interpolation of pixels in the interpolation target area in all frames within the period from the appearance time to the disappearance time of the telop Is performed by temporal interpolation using pixels in a frame different from the frame including the interpolation target region,
When one or more scene changes occur within the period from the appearance time to the disappearance time of the telop,
Interpolation of pixels in the interpolation target area in a frame within a period from the telop appearance time to the first scene change occurrence time among the one or more scene changes is performed before the telop appearance time. By time interpolation using the pixels in
Interpolation of pixels in the interpolation target area in the frame within the period from the time when the last scene change among the one or more scene changes occurs to the telop disappearance time is performed within the frame after the telop disappearance time. The video signal processing device according to claim 1, wherein the video signal processing device performs the time interpolation using the pixels.
前記１又は２以上のシーンチェンジのうちの１つのシーンチェンジの発生時刻から次のシーンチェンジの発生時刻までの期間であって、かつ、当該期間にテロップ変更点が含まれている場合に、
前記テロップ変更点の一方の側のフレーム内の補間対象領域内の画素の補間に当たって、
前記テロップ変更点の他方の側のフレーム内の、前記補間対象領域と同じ位置の画素が、当該他方の側のフレーム内におけるテロップの文字を構成する画素を含む領域内のものではない場合には、当該同じ位置の画素の画素値を用いた時間補間を行い、
前記テロップ変更点の他方の側のフレーム内の、前記補間対象領域と同じ位置の画素が、当該他方の側のフレーム内におけるテロップの文字を構成する画素を含む領域内のものである場合には、前記補間対象領域と同じフレーム内の画素を用いた空間補間を行う
ことを特徴とする請求項９に記載の映像信号処理装置。 The image processing unit
When it is a period from the occurrence time of one of the one or more scene changes to the occurrence time of the next scene change, and a telop change point is included in the period,
When interpolating pixels in the interpolation target region in the frame on one side of the telop change point,
When the pixel at the same position as the interpolation target area in the frame on the other side of the telop change point is not in the area including the pixels constituting the telop character in the frame on the other side , Perform time interpolation using the pixel value of the pixel at the same position,
When the pixel at the same position as the interpolation target area in the frame on the other side of the telop change point is in the area including the pixels constituting the text of the telop in the frame on the other side The video signal processing apparatus according to claim 9, wherein spatial interpolation is performed using pixels in the same frame as the interpolation target area.
前記エンコーダで符号化された映像信号を蓄積するストリーム蓄積部と
をさらに有することを特徴とする請求項１乃至１０のいずれかに記載の映像信号処理装置。 An encoder that encodes a video signal output from the image processing unit;
The video signal processing apparatus according to claim 1, further comprising: a stream storage unit that stores the video signal encoded by the encoder.
前記受信部が受信した放送波を復調しトランスポートストリームを出力する復調部とをさらに有し、
前記制御部は、前記復調部が出力したトランスポートストリームから映像信号を分離し、分離した映像信号を復号して、復号後の映像信号を前記テロップ検出部、前記シーンチェンジ検出部及び前記画像処理部に出力する
ことを特徴とする請求項１乃至１２のいずれかに記載の映像信号処理装置。 A receiver for receiving broadcast waves;
A demodulator that demodulates the broadcast wave received by the receiver and outputs a transport stream;
The control unit separates a video signal from the transport stream output from the demodulation unit, decodes the separated video signal, and outputs the decoded video signal to the telop detection unit, the scene change detection unit, and the image processing The video signal processing device according to claim 1, wherein the video signal processing device outputs the video signal to a video signal processing unit.
前記テロップ検出部で検出されたテロップに関する情報及び前記シーンチェンジ検出部で検出されたシーンチェンジに関する情報を蓄積する解析結果蓄積部と、
前記解析結果蓄積部に蓄積された、前記検出されたテロップに関する情報で示されるテロップのうちで、消去すべきものを指定する外部からの情報に基づいて、前記画像処理部で補間の対象とするテロップを選択するテロップ選択部をさらに有する
ことを特徴とする請求項１乃至１３のいずれかに記載の映像信号処理装置。 The controller is
An analysis result storage unit that stores information about the telop detected by the telop detection unit and information about the scene change detected by the scene change detection unit;
Among the telops stored in the analysis result storage unit and indicated by the information about the detected telops, the telops to be interpolated by the image processing unit based on information from the outside that specifies what should be deleted The video signal processing apparatus according to claim 1, further comprising: a telop selection unit that selects the video signal.
前記制御部から出力された映像信号で表される映像に、前記画像処理部から出力された映像信号で表される補間映像を重畳して合成映像信号を出力する合成部と、
前記合成部から出力された合成映像信号に基づいて、前記合成映像信号で表される合成映像を表示する表示部とを
さらに有することを特徴とする請求項１乃至１４のいずれかに記載の映像信号処理装置。 The image processing unit generates a video signal representing an interpolated video of the interpolation target area;
A compositing unit that outputs a composite video signal by superimposing an interpolated video represented by the video signal output from the image processing unit on a video represented by the video signal output from the control unit;
The video according to claim 1, further comprising a display unit that displays a composite video represented by the composite video signal based on the composite video signal output from the composite unit. Signal processing device.
前記映像のシーンチェンジを検出するシーンチェンジ検出ステップと、
前記検出されたテロップの文字を構成する画素を含む領域を補間対象領域として、当該補間対象領域内の画素値を、前記補間対象領域外の画素の画素値で補間して、補間後の映像信号を出力する画像処理ステップとを有し、
前記画像処理ステップは、前記テロップ検出ステップによって検出されたテロップの出現時刻、消滅時刻、及び変更時刻、並びに前記シーンチェンジ検出ステップによって検出されたシーンチェンジの発生時刻に基づいて、前記補間の方法を決定する
ことを特徴とする映像信号処理方法。 While detecting pixels constituting the telop character included in the video represented by the video signal, the appearance time and disappearance time of the telop are detected, and the telop is 1 in the period from the appearance time to the disappearance time of the telop. If it has been changed more than once, a telop detection step for detecting the time of the change;
A scene change detection step for detecting a scene change of the video;
Interpolated video signal by interpolating the pixel value in the interpolation target area with the pixel value of the pixel outside the interpolation target area, with the area including the pixels constituting the detected telop character as the interpolation target area And an image processing step for outputting
In the image processing step, the interpolation method is performed based on the appearance time, disappearance time, and change time of the telop detected by the telop detection step, and the occurrence time of the scene change detected by the scene change detection step. A video signal processing method characterized by determining.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013087598A JP6080667B2 (en) | 2013-04-18 | 2013-04-18 | Video signal processing apparatus and method, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013087598A JP6080667B2 (en) | 2013-04-18 | 2013-04-18 | Video signal processing apparatus and method, program, and recording medium |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2014212434A true JP2014212434A (en) | 2014-11-13 |
| JP2014212434A5 JP2014212434A5 (en) | 2016-03-10 |
| JP6080667B2 JP6080667B2 (en) | 2017-02-15 |
Family
ID=51931887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013087598A Expired - Fee Related JP6080667B2 (en) | 2013-04-18 | 2013-04-18 | Video signal processing apparatus and method, program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6080667B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021039192A1 (en) * | 2019-08-30 | 2021-03-04 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| JP7385008B2 (en) | 2019-09-06 | 2023-11-21 | 華為技術有限公司 | Screen capture method and related devices |
| JP7447422B2 (en) | 2019-10-07 | 2024-03-12 | 富士フイルムビジネスイノベーション株式会社 | Information processing equipment and programs |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003333424A (en) * | 2002-05-13 | 2003-11-21 | Nippon Hoso Kyokai <Nhk> | Original image restoring apparatus and program thereof |
| JP2004364234A (en) * | 2003-05-15 | 2004-12-24 | Pioneer Electronic Corp | Broadcast program content menu creation apparatus and method |
| JP2006148263A (en) * | 2004-11-16 | 2006-06-08 | Ntt Communications Kk | Telop erasure method, telop erasure apparatus, and telop erasure program |
| JP2007074091A (en) * | 2005-09-05 | 2007-03-22 | Pioneer Electronic Corp | Telop detection device and method therefor, and recorder |
| JP2007295469A (en) * | 2006-04-27 | 2007-11-08 | Fujitsu Ltd | Device and method for converting video signal |
| JP2009147749A (en) * | 2007-12-14 | 2009-07-02 | Toshiba Corp | Video playback apparatus and video playback method |
-
2013
- 2013-04-18 JP JP2013087598A patent/JP6080667B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003333424A (en) * | 2002-05-13 | 2003-11-21 | Nippon Hoso Kyokai <Nhk> | Original image restoring apparatus and program thereof |
| JP2004364234A (en) * | 2003-05-15 | 2004-12-24 | Pioneer Electronic Corp | Broadcast program content menu creation apparatus and method |
| JP2006148263A (en) * | 2004-11-16 | 2006-06-08 | Ntt Communications Kk | Telop erasure method, telop erasure apparatus, and telop erasure program |
| JP2007074091A (en) * | 2005-09-05 | 2007-03-22 | Pioneer Electronic Corp | Telop detection device and method therefor, and recorder |
| JP2007295469A (en) * | 2006-04-27 | 2007-11-08 | Fujitsu Ltd | Device and method for converting video signal |
| JP2009147749A (en) * | 2007-12-14 | 2009-07-02 | Toshiba Corp | Video playback apparatus and video playback method |
Non-Patent Citations (1)
| Title |
|---|
| JPN6016048752; 庄司ほか: 'テロップ消去のための時空間特徴を用いた映像修復' 映像情報メディア学会誌 Ｖｏｌ．６１，Ｎｏ．１, 20070101, ｐ．９１-９７ * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021039192A1 (en) * | 2019-08-30 | 2021-03-04 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| JP7385008B2 (en) | 2019-09-06 | 2023-11-21 | 華為技術有限公司 | Screen capture method and related devices |
| JP7447422B2 (en) | 2019-10-07 | 2024-03-12 | 富士フイルムビジネスイノベーション株式会社 | Information processing equipment and programs |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6080667B2 (en) | 2017-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100897170B1 (en) | Alpha blending system and its thereof method | |
| EP2131583A1 (en) | Video transmitter, video receiver, video recorder, video reproducer, and video display | |
| US20110286720A1 (en) | Electronic apparatus, video processing method, and program | |
| KR100767676B1 (en) | Video apparatus and method for scanning image thereof | |
| JP2010041336A (en) | Image processing unit and image processing method | |
| US20100329640A1 (en) | Recording/Reproducing Apparatus | |
| JP6080667B2 (en) | Video signal processing apparatus and method, program, and recording medium | |
| JP2008299241A (en) | Image processing apparatus and display | |
| JP6045405B2 (en) | Video processing apparatus, display apparatus, television receiver, and video processing method | |
| JP2012173683A (en) | Display control device, information display apparatus, and display control method | |
| KR101648449B1 (en) | Method of processing image in a display apparatus and the display apparatus | |
| JP6803463B2 (en) | Display device and its control method | |
| US20130155325A1 (en) | Region of interest selection, decoding and rendering of picture-in-picture window | |
| JP2010161493A (en) | Image display device and image display method | |
| JP2007515864A (en) | Video image processing method | |
| JP4857297B2 (en) | Video processing device | |
| KR100854824B1 (en) | Method and apparatus for display a record list of image display device | |
| JP2014212434A5 (en) | ||
| EP1848203B2 (en) | Method and system for video image aspect ratio conversion | |
| JP2008102233A (en) | Video signal processing device | |
| JP2003198979A (en) | Moving picture viewing device | |
| US20070046818A1 (en) | Picture display device and picture display method | |
| JP6742515B2 (en) | CODED VIDEO REPRODUCTION DEVICE AND CODED VIDEO REPRODUCTION METHOD | |
| US20100277574A1 (en) | Video output apparatus and method for controlling the same | |
| WO2009024966A2 (en) | Method for adapting media for viewing on small display screens |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160122 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6080667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |