JP2001024963A - Superimposed character presenting method for television program with superimposed characters - Google Patents

Superimposed character presenting method for television program with superimposed characters

Info

Publication number
JP2001024963A
JP2001024963A JP11194949A JP19494999A JP2001024963A JP 2001024963 A JP2001024963 A JP 2001024963A JP 11194949 A JP11194949 A JP 11194949A JP 19494999 A JP19494999 A JP 19494999A JP 2001024963 A JP2001024963 A JP 2001024963A
Authority
JP
Japan
Prior art keywords
subtitle
subtitles
presentation
display area
shaped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11194949A
Other languages
Japanese (ja)
Other versions
JP4206446B2 (en
Inventor
Eiji Sawamura
英治 沢村
Terumasa Ebara
暉将 江原
Katsuhiko Shirai
克彦 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telecommunications Advancement Organization
Japan Broadcasting Corp
NHK Engineering System Inc
Original Assignee
Nippon Hoso Kyokai NHK
Telecommunications Advancement Organization
NHK Engineering Services Inc
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Telecommunications Advancement Organization, NHK Engineering Services Inc, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP19494999A priority Critical patent/JP4206446B2/en
Publication of JP2001024963A publication Critical patent/JP2001024963A/en
Application granted granted Critical
Publication of JP4206446B2 publication Critical patent/JP4206446B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)

Abstract

PROBLEM TO BE SOLVED: To realize a superimposed character program receiving method capable of providing a superimposed character presentation form easy to read and to comprehend for a viewer. SOLUTION: A television video is vertically and horizontally compressed, and this compressed master video is vertically and horizontally moved. By effectively utilizing an L-shaped empty area over two mutually adjacent sides in a peripheral area on a video display picture 11 prepared by this compression and movement as an L-shaped superimposed character display area 15, superimposed characters on one line are simultaneously presented in this L-shaped superimposed character display area 15. Thus, unit superimposed characters collecting characteristics more than a certain number can be simultaneously presented for comparatively long time corresponding to the number of characters while suppressing the compressing rate of the master video up to the most.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、例えば視聴者にと
って読みやすく、かつ理解しやすい字幕提示形態を実現
可能な字幕番組受信システムに適用される字幕つきテレ
ビ番組における字幕提示方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for presenting subtitles in a television program with subtitles applied to a subtitle program receiving system capable of realizing a subtitle presentation form that is easy for a viewer to read and understand.

【0002】[0002]

【従来の技術】現代は高度情報化社会と一般に言われて
いるが、聴覚障害者は健常者と比較して情報の入手が困
難な状況下におかれている。
2. Description of the Related Art Today, it is generally referred to as an advanced information society, but hearing impaired persons are in a situation where it is difficult to obtain information as compared with healthy persons.

【0003】すなわち、例えば、情報メディアとして広
く普及しているTV放送番組を例示して、日本国内の全
TV放送番組に対する字幕番組の割合に言及すると、欧
米では33〜70%に達しているのに対し、わずか10
%程度ときわめて低くおかれているのが現状である。
That is, for example, a TV broadcast program which is widely used as an information medium is exemplified, and when the ratio of a subtitle program to all TV broadcast programs in Japan is referred to, it reaches 33 to 70% in Europe and the United States. Only 10
At present, it is extremely low at about%.

【0004】[0004]

【発明が解決しようとする課題】上述した現状を打破し
て映像及び/又は音声に対して字幕を合成した字幕番組
を広く一般に普及させることを企図して、本発明者ら
は、あらゆる観点から字幕番組関連技術について鋭意研
究を進めているところである。
SUMMARY OF THE INVENTION In an attempt to break out of the above-mentioned situation and to widely and widely disseminate subtitle programs in which subtitles are synthesized with video and / or audio, the present inventors have considered from all viewpoints. We are working hard on research related to subtitle programs.

【0005】さて、こうした字幕番組を広く一般に普及
させるにあたり、字幕が読みやすく、かつ理解しやすい
ものであることがきわめて重要である。
[0005] In order to spread such subtitle programs widely and generally, it is extremely important that the subtitles be easy to read and understand.

【0006】そこで、本発明者らは、視聴者にとっての
字幕番組の理想像を探るべく、種々の字幕提示形式に従
う字幕番組について、字幕の読み易さ、理解し易さ等の
観点から評価実験を行った。
[0006] In order to find the ideal image of a subtitle program for a viewer, the inventors of the present invention conducted an evaluation experiment on subtitle programs conforming to various subtitle presentation formats from the viewpoint of readability and comprehension of subtitles. Was done.

【0007】この評価実験で顕著な高い評価結果が得ら
れたのは、親映像の縦横寸法を圧縮することで確保した
空き領域に、字幕を提示する字幕提示方法であった。
In this evaluation experiment, a remarkably high evaluation result was obtained by a subtitle presentation method for presenting subtitles in an empty area secured by compressing the vertical and horizontal dimensions of a parent image.

【0008】しかしながら、例え字幕つきテレビ番組と
はいえ、親映像の重要性はきわめて高いといった理由か
ら、親映像の寸法を安易に圧縮する事を懸念する意見も
みられた。これは、映像表示画面上に字幕表示領域を設
けるにしても、親映像の圧縮率を可及的に抑制すること
が好ましいことを示唆している。
[0008] However, even though it is a television program with subtitles, there has been an opinion that the size of the parent video is easily compressed because the importance of the parent video is extremely high. This suggests that even if a subtitle display area is provided on the video display screen, it is preferable to suppress the compression rate of the parent video as much as possible.

【0009】さらに、上述した評価結果から、少ない文
字数の単位字幕を、文字数に応じた比較的短い時間だけ
提示したのでは、この単位字幕を視聴者が見逃してしま
うおそれがあることがわかった。これは、映像表示画面
上に字幕を提示するにあたり、ある程度以上の文字数と
なるひとかたまりの単位字幕を、文字数に応じた比較的
長時間にわたり一括提示するのが好ましいことを示唆し
ている。
Further, from the above-described evaluation results, it has been found that if a unit subtitle having a small number of characters is presented for a relatively short time according to the number of characters, the unit subtitle may be overlooked by a viewer. This suggests that when presenting subtitles on the video display screen, it is preferable to collectively present a unit of subtitles having a certain number of characters or more for a relatively long time according to the number of characters.

【0010】そこで、本発明者らは、上述した評価結果
を踏まえて鋭意研究を進めた結果、親映像の圧縮率を可
及的に抑制しながら、ある程度以上の文字数となるひと
かたまりの単位字幕を、文字数に応じた比較的長時間に
わたり一括提示可能な新規な字幕提示方法を想到するに
至ったのである。
Accordingly, the present inventors have conducted intensive studies based on the above-described evaluation results. As a result, while suppressing the compression rate of the parent image as much as possible, a unit of subtitles having a certain number of characters or more is obtained. Thus, a new caption presentation method that can be presented in a lump for a relatively long time according to the number of characters has been conceived.

【0011】本発明は、上述した実情に鑑みてなされた
ものであり、テレビ映像を垂直及び水平方向に圧縮する
とともに、この圧縮後の親映像を、垂直及び水平方向に
移動し、この圧縮及び移動により作成された、映像表示
画面上における周辺領域のうち相互に隣接する2辺にわ
たるL字型の空き領域を、L字型字幕表示領域として活
用することで、このL字型字幕表示領域に一行の字幕を
一括提示することにより、親映像の圧縮率を可及的に抑
制しながら、ある程度以上の文字数をまとめた単位字幕
を、文字数に応じた比較的長時間にわたり一括提示し、
これをもって、視聴者にとって読みやすく、かつ理解し
やすい字幕提示形態を実現可能な字幕番組受信システム
などに適用される字幕つきテレビ番組における字幕提示
方法を提供することを課題とする。
The present invention has been made in view of the above-described circumstances, and compresses a television image in the vertical and horizontal directions, and moves the compressed parent image in the vertical and horizontal directions. By utilizing the L-shaped free area extending over two mutually adjacent sides of the peripheral area on the video display screen created by the movement as the L-shaped subtitle display area, the L-shaped subtitle display area By presenting a single line of subtitles at once, the unit subtitles that summarize the number of characters over a certain amount are presented together for a relatively long time according to the number of characters, while suppressing the compression rate of the parent video as much as possible,
Accordingly, it is an object of the present invention to provide a subtitle presentation method for a subtitled TV program applied to a subtitle program receiving system capable of realizing a subtitle presentation form that is easy for a viewer to read and understand.

【0012】[0012]

【課題を解決するための手段】上記課題を解決するため
に、請求項1の発明は、映像及び音声、並びにこれらと
の所定のタイミング情報が与えられた、提示すべき字幕
の基となる字幕文テキストを提示する際に用いられる字
幕つきテレビ番組における字幕提示方法であって、テレ
ビ映像を垂直及び水平方向に圧縮するとともに、この圧
縮後の親映像を、垂直及び水平方向に移動し、この圧縮
及び移動により作成された、映像表示画面上における周
辺領域のうち相互に隣接する2辺にわたるL字型の空き
領域を、L字型字幕表示領域として活用することで、こ
のL字型字幕表示領域に一行の字幕を一括提示すること
を要旨とする。
According to a first aspect of the present invention, there is provided a subtitle serving as a base of a subtitle to be presented, which is provided with video and audio and predetermined timing information thereof. A subtitle presentation method in a television program with subtitles used when presenting a sentence text, wherein a television image is compressed vertically and horizontally, and a parent image after the compression is moved in a vertical and horizontal direction. The L-shaped subtitle display area is formed by utilizing an L-shaped free area extending over two mutually adjacent sides of the peripheral area on the video display screen created by compression and movement as an L-shaped subtitle display area. The gist is to present one line of subtitles collectively to the area.

【0013】請求項1の発明によれば、映像表示画面上
における親映像表示領域の占有率を例えば75%以上等
の高い水準に維持しながら、全体として最大30文字程
度といった必要充分な文字数のL字型字幕を一括提示す
ることが可能となる結果として、親映像の圧縮率を可及
的に抑制すること、及びある程度以上の文字数をまとめ
た単位字幕を文字数に応じた比較的長時間にわたり一括
提示すること、という相反する2つの要望を絶妙な平衡
感覚をもって満足させ、これをもって、視聴者にとって
読みやすく、かつ理解しやすい字幕提示形態を実現する
ことができる。
According to the first aspect of the present invention, while the occupation rate of the parent video display area on the video display screen is maintained at a high level, for example, 75% or more, the total number of necessary and sufficient characters such as a maximum of about 30 characters is maintained. As a result of being able to present the L-shaped subtitles collectively, the compression rate of the parent video is suppressed as much as possible, and the unit subtitles in which the number of characters is more than a certain amount are collected for a relatively long time according to the number of characters. It is possible to satisfy the two conflicting demands of the simultaneous presentation with an exquisite sense of balance, thereby realizing a subtitle presentation mode that is easy for the viewer to read and understand.

【0014】ところで、上述の如く作成された空き領域
を活用したL字型字幕表示領域15は、図1又は図2に
示すように、設計上の都合等を考慮して例えば3つの領
域に分割されている。これは、後述するWindows のAP
IのLOGFONT構造体宣言などと相まって、各表示
領域AR1,AR2,AR3毎に異なったパラメータの
文字設定など、多彩な字幕提示が可能となるからであ
る。
By the way, the L-shaped caption display area 15 utilizing the empty area created as described above is divided into, for example, three areas in consideration of design convenience as shown in FIG. 1 or FIG. Have been. This is the Windows AP
This is because various subtitles can be presented, such as character settings of different parameters for each of the display areas AR1, AR2, and AR3, in combination with the I LOGFONT structure declaration and the like.

【0015】一方で、本発明のようなL字型字幕提示を
採用し、かつ、全ての字幕を音声と映像に同期したタイ
ミングで一括総入れ換えする一括総入れ換え形式を採用
した場合には、視聴者はL字型の軌跡をなぞるような視
線移動を強いられる結果として、字幕の読み易さ、理解
し易さの観点からあまり好ましいとは言えないおそれが
ある。
On the other hand, when the L-shaped subtitle presentation as in the present invention is employed and the batch total exchange format in which all the subtitles are exchanged simultaneously at a timing synchronized with the audio and the video is adopted, As a result, the user is forced to move his or her line of sight along an L-shaped trajectory, which may not be very desirable from the viewpoint of readability and comprehension of subtitles.

【0016】そこで、請求項2の発明は、請求項1に記
載の字幕つきテレビ番組における字幕提示方法であっ
て、前記L字型字幕表示領域を3つの領域に分割し、当
該各領域間にわたり字幕をスクロール転換する如く表示
することを要旨とする。
Therefore, a second aspect of the present invention is the method of presenting subtitles in a television program with subtitles according to the first aspect, wherein the L-shaped subtitle display area is divided into three areas. The gist of the present invention is to display subtitles as if they were scrolled.

【0017】請求項2の発明によれば、L字型字幕表示
領域を3つの領域に分割し、当該各領域間にわたり字幕
をスクロール転換する如く表示するので、したがって、
視聴者はL字型の軌跡をなぞるような視線移動を強いら
れることなく、比較的少ない視線移動をもって字幕内容
を把握することができる結果として、上述した如く多彩
な字幕提示が可能となるとともに、字幕の読み易さ、理
解し易さの観点からも好ましい字幕提示形態を具現化す
ることができる。
According to the second aspect of the present invention, the L-shaped subtitle display area is divided into three areas, and the subtitles are displayed so as to be scrolled over the respective areas.
As a result that the viewer can grasp the subtitle content with relatively little gaze movement without being forced to move the gaze to trace the L-shaped trajectory, it becomes possible to present various subtitles as described above, It is possible to realize a preferred subtitle presentation form from the viewpoint of readability and easy understanding of subtitles.

【0018】さて、上述したL字型字幕表示領域を3つ
の領域に分割するにあたり、どのような分割比率を採用
するかが問題となる。
Now, in dividing the above-mentioned L-shaped caption display area into three areas, what kind of division ratio is to be employed becomes a problem.

【0019】そこで、請求項3の発明は、請求項2に記
載の字幕つきテレビ番組における字幕提示方法であっ
て、前記L字型字幕表示領域を3つの領域に分割するに
あたり、当該分割はほぼ均等に行われることを要旨とす
る。
Therefore, a third aspect of the present invention is the subtitle presentation method for a television program with subtitles according to the second aspect, wherein the L-shaped subtitle display area is divided into three areas. The gist is that it is performed equally.

【0020】請求項3の発明によれば、L字型字幕表示
領域を3つの領域に分割するにあたり、当該分割はほぼ
均等に行われるので、したがって、スクロール転換では
必須となる各領域毎の音声と映像に対する字幕提示タイ
ミングの合わせ込みの容易化を期待することができる。
According to the third aspect of the present invention, when the L-shaped subtitle display area is divided into three areas, the division is performed almost equally, so that the sound for each area, which is indispensable for scroll switching, is obtained. It can be expected that the subtitle presentation timing for the video and the video can be easily adjusted.

【0021】さらに、本発明のようなスクロール転換形
式を採用した場合、図1又は図2に示すように、初回の
字幕提示フェーズにおいて第3の字幕表示領域AR3に
表示されている提示単位字幕に注目したとき、この提示
単位字幕は、領域AR3,AR2,AR1の順序で、予
め設定されたスクロール転換速度をもって複数の表示領
域間を転換することになる。このようなスクロール転換
を前提とした字幕提示形態では、初回の字幕提示フェー
ズにおいて第1の字幕表示領域AR1に字幕を表示した
のでは、第2の提示フェーズにおいて第1の字幕表示領
域AR1に表示されていた字幕は消去されて次の字幕が
表示されてしまい、初回の字幕提示フェーズにおいて第
1の字幕表示領域AR1に表示される字幕を見逃してし
まうと、そこになにが表示されていたかを把握すること
は出来なくなってしまう。
Further, when the scroll conversion format as in the present invention is adopted, as shown in FIG. 1 or 2, the presentation unit subtitle displayed in the third subtitle display area AR3 in the first subtitle presentation phase. When paying attention, the presentation unit subtitles are switched between a plurality of display areas at a predetermined scroll conversion speed in the order of the areas AR3, AR2, and AR1. In such a subtitle presentation mode premised on scroll switching, if subtitles were displayed in the first subtitle display area AR1 in the first subtitle presentation phase, they would be displayed in the first subtitle display area AR1 in the second presentation phase. If the subtitle that has been displayed is erased and the next subtitle is displayed, and if the subtitle displayed in the first subtitle display area AR1 is missed in the first subtitle presentation phase, what was displayed there Can not be grasped.

【0022】そこで、請求項4の発明は、請求項2乃至
3のうちいずれか一項に記載の字幕つきテレビ番組にお
ける字幕提示方法であって、初回の提示フェーズでは、
前記スクロール転換において最下流に位置する字幕表示
領域を空白化する一方、その他の字幕表示領域に字幕を
表示することで、1回の提示フェーズでしか字幕が表示
されない事態を可及的に回避することを要旨とする。
Therefore, a fourth aspect of the present invention is a method for presenting subtitles in a television program with subtitles according to any one of the second to third aspects.
By making the subtitle display area located at the most downstream in the scroll conversion blank, and displaying subtitles in other subtitle display areas, it is possible to avoid the situation where subtitles are displayed only in one presentation phase as much as possible. That is the gist.

【0023】請求項4の発明によれば、初回の提示フェ
ーズでは、前記スクロール転換において最下流に位置す
る字幕表示領域を空白化する一方、その他の字幕表示領
域に字幕を表示することで、1回の提示フェーズでしか
字幕が表示されない事態を可及的に回避するので、した
がって、字幕の読み易さや理解し易さのさらなる促進を
期待することができる。
According to the fourth aspect of the present invention, in the first presentation phase, the subtitle display area located at the most downstream position in the scroll change is blanked, and the subtitle is displayed in the other subtitle display areas, thereby making it possible to obtain one subtitle. Since a situation in which subtitles are displayed only in the first presentation phase is avoided as much as possible, it is possible to expect further promotion of readability and understandability of subtitles.

【0024】ところで、上述した評価実験の過程におい
て、表示行数、文字サイズ、文字装飾、字幕転換法など
基本的な字幕提示形式についても、各視聴者によって好
みの個人差が大きくあらわれ、評価者によっては特定の
字幕提示形式を強く推挙する傾向もみられた。
By the way, in the course of the above-mentioned evaluation experiment, individual differences in preference among individual viewers also appear in basic subtitle presentation formats such as the number of display lines, character size, character decoration, and subtitle conversion method. In some cases, there was a tendency to strongly recommend a particular subtitle presentation format.

【0025】そこで、請求項5の発明は、請求項1乃至
4のうちいずれか一項に記載の字幕つきテレビ番組にお
ける字幕提示方法であって、前記L字型字幕表示領域に
は、所望の提示形式に従って変換された字幕を表示可能
に構成したことを要旨とする。
According to a fifth aspect of the present invention, there is provided the subtitle presentation method for a television program with subtitles according to any one of the first to fourth aspects, wherein the L-shaped subtitle display area includes a desired subtitle. The gist is that a subtitle converted according to the presentation format can be displayed.

【0026】請求項5の発明によれば、L字型字幕表示
領域には、所望の提示形式に従って変換された字幕を表
示可能に構成したので、したがって、広範な視聴者の多
様な好みに応じた柔軟な字幕提示形態を選択可能となる
結果として、字幕番組を広く一般に普及させるといった
所期の目的達成を期待することができる。
According to the fifth aspect of the present invention, in the L-shaped subtitle display area, subtitles converted according to a desired presentation format can be displayed. As a result, a flexible subtitle presentation format can be selected, and it is possible to expect to achieve the intended purpose of widely distributing subtitle programs to the general public.

【0027】また、請求項5に関連して、本発明に係る
L字型字幕提示形態において、字幕の読み易さ、理解し
易さ等の観点から好ましい提示形式を考えた場合、横書
きと縦書きが混在する字幕提示形態が望ましいものと考
えられるが、このような字幕提示形態をどのようにして
実現するかが問題となる。
According to the fifth aspect, in the L-shaped caption presentation form according to the present invention, when a preferable presentation format is considered from the viewpoint of readability and understandability of the caption, horizontal writing and vertical writing are considered. It is considered that a subtitle presentation mode in which writing is mixed is desirable, but how to realize such a subtitle presentation mode becomes a problem.

【0028】そこで、請求項6の発明は、請求項5に記
載の字幕つきテレビ番組における字幕提示方法であっ
て、前記各表示領域毎に独自の提示形式に従う字幕を表
示可能に構成したことを要旨とする。
According to a sixth aspect of the present invention, there is provided the subtitle presentation method for a subtitled television program according to the fifth aspect, wherein the subtitles according to a unique presentation format can be displayed for each of the display areas. Make a summary.

【0029】請求項6の発明によれば、各表示領域毎に
独自の提示形式に従う字幕を表示可能に構成したので、
したがって、横書きと縦書きが混在するような特殊な字
幕提示形態にも対応可能となる結果として、L字型字幕
提示形態において、字幕の読み易さ、理解し易さ等の観
点から好ましい提示形式を実現することができる。
According to the sixth aspect of the present invention, subtitles according to a unique presentation format can be displayed for each display area.
Therefore, it is possible to cope with a special subtitle presentation mode in which horizontal writing and vertical writing are mixed, and as a result, in the L-shaped subtitle presentation mode, a preferable presentation format from the viewpoint of readability and easy understanding of subtitles Can be realized.

【0030】[0030]

【発明の実施の形態】以下に、本発明に係る字幕つきテ
レビ番組における字幕提示方法の一実施形態について、
図に基づいて詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, one embodiment of a method for presenting subtitles in a television program with subtitles according to the present invention will be described.
This will be described in detail with reference to the drawings.

【0031】図1は、本発明に係る字幕つきテレビ番組
における字幕提示方法を用いた字幕提示イメージの一例
を示す図、図2は、映像表示画面上における親映像表示
領域及びL字型字幕表示領域のそれぞれの占有状態を示
す図、図3は、L字型字幕提示を実現するための処理手
順を示すフローチャート図、図4は、APIのLOGF
ONT構造体宣言と、その構造体の初期値設定例を示す
図、図5は、図1に示す字幕提示イメージを実現するた
めの、L字型字幕における3つの字幕表示領域のそれぞ
れの設定状況を表す図である。
FIG. 1 is a diagram showing an example of a subtitle presentation image using the method of presenting subtitles in a television program with subtitles according to the present invention. FIG. 2 is a view showing a parent video display area and an L-shaped subtitle display on a video display screen. FIG. 3 is a diagram showing the occupation state of each area, FIG. 3 is a flowchart showing a processing procedure for realizing L-shaped caption presentation, and FIG.
FIG. 5 is a diagram showing an ONT structure declaration and an example of setting an initial value of the structure. FIG. 5 is a diagram showing settings of three subtitle display areas in an L-shaped subtitle for realizing the subtitle presentation image shown in FIG. FIG.

【0032】さて、本実施形態の説明に先立って、以下
の説明で使用する用語の定義付けを行うと、本実施形態
の説明において、提示対象となる字幕文の全体集合を
「字幕文テキスト」と言い、字幕文テキストのうち、適
宜の句点で区切られたひとかたまりの字幕文の部分集合
を「単位字幕文」と言い、ディスプレイの映像表示画面
上において提示単位となる字幕を「提示単位字幕」と言
い、提示単位字幕に含まれる各行の個々の字幕を表現す
るとき、これを「提示単位字幕行」と言い、提示単位字
幕行のうちの任意の文字を表現するとき、これを「字幕
文字」と言うことにする。
Before the description of the present embodiment, the terms used in the following description are defined. In the description of the present embodiment, the entire set of subtitle sentences to be presented is referred to as “subtitle text”. In the caption text, a subset of a set of caption texts separated by an appropriate period is called a “unit caption text”, and a caption that is a presentation unit on a video display screen of a display is referred to as a “presentation caption”. When expressing individual subtitles of each line included in the presentation unit subtitles, this is called "presentation unit subtitle line", and when expressing any character in the presentation unit subtitle line, this is referred to as "subtitle character "

【0033】既述したように、映像及び/又は音声に対
して字幕を合成した字幕番組を広く一般に普及させるこ
とを目的として、本発明者らは、あらゆる観点から字幕
番組関連技術について鋭意研究を進めているところであ
る。
As described above, in order to widely and widely disseminate subtitle programs in which subtitles are synthesized with video and / or audio, the present inventors have conducted intensive studies on subtitle program related technologies from all viewpoints. We are working on it.

【0034】さて、こうした字幕番組を広く一般に普及
させるにあたり、字幕が読みやすく、かつ理解しやすい
ものであることがきわめて重要である。
In order to spread such closed-captioned programs widely and generally, it is extremely important that the closed-captioned programs be easy to read and understand.

【0035】そこで、本発明者らは、視聴者にとっての
字幕番組の理想像を探るべく、種々の字幕提示形式に従
う字幕番組について、字幕の読みやすさ、理解しやすさ
などを評価項目として評価実験を行った。
In order to find an ideal image of a subtitle program for a viewer, the present inventors evaluated subtitle programs conforming to various subtitle presentation formats, such as readability and understandability of subtitles, as evaluation items. An experiment was performed.

【0036】この評価実験で顕著な高い評価結果が得ら
れたのは、映像の縦横寸法を圧縮するとともに、その位
置を移動することによって、映像表示画面上に字幕表示
領域を設け、その領域に字幕を提示する字幕提示方法で
あった。
The remarkably high evaluation result was obtained in this evaluation experiment because the vertical and horizontal dimensions of the video were compressed and the position was moved to provide a subtitle display area on the video display screen, This was a subtitle presentation method for presenting subtitles.

【0037】しかしながら、例え字幕つきテレビ番組と
はいえ、親映像の重要性はきわめて高いといった理由か
ら、映像寸法を安易に圧縮する事を懸念する意見もみら
れた。これは、映像表示画面上に字幕表示領域を設ける
にしても、親映像の圧縮率を可及的に抑制するのが好ま
しいことを示唆している。
However, even though it is a television program with subtitles, there are some opinions that the size of the image is easily compressed because the importance of the parent image is extremely high. This suggests that even if a subtitle display area is provided on the video display screen, it is preferable to suppress the compression rate of the parent video as much as possible.

【0038】さらに、上述した評価結果から、少ない文
字数の単位字幕を、文字数に応じた比較的短い時間だけ
提示したのでは、この単位字幕を視聴者が見逃してしま
うおそれがあることがわかった。これは、映像表示画面
上に字幕を提示するにあたり、ある程度以上の文字数と
なるひとかたまりの単位字幕を、文字数に応じた比較的
長時間にわたり一括提示するのが好ましいことを示唆し
ている。
Further, from the above-described evaluation results, it has been found that if a unit subtitle having a small number of characters is presented for a relatively short time according to the number of characters, the unit subtitle may be overlooked by a viewer. This suggests that when presenting subtitles on the video display screen, it is preferable to collectively present a unit of subtitles having a certain number of characters or more for a relatively long time according to the number of characters.

【0039】これについて詳しく述べると、字幕の読み
やすさ、理解しやすさの観点からは、一般に、ある程度
以上の文字数となるひとかたまりの単位字幕が映像表示
画面上に一括提示され、この一括提示が所要時間継続し
ているのが良いといわれるが、文字数や提示継続時間
は、提示単位字幕がどのように読まれるかと大きく関わ
る。
More specifically, from the viewpoint of readability and comprehension of subtitles, a unit of subtitles having a certain number of characters or more is generally presented on a video display screen in a lump. It is said that it is good that the required time continues, but the number of characters and the presentation duration greatly affect how the presentation unit subtitles are read.

【0040】例えば聴覚障害者が字幕つきテレビ番組を
見る場合を想定すると、視覚を介して、映像情報と音声
情報とを交互に見ることになるので、本来字幕は間欠的
にしか見ることが出来ない。そのため、情報をより読み
やすく、理解しやすい字幕として提示することで、字幕
を見ている割合を出来るだけ少なくして、その分だけ映
像を多く見られるようにするのが望ましい。
For example, assuming that a hearing-impaired person watches a TV program with subtitles, video information and audio information are alternately viewed through the sight, so that subtitles can be viewed only intermittently. Absent. Therefore, it is desirable to present the information as subtitles that are easier to read and understand, so that the ratio of viewing subtitles is reduced as much as possible so that more video can be viewed accordingly.

【0041】この場合の字幕の見方は、字幕の提示形式
にも依存するが、例えば二行の提示単位字幕を一括入れ
換えする提示形式を例示し、提示される全字幕の捕捉を
試みた場合、一般的には、基準となる字幕文字(例え
ば、音声アナウンスの進行に対応する文字)を中心とし
て、先読み、後読みもしくはその両方を行うことにな
る。
The way of viewing subtitles in this case also depends on the presentation format of the subtitles. For example, when a presentation format in which two-line presentation unit subtitles are exchanged at a time is illustrated, and an attempt is made to capture all the subtitles presented, In general, pre-reading, post-reading, or both are performed centering on a reference subtitle character (for example, a character corresponding to the progress of a voice announcement).

【0042】先読み、後読みもしくはその両方を行うこ
とになる要因としては、映像の注視又はまばたきや脇見
などを含む字幕から目を離している見逃し動作時間が存
在するからであり、1回当たりの見逃し動作時間の長さ
は、経験的には0.5〜2秒間程度であると思われる。
The reason for performing the pre-reading, the post-reading, or both is that there is an overlooking operation time in which the user is looking away from the subtitles including watching the video or blinking or looking aside. The length of the missed operation time is empirically considered to be about 0.5 to 2 seconds.

【0043】ここで、字幕の提示速度を200文字/分
と想定すると、その最大時間である2秒間は約7文字に
相当し、このことから、1回の見逃し動作で7文字分の
字幕文字を見逃すおそれがあることがわかる。
Here, assuming that the subtitle presentation speed is 200 characters / minute, the maximum time of 2 seconds is equivalent to about 7 characters. It can be seen that there is a risk of overlooking.

【0044】このことから、基準となる字幕文字を中心
に連続した14文字が最低限の提示単位として必要であ
り、再び字幕に注視点が戻って字幕を読み取り、認識す
る分を前後各5〜7文字とすると、内容の連続した24
〜29文字程度の単位字幕を一括提示するのが望ましい
ことがわかる。ちなみに現行の字幕放送では、一行当た
り15文字を上限とした二行提示が多く、最大30文字
程度の単位字幕が映像表示画面上に一括提示されてい
る。
From this, it is necessary that 14 consecutive characters centering on the reference subtitle character be used as the minimum presentation unit. Assuming 7 characters, 24
It can be seen that it is desirable to present unit captions of about 29 characters at a time. By the way, in the current subtitle broadcasting, there are many two-line presentations with a maximum of 15 characters per line, and unit subtitles of up to about 30 characters are collectively presented on the video display screen.

【0045】そこで、本発明者らは、上述した評価結果
を踏まえて鋭意研究を進めた結果、親映像の圧縮率を可
及的に抑制しながら、ある程度以上の文字数をまとめた
単位字幕を、文字数に応じた比較的長時間にわたり一括
提示可能な新規な字幕提示方法を想到するに至ったので
ある。
The inventors of the present invention have conducted intensive studies based on the above-described evaluation results. As a result, while suppressing the compression rate of the parent image as much as possible, a unit subtitle in which a certain number of characters or more are collected is obtained. They have come up with a new subtitle presentation method that can be presented together for a relatively long time according to the number of characters.

【0046】ところで、親映像の圧縮率を可及的に抑制
した状態下で字幕を提示するための一手法として、提示
単位字幕を一行化することが考えられるが、提示単位字
幕を単に一行化したのみでは、字幕表示領域に通常より
少し小さいサイズの字幕を表示する形態にも一定以上の
評価結果が得られていることを考慮したとしても、一行
あたりに収容可能な文字数は読み易さを維持する観点か
ら20文字程度が限度であり、内容の連続した24〜2
9文字程度の字幕を一括提示する形態が好ましいといっ
た知見に鑑みて、一括提示される文字数としては充分な
数とは言えない。
As a method for presenting subtitles in a state where the compression rate of the parent video is suppressed as much as possible, it is conceivable to arrange presentation subtitles in one line. Even if you consider that the evaluation result of a certain level or more is obtained even in the form of displaying subtitles slightly smaller than usual in the subtitle display area, the number of characters that can be accommodated per line From the viewpoint of maintaining, the limit is about 20 characters, and the content is continuous 24-2
In view of the finding that it is preferable to present subtitles of about 9 characters in a lump, the number of characters to be lumped is not sufficient.

【0047】そこで、本発明に係る字幕つきテレビ番組
における字幕提示方法では、図1に示すように、テレビ
映像を垂直及び水平方向に圧縮するとともに、この圧縮
後の親映像を、垂直及び水平方向に移動し、この圧縮及
び移動により作成された、映像表示画面11上における
周辺領域のうち相互に隣接する2辺にわたるL字型の空
き領域を、L字型字幕表示領域15として活用すること
で、このL字型字幕表示領域15に一行の字幕を一括提
示することにより、親映像の圧縮率を可及的に抑制する
こと、及びある程度以上の文字数となるひとかたまりの
単位字幕を文字数に応じた比較的長時間にわたり一括提
示すること、という相反する2つの要望を絶妙な平衡感
覚をもって満足させ、これをもって、視聴者にとって読
みやすく、かつ理解しやすい字幕提示形態を実現するよ
うにしている。
Therefore, in the method for presenting subtitles in a television program with subtitles according to the present invention, as shown in FIG. 1, a television image is compressed in the vertical and horizontal directions, and the compressed parent image is displayed in the vertical and horizontal directions. The L-shaped free space extending over two mutually adjacent sides of the peripheral area on the video display screen 11 created by the compression and movement is utilized as the L-shaped caption display area 15. By presenting a single line of subtitles in the L-shaped subtitle display area 15 in a lump, the compression rate of the parent video is suppressed as much as possible, and a unit of subtitles having a certain number of characters or more is determined according to the number of characters. The two conflicting demands of being presented together for a relatively long time are satisfied with an exquisite sense of equilibrium, which makes it easier for viewers to read and understand. It is as to achieve the easy subtitle presentation form.

【0048】具体的には、図1に示すように、まず、テ
レビ映像を垂直及び水平方向に圧縮するとともに、この
圧縮後の親映像を、垂直及び水平方向に、例えば図1中
の右上隅部に引き寄せるようにして移動することで、親
映像を親映像表示領域13に収容させる。すると、この
圧縮及び移動によって、映像表示画面11上における左
側部及び下側部には、L字型の空き領域15が作成され
ることになる。そこで、この圧縮及び移動により作成さ
れたL字型の空き領域15を字幕表示領域として最大限
に活用して、ここに一行のL字型字幕を提示するのであ
る。
More specifically, as shown in FIG. 1, first, a television image is compressed vertically and horizontally, and the compressed parent image is vertically and horizontally compressed, for example, in the upper right corner in FIG. The parent video is accommodated in the parent video display area 13 by being moved toward the unit. Then, by this compression and movement, an L-shaped free area 15 is created on the left side and the lower side on the video display screen 11. Therefore, the L-shaped free space 15 created by the compression and movement is utilized to the maximum extent as a caption display area, and one line of L-shaped caption is presented here.

【0049】なお、本発明は上述した実施形態の例に限
定されることなく、例えば、圧縮後の親映像を、図1中
の左下隅部に引き寄せるようにして移動する形態を採用
することもできる。このようにすれば、この圧縮及び移
動によって、映像表示画面11上における右側部及び上
側部には、L字型の空き領域15が作成されることにな
る。そこで、この圧縮及び移動により作成されたL字型
の空き領域15を字幕表示領域として最大限に活用し
て、ここに一行のL字型字幕を提示することができる。
また、上述と同様にして、圧縮後の親映像を、図1中の
左上隅部又は右下隅部に引き寄せるようにして移動する
形態を採用することもできることは言うまでもない。た
だし、圧縮後の親映像を、図1中の左下隅部、左上隅
部、又は右下隅部に引き寄せるようにして移動する形態
を採用した場合には、L字型字幕提示イメージは、倒立
及び/又は逆転したものとなるが、本発明で言うL字型
字幕は、上述した倒立及び/又は逆転したイメージを含
む概念であることを付言しておく。
The present invention is not limited to the above-described embodiment. For example, it is possible to adopt a mode in which the compressed parent video is moved to the lower left corner in FIG. it can. By doing so, an L-shaped free space 15 is created in the right and upper portions on the video display screen 11 by the compression and movement. Therefore, the L-shaped free space 15 created by the compression and movement can be utilized to the fullest extent as a caption display area, and a one-line L-shaped caption can be presented here.
Further, in the same manner as described above, it is needless to say that a mode in which the compressed parent video is moved so as to be drawn to the upper left corner or the lower right corner in FIG. However, when the compressed parent video is moved so as to be drawn to the lower left corner, the upper left corner, or the lower right corner in FIG. 1, the L-shaped subtitle presentation image is inverted and It should be noted that the L-shaped caption referred to in the present invention is a concept including the inverted and / or inverted image described above.

【0050】上述した実施形態によれば、映像表示画面
11上における親映像表示領域13の占有率を例えば7
5%以上等の高い水準に維持しながら、全体として最大
30文字程度といった必要充分な文字数のL字型字幕を
一括提示することが可能となる。
According to the above-described embodiment, the occupancy of the parent video display area 13 on the video display screen 11 is set to, for example, 7
While maintaining a high level such as 5% or more, it becomes possible to collectively present L-shaped captions with a necessary and sufficient number of characters such as a maximum of about 30 characters as a whole.

【0051】ところで、上述の如く作成された空き領域
を活用したL字型字幕表示領域15は、図1又は図2に
示すように、設計上の都合等を考慮して例えば3つの領
域に分割されている。そこで、以下の説明において便宜
上、映像表示画面11上における左側部に生じた空き領
域を第1の字幕表示領域AR1と呼び、下側部に生じた
空き領域のうち左側部分を第2の字幕表示領域AR2と
呼び、下側部に生じた空き領域のうち右側部分を第3の
字幕表示領域AR3と呼ぶことにする。
By the way, the L-shaped caption display area 15 utilizing the empty area created as described above is divided into, for example, three areas in consideration of design convenience as shown in FIG. 1 or FIG. Have been. Therefore, in the following description, for convenience, the empty area generated on the left side of the video display screen 11 is referred to as a first subtitle display area AR1, and the left area of the empty area generated on the lower side is displayed as the second subtitle display area AR1. The area AR2 is called, and the right part of the empty area generated in the lower part is called the third subtitle display area AR3.

【0052】このようにL字型字幕表示領域15を3分
割したのは、次述するWindows のAPIのLOGFON
T構造体宣言などと相まって、各表示領域AR1,AR
2,AR3毎に異なったパラメータの文字設定など、多
彩な字幕提示が可能となるからである。図5には、これ
らの文字表示領域および表示文字の設定パラメータの具
体例が示されている。なお、数値は水平640ドット、
垂直480ドットのVGA画面に換算した値である。た
だし、文字傾斜の単位は「度」であり、表示文字数は全
角文字数を基準とした換算値である。
The reason why the L-shaped subtitle display area 15 is divided into three is that the Windows API LOGON
In conjunction with the T structure declaration, etc., each display area AR1, AR
This is because various captions can be presented, such as character settings of different parameters for each of AR2 and AR3. FIG. 5 shows specific examples of these character display areas and display character setting parameters. The numerical value is 640 horizontal dots,
This is a value converted into a 480-vertical VGA screen. However, the unit of the character inclination is “degree”, and the number of displayed characters is a conversion value based on the number of full-width characters.

【0053】次に、図1に示す字幕提示イメージを実現
するための処理手順について、図3に示すフローチャー
ト図に従って説明する。なお、L字型の字幕提示イメー
ジを実現するにあたり、字幕枠の設定、タイミング制
御、字幕文テキストの設定等をVisual-Basicを用いて具
現化する一方、字幕文字のサイズ・フォント・回転等
を、マイクロソフト社のオペレーティングシステムであ
るWindows のAPI(Application Programming Interfa
ce) を用いて具現化した。また、本実施形態で説明に供
する字幕文テキストとして、「懸案解決を急ぐ橋本首相
は、昨日東欧四カ国との会談のため、成田空港から出発
した。」を例示して説明を行う。
Next, a processing procedure for realizing the subtitle presentation image shown in FIG. 1 will be described with reference to a flowchart shown in FIG. In addition, in realizing an L-shaped caption presentation image, while setting the caption frame, timing control, setting of caption text, and the like using Visual-Basic, the caption size, font, rotation, etc. Microsoft's Windows operating system (Application Programming Interface)
ce). In addition, as a caption sentence text to be described in the present embodiment, "Hashimoto hastily hurried to resolve pending issues departed from Narita Airport for a meeting with the four Eastern European countries yesterday."

【0054】ステップS1乃至S2において、Visual-B
asicを用いてこのような特殊な形態で文字情報を扱える
ようにするため、まず、Windows のAPIのLOGFO
NT構造体についての宣言を行うとともに(ステップS
1)、その構造体の初期値を設定する(ステップS
2)。この例を図4に示したが、これにより、文字の表
示位置、文字サイズ、文字の傾斜などの各種パラメータ
を、Visual-Basicを用いて容易に設定できるようにな
る。
In steps S1 and S2, Visual-B
In order to be able to handle character information in such a special form using asic, first, the Windows API LOGFO
Declares the NT structure (step S
1) Set the initial value of the structure (step S)
2). Although this example is shown in FIG. 4, various parameters such as the character display position, character size, and character inclination can be easily set using Visual-Basic.

【0055】ステップS3乃至S5においては、字幕文
テキストの各文の例えばその文頭などには、前述のよう
に映像又は音声に対応するタイミング情報が付加されて
いるので、スタートタイマーを利用して該当するタイミ
ング情報を伴って字幕文テキストを取込み(ステップS
3,S4)、字幕のスクロール転換速度を設定する(ス
テップS5)。スクロール転換速度の設定方法として
は、文字種と文字数を考慮するのがより適当であるが、
ここでは簡単のために文字数のみを考慮し、一文字あた
りの転換速度は一定とした。
In steps S3 to S5, since the timing information corresponding to the video or audio is added to, for example, the head of each sentence of the subtitle sentence text as described above, Caption sentence text is taken in with the timing information (step S
3, S4), a subtitle scroll conversion speed is set (step S5). As a method of setting the scroll conversion speed, it is more appropriate to consider the character type and the number of characters,
Here, for simplicity, only the number of characters is considered, and the conversion speed per character is fixed.

【0056】ステップS6乃至S7において、字幕文字
数をカウントする際に用いられる文字数カウンタiの値
を「−9」に設定し(ステップS6)、字幕文テキスト
のうち、「i」番目〜「i+30」番目までの文字デー
タを取り込む(ステップS7)。初回の字幕提示フェー
ズでは、ステップS7において、字幕文テキストのう
ち、「i=−9」番目〜「i+30=21」番目までの
文字データを取り込むことになる。このとき、「−9」
〜「0」番目までの文字は実体がないので空白とする。
ここで、ステップS6において、文字数カウンタiの値
を「−9」に初期設定したのは、初回の字幕提示フェー
ズでは、第1の字幕表示領域AR1を空白化する一方、
第2及び第3の字幕表示領域AR2,AR3に字幕を表
示することで、字幕の読み易さや理解し易さを促進する
趣旨である。詳しく述べると、本実施形態では、10文
字から構成される字幕を提示単位とした字幕提示形態を
採用しており、初回の字幕提示フェーズにおいて第3の
字幕表示領域AR3に表示されている提示単位字幕に注
目したとき、この提示単位字幕は、領域AR3,AR
2,AR1の順序で、ステップS5で設定されたスクロ
ール転換速度をもって複数の表示領域間を転換すること
になる。このようなスクロール転換を前提とした字幕提
示形態では、初回の字幕提示フェーズにおいて第1の字
幕表示領域AR1に字幕を表示したのでは、第2の提示
フェーズにおいて第1の字幕表示領域AR1に表示され
ていた字幕は消去されて次の字幕が表示されてしまい、
初回の字幕提示フェーズにおいて第1の字幕表示領域A
R1に表示される字幕を見逃してしまうと、そこになに
が表示されていたかを把握することは出来なくなってし
まう。そこで、初回の字幕提示フェーズでは、第1の字
幕表示領域AR1を空白化する一方、第2及び第3の字
幕表示領域AR2,AR3に字幕を表示することで、字
幕の読み易さや理解し易さを促進するようにしている。
In steps S6 and S7, the value of the character number counter i used for counting the number of subtitle characters is set to "-9" (step S6), and the "i" -th to "i + 30" of the subtitle sentence text are set. The first character data is fetched (step S7). In the first subtitle presentation phase, in step S7, the character data from the “i = −9” th to the “i + 30 = 21” th of the subtitle sentence text is fetched. At this time, "-9"
Characters from the first to the "0" th are left blank because they have no substance.
Here, in step S6, the value of the number-of-characters counter i is initially set to “−9” in the first subtitle presentation phase while the first subtitle display area AR1 is blanked,
By displaying subtitles in the second and third subtitle display areas AR2 and AR3, the subtitles are promoted in readability and intelligibility. More specifically, the present embodiment adopts a subtitle presentation mode in which a subtitle composed of 10 characters is a presentation unit, and the presentation unit displayed in the third subtitle display area AR3 in the first subtitle presentation phase. When paying attention to subtitles, the presentation unit subtitles include the areas AR3 and AR
In the order of 2, AR1, the display areas are switched at the scroll switching speed set in step S5. In such a subtitle presentation mode premised on scroll switching, if subtitles were displayed in the first subtitle display area AR1 in the first subtitle presentation phase, they would be displayed in the first subtitle display area AR1 in the second presentation phase. The subtitles that have been deleted will be erased and the next subtitle will be displayed,
First subtitle display area A in the first subtitle presentation phase
If the caption displayed on R1 is missed, it becomes impossible to grasp what was displayed there. Therefore, in the first subtitle presentation phase, the first subtitle display area AR1 is blanked, and the subtitles are displayed in the second and third subtitle display areas AR2 and AR3, so that the subtitles are easy to read and understand. I try to promote it.

【0057】ステップS8において、ステップS7で取
り込まれた文字の有無に係る文字有無判定を行い、この
文字有無判定の結果、ステップS7で取り込まれた文字
が有るときにはステップS9へ進む一方、文字が無いと
きにはステップS14へ進む。
In step S8, it is determined whether or not there is a character fetched in step S7. If it is determined that there is a character fetched in step S7, the process proceeds to step S9, while there is no character. Sometimes, the process proceeds to step S14.

【0058】ステップS9乃至S10において、字幕表
示領域の識別コードを示す領域カウンタnの値として
1,2,3を設定し(ステップS9)、その識別コード
値に応じたパラメータ設定を図5に従ってそれぞれ行う
ことで、各表示領域に表示すべき字幕の提示形式を各々
設定する(ステップS10)。例えばn=2の場合には
第2の字幕表示領域AR2を示し、この領域AR2にお
ける文字フォントの種別、表示位置、文字数、文字サイ
ズ、又は文字傾斜などのパラメータ設定を図5に従って
行うことで、第2の字幕表示領域AR2に表示すべき字
幕の提示形式を設定することになる。このように、本実
施形態では、各表示領域毎に独自の字幕提示形式を採用
可能に構成したので、したがって、広範な視聴者の多様
な好みに応じた柔軟な字幕提示形態を選択可能となる結
果として、字幕番組を広く一般に普及させるといった所
期の目的達成を期待することができる。
In steps S9 to S10, 1, 2, and 3 are set as the values of the area counter n indicating the identification code of the subtitle display area (step S9), and the parameters according to the identification code values are set according to FIG. By doing so, the subtitle presentation format to be displayed in each display area is set (step S10). For example, when n = 2, it indicates the second subtitle display area AR2, and parameters such as the character font type, the display position, the number of characters, the character size, and the character inclination in this area AR2 are set according to FIG. The subtitle presentation format to be displayed in the second subtitle display area AR2 is set. As described above, in the present embodiment, a unique subtitle presentation format can be adopted for each display area. Therefore, a flexible subtitle presentation format according to various preferences of a wide range of viewers can be selected. As a result, it is possible to expect to achieve the intended purpose, such as disseminating subtitled programs widely to the general public.

【0059】ステップS11乃至S13において、各表
示領域に表示されていた字幕を消去し(ステップS1
1)、ステップS10で設定された提示形式に従う字幕
を各表示領域に表示するように表示を更新し(ステップ
S12)、文字数カウンタiの値を「10」だけインク
リメント(ステップS13)した後にステップS7へ戻
り、以下の処理を繰り返す。なお、各表示領域AR1,
AR2,AR3で先頭に表示する字幕文字は、字幕文テ
キストのうちi+(n−1)*10番目の字幕文字であ
る。
In steps S11 to S13, the subtitle displayed in each display area is deleted (step S1).
1) The display is updated so that captions according to the presentation format set in step S10 are displayed in each display area (step S12), and the value of the character counter i is incremented by "10" (step S13), and then step S7 is performed. Return to and repeat the following processing. In addition, each display area AR1,
The caption character displayed first in AR2 and AR3 is the i + (n-1) * 10th caption character in the caption text.

【0060】したがって、初回の字幕提示フェーズで
は、AR1は「□□□□□□□□□□(ただし、記号□
は空白文字を示す)」、AR2は「懸案解決を急ぐ橋本
首」、AR3は「相は、昨日東欧四カ国」となり、第2
の提示フェーズでは、AR1は「懸案解決を急ぐ橋本
首」、AR2は「相は、昨日東欧四カ国」、AR3は
「との会談のため、成田」となり、第3の提示フェーズ
では、AR1は「相は、昨日東欧四カ国」、AR2は
「との会談のため、成田」、AR3は「空港から出発し
た。」となり、第4の提示フェーズでは、AR1は「と
の会談のため、成田」、AR2は「空港から出発し
た。」、AR3は「□□□□□□□□□□」となり、第
5の提示フェーズでは、AR1は「空港から出発し
た。」、AR2は「□□□□□□□□□□」、AR3は
「□□□□□□□□□□」となる。
Therefore, in the first subtitle presentation phase, AR1 is “□□□□□□□□□□□ (with the symbol □
Indicates blank characters), AR2 is "Hashimoto head hurrying to resolve issues", AR3 is "Four countries in Eastern Europe yesterday"
In the presentation phase of AR1, AR1 is "Hashimoto head rushing to resolve pending issues", AR2 is "Face is the four countries of Eastern Europe yesterday", AR3 is "Narita for talks with," and in the third presentation phase, AR1 is "Sorry, the four countries in Eastern Europe yesterday", AR2 was "Narita for talks with" and AR3 was "Departure from airport". In the fourth presentation phase, AR1 was "Narita for talks with. , AR2 “departed from the airport”, AR3 “□□□□□□□□□□”, and in the fifth presentation phase, AR1 “departed from the airport.” And AR2 “□□□”. □□□□□□□□ ”and AR3 becomes“ □□□□□□□□□□ ”.

【0061】一方、ステップS8の文字有無判定の結
果、ステップS7で取り込まれた文字が無いときには、
ステップS14において、各表示領域に表示されていた
字幕を所定時間後消去して、字幕表示処理を終了する。
なお、ステップS14は第6の提示フェーズに該当する
ことになる。
On the other hand, as a result of the character presence / absence determination in step S8, if there is no character fetched in step S7,
In step S14, the subtitle displayed in each display area is deleted after a predetermined time, and the subtitle display processing ends.
Step S14 corresponds to the sixth presentation phase.

【0062】このように、本実施形態に係る字幕提示方
法によれば、L字型字幕表示領域15を3つの領域に均
等分割し、当該各領域間にわたり字幕をスクロール転換
する如く表示する構成を採用したので、したがって、限
りある空き領域15を最大限に活用して、可及的多数の
文字数となる字幕を一括提示することにより、親映像の
圧縮率を可及的に抑制すること、及びある程度以上の文
字数となるひとかたまりの単位字幕を文字数に応じた比
較的長時間にわたり一括提示すること、という相反する
2つの要望を絶妙な平衡感覚をもって満足させ、これを
もって、視聴者にとって読みやすく、かつ理解しやすい
字幕提示形態を実現することができる。
As described above, according to the subtitle presentation method according to the present embodiment, the configuration is such that the L-shaped subtitle display area 15 is equally divided into three areas, and the subtitles are scroll-switched between the respective areas. Therefore, by maximizing the use of the limited free space 15 and presenting subtitles with as many characters as possible, the compression rate of the parent video is suppressed as much as possible, and Satisfy the conflicting two demands of presenting a batch of unit subtitles with a certain number of characters over a relatively long time according to the number of characters with an exquisite sense of equilibrium. An easy-to-understand subtitle presentation mode can be realized.

【0063】さらに、本実施形態に係る字幕提示方法に
よれば、初回の提示フェーズでは、スクロール転換にお
いて最下流に位置する第1の字幕表示領域AR1を空白
化する一方、その他の第2及び第3の字幕表示領域AR
2,AR3に字幕を表示することで、1回の提示フェー
ズでしか字幕が表示されない事態を可及的に回避するよ
うにしたので、したがって、字幕の読み易さや理解し易
さを促進可能であるといった利点がある。
Further, according to the subtitle presentation method according to the present embodiment, in the first presentation phase, the first subtitle display area AR1 located at the most downstream position in the scroll transition is blanked, while the other second and second subtitle display areas AR1 are blanked. 3 subtitle display area AR
2. By displaying subtitles on the AR3, it is possible to avoid as much as possible the case where subtitles are displayed only in one presentation phase. Therefore, it is possible to promote readability and understandability of subtitles. There is an advantage that there is.

【0064】しかも、本実施形態に係る字幕提示方法に
よれば、L字型字幕表示領域には、所望の提示形式に従
って変換された字幕を表示可能に構成したので、したが
って、広範な視聴者の多様な好みに応じた柔軟な字幕提
示形態を選択可能となる結果として、字幕番組を広く一
般に普及させるといった所期の目的達成を期待すること
ができる。
Moreover, according to the method for presenting subtitles according to the present embodiment, subtitles converted according to a desired presentation format can be displayed in the L-shaped subtitle display area. As a result of being able to select a flexible subtitle presentation mode according to various preferences, it is possible to expect to achieve the intended purpose of widely distributing subtitle programs to the general public.

【0065】そして、本実施形態に係る字幕提示方法に
よれば、各表示領域毎に独自の提示形式に従う字幕を表
示可能に構成したので、したがって、横書きと縦書きが
混在するような特殊な字幕提示形態にも対応可能となる
結果として、L字型字幕提示形態において、字幕の読み
易さ、理解し易さ等の観点から好ましい提示形式を実現
することができる。
According to the subtitle presentation method according to the present embodiment, subtitles conforming to a unique presentation format can be displayed for each display area. Therefore, special subtitles in which horizontal writing and vertical writing are mixed are possible. As a result of being able to cope with the presentation mode, it is possible to realize a preferred presentation mode in the L-shaped subtitle presentation mode from the viewpoints of readability and comprehension of subtitles.

【0066】なお、本発明は、上述した実施形態の例に
限定されることなく、請求の範囲内において適宜の変更
を加えることにより、その他の態様で実施可能である。
The present invention is not limited to the above-described embodiment, but can be embodied in other modes by making appropriate changes within the scope of the claims.

【0067】すなわち、例えば、本実施形態中、L字型
字幕表示領域15を3つの領域に均等分割し、当該各領
域間にわたり字幕をスクロール転換する如く表示する形
態を例示して説明したが、本発明はこの形態に限定され
ることなく、スクロール転換形式に代えて、全ての字幕
を音声と映像に同期したタイミングで一括総入れ換えす
る一括総入れ換え形式をも採用可能であることは言うま
でもない。
That is, for example, in the present embodiment, an example has been described in which the L-shaped caption display area 15 is equally divided into three areas, and the captions are displayed so as to be scrolled over the respective areas. The present invention is not limited to this mode, and it goes without saying that, instead of the scroll conversion format, a batch total replacement format in which all subtitles are batch-replaced at a timing synchronized with audio and video can be adopted.

【0068】[0068]

【発明の効果】以上詳細に説明したように、請求項1の
発明によれば、親映像の圧縮率を可及的に抑制するこ
と、及びある程度以上の文字数をまとめた単位字幕を文
字数に応じた比較的長時間にわたり一括提示すること、
という相反する2つの要望を絶妙な平衡感覚をもって満
足させ、これをもって、視聴者にとって読みやすく、か
つ理解しやすい字幕提示形態を実現することができる。
As described above in detail, according to the first aspect of the present invention, the compression rate of the parent video is suppressed as much as possible, and the unit caption in which the number of characters is more than a certain number is set according to the number of characters. Presented for a relatively long time,
These two conflicting demands can be satisfied with an exquisite sense of equilibrium, and with this, a subtitle presentation form that is easy for the viewer to read and understand can be realized.

【0069】また、請求項2の発明によれば、多彩な字
幕提示が可能となるとともに、字幕の読み易さ、理解し
易さの観点からも好ましい字幕提示形態を具現化するこ
とができる。
Further, according to the invention of claim 2, it is possible to present various captions, and to realize a preferable caption presentation form from the viewpoint of readability and understandability of the captions.

【0070】さらに、請求項3の発明によれば、L字型
字幕表示領域を3つの領域に分割するにあたり、当該分
割はほぼ均等に行われるので、したがって、スクロール
転換では必須となる各領域毎の音声と映像に対する字幕
提示タイミングの合わせ込みの容易化を期待することが
できる。
Further, according to the third aspect of the present invention, when the L-shaped subtitle display area is divided into three areas, the division is performed almost equally, so that each area which is indispensable for scroll conversion is provided. It can be expected that the subtitle presentation timing for audio and video can be easily adjusted.

【0071】しかも、請求項4の発明によれば、初回の
提示フェーズでは、前記スクロール転換において最下流
に位置する字幕表示領域を空白化する一方、その他の字
幕表示領域に字幕を表示することで、1回の提示フェー
ズでしか字幕が表示されない事態を可及的に回避するの
で、したがって、字幕の読み易さや理解し易さのさらな
る促進を期待することができる。
Further, according to the fourth aspect of the present invention, in the first presentation phase, the subtitle display area located at the most downstream position in the scroll transition is blanked, and the subtitle is displayed in the other subtitle display areas. Since a situation in which subtitles are displayed only in one presentation phase is avoided as much as possible, it is possible to expect further promotion of readability and understandability of subtitles.

【0072】また、請求項5の発明によれば、L字型字
幕表示領域には、所望の提示形式に従って変換された字
幕を表示可能に構成したので、したがって、広範な視聴
者の多様な好みに応じた柔軟な字幕提示形態を選択可能
となる結果として、字幕番組を広く一般に普及させると
いった所期の目的達成を期待することができる。
According to the fifth aspect of the present invention, the L-shaped subtitle display area is configured to display subtitles converted in accordance with a desired presentation format. As a result, it is possible to expect to achieve a desired purpose of widely disseminating subtitle programs widely.

【0073】そして、請求項6の発明によれば、各表示
領域毎に独自の提示形式に従う字幕を表示可能に構成し
たので、したがって、横書きと縦書きが混在するような
特殊な字幕提示形態にも対応可能となる結果として、L
字型字幕提示形態において、字幕の読み易さ、理解し易
さ等の観点から好ましい提示形式を実現することができ
るといったきわめて優れた効果を奏する。
According to the sixth aspect of the present invention, subtitles conforming to a unique presentation format can be displayed for each display area. Therefore, a special subtitle presentation mode in which horizontal writing and vertical writing are mixed can be achieved. As a result, L
In the subtitle subtitle presentation mode, an extremely excellent effect is achieved in that a preferable presentation format can be realized from the viewpoint of readability and easy understanding of subtitles.

【図面の簡単な説明】[Brief description of the drawings]

【図1】図1は、本発明に係る字幕つきテレビ番組にお
ける字幕提示方法を用いた字幕提示イメージの一例を示
す図である。
FIG. 1 is a diagram showing an example of a subtitle presentation image using a subtitle presentation method in a television program with subtitles according to the present invention.

【図2】図2は、映像表示画面上における親映像表示領
域及びL字型字幕表示領域のそれぞれの占有状態を示す
図である。
FIG. 2 is a diagram illustrating an occupation state of a parent video display area and an L-shaped caption display area on a video display screen.

【図3】図3は、L字型字幕提示を実現するための処理
手順を示すフローチャート図である。
FIG. 3 is a flowchart illustrating a processing procedure for realizing an L-shaped caption presentation;

【図4】図4は、APIのLOGFONT構造体宣言
と、その構造体の初期値設定例を示す図である。
FIG. 4 is a diagram illustrating an example of a LOGFONT structure declaration of an API and an example of setting an initial value of the structure;

【図5】図5は、図1に示す字幕提示イメージを実現す
るための、L字型字幕における3つの字幕表示領域のそ
れぞれの設定状況を表す図である。
FIG. 5 is a diagram showing a setting status of each of three subtitle display areas in an L-shaped subtitle for realizing the subtitle presentation image shown in FIG. 1;

【符号の説明】[Explanation of symbols]

11 映像表示画面 13 親映像表示領域 15 L字型字幕表示領域(L字型の空き領域) AR1〜AR3 第1乃至第3の字幕表示領域 11 Video display screen 13 Parent video display area 15 L-shaped subtitle display area (L-shaped free area) AR1 to AR3 First to third subtitle display areas

───────────────────────────────────────────────────── フロントページの続き (72)発明者 沢村 英治 東京都港区芝2−31−19 通信・放送機構 内 (72)発明者 江原 暉将 東京都港区芝2−31−19 通信・放送機構 内 (72)発明者 白井 克彦 東京都港区芝2−31−19 通信・放送機構 内 Fターム(参考) 5C023 AA18 AA38 CA02 CA05 5C025 CA02 CA09 CA10  ──────────────────────────────────────────────────続 き Continuing on the front page (72) Eiji Sawamura, Inventor Communication and Broadcasting Organization 2-31-19 Shiba, Minato-ku, Tokyo (72) Inventor Terumasa Ehara 2-31-19 Shiba, Minato-ku, Tokyo Communication and Broadcasting Institution (72) Inventor Katsuhiko Shirai 2-31-19 Shiba, Minato-ku, Tokyo Communication and Broadcasting Corporation F-term (reference) 5C023 AA18 AA38 CA02 CA05 5C025 CA02 CA09 CA10

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 映像及び音声、並びにこれらとの所定の
タイミング情報が与えられた、提示すべき字幕の基とな
る字幕文テキストを提示する際に用いられる字幕つきテ
レビ番組における字幕提示方法であって、 テレビ映像を垂直及び水平方向に圧縮するとともに、こ
の圧縮後の親映像を、垂直及び水平方向に移動し、 この圧縮及び移動により作成された、映像表示画面上に
おける周辺領域のうち相互に隣接する2辺にわたるL字
型の空き領域を、L字型字幕表示領域として活用するこ
とで、このL字型字幕表示領域に一行の字幕を一括提示
することを特徴とする字幕つきテレビ番組における字幕
提示方法。
1. A subtitle presentation method in a television program with subtitles used for presenting a subtitle sentence text serving as a basis for subtitles to be presented, given video and audio and predetermined timing information therewith. In addition to compressing the television image vertically and horizontally, the compressed parent image is moved vertically and horizontally, and mutual compression is performed among the peripheral areas on the image display screen created by the compression and movement. By utilizing an L-shaped free area extending over two adjacent sides as an L-shaped subtitle display area, a single line of subtitles is collectively presented in the L-shaped subtitle display area. Subtitle presentation method.
【請求項2】 請求項1に記載の字幕つきテレビ番組に
おける字幕提示方法であって、 前記L字型字幕表示領域を3つの領域に分割し、当該各
領域間にわたり字幕をスクロール転換する如く表示する
ことを特徴とする字幕つきテレビ番組における字幕提示
方法。
2. The subtitle presentation method according to claim 1, wherein the L-shaped subtitle display area is divided into three areas, and the subtitles are scrolled over the respective areas. A method for presenting subtitles in a television program with subtitles.
【請求項3】 請求項2に記載の字幕つきテレビ番組に
おける字幕提示方法であって、 前記L字型字幕表示領域を3つの領域に分割するにあた
り、当該分割はほぼ均等に行われることを特徴とする字
幕つきテレビ番組における字幕提示方法。
3. The method for presenting subtitles in a television program with subtitles according to claim 2, wherein when the L-shaped subtitle display area is divided into three areas, the division is performed substantially equally. Subtitle presentation method in a subtitled TV program.
【請求項4】 請求項2乃至3のうちいずれか一項に記
載の字幕つきテレビ番組における字幕提示方法であっ
て、 初回の提示フェーズでは、前記スクロール転換において
最下流に位置する字幕表示領域を空白化する一方、その
他の字幕表示領域に字幕を表示することで、1回の提示
フェーズでしか字幕が表示されない事態を可及的に回避
することを特徴とする字幕つきテレビ番組における字幕
提示方法。
4. The subtitle presentation method for a television program with subtitles according to claim 2, wherein in the first presentation phase, a subtitle display area located at the most downstream in the scroll transition is changed. A subtitle presentation method for a television program with subtitles, characterized in that a subtitle is displayed in another subtitle display area while a subtitle is displayed only in a single presentation phase as much as possible. .
【請求項5】 請求項1乃至4のうちいずれか一項に記
載の字幕つきテレビ番組における字幕提示方法であっ
て、 前記L字型字幕表示領域には、所望の提示形式に従って
変換された字幕を表示可能に構成したことを特徴とする
字幕つきテレビ番組における字幕提示方法。
5. The method for presenting a subtitle in a television program with subtitles according to claim 1, wherein the L-shaped subtitle display area includes subtitles converted according to a desired presentation format. For displaying a subtitle in a television program with subtitles.
【請求項6】 請求項5に記載の字幕つきテレビ番組に
おける字幕提示方法であって、 前記各表示領域毎に独自の提示形式に従う字幕を表示可
能に構成したことを特徴とする字幕つきテレビ番組にお
ける字幕提示方法。
6. A subtitle presentation method for a subtitled television program according to claim 5, wherein subtitles according to a unique presentation format can be displayed for each of the display areas. Subtitle presentation method in.
JP19494999A 1999-07-08 1999-07-08 Subtitle presentation method for TV programs with subtitles Expired - Fee Related JP4206446B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19494999A JP4206446B2 (en) 1999-07-08 1999-07-08 Subtitle presentation method for TV programs with subtitles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19494999A JP4206446B2 (en) 1999-07-08 1999-07-08 Subtitle presentation method for TV programs with subtitles

Publications (2)

Publication Number Publication Date
JP2001024963A true JP2001024963A (en) 2001-01-26
JP4206446B2 JP4206446B2 (en) 2009-01-14

Family

ID=16333017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19494999A Expired - Fee Related JP4206446B2 (en) 1999-07-08 1999-07-08 Subtitle presentation method for TV programs with subtitles

Country Status (1)

Country Link
JP (1) JP4206446B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341740A (en) * 2003-05-14 2004-12-02 Sharp Corp Mail receiver
JP2007036527A (en) * 2005-07-26 2007-02-08 Sharp Corp Display device for electronic program guide
US7356439B2 (en) 2002-11-27 2008-04-08 Samsung Electronics Co., Ltd. Motion detection apparatus and method
JP2010511939A (en) * 2006-11-30 2010-04-15 マイクロソフト コーポレーション Rendering the visual column of the document with supplemental information content
KR101055319B1 (en) 2007-09-03 2011-08-08 재단법인서울대학교산학협력재단 L1 domain and active peptide of human laminin α2 chain to promote cell adhesion

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356439B2 (en) 2002-11-27 2008-04-08 Samsung Electronics Co., Ltd. Motion detection apparatus and method
JP2004341740A (en) * 2003-05-14 2004-12-02 Sharp Corp Mail receiver
JP2007036527A (en) * 2005-07-26 2007-02-08 Sharp Corp Display device for electronic program guide
JP4606267B2 (en) * 2005-07-26 2011-01-05 シャープ株式会社 Electronic program information display device
JP2010511939A (en) * 2006-11-30 2010-04-15 マイクロソフト コーポレーション Rendering the visual column of the document with supplemental information content
JP2014139813A (en) * 2006-11-30 2014-07-31 Microsoft Corp Rendering document views with supplemental information content
KR101055319B1 (en) 2007-09-03 2011-08-08 재단법인서울대학교산학협력재단 L1 domain and active peptide of human laminin α2 chain to promote cell adhesion

Also Published As

Publication number Publication date
JP4206446B2 (en) 2009-01-14

Similar Documents

Publication Publication Date Title
US7119849B2 (en) Multi-screen synthesis apparatus, method of controlling the apparatus, and program for controlling the apparatus
US6166772A (en) Method and apparatus for display of interlaced images on non-interlaced display
EP1576809B1 (en) Method and apparatus for composition of subtitles
US8683341B2 (en) Multimedia presentation editor for a small-display communication terminal or computing device
EP1443768A1 (en) System and method for streaming media enhancement
EP1008927A4 (en) Display and its operating method
CN103297855B (en) Application display method and terminal
JPH01276977A (en) Television receiver
CA2307233A1 (en) Encoding system and method for scrolling encoded mpeg stills in an interactive television application
CA2324278A1 (en) Program guide system with flip and browse advertisements
US20120212670A1 (en) Method and apparatus for composition of subtitles
JP2003198975A (en) Video display
US20090276727A1 (en) Image display apparatus, image display method, and computer-readable storage medium
US20040257369A1 (en) Integrated video and graphics blender
US20070089126A1 (en) Apparatus and method for customizing a received signal
JP2001024963A (en) Superimposed character presenting method for television program with superimposed characters
CN101448108A (en) Image processing apparatus and related method
JP2001028720A (en) Method for exhibiting gaption in television program with caption
JP4557739B2 (en) Video conversion device and video display device
JP2000101947A (en) Information display device and information display method
JP2000278622A (en) Caption program reception system
US8279207B2 (en) Information processing apparatus, information processing method, and program
JPH07264516A (en) Interlaced scanning type on-screen display circuit
JP2001136455A (en) Program guide display device
CN116386476A (en) Strip screen all-in-one machine

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040513

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040517

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040903

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080520

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080812

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080910

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141031

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees