JP2005123726A - Data recording device and data display device - Google Patents

Data recording device and data display device Download PDF

Info

Publication number
JP2005123726A
JP2005123726A JP2003353850A JP2003353850A JP2005123726A JP 2005123726 A JP2005123726 A JP 2005123726A JP 2003353850 A JP2003353850 A JP 2003353850A JP 2003353850 A JP2003353850 A JP 2003353850A JP 2005123726 A JP2005123726 A JP 2005123726A
Authority
JP
Japan
Prior art keywords
video
display
data
caption
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003353850A
Other languages
Japanese (ja)
Inventor
Michiaki Nagai
道彰 永井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2003353850A priority Critical patent/JP2005123726A/en
Publication of JP2005123726A publication Critical patent/JP2005123726A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a data recording device and a data display device for displaying an easy-to-see caption even when a reproduced video is displayed on a small-sized display device. <P>SOLUTION: Video data before conversion read from a recording medium 300 are expanded in a frame memory 21. A character recognition section 30 analyzes the video caption written in the video data in the form of a video image as a graphic to obtain caption text data through the character recognition. A data format conversion section 50 converts the data format of the video data as necessary, and a write section 40 records the video data after the conversion and the caption text data. The small-sized display device such as a mobile phone receives the video data from the recording medium or a network medium, the video data are displayed on the first display area of the display, and a caption generated from the caption text data in matching with the area is displayed on a second display area. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

この発明は、映像データを取り込んで記録メディアに記録するデータ記録装置に関する。また、映像データを取り込んで表示するデータ表示装置に関する。   The present invention relates to a data recording apparatus for capturing video data and recording it on a recording medium. The present invention also relates to a data display device that captures and displays video data.

近年、携帯型端末が広く普及しつつある。携帯型端末は持ち運びに便利なように筐体の小型化が求められるが、筐体の小型化のみならず、多機能化、高性能化が求められている。典型例としては、携帯電話は年々小型化する一方、その機能は通話機能のみならず、iモード機能、カメラ機能、動画録画再生機能、GPS利用機能など多種多様な機能を取り込みつつある。
携帯電話などの携帯型端末が取り込みつつある機能の一つに、映画やテレビドラマなどのコンテンツの映像データを読み込み、当該映像データを再生表示し、コンテンツの視聴を可能とする機能がある。
ここで、携帯電話などの携帯型端末における映像データの読み込みについて工夫が必要である。第1に、映画などのコンテンツデータは通常、DVDなどの大容量記録メディアにより提供されるが、携帯電話などの携帯型端末は筐体の大きさなどの制限からDVDなど大きな記録メディアに対応したドライブの搭載ができないので、それら大型の大容量記録メディアから直接データを読み込むことができないため、小型の記録メディアに記録し直して用いる必要がある。第2に、携帯電話などの携帯型端末の動画データに採用されるデータフォーマット(MPEG4、H.264など)とDVDなどで採用されるデータフォーマット(MPEG2など)が異なる場合は、DVDに記録された映像データのデータフォーマットを携帯型端末で利用しやすいデータフォーマットに変換する必要がある。
In recent years, portable terminals have become widespread. A portable terminal is required to be small in size so that it is convenient to carry. However, not only miniaturization of the case but also multifunction and high performance are required. As a typical example, while mobile phones are becoming smaller year by year, the functions thereof are not only calling functions but also incorporating various functions such as i-mode functions, camera functions, video recording / playback functions, and GPS utilization functions.
One of the functions that mobile terminals such as mobile phones are taking in is a function that reads video data of content such as movies and TV dramas, reproduces and displays the video data, and enables viewing of the content.
Here, it is necessary to devise a method for reading video data in a portable terminal such as a cellular phone. First, content data such as a movie is usually provided by a large-capacity recording medium such as a DVD, but a portable terminal such as a mobile phone is compatible with a large recording medium such as a DVD due to the limitation of the size of the case. Since the drive cannot be mounted, data cannot be read directly from these large-capacity recording media, so it is necessary to re-record on small recording media. Second, if the data format (MPEG4, H.264, etc.) used for moving picture data of a portable terminal such as a mobile phone is different from the data format (MPEG2, etc.) used for DVD, etc., it is recorded on the DVD. It is necessary to convert the data format of the video data into a data format that is easy to use on a portable terminal.

従来技術において、携帯電話などの携帯型端末において映像データを読み込む方法として、通信機能を介して通信回線を介してデータの配信を受ける方法(非特許文献1)、記録メディアドライブを複数備えたデータ再生録画装置を用いてDVDなどの大型記録メディアから読み込んだ映像データを、SDカード(TM)、メモリースティック(TM)、スマートメディア(TM)など他の小型記録メディアに記録し直し、小型記録メディア用ドライブを備えた携帯電話を用いて当該小型記録メディアから映像データを読み込む方法(非特許文献2)などが知られている。
日経産業新聞2003年7月11日付記事 http://panasonic.jp/dvd/recorder/e2000h/spec
In the prior art, as a method of reading video data in a portable terminal such as a cellular phone, a method of receiving data distribution via a communication line via a communication function (Non-Patent Document 1), data having a plurality of recording media drives Video data read from a large recording medium such as a DVD using a playback recording device is re-recorded on another small recording medium such as an SD card (TM), memory stick (TM), smart media (TM), etc. A method of reading video data from the small recording medium using a mobile phone equipped with a drive (Non-Patent Document 2) is known.
Nikkei Sangyo Shimbun article dated July 11, 2003 http://panasonic.jp/dvd/recorder/e2000h/spec

映像データの携帯型端末への読み込み段階においては、上記の非特許文献1および非特許文献2に示した映像データの携帯型端末への読み込み方法は有用な方法である。
一方、携帯型端末の映像コンテンツの再生の段階においては、以下に示すように、映像キャプションの表示について改善の必要がある。
携帯型端末は、持ち運びの便宜上、筐体の小型化が求められ、搭載し得るディスプレイが小さいものとなっている。映像を表示するディスプレイは本来大きい方が映像を見やすいが、利用者は携帯型端末のディスプレイを顔の近くに保持しつつ映像を見ることができ、映像の絶対的大きさが多少小さくても映像を視聴することは可能であり、携帯型端末で場所を問わず視聴するという大きな利点が魅力となり、今後もこの映像の視聴形態は増えて行くものと期待されている。しかし、映像中に映像として書き込まれている映像キャプションは小さ過ぎて即座に読み取ることが困難となる場合がある。利用者が視聴するコンテンツのうち有力なコンテンツとして外国映画、外国ドラマ、外国歌手の公演ビデオなどがあり、それらの翻訳について音声による吹き替えが提供されている場合もあるが、その多くは台詞や歌詞を示すキャプションが映像キャプションとして映像中に書き込まれて付されているものが多い。それら映像キャプションはその性質上、主となる映像に干渉しない位置、例えば、映像面の最下部に小さく付されている。映像キャプションはある程度大きなディスプレイでの再生表示を前提として付されているため、携帯型端末のような小さなディスプレイにおいて外国映画などを再生表示した場合、表示面全体の絶対的大きさが小さい上、さらに、その小さな表示面中の最下部に小さく表示される映像キャプションは見難く、その識別が困難となる場合も十分に考えられる。
外国映画などのコンテンツの多くは音声による吹き替え版ではなく映像キャプション付きのものである現状、利用者に上記不便を強いる結果となってしまうという問題が生じる。
In the stage of reading video data into a portable terminal, the method for reading video data into the portable terminal shown in Non-Patent Document 1 and Non-Patent Document 2 is a useful method.
On the other hand, at the stage of reproducing the video content of the portable terminal, as shown below, it is necessary to improve the display of the video caption.
A portable terminal is required to be small in size for convenience of carrying, and a display that can be mounted is small. The larger the display that displays the video, the easier it is to see the video, but the user can watch the video while holding the display of the portable terminal near the face, even if the absolute size of the video is somewhat small Can be viewed, and the great advantage of viewing from any location on a portable terminal is attractive, and it is expected that the number of viewing modes of this video will increase in the future. However, the video caption written as a video in the video may be too small to be read immediately. Some of the most popular content viewed by users are foreign movies, foreign dramas, and performance videos of foreign singers, and there are cases in which voice-overs are provided for the translation of these. In many cases, a caption indicating is written and added as a video caption in the video. Due to their nature, these video captions are attached to a position that does not interfere with the main video, for example, at the bottom of the video screen. Since video captions are attached on the premise of playback display on a somewhat large display, when a foreign movie is played back on a small display such as a portable terminal, the absolute size of the entire display surface is small, and The video caption displayed in a small size at the bottom of the small display surface is difficult to see, and it may be difficult to identify the video caption.
Many contents such as foreign movies are not dubbed by voice but are provided with video captions, and there is a problem that this results in inconvenience to the user.

上記問題点に鑑み、本発明は、携帯型端末の小さなディスプレイを表示面として再生表示する場合であっても、キャプションが利用者に十分に認識できるようにキャプションを加工し、表示することができるデータ記録装置およびデータ表示装置を提供することを目的とする。   In view of the above problems, the present invention can process and display a caption so that the caption can be fully recognized by the user even when the small display of the portable terminal is used as a display screen. An object is to provide a data recording device and a data display device.

上記目的を達成するため、本発明の第1のデータ記録装置は、映像データを取り込んで記録メディアに記録するデータ記録装置であって、
映像データを取り込む映像データ入力部と、
フレームメモリを備え、前記映像データ入力部から取り込んだ映像データを前記フレームメモリに展開するフレームメモリ制御部と、
前記フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータと、当該キャプションテキストデータと前記映像データとの対応情報とを生成する文字認識部と、
前記フレームメモリから前記映像データを受け、前記文字認識部から前記キャプションテキストデータと前記対応情報とを受け、それらを前記記録メディアに書き込む書き込み部を備えたものである。
上記構成により、映像データと別にキャプションテキストデータと対応情報とを得ることができ、本発明の第1のデータ記録装置で記録した記録メディアを利用するシステムにおいてキャプションテキストデータを利用することができる。キャプションテキストデータは映像データではなくテキストデータであるので、多様な形態での利用が容易となる。
In order to achieve the above object, a first data recording apparatus of the present invention is a data recording apparatus for capturing video data and recording it on a recording medium,
A video data input section for capturing video data;
A frame memory control unit for developing video data captured from the video data input unit in the frame memory;
The video caption written as video in the video data developed in the frame memory is analyzed as a figure, character recognition is performed, and caption text data and correspondence information between the caption text data and the video data are obtained. A character recognition unit to be generated;
A writing unit that receives the video data from the frame memory, receives the caption text data and the correspondence information from the character recognition unit, and writes them into the recording medium;
With the above configuration, caption text data and correspondence information can be obtained in addition to video data, and caption text data can be used in a system that uses a recording medium recorded by the first data recording apparatus of the present invention. Since the caption text data is not video data but text data, it can be easily used in various forms.

本発明の第2のデータ記録装置は、映像データを取り込んで記録メディアに記録するデータ記録装置であって、
映像データを取り込む映像データ入力部と、
フレームメモリを備え、前記映像データ入力部から取り込んだ映像データを前記フレームメモリに展開するフレームメモリ制御部と、
前記フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータと、当該キャプションテキストデータと前記映像データとの対応情報とを生成する文字認識部と、
前記フレームメモリに展開された映像データを所望のデータフォーマットに変換するデータフォーマット変換部と、
前記データフォーマット変換部から前記データフォーマット変換後の映像データを受け、前記文字認識部から前記キャプションテキストデータと前記対応情報とを受け、それらを前記記録メディアに書き込む書き込み部を備えたものである。
上記構成により、映像データのデータフォーマットを変換しつつ、キャプションテキストデータと対応情報も併せて得ることができる。
A second data recording apparatus of the present invention is a data recording apparatus for capturing video data and recording it on a recording medium,
A video data input section for capturing video data;
A frame memory control unit for developing video data captured from the video data input unit in the frame memory;
The video caption written as video in the video data developed in the frame memory is analyzed as a figure, character recognition is performed, and caption text data and correspondence information between the caption text data and the video data are obtained. A character recognition unit to be generated;
A data format conversion unit for converting the video data expanded in the frame memory into a desired data format;
And a writing unit that receives the video data after the data format conversion from the data format conversion unit, receives the caption text data and the correspondence information from the character recognition unit, and writes them to the recording medium.
With the above configuration, caption text data and corresponding information can be obtained together while converting the data format of the video data.

上記のデータ記録装置について、前記フレームメモリに展開された映像データにおいて、前記映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備えることも好ましい。
上記構成により、映像中から映像キャプションを消去できる。キャプション自体はテキストデータの形で利用できるので映像中に残存する映像キャプションは不要であるから消去しても問題なく、却って映像を毀損する形で書き込まれていた映像キャプションを消去することは好ましいからである。
In the above data recording device, in the video data developed in the frame memory, the video caption for erasing the video caption by filling the inside of the character contour of the video caption with a gradation between pixels of opposing character contour edges It is also preferable to provide an erasing unit.
With the above configuration, the video caption can be erased from the video. Since the caption itself can be used in the form of text data, the video caption remaining in the video is unnecessary, so there is no problem even if it is erased, and it is preferable to erase the video caption that was written in a way that damages the video. It is.

次に、本発明の第1のデータ表示装置は、映像コンテンツを表示するデータ表示装置であって、
利用メディアから映像データとキャプションテキストデータとそれらの対応情報を取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
フレームメモリを備え、前記ディスプレイの表示エリアを少なくとも第1の表示エリアと第2の表示エリアの2つの表示エリアに分割し、各表示エリアに対応するフレームメモリの第1の領域と第2の領域へのデータ書き込みを制御して各表示エリアにおける表示を制御する表示制御部と、
前記表示制御部の表示制御に従い、前記映像データ入力部から取り込んだ前記映像データを読み込んで前記フレームメモリの第1の領域に展開する映像表示処理部と、
前記表示制御部の表示制御に従い、前記映像データ入力部から取り込んだ前記キャプションテキストデータと前記対応情報を読み込んで、前記対応情報に基づいて前記フレームメモリの第1の領域に展開されている映像データに対応するキャプションテキストデータを選択して前記フレームメモリの第2の領域に展開するキャプション表示処理部とを備え、
前記ディスプレイの第1の表示エリアにおいて前記映像が表示され、前記ディスプレイの第2の表示エリアにおいて前記キャプションが表示されるデータ表示装置である。
上記構成により、利用するメディア中にキャプションがキャプションテキストデータとして与えられている場合、映像データは第1の表示エリアに、キャプションは第2の表示エリアに表示することができる。例えば、携帯型端末のようにディスプレイが小さい機器の場合、キャプションがあまりに小さくなり過ぎないように第2の表示エリアの大きさを文字の視認が困難とならない程度の大きさに調整すれば利用者が容易にキャプションを読むことができる。
Next, a first data display device of the present invention is a data display device for displaying video content,
A video data input unit that captures video data, caption text data, and corresponding information from the media used;
A display for displaying video content;
A frame memory, wherein the display area of the display is divided into at least two display areas of a first display area and a second display area, and a first area and a second area of the frame memory corresponding to each display area A display control unit that controls data writing to the display area and controls display in each display area;
In accordance with display control of the display control unit, a video display processing unit that reads the video data captured from the video data input unit and develops the video data in a first area of the frame memory;
In accordance with display control of the display control unit, the caption text data captured from the video data input unit and the correspondence information are read, and the video data developed in the first area of the frame memory based on the correspondence information A caption display processing unit that selects caption text data corresponding to and expands it in the second area of the frame memory,
A data display device in which the video is displayed in a first display area of the display and the caption is displayed in a second display area of the display.
With the above configuration, when captions are given as caption text data in the media to be used, video data can be displayed in the first display area and captions can be displayed in the second display area. For example, in the case of a device with a small display such as a portable terminal, the user can adjust the size of the second display area to a size that does not make it difficult to visually recognize characters so that the caption is not too small. Can easily read captions.

なお、映画やテレビジョンコンテンツの場合、映像面の縦横比が決まっているので、例えば、携帯型端末のディスプレイに当該縦横比の映像を表示した場合に、ディスプレイの縦方向に余裕がある場合、下側に余っているディスプレイ領域を第2の表示エリアとして当該エリアにキャプションを大きく表示すれば良い。   In the case of movies and television content, since the aspect ratio of the video screen is determined, for example, when displaying the video of the aspect ratio on the display of the portable terminal, if there is room in the vertical direction of the display, The display area remaining on the lower side may be used as the second display area to display a large caption in the area.

本発明の第2のデータ表示装置は、映像データを取り込んで映像コンテンツを表示するデータ表示装置であって、
映像データを取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
文字認識用フレームメモリと、映像表示用フレームメモリと、キャプション表示用フレームメモリと、
前記映像データ入力部から取り込んだ映像データストリームを、フレームごとに前記映像表示用フレームメモリに展開する機能と、所定周期でサンプリングして前記文字認識用フレームメモリに展開する機能とを備えた制御部と、
前記映像表示用フレームメモリに展開されたデータに基づいて前記ディスプレイの第1の表示エリアへの映像表示を制御する映像表示制御部と、
前記文字認識用フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータを生成する文字認識部と、
前記文字認識部が認識したキャプションテキストデータに基づいて前記ディスプレイの第2の表示エリアへのキャプションテキスト表示を制御するキャプション表示制御部とを備えたものである。
上記構成により、例えば、利用メディアとなる携帯型小型メモリへのアクセスや、地上波デジタル放送などの無線通信によるアクセスにより、映像キャプションが書き込まれたままの映像コンテンツを読み込んで自らキャプションテキストデータと対応情報を生成して利用することができる。
A second data display device of the present invention is a data display device that captures video data and displays video content,
A video data input section for capturing video data;
A display for displaying video content;
A character recognition frame memory, a video display frame memory, a caption display frame memory,
A control unit having a function of developing a video data stream captured from the video data input unit into the video display frame memory for each frame, and a function of sampling the video data stream at a predetermined cycle and developing the video data stream into the character recognition frame memory When,
A video display control unit for controlling video display on the first display area of the display based on the data developed in the video display frame memory;
A character recognition unit that analyzes a video caption written as a video in the video data developed in the character recognition frame memory as a figure, performs character recognition to generate caption text data, and
A caption display control unit that controls the display of the caption text in the second display area of the display based on the caption text data recognized by the character recognition unit.
With the above configuration, for example, by accessing the portable small memory that is the media used, or by wireless communication such as terrestrial digital broadcasting, the video content with the video caption still being written is read and the caption text data is handled. Information can be generated and used.

本発明の第3のデータ表示装置は、上記第2のデータ表示装置において、前記フレームメモリの第1の領域に展開された映像データ中の映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備え、前記ディスプレイの第1の表示エリアにおいて前記映像キャプションが消去された映像が表示され、前記ディスプレイの第2の表示エリアにおいて前記キャプションが表示されるものである。
上記構成により、映像中に書き込まれた映像キャプションを消去することができる。
According to a third data display device of the present invention, in the second data display device described above, the inside of the character contour of the video caption in the video data developed in the first area of the frame memory is opposed to the character contour. A video caption erasure unit for erasing the video caption, and filling the image with gradation between pixels at an edge; wherein the video with the video caption erased is displayed in the first display area of the display; and the second display of the display The caption is displayed in the area.
With the above configuration, the video caption written in the video can be erased.

上記のデータ記録装置およびデータ表示装置は、映像キャプションからキャプションテキストデータを生成して、当該キャプションテキストデータを利用するものであるが、映像キャプションを映像のまま拡大して利用することも可能である。   The data recording device and the data display device described above generate caption text data from a video caption and use the caption text data. However, the video caption can be enlarged and used as it is. .

本発明の第4のデータ表示装置は、映像データを取り込んで映像コンテンツを表示するデータ表示装置であって、
映像データを取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
映像表示用フレームメモリと、キャプション表示用フレームメモリと、
前記映像データ入力部から取り込んだ映像データストリームを、フレームごとに前記映像表示用フレームメモリに展開する機能を備えた制御部と、
前記映像表示用フレームメモリに展開されたデータに基づいて前記ディスプレイの第1の表示エリアへの映像表示を制御する映像表示制御部と、
前記映像表示用フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析して前記映像データ中の映像キャプション領域を認識し、前記映像キャプション領域の映像データを前記ディスプレイの第2の表示エリアの大きさに合わせた縦横倍率で拡大しつつ前記キャプション表示用フレームメモリに複製展開するキャプション表示制御部と、
前記映像表示用フレームメモリに展開された映像データ中の映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備え、
前記ディスプレイの第1の表示エリアにおいて前記映像キャプションが消去された映像が表示され、前記ディスプレイの第2の表示エリアにおいて前記縦横倍率で拡大されたキャプションが表示されるものである。
上記構成により、映像中の映像キャプション部分を消去するとともに、映像キャプション部分を拡大して第2の表示エリアに表示することができ、第2の表示エリアの大きさを映像キャプションの視認が困難とならない程度の大きさに調整すれば利用者が容易にキャプションを読むことができる。
なお、本発明のデータ記録装置またはデータ表示装置において、映像データ入力部が映像データを取り込むためアクセス可能な利用メディアとして、例えば、映像データが記録されているDVD、CD、MO、HDD、メモリなどの記録メディアが挙げられる。また、映像データの配信が可能となる地上波デジタル放送、衛星放送、CATV、インターネットなどのコンピュータ通信などのネットワークメディアが挙げられる。ネットワークメディアの場合、当該ネットワークの接続先のリソースとして含まれるHDDやメモリなどの記録メディアも含まれる。
A fourth data display device of the present invention is a data display device that captures video data and displays video content,
A video data input section for capturing video data;
A display for displaying video content;
A frame memory for video display, a frame memory for caption display,
A control unit having a function of expanding the video data stream captured from the video data input unit into the video display frame memory for each frame;
A video display control unit for controlling video display on the first display area of the display based on the data developed in the video display frame memory;
The video caption written as video in the video data expanded in the video display frame memory is analyzed as a figure to recognize the video caption area in the video data, and the video data in the video caption area is displayed on the display A caption display control unit that replicates and expands in the caption display frame memory while expanding at a vertical and horizontal magnification according to the size of the second display area;
A video caption erasing unit that fills the inside of a character outline of a video caption in video data expanded in the video display frame memory with gradation between pixels of opposing character outline edges, and erases the video caption;
An image from which the image caption has been deleted is displayed in the first display area of the display, and the caption enlarged at the aspect ratio is displayed in the second display area of the display.
With the above configuration, the video caption portion in the video can be erased, and the video caption portion can be enlarged and displayed in the second display area. The size of the second display area is difficult to visually recognize the video caption. The user can easily read the caption if the size is adjusted to such an extent that it is not necessary.
In the data recording apparatus or data display apparatus of the present invention, examples of accessible media that can be accessed by the video data input unit for capturing video data include a DVD, CD, MO, HDD, memory, and the like on which video data is recorded. Recording media. In addition, network media such as terrestrial digital broadcast, satellite broadcast, CATV, and the Internet such as computer communication capable of distributing video data can be used. In the case of network media, recording media such as HDDs and memories included as resources to which the network is connected are also included.

本発明のデータ記録装置によれば、映像データと別にキャプションテキストデータと対応情報とを得ることができ、当該データ記録装置により書き込んだ記録メディアを利用する映像データ表示装置においてキャプションテキストデータを利用することができる。キャプションテキストデータは映像データではなくテキストデータであるので、多様な形態での利用が容易となる。
本発明のデータ表示装置によれば、映像データを第1の表示エリアに、キャプションを第2の表示エリアに表示することができる。例えば、携帯型端末のようにディスプレイが小さい機器の場合、キャプションがあまりに小さくなり過ぎないように第2の表示エリアの大きさを文字の視認が困難とならない程度の大きさに調整すれば利用者が容易にキャプションを読むことができる。
According to the data recording apparatus of the present invention, caption text data and corresponding information can be obtained in addition to video data, and caption text data is used in a video data display apparatus that uses a recording medium written by the data recording apparatus. be able to. Since the caption text data is not video data but text data, it can be easily used in various forms.
According to the data display device of the present invention, video data can be displayed in the first display area, and captions can be displayed in the second display area. For example, in the case of a device with a small display such as a portable terminal, the user can adjust the size of the second display area to a size that does not make it difficult to visually recognize characters so that the caption is not too small. Can easily read captions.

以下、図面を参照しつつ、本発明のデータ記録装置およびデータ表示装置の実施例を説明する。   Embodiments of a data recording apparatus and a data display apparatus according to the present invention will be described below with reference to the drawings.

本発明の実施例1にかかる第1のデータ記録装置および第1のデータ表示装置の例を示す。
第1のデータ記録装置は、読み取り対象となる記録メディアまたはネットワークメディアから映像データ(映像キャプション付き)を読み込み、映像キャプションの文字認識によるキャプションテキストデータの生成処理を実行し、映像データとキャプションテキストデータと両者の対応情報を書き込み対象となる小型の記録メディアに記録する装置である。
図1および図2は本発明の実施例1にかかる第1のデータ記録装置100の基本構成例を模式的に示す図である。
1 shows an example of a first data recording device and a first data display device according to Example 1 of the present invention.
The first data recording device reads video data (with video caption) from a recording medium or network media to be read, executes caption text data generation processing by character recognition of the video caption, and performs video data and caption text data. And the correspondence information between the two is recorded on a small recording medium to be written.
1 and 2 are diagrams schematically showing an example of the basic configuration of a first data recording apparatus 100 according to Embodiment 1 of the present invention.

図1の例において、映像データ入力部10は、読み取り対象となる記録メディア300に対応している読み取り装置を備え、記録メディア300に対応する物理インタフェースおよび論理インタフェースを持っている。映像データ入力部10は読み取り対象となる記録メディア300から映像データを次々と読み取り、フレームメモリ制御部20に渡して行く。
読み取り対象となる記録メディア300は特に限定されない。例えば、外国映画などのコンテンツが記録されたDVD、CDROM、VHSビデオテープ、MOなどの記録媒体が記録メディア300となり得る。また、外部からテレビジョン放送を受信し、受信したテレビジョン放送を内蔵のハードディスク記憶装置に録画し、書き込み対象となる小型記録メディア400にアップダビングする場合は、当該ハードディスク記録装置が記録メディア300となり得る。
In the example of FIG. 1, the video data input unit 10 includes a reading device corresponding to a recording medium 300 to be read, and has a physical interface and a logical interface corresponding to the recording medium 300. The video data input unit 10 reads video data one after another from the recording medium 300 to be read and passes it to the frame memory control unit 20.
The recording medium 300 to be read is not particularly limited. For example, a recording medium 300 such as a DVD, CDROM, VHS video tape, or MO on which content such as a foreign movie is recorded can be used. Further, when a television broadcast is received from the outside, the received television broadcast is recorded on a built-in hard disk storage device, and is updubbed to a small recording medium 400 to be written, the hard disk recording device becomes the recording medium 300. obtain.

なお、図2の例では、映像データ入力部10は、地上波デジタル放送や衛星放送を受信する機能やインターネットなどのネットワークメディアにアクセスする機能を備え、ネットワークメディアとの通信インタフェースを持っている。映像データ入力部10はネットワークメディア310から映像データを次々とダウンロードして取り込み、フレームメモリ制御部20に渡して行く。なお、映像データ入力部10はチューニング機能を備え、チャンネル選択などができることが好ましい。
オンデマンドによるネットワークメディアを介したダウンロードを行なう場合、ネットワークを介して接続されている接続先の記録メディアが読み取り対象となる記録メディア300となり得る。
In the example of FIG. 2, the video data input unit 10 has a function of receiving digital terrestrial broadcasts and satellite broadcasts, and a function of accessing network media such as the Internet, and has a communication interface with the network media. The video data input unit 10 downloads video data from the network medium 310 one after another and takes it in and passes it to the frame memory control unit 20. Note that the video data input unit 10 preferably has a tuning function and can perform channel selection and the like.
When downloading via network media on demand, the connected recording medium connected via the network can be the recording medium 300 to be read.

次に、図1または図2において、書き込み対象となる小型記録メディア400は特に限定されないが、携帯型の小型記録メディアが想定される。本発明のデータ記録装置が提供する小型記録メディア400は、DVDなどの記録メディア300を直接取り扱うことができないような携帯電話などの小型の携帯型端末で取り扱うことができる記録メディアを想定したものであって、例えば、メモリースティック(TM)、コンパクトフラッシュカード(TM)、スマートメディアカード(TM)、SDカード(TM)などの携帯型小型記録メディアが記録メディア400となり得る。   Next, in FIG. 1 or FIG. 2, the small recording medium 400 to be written is not particularly limited, but a portable small recording medium is assumed. The small recording medium 400 provided by the data recording apparatus of the present invention is assumed to be a recording medium that can be handled by a small portable terminal such as a mobile phone that cannot directly handle the recording medium 300 such as a DVD. Therefore, for example, a portable small recording medium such as a memory stick (TM), a compact flash card (TM), a smart media card (TM), and an SD card (TM) can be the recording medium 400.

なお、3つ以上の記録メディアやネットワークメディア間で映像データを授受する場合は、次のように捉えることができる(なお、以下の説明では記録メディアの場合について代表的に述べるが、ネットワークメディアについても同様に考えることができる。)。映像データを授受する複数のネットワークメディアや記録メディアを、授受の道筋をフローチャートに見立てて並べ、映像データを他の記録メディアに授ける記録メディアが記録メディア300、受け取る記録メディアが小型記録メディア400となり、記録メディアA、記録メディアB、記録メディアCが直列にこの順で映像データを授受する場合、記録メディアAから記録メディアBの関係に注目すると、記録メディアAが記録メディア300、記録メディアBが小型記録メディア400となり、記録メディアBから記録メディアCの関係に注目すると、記録メディアBが記録メディア300、記録メディアCが小型記録メディア400となる。記録メディアAから記録メディアBと記録メディアCの2つの記録メディアにいわゆる並列に映像データが授受される場合、記録メディアAが記録メディア300、記録メディアBと記録メディアCのそれぞれが独立して小型記録メディア400となる。逆に記録メディアAと記録メディアBのそれぞれから記録メディアCに映像データが授受される場合、記録メディアAと記録メディアBのそれぞれが独立して記録メディア300となり、記録メディアCが小型記録メディア400となる。
なお、ネットワークメディア310から映像データをダウンロードし、一時的にデータ記録装置内の内蔵ハードディスクに保存し、後にハードディスクからメモリースティック(TM)などの小型の記録メディア400にアップダビングする場合、ネットワークメディアを読み取り対象のメディアとし、本発明のキャプションデータおよび対応情報生成処理を行なってハードディスクを書き込み対象のメディアとしても良く、ネットワークメディア310からハードディスクへの記録は本発明のキャプションデータおよび対応情報生成処理を行なわず、ハードディスクを読み取り対象のメディアとし、本発明のキャプションデータおよび対応情報生成処理を行なって小型の記録メディア400を書き込み対象のメディアとしても良い。
データフォーマットに関して、この実施例1の第1のデータ記録装置は、読み取り対象となる記録メディア300またはネットワークメディア310から取り込まれる映像データのデータフォーマット変換処理が不要である例として説明する。
In addition, when video data is exchanged between three or more recording media and network media, it can be understood as follows (Note that in the following description, the case of recording media will be described representatively, Can be thought of as well.) A plurality of network media and recording media for transmitting and receiving video data are arranged with the flow of transmission and reception taken as a flowchart, the recording media for transmitting video data to other recording media are the recording media 300, and the receiving recording media are the small recording media 400, When the recording media A, the recording media B, and the recording media C transfer video data in this order in series, when attention is paid to the relationship between the recording media A and the recording media B, the recording media A is the recording media 300 and the recording media B is small. Focusing on the relationship between the recording medium B and the recording medium C, the recording medium B becomes the recording medium 300, and the recording medium C becomes the small recording medium 400. When video data is exchanged from recording medium A to two recording media, recording medium B and recording medium C, in a so-called parallel manner, recording medium A is recording medium 300, and recording medium B and recording medium C are each independently small. The recording medium 400 is obtained. Conversely, when video data is transferred from the recording medium A and the recording medium B to the recording medium C, the recording medium A and the recording medium B are each independently the recording medium 300, and the recording medium C is the small recording medium 400. It becomes.
In addition, when video data is downloaded from the network medium 310, temporarily stored in the internal hard disk in the data recording apparatus, and later dubbed from the hard disk to a small recording medium 400 such as a Memory Stick (TM), the network medium is read. The hard disk may be used as a writing target medium by performing the caption data and corresponding information generation processing of the present invention as the target medium, and recording from the network medium 310 to the hard disk does not perform the caption data and corresponding information generation processing of the present invention. The hard disk may be used as a read target medium, and the small-sized recording medium 400 may be used as a write target medium by performing the caption data and corresponding information generation processing of the present invention.
Regarding the data format, the first data recording apparatus of the first embodiment will be described as an example in which the data format conversion processing of the video data captured from the recording medium 300 or the network medium 310 to be read is unnecessary.

フレームメモリ制御部20は、フレームメモリ21を備え、フレームメモリ21の入出力を制御する部分である。フレームメモリ制御部20は読み取り対象となる記録メディア300から読み込んだ映像データをフレームメモリ21に展開する。
文字認識部30は、フレームメモリ21に展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータを生成する部分である。また、生成したキャプションテキストデータと当該キャプションが映像として書き込まれていた映像データとの対応情報とを生成する部分である。
文字認識部30は文字パターンデータベース31を備えている。文字パターンデータベース31は文字認識処理においてパターンマッチングに用いる文字パターンを集めたデータベースである。
The frame memory control unit 20 includes a frame memory 21 and controls input / output of the frame memory 21. The frame memory control unit 20 develops the video data read from the recording medium 300 to be read in the frame memory 21.
The character recognizing unit 30 is a part that analyzes a video caption written as a video in the video data expanded in the frame memory 21 as a graphic, recognizes the character, and generates caption text data. Further, this is a part for generating the generated caption text data and the correspondence information between the video data in which the caption is written as a video.
The character recognition unit 30 includes a character pattern database 31. The character pattern database 31 is a database in which character patterns used for pattern matching in character recognition processing are collected.

図3は文字認識部30における処理の概要を模式的に説明する図である。フレームメモリ制御部20の処理によりDVDなどの記録メディア300から読み込まれた映像データはフレームごとにフレームメモリ21に展開されている。図3は当該映像を模式的に示している。映像の最下部には映像キャプションが映像中に書き込まれている(焼き付けられている)。この映像キャプションは映像そのものの中に焼き付けられており、テキストデータではなく映像中に写り込んでいる図形データと捉えることができる。この例の映像フレームには「坂道を上りながら後ろを振り向いてごらん。海が見えるよ。」という映像キャプションが付されているとする。   FIG. 3 is a diagram schematically illustrating an outline of processing in the character recognition unit 30. The video data read from the recording medium 300 such as a DVD by the processing of the frame memory control unit 20 is expanded in the frame memory 21 for each frame. FIG. 3 schematically shows the video. At the bottom of the video, video captions are written (burned) in the video. This video caption is burned into the video itself, and can be regarded as graphic data reflected in the video, not text data. Assume that the video frame in this example has a video caption that says, “Turn back while climbing the hill. You can see the sea.”

まず、文字認識部30はフレームメモリ21上に展開されている映像中、映像キャプションの図形パターンが含まれている領域を探索する。文字認識部30は当該探索について学習機能を有することが好ましい。ここで、映像キャプションが書き込まれている領域は、例えば、映像領域の最下部付近や、右端部分など一定部分に固定されていることが多く、学習効果が高く発揮されることとなる。
次に、文字認識部30は、映像キャプション図形から文字ごとの図形パターン切り出しを行なう。そして、文字パターンデータベース31中の文字パターンと切り出した図形パターンとのパターンマッチングを行い、映像キャプションの各文字の認識処理を行なう。この後、認識精度を向上させるために、単語認識、意味認識、構文チェックなどを行なうことも好ましい。これら単語認識や意味認識に必要なエンジン、単語データベース、意味データベース、構文データベースなどを備えているものとする。
First, the character recognizing unit 30 searches for an area including a graphic pattern of the video caption in the video developed on the frame memory 21. The character recognition unit 30 preferably has a learning function for the search. Here, the area in which the video caption is written is often fixed to a certain part such as the lowermost part of the video area or the right end part, and the learning effect is high.
Next, the character recognizing unit 30 cuts out a graphic pattern for each character from the video caption graphic. Then, pattern matching between the character pattern in the character pattern database 31 and the extracted graphic pattern is performed, and recognition processing for each character in the video caption is performed. Thereafter, in order to improve recognition accuracy, it is also preferable to perform word recognition, semantic recognition, syntax check, and the like. It is assumed that an engine, a word database, a semantic database, a syntax database, and the like necessary for word recognition and semantic recognition are provided.

文字認識部30による文字認識の結果、図3に示すように、図形としての映像キャプションからテキストデータとしてのキャプションテキストデータが得られる。ここでは「坂道を上りながら後ろを振り向いてごらん。海が見えるよ。」というキャプションテキストデータが得られることとなる。
また、文字認識部30は、得られたキャプションテキストデータがどの映像フレーム中の映像キャプションに相当するデータであるかを示すため、映像データとキャプションテキストデータとの対応を示す対応情報も生成する。例えば、「映像フレーム番号○○−キャプションテキストデータ番号○○」という対応情報が生成される。生成されたキャプションテキストデータと対応情報は書き込み部40に渡される。
As a result of the character recognition by the character recognition unit 30, as shown in FIG. 3, caption text data as text data is obtained from a video caption as a graphic. Here, you can get caption text data that says “Look around the hill and look back. You can see the sea.”
The character recognition unit 30 also generates correspondence information indicating the correspondence between the video data and the caption text data in order to indicate in which video frame the obtained caption text data corresponds to the video caption. For example, the correspondence information “video frame number OO—caption text data number OO” is generated. The generated caption text data and correspondence information are passed to the writing unit 40.

上記のフレームメモリ制御部20によるフレームメモリ21への映像データの書き込み処理、文字認識部30による文字認識処理までを映像フレームごとに行なう。なお、文字認識部30による文字認識処理については映像フレームごとには行なわず、所定周期ごとに映像フレームをサンプリングして行なっても良い。映像キャプションは人が目で読み取るという性質上、一定の時間は必要であり、長短はあるものの複数のフレームにわたり同じ映像キャプションが付されていることとなる。そのため、すべてのフレームについて文字認識処理を行なうことはリソースの浪費となる場合がある。そこで、映像キャプションが2回以上切り替わる恐れのない間隔(例えば、1秒間隔や2秒間隔)でサンプリングしたフレームについて文字認識処理を行なえば良い。   The video data writing process to the frame memory 21 by the frame memory control unit 20 and the character recognition process by the character recognition unit 30 are performed for each video frame. Note that the character recognition processing by the character recognition unit 30 may not be performed for each video frame, but may be performed by sampling the video frame at predetermined intervals. The video caption requires a certain amount of time due to the nature of being read by the human eye, and the same video caption is attached over a plurality of frames although it is long and short. Therefore, performing character recognition processing for all frames may be a waste of resources. Therefore, character recognition processing may be performed on frames sampled at intervals (for example, 1-second intervals or 2-second intervals) that do not cause the video caption to switch twice or more.

次に、図1または図2において、書き込み部40は、フレームメモリ制御部20から渡される映像データストリームと、文字認識部30から渡されるキャプションテキストデータと対応情報とを、書き込み対象の記録メディア400に書き込む部分である。書き込み対象の記録メディア400用の書き込みドライブを備え、記録メディア400に対応する物理フォーマット、論理フォーマットで映像データを書き込み対象の記録メディア400に書き込む。   Next, in FIG. 1 or FIG. 2, the writing unit 40 writes the video data stream passed from the frame memory control unit 20, the caption text data passed from the character recognition unit 30, and corresponding information into the recording medium 400 to be written. This is the part to write to. A writing drive for the recording medium 400 to be written is provided, and video data is written to the recording medium 400 to be written in a physical format and a logical format corresponding to the recording medium 400.

上記のように、本発明のデータ記録装置により、DVDなどの読み取り対象となる記録メディア300に記録されている外国映画など映像キャプションを含む映像データを読み込み、当該映像データと映像キャプションに相当するキャプションテキストデータをSDカード(TM)やメモリースティック(TM)などの書き込み対象となる小型記録メディア400に記録される。記録メディア400にアクセスした携帯型端末において、映像データとともにテキストデータとしてのキャプションテキストデータが利用できる。
なお、図1の構成例にはバッファメモリなどは図示していないが、いずれかの処理において必要であればバッファメモリを用いても良い。
As described above, the data recording apparatus of the present invention reads video data including a video caption such as a foreign movie recorded on the recording medium 300 to be read such as a DVD, and the video data and a caption corresponding to the video caption. Text data is recorded on a small recording medium 400 to be written such as an SD card (TM) or a memory stick (TM). In the portable terminal accessing the recording medium 400, caption text data as text data can be used together with video data.
Although the buffer memory or the like is not shown in the configuration example of FIG. 1, a buffer memory may be used if necessary in any processing.

次に、本発明の第1のデータ表示装置について説明する。
第1のデータ表示装置200は、上記の小型記録メディア400などの記録メディアまたはネットワークメディアから映像データ、キャプションテキストデータ、それらの対応情報を読み込み、映像データをディスプレイの第1の表示エリアに表示し、キャプションをディスプレイの第2の表示エリアに表示する装置である。なお、キャプションの表示にあたり、キャプションテキストデータを利用する。
なお、第1のデータ表示装置200は小型の携帯型端末を想定しており、ここでは、例えば、多機能型の携帯電話とする。
図4および図5は、本発明の実施例1にかかる第1のデータ表示装置200の基本構成例を模式的に示す図である。
Next, the first data display device of the present invention will be described.
The first data display device 200 reads video data, caption text data, and their corresponding information from a recording medium such as the above-mentioned small recording medium 400 or a network medium, and displays the video data in the first display area of the display. , A device for displaying captions in a second display area of the display. Note that caption text data is used to display captions.
Note that the first data display device 200 is assumed to be a small portable terminal, and here, for example, is a multi-function mobile phone.
4 and 5 are diagrams schematically illustrating a basic configuration example of the first data display device 200 according to the first embodiment of the present invention.

図4の例において、映像データ入力部210は、小型記録メディア400に対応している読み取り装置を備え、小型記録メディア400に対応する物理インタフェースおよび論理インタフェースを持っている。映像データ入力部210は読み取り対象となる小型記録メディア400から映像データ、キャプションテキストデータ、対応情報を次々と読み取り、映像データを映像表示処理部220に、キャプションテキストデータと対応情報をキャプション表示処理部230に渡して行く。
読み取り対象となる小型記録メディア400は、本発明の第1のデータ記録装置100により映像データ、キャプションテキストデータ、対応情報が書き込まれた小型記録メディアである。
In the example of FIG. 4, the video data input unit 210 includes a reading device corresponding to the small recording medium 400, and has a physical interface and a logical interface corresponding to the small recording medium 400. The video data input unit 210 reads video data, caption text data, and corresponding information one after another from the small recording medium 400 to be read, and the video data is input to the video display processing unit 220, and the caption text data and the corresponding information are caption display processing units. Go to 230.
The small recording medium 400 to be read is a small recording medium in which video data, caption text data, and correspondence information are written by the first data recording apparatus 100 of the present invention.

なお、図5の例では、映像データ入力部210は、地上波デジタル放送やインターネットなどのネットワークメディアにアクセスする機能を備え、ネットワークメディアとの通信インタフェースを持っている。ネットワークメディア310は、映像データ、キャプションテキストデータ、両者の対応情報が格納されたリソースを備えている。これらデータはサービス提供業者が用意して利用者に提供する。提供形態は有償、無償など多様な形態があり得る。
映像データ入力部210はネットワークメディア310から映像データ、キャプションテキストデータ、両者の対応情報を次々と読み取り、映像データを映像表示処理部220に、キャプションテキストデータと対応情報をキャプション表示処理部230に渡して行く。なお、映像データ入力部10はチューニング機能を備え、チャンネル選択などができることが好ましい。
In the example of FIG. 5, the video data input unit 210 has a function of accessing network media such as terrestrial digital broadcasting and the Internet, and has a communication interface with the network media. The network medium 310 includes resources in which video data, caption text data, and correspondence information between the both are stored. These data are prepared by the service provider and provided to the user. There may be various forms of provision, such as paid and free.
The video data input unit 210 reads the video data, caption text data, and corresponding information from the network medium 310 one after another, and passes the video data to the video display processing unit 220 and the caption text data and the corresponding information to the caption display processing unit 230. Go. Note that the video data input unit 10 preferably has a tuning function and can perform channel selection and the like.

映像表示処理部220は、映像データ入力部210から渡された映像データを受け取り、表示制御部240の表示制御に従い、フレームメモリ250の第1の領域251に映像データを展開する部分である。
キャプション表示処理部230は、映像データ入力部210から渡されたキャプションテキストデータと対応情報を受け取り、対応情報を参照して、フレームメモリ250の第1の領域251に展開されている映像データに対応するキャプションテキストデータを選択し、表示制御部240の表示制御に従い、選択したキャプションテキストデータをフレームメモリ250の第2の領域252に展開する部分である。キャプションテキストデータのフレームメモリ250の第2の領域252への展開にあたり、当該第2の領域252の大きさ(ディスプレイ260の第2の表示エリアの大きさ)に合わせてキャプションが拡大表示できるように縦横倍率を調整して展開する。
The video display processing unit 220 is a part that receives the video data passed from the video data input unit 210 and develops the video data in the first area 251 of the frame memory 250 in accordance with the display control of the display control unit 240.
The caption display processing unit 230 receives the caption text data and correspondence information passed from the video data input unit 210, refers to the correspondence information, and corresponds to the video data expanded in the first area 251 of the frame memory 250. The caption text data to be selected is selected, and the selected caption text data is developed in the second area 252 of the frame memory 250 in accordance with the display control of the display control unit 240. When expanding the caption text data to the second area 252 of the frame memory 250, the caption can be enlarged and displayed in accordance with the size of the second area 252 (the size of the second display area of the display 260). Adjust the aspect ratio to expand.

表示制御部240は、フレームメモリ250を備え、ディスプレイ260の表示エリアを少なくとも第1の表示エリア261と第2の表示エリア262の2つの表示エリアに分割し、各表示エリアに対応するフレームメモリ250の第1の領域251と第2の領域252へのデータ書き込みを制御して各表示エリアにおける表示を制御する部分である。つまり、フレームメモリ250の第1の領域251に書き込まれたデータがディスプレイ260の第1の表示エリア261に表示され、フレームメモリ250の第2の領域252に書き込まれたデータがディスプレイ260の第2の表示エリア262に表示されることとなる。このようにフレームメモリへの書き込み領域を制御することによりディスプレイ260の表示画面を分割制御する。
ディスプレイ260の種類は特に限定されない。液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、CRTなど多様なものがある。ここでは、多機能型の携帯電話に多く採用されている小型の液晶ディスプレイとする。
The display control unit 240 includes a frame memory 250, divides the display area of the display 260 into at least two display areas, a first display area 261 and a second display area 262, and the frame memory 250 corresponding to each display area. This is a part for controlling the data writing to the first area 251 and the second area 252 to control the display in each display area. That is, data written in the first area 251 of the frame memory 250 is displayed in the first display area 261 of the display 260, and data written in the second area 252 of the frame memory 250 is displayed in the second area of the display 260. Will be displayed in the display area 262. Thus, the display screen of the display 260 is divided and controlled by controlling the writing area to the frame memory.
The type of display 260 is not particularly limited. There are various types such as liquid crystal displays, plasma displays, organic EL displays, and CRTs. Here, a small liquid crystal display that is often used in a multi-function mobile phone is used.

上記のように、映像表示処理部220とキャプション表示処理部230と表示制御部240の制御により、映像データがフレームメモリ250の第1の領域251に、キャプションテキストデータがフレームメモリ250の第2の領域252に、別々に分けて書き込まれるため、ディスプレイ260の第1の表示エリア261において映像が表示され、ディスプレイ260の第2の表示エリア262においてキャプションが表示される。
ここで、キャプションを表示するフレームメモリ250の第2の領域252の大きさを調整し、ディスプレイの第2の表示エリア262の大きさを適度な大きさに制御することにより、表示されるキャプションの大きさを読みやすい程度に大きくすることができる。
As described above, the video data is stored in the first area 251 of the frame memory 250 and the caption text data is stored in the second area of the frame memory 250 under the control of the video display processing unit 220, the caption display processing unit 230, and the display control unit 240. Since the image is written separately in the area 252, the video is displayed in the first display area 261 of the display 260 and the caption is displayed in the second display area 262 of the display 260.
Here, by adjusting the size of the second area 252 of the frame memory 250 for displaying the caption and controlling the size of the second display area 262 of the display to an appropriate size, The size can be increased to an extent that is easy to read.

図6は、キャプションが第2の表示エリア262の大きさに合わせて大きく表示される様子を模式的に示す図である。図6(a)は読み取り対象となる記録メディア300に記録されている映像データをそのまま再生した場合の表示画面の様子である。映像フレーム中の映像キャプションはそのまま映像として写り込んでいる。
なお、この例ではディスプレイはほぼ正方形であり、映像フレームはその縦横比から縦方向には短いため、この例では縦方向に余っているエリアがある。
図6(a)の表示画面が携帯電話などの小型ディスプレイに表示された場合、映像キャプションの絶対的大きさが小さ過ぎて読み取るのは難しい場合がある。
図6(b)は本発明のデータ表示装置200によりキャプションを第2の表示エリア262に表示した場合の表示画面の様子である。第1の表示エリア261の映像フレーム中の映像キャプションは図6(a)の場合と同様、小さくて見難いが、第2の表示エリア262にはキャプションテキストデータを基に表示するキャプションが大きく表示され、読み取りやすいものとなっている。
このように、本発明のデータ表示装置200を用いれば、携帯電話のように小型ディスプレイを搭載した携帯型端末であっても利用者が容易にキャプションを読み取ることができる。
FIG. 6 is a diagram schematically illustrating a state in which a caption is displayed in a large size in accordance with the size of the second display area 262. FIG. 6A shows the state of the display screen when the video data recorded on the recording medium 300 to be read is reproduced as it is. The video caption in the video frame is reflected as it is.
In this example, the display is substantially square, and the video frame is short in the vertical direction due to its aspect ratio, so there is an area left in the vertical direction in this example.
When the display screen of FIG. 6A is displayed on a small display such as a mobile phone, it may be difficult to read because the absolute size of the video caption is too small.
FIG. 6B shows a state of a display screen when captions are displayed in the second display area 262 by the data display device 200 of the present invention. The video caption in the video frame of the first display area 261 is small and difficult to see, as in FIG. 6A, but the second display area 262 displays a large caption based on the caption text data. It is easy to read.
Thus, by using the data display device 200 of the present invention, a user can easily read a caption even in a portable terminal equipped with a small display such as a cellular phone.

なお、図7および図8は、本発明のデータ表示装置100である携帯電話の小型ディスプレイ260において、第1の表示エリア(映像表示面)と、第2の表示エリア(キャプション表示面)の様子の一例を示した図である。映像表示面は映像コンテンツによりその縦横比が決まっている。キャプション表示面は、小型ディスプレイ260上に映像表示面261を確保した後、余った領域に確保することが好ましい。図7は小型ディスプレイ260を縦置きにして映像表示面261を確保した場合のキャプション表示面の位置の一例を示す図で、図8は小型ディスプレイ260を横置きにして映像表示面261を確保した場合のキャプション表示面の位置の一例を示す図である。なお、図中、291は上部筐体、292は下部筐体、293はスピーカ、294はマイクロフォン、295はキー入力部、296はアンテナを示している。   7 and 8 show a state of the first display area (video display surface) and the second display area (caption display surface) in the small display 260 of the cellular phone which is the data display device 100 of the present invention. It is the figure which showed an example. The aspect ratio of the video display surface is determined by the video content. The caption display surface is preferably secured in a surplus area after the video display surface 261 is secured on the small display 260. FIG. 7 is a diagram showing an example of the position of the caption display surface when the small display 260 is placed vertically and the image display surface 261 is secured. FIG. 8 shows the image display surface 261 secured while the small display 260 is placed horizontally. It is a figure which shows an example of the position of the caption display surface in a case. In the figure, reference numeral 291 denotes an upper case, 292 denotes a lower case, 293 denotes a speaker, 294 denotes a microphone, 295 denotes a key input unit, and 296 denotes an antenna.

実施例2にかかる本発明の第2のデータ記録装置は、実施例1に示した第1のデータ記録装置の基本機能を備え、さらに、記録メディア300またはネットワークメディア310から読み取った映像データのデータフォーマットから他のデータフォーマットへ変換する変換処理も行なうものである。
図9は本発明の実施例2にかかる第2のデータ記録装置100aの基本構成例を模式的に示す図である。
映像データ入力部10、フレームメモリ制御部20、文字認識部30、書き込み部40は実施例1の図1に示したものと同様で良い。また、読み込み対象となる記録メディア300および書き込み対象となる記録メディア400も実施例1の図1に示したものと同様で良い。
また、図示しないが、実施例1の図2と同様、映像データ入力部10が通信インタフェースを備え、ネットワークメディア310にアクセスする機能を持ち、ネットワークメディア310から映像データをダウンロードするものであっても良い。
A second data recording apparatus according to the second embodiment of the present invention has the basic function of the first data recording apparatus shown in the first embodiment, and further, video data data read from the recording medium 300 or the network medium 310. Conversion processing for converting from a format to another data format is also performed.
FIG. 9 is a diagram schematically illustrating a basic configuration example of the second data recording apparatus 100a according to the second embodiment of the present invention.
The video data input unit 10, the frame memory control unit 20, the character recognition unit 30, and the writing unit 40 may be the same as those shown in FIG. Also, the recording medium 300 to be read and the recording medium 400 to be written may be the same as those shown in FIG.
Although not shown, the video data input unit 10 includes a communication interface, has a function of accessing the network medium 310, and downloads video data from the network medium 310, as in FIG. 2 of the first embodiment. good.

図9において、データフォーマット変換部50は、フレームメモリ21に展開された映像データを所望のデータフォーマットに変換しつつ映像データストリームを生成する部分である。生成された映像データストリームは書き込み部40に渡される。例えば、DVDなどの第1の記録メディア300にはMPEG2のデータフォーマットにより記録され、SDカード(TM)やメモリースティック(TM)などの第2の記録メディア400にMPEG4またはH.264などのデータフォーマットで記録する場合、データフォーマット変換部50は映像データのデータフォーマットをMPEG2からMPEG4またはH.264などに変換する。   In FIG. 9, the data format conversion unit 50 is a part that generates a video data stream while converting the video data expanded in the frame memory 21 into a desired data format. The generated video data stream is passed to the writing unit 40. For example, the first recording medium 300 such as a DVD is recorded in the MPEG2 data format, and the second recording medium 400 such as an SD card (TM) or a memory stick (TM) is recorded in a data format such as MPEG4 or H.264. When recording, the data format conversion unit 50 converts the data format of the video data from MPEG2 to MPEG4 or H.264.

本発明の第2のデータ記録装置100aの処理の流れは以下のようになる。
映像データ入力部10による記録メディア300からの映像データの読み取り処理、フレームメモリ制御部20によるフレームメモリ21への映像データの書き込み処理に続き、データフォーマット変換部50によるデータフォーマット変換処理までを映像フレームごとに行なう。例えば、データフォーマット変換部50によりMPEG2からH.264のデータフォーマットによるデータストリームに変換される。
文字認識部30による文字認識処理は、実施例1と同様、映像フレームごとには行なわず、所定周期ごとに映像フレームをサンプリングして行なっても良い。
書き込み部40は、データフォーマット変換部50から渡されるデータフォーマット変換後の映像データストリームと、文字認識部30から渡されるキャプションテキストデータと対応情報とを、記録メディア400に書き込む映像データ書き込み処理を行なう。書き込み部40は記録メディア400用の書き込みドライブを備え、記録メディア400に対応する物理フォーマット、論理フォーマットで映像データを記録メディア400に書き込む。
The flow of processing of the second data recording apparatus 100a of the present invention is as follows.
Following the video data reading process from the recording medium 300 by the video data input unit 10, the video data writing process to the frame memory 21 by the frame memory control unit 20, the data format conversion process by the data format conversion unit 50 is followed by the video frame. Do it every time. For example, the data format conversion unit 50 converts from MPEG2 to a data stream in the H.264 data format.
The character recognition processing by the character recognition unit 30 may be performed by sampling video frames at predetermined intervals instead of being performed for each video frame, as in the first embodiment.
The writing unit 40 performs a video data writing process in which the video data stream after the data format conversion passed from the data format conversion unit 50, the caption text data passed from the character recognition unit 30 and the corresponding information are written to the recording medium 400. . The writing unit 40 includes a writing drive for the recording medium 400 and writes video data to the recording medium 400 in a physical format and a logical format corresponding to the recording medium 400.

なお、データ表示装置としては、実施例1に示したものを用いることができる。本発明の第2のデータ記録装置100aにより映像データが書き込まれた記録メディア400をデータ表示装置200により再生することができ、図4のように映像が第1の表示エリア261に表示され、キャプションが第2の表示エリア262に表示される。
上記に示した通り、本発明の第2のデータ記録装置によれば、映像データのデータフォーマットを変換しつつ、キャプションテキストデータと対応情報を併せて記録メディアに書き込むことができ、データ表示装置においてキャプションテキストデータを利用することができる。
In addition, as a data display apparatus, what was shown in Example 1 can be used. The recording medium 400 in which the video data is written by the second data recording device 100a of the present invention can be reproduced by the data display device 200, and the video is displayed in the first display area 261 as shown in FIG. Is displayed in the second display area 262.
As described above, according to the second data recording apparatus of the present invention, the caption text data and the corresponding information can be written together on the recording medium while converting the data format of the video data. Caption text data can be used.

本発明の実施例3にかかるデータ記録装置およびデータ表示装置の例を示す。
実施例3のデータ記録装置100bは、実施例1または実施例2に示したデータ記録装置100または100aと同様、映像キャプションの文字認識によるキャプションテキストデータの生成処理を実行するが、実施例3のデータ記録装置100bは、映像中に残存している映像キャプションを消去する機能も備えたものである。実施例1または実施例2で示したように、利用者が読むキャプション自体はキャプションテキストデータを基に第2の表示エリアにおいて大きく表示されるため、映像中に残存している映像キャプションは無駄となり、却って映像を毀損するノイズとなっており、それらは消去することが好ましいからである。
以下の構成例は、実施例2に示したデータフォーマット変換部50を備えた構成例として説明するが、実施例1に示したようにデータフォーマット変換部50を備えていない構成も可能である。
7 shows an example of a data recording device and a data display device according to Example 3 of the present invention.
The data recording device 100b according to the third embodiment executes the processing for generating caption text data by character recognition of the video caption, similar to the data recording device 100 or 100a according to the first or second embodiment. The data recording device 100b also has a function of erasing video captions remaining in the video. As shown in the first embodiment or the second embodiment, the caption read by the user is displayed in the second display area based on the caption text data, so that the video caption remaining in the video is wasted. On the other hand, it is noise that damages the image, and it is preferable to delete them.
The following configuration example will be described as a configuration example including the data format conversion unit 50 shown in the second embodiment, but a configuration without the data format conversion unit 50 as shown in the first embodiment is also possible.

図10は本発明の実施例3にかかるデータ記録装置の基本構成例を模式的に示す図である。
図10の構成例において、映像データ入力部10、フレームメモリ制御部20、フレームメモリ21、文字認識部30、文字パターンDB31、データフォーマット変換部50、書き込み部40の各構成要素については、図9に示したものと同様で良い。また、読み込み対象となる記録メディア300および書き込み対象となる記録メディア400も図9に示したものと同様で良い。
また、図示しないが、実施例1の図2と同様、映像データ入力部10が通信インタフェースを備え、ネットワークメディア310にアクセスする機能を持ち、ネットワークメディア310から映像データをダウンロードするものであっても良い。
FIG. 10 is a diagram schematically illustrating a basic configuration example of a data recording apparatus according to the third embodiment of the present invention.
In the configuration example of FIG. 10, the constituent elements of the video data input unit 10, the frame memory control unit 20, the frame memory 21, the character recognition unit 30, the character pattern DB 31, the data format conversion unit 50, and the writing unit 40 are illustrated in FIG. It may be the same as shown in. Further, the recording medium 300 to be read and the recording medium 400 to be written may be the same as those shown in FIG.
Although not shown, the video data input unit 10 includes a communication interface, has a function of accessing the network medium 310, and downloads video data from the network medium 310, as in FIG. 2 of the first embodiment. good.

図10において、映像キャプション消去部60は、フレームメモリ21に展開された映像データにおいて映像キャプションを探索し、映像キャプションを映像中から消去する部分である。
なお、映像キャプションの探索処理については、映像キャプション消去部60が自ら行なっても良いし、文字認識部30が文字認識処理の過程の探索処理において得ている映像キャプション領域情報の通知を受けても良い。後者の場合、図10には図示しないが文字認識部30から映像キャプション消去部60に対して映像キャプション領域情報の通知が行なわれる。
映像中に写り込んでいる映像キャプションの消去処理とは、映像キャプションの文字輪郭の内側の画素を0値とする意味ではなく、理想的には映像キャプションが映像中に書き込まれる前の原映像に戻すことを意味する。映像キャプション消去部60が原映像データを外部から入手することができれば当該原映像データを映像キャプション消去後の映像データとして用いれば良い。映像キャプション消去部60が、映像キャプションが映像として写り込んでいる映像データしか利用できない場合は、当該映像データを処理して映像キャプションを消去しなければならないが、映像キャプションで覆われた部分の元の映像が分からないので、映像キャプションの周囲の映像から映像キャプションで覆われた部分の元の映像を推定するしかない。
In FIG. 10, the video caption erasing unit 60 is a part that searches for video captions in the video data developed in the frame memory 21 and erases the video captions from the video.
It should be noted that the video caption search process may be performed by the video caption erasing unit 60, or the character recognition unit 30 may be notified of the video caption area information obtained in the search process during the character recognition process. good. In the latter case, although not shown in FIG. 10, notification of video caption area information is performed from the character recognition unit 30 to the video caption deletion unit 60.
Deletion processing of video captions reflected in the video does not mean that the pixels inside the character outline of the video caption are zero values, but ideally the original caption before the video caption is written in the video. It means returning. If the video caption deletion unit 60 can obtain the original video data from the outside, the original video data may be used as the video data after the video caption is deleted. When the video caption erasure unit 60 can use only video data in which the video caption is captured as video, the video caption must be processed to erase the video caption. Therefore, the original video of the part covered with the video caption can only be estimated from the video around the video caption.

そこで、本実施例3のデータ記録装置100bでは以下の擬似消去処理を行なう。映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、映像キャプションが書かれていた部分を周囲の映像部分とシームレスにつなげて目立たないものとすることにより擬似的に消去する。もともと映像キャプションを構成する文字は細い線分より構成されているので、このような擬似消去処理でも十分な効果が得られる。
ここで、対向し合う文字輪郭エッジを選択する方法は特に限定されないが、処理時間の短縮も考慮し、例えば、水平方向にスキャンして対向し合う文字輪郭エッジを順次選択する方式、垂直方向にスキャンして対向し合う文字輪郭エッジを順次選択する方式などを採用することができる。
Therefore, the following pseudo erasure process is performed in the data recording apparatus 100b of the third embodiment. By embedding the inside of the character outline of the video caption with gradation between the pixels of the opposing character outline edges, and seamlessly connecting the part where the video caption was written with the surrounding video part to make it inconspicuous To erase. Since the characters constituting the video caption are originally composed of thin line segments, such a pseudo-erasure process can provide a sufficient effect.
Here, the method for selecting the opposing character contour edges is not particularly limited. However, in consideration of shortening the processing time, for example, a method of scanning in the horizontal direction and sequentially selecting the opposing character contour edges, in the vertical direction. For example, a method of sequentially selecting character outline edges that are opposite to each other by scanning can be employed.

なお、バッファメモリなどを用いずにフレームメモリに展開された映像データのみに基づいて文字認識処理と映像キャプション消去処理とデータフォーマット変換処理を行なう場合、映像キャプション消去部60の映像キャプション消去処理を文字認識部30による文字認識処理後でデータフォーマット変換部50によるデータフォーマット変換処理前に行なうことができる。文字認識部30または映像キャプション消去部60が図示しないバッファメモリを備えて用いる場合、フレームメモリ21から当該バッファメモリに転送した映像データに基づいて文字認識処理または映像キャプション消去処理を行なうことができ、文字認識処理と映像キャプション消去処理を並行処理することができる。   When character recognition processing, video caption erasure processing, and data format conversion processing are performed based only on video data developed in the frame memory without using a buffer memory or the like, the video caption erasure processing of the video caption erasure unit 60 is performed as text. This can be performed after the character recognition processing by the recognition unit 30 and before the data format conversion processing by the data format conversion unit 50. When the character recognition unit 30 or the video caption erasure unit 60 is provided with a buffer memory (not shown), the character recognition process or the video caption erasure process can be performed based on the video data transferred from the frame memory 21 to the buffer memory. Character recognition processing and video caption erasure processing can be performed in parallel.

データ表示装置としては、実施例1に示したものを用いることができる。本発明の第2のデータ記録装置100bにより映像データが書き込まれた記録メディア400をデータ表示装置200により再生することができる。
図11は映像キャプション消去部60による映像キャプション消去処理の効果を示す図である。図11(b)と図6(b)を比較すると分かるように、データ表示装置200のディスプレイ260の表示画面の第1の表示エリア261に表示される映像において映像キャプションが擬似的に消去されている。キャプションはキャプションテキストデータに基づいて第2の表示エリア262に大きく表示される。
As the data display device, the one shown in Embodiment 1 can be used. The recording medium 400 on which the video data is written by the second data recording apparatus 100b of the present invention can be reproduced by the data display apparatus 200.
FIG. 11 is a diagram showing the effect of the image caption erasure process by the image caption erasure unit 60. As can be seen by comparing FIG. 11B and FIG. 6B, the video caption is pseudo-erased in the video displayed in the first display area 261 of the display screen of the display 260 of the data display device 200. Yes. The caption is displayed largely in the second display area 262 based on the caption text data.

本発明の実施例4にかかるデータ表示装置の例を示す。
実施例4のデータ表示装置は、映像キャプションが写り込んでいる映像コンテンツの映像データを取り込み、自ら映像キャプションの文字認識によるキャプションテキストデータの生成処理を実行し、映像をディスプレイの第1の表示エリアに、キャプションを第2の表示エリアに表示する装置である。データ表示装置200aは小型の携帯型端末を想定しており、ここでは、例えば、多機能型の携帯電話とする。
The example of the data display apparatus concerning Example 4 of this invention is shown.
The data display apparatus according to the fourth embodiment takes in video data of video content in which video captions are captured, executes caption text data generation processing by character recognition of video captions, and displays the video in the first display area of the display. In addition, the device displays the caption in the second display area. The data display device 200a is assumed to be a small portable terminal. Here, for example, a multi-function mobile phone is used.

図12および図13は本発明の実施例4にかかるデータ表示装置200aの基本構成例を模式的に示す図である。
図12において、記録メディア500は特に限定されないが、携帯型の小型記録メディアが想定される。例えば、メモリースティック(TM)、コンパクトフラッシュカード(TM)、スマートメディアカード(TM)、SDカード(TM)などの携帯型小型記録メディアが想定される。この記録メディア500には外国映画など映像キャプションが書き込まれている状態の映像データが記録されているものとする。この例では映像データは小型記録メディア500に適した物理フォーマット、論理フォーマット(例えばMPEG4やH.264)で記録されているものとする。
12 and 13 are diagrams schematically illustrating a basic configuration example of a data display device 200a according to the fourth embodiment of the present invention.
In FIG. 12, the recording medium 500 is not particularly limited, but a portable compact recording medium is assumed. For example, portable small recording media such as a memory stick (TM), a compact flash card (TM), a smart media card (TM), and an SD card (TM) are assumed. It is assumed that video data in a state where video captions such as foreign movies are written is recorded on the recording medium 500. In this example, it is assumed that the video data is recorded in a physical format and a logical format (for example, MPEG4 or H.264) suitable for the small recording medium 500.

実施例4のデータ表示装置200aは、映像データ入力装置として、映像データ入力部210を備えている。映像データ入力部210は、記録メディア500に対応している読み取り装置である。記録メディア500に対応する物理インタフェースおよび論理インタフェースを備えている。映像データ入力部210は記録メディア500から映像データを読み取り、映像表示処理部220に渡す。
また、図13の例では、映像データ入力部210は、地上波デジタル放送や衛星放送を受信する機能やインターネットなどのネットワークメディア310にアクセスする機能を備え、ネットワークメディア310との通信インタフェースを持っている。映像データ入力部210はネットワークメディア310から映像データを次々とダウンロードして取り込み、フレームメモリ制御部20に渡して行く。なお、映像データ入力部10はチューニング機能を備え、チャンネル選択などができることが好ましい。このネットワークメディア310の接続先には外国映画など映像キャプションが書き込まれている状態の映像データが格納されており、当該映像データをダウンロードできるものとする。
例えば、利用者は映像データ入力部210のユーザインタフェースを介して地上波デジタル放送の受信したいチャンネルに合わせ、受信先システムのアプリケーションを介して映画やテレビ番組などの映像コンテンツの映像データを取り込む。また、例えば、無線や有線によりインターネットに接続し、インターネット経由のネットワーク通信により接続先先システムのアプリケーションを介して映画やテレビ番組などの映像コンテンツの映像データを取り込む。なお、取り込まれる映像データはMPEG4やH.264などのデータフォーマットのものとする。
The data display device 200a according to the fourth embodiment includes a video data input unit 210 as a video data input device. The video data input unit 210 is a reading device that supports the recording medium 500. A physical interface and a logical interface corresponding to the recording medium 500 are provided. The video data input unit 210 reads video data from the recording medium 500 and passes it to the video display processing unit 220.
In the example of FIG. 13, the video data input unit 210 has a function of receiving digital terrestrial broadcasting and satellite broadcasting and a function of accessing the network medium 310 such as the Internet, and has a communication interface with the network medium 310. Yes. The video data input unit 210 downloads video data from the network medium 310 one after another, takes it in, and passes it to the frame memory control unit 20. Note that the video data input unit 10 preferably has a tuning function and can perform channel selection and the like. The connection destination of the network medium 310 stores video data in which a video caption such as a foreign movie is written, and the video data can be downloaded.
For example, the user captures video data of video content such as a movie or a TV program via the application of the receiving system in accordance with a channel desired to receive terrestrial digital broadcast via the user interface of the video data input unit 210. Also, for example, video data of video content such as a movie or a TV program is taken in via a connection destination system application by connecting to the Internet wirelessly or by wire and via network communication via the Internet. It is assumed that the captured video data has a data format such as MPEG4 or H.264.

映像表示処理部220は、実施例1のものと同様、映像データ入力部210から渡された映像データを受け取り、表示制御部240の表示制御に従い、フレームメモリ250の第1の領域251に映像データを展開する。
データ表示装置200aが備える表示制御部240、フレームメモリ250、フレームメモリの第1の領域251、第2の領域252、ディスプレイ260、ディスプレイの第1の表示エリア261、第2の表示エリア262は、実施例1で説明したものと同様で良い。実施例1の場合と同様、表示制御部240がフレームメモリ250への書き込み領域を制御することによりディスプレイ260の表示画面を分割制御する。また、実施例1と同様、キャプションを表示するフレームメモリ250の第2の領域252の容量を調整し、ディスプレイの第2の表示エリアの大きさを適度な大きさに制御することにより、表示されるキャプションの大きさを読みやすい程度に大きくすることができる。
Similar to the first embodiment, the video display processing unit 220 receives the video data passed from the video data input unit 210, and stores the video data in the first area 251 of the frame memory 250 according to the display control of the display control unit 240. Expand.
The display controller 240, the frame memory 250, the first area 251, the second area 252, the display 260, the first display area 261, and the second display area 262 of the display included in the data display device 200a are as follows: It may be the same as that described in the first embodiment. As in the case of the first embodiment, the display control unit 240 controls the display area of the display 260 by controlling the writing area to the frame memory 250. Further, as in the first embodiment, the display area is displayed by adjusting the capacity of the second area 252 of the frame memory 250 for displaying captions and controlling the size of the second display area of the display to an appropriate size. The caption size can be increased to a level that is easy to read.

実施例4のデータ表示装置200aは文字認識部30を備えている。文字認識部30は実施例1のものと同様のもので良い。文字認識部30によりフレームメモリの第1の領域251に展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータを生成する。文字認識部30は生成したキャプションテキストデータをキャプション表示処理部230に渡す。
なお、図12および図13の構成例では、文字認識部30はフレームメモリの第1の領域251から映像データを読み込む形となっているが、映像表示処理部220から映像データを受け取る構成としても良い。
The data display device 200 a according to the fourth embodiment includes a character recognition unit 30. The character recognition unit 30 may be the same as that of the first embodiment. The character recognition unit 30 analyzes the image caption written as the image in the image data developed in the first area 251 of the frame memory as a figure, recognizes the character, and generates caption text data. The character recognizing unit 30 passes the generated caption text data to the caption display processing unit 230.
12 and 13, the character recognition unit 30 reads video data from the first area 251 of the frame memory. However, the character recognition unit 30 may receive video data from the video display processing unit 220. good.

上記の映像表示処理部220および表示制御部240によるフレームメモリ251への映像データの書き込み処理を映像フレームごとに行なうが、文字認識部30による文字認識処理については映像フレームごとには行なわず、所定周期ごとに映像フレームをサンプリングして行なう。映像キャプションは人が目で読み取るという性質上、一定の時間は必要であり、長短はあるものの複数のフレームにわたり同じ映像キャプションが付されていることとなる。そのため、すべてのフレームについて文字認識処理を行なうことはリソースの浪費となる場合がある。ここでは特に、データ表示装置200aは携帯電話などの小型の携帯端末が想定され、リソースの節約は重要である。そこで、映像キャプションが2回以上切り替わる恐れのない間隔(例えば、1秒間隔や2秒間隔)でサンプリングしたフレームについて文字認識処理を行なえば良い。   The video display processing unit 220 and the display control unit 240 perform the video data writing process to the frame memory 251 for each video frame, but the character recognition process by the character recognition unit 30 is not performed for each video frame. The video frame is sampled every period. The video caption requires a certain amount of time due to the nature of being read by the human eye, and the same video caption is attached over a plurality of frames although it is long and short. Therefore, performing character recognition processing for all frames may be a waste of resources. Here, in particular, the data display device 200a is assumed to be a small mobile terminal such as a mobile phone, and resource saving is important. Therefore, character recognition processing may be performed on frames sampled at intervals (for example, 1-second intervals or 2-second intervals) that do not cause the video caption to switch twice or more.

キャプション表示処理部230は、実施例1のものと同様で良いが、ここでは文字認識部30からキャプションテキストデータを受け取り、表示制御部240の表示制御に従い、キャプションテキストデータをフレームメモリ250の第2の領域252に展開する。キャプションテキストデータのフレームメモリ250の第2の領域252への展開にあたり、当該第2の領域252の容量(ディスプレイ260の第2の表示エリアの大きさ)に合わせてキャプションテキストデータが表示できるように文字ポイント数を調整して展開する。   The caption display processing unit 230 may be the same as that of the first embodiment. Here, the caption display processing unit 230 receives the caption text data from the character recognition unit 30, and in accordance with the display control of the display control unit 240, the caption text data is stored in the second frame memory 250. The area 252 is expanded. When the caption text data is expanded to the second area 252 of the frame memory 250, the caption text data can be displayed in accordance with the capacity of the second area 252 (the size of the second display area of the display 260). Adjust the number of character points to expand.

上記のように、映像表示処理部220とキャプション表示処理部230と表示制御部240の制御により、映像データがフレームメモリ250の第1の領域251に、キャプションテキストデータがフレームメモリ250の第2の領域252に、別々に分けて書き込まれるため、ディスプレイ260の第1の表示エリア261において映像が表示され、ディスプレイ260の第2の表示エリア262においてキャプションが表示される。ここで、表示されるキャプションは第2の表示エリア262の大きさに合わせて大きく表示されるのでキャプションが読みやすくなる。
データ表示装置200aのディスプレイ260に表示される映像およびキャプションは図6(b)に示すものと同様のものとなる。
As described above, the video data is stored in the first area 251 of the frame memory 250 and the caption text data is stored in the second area of the frame memory 250 under the control of the video display processing unit 220, the caption display processing unit 230, and the display control unit 240. Since the image is written separately in the area 252, the video is displayed in the first display area 261 of the display 260 and the caption is displayed in the second display area 262 of the display 260. Here, since the displayed caption is displayed in a large size in accordance with the size of the second display area 262, the caption is easy to read.
The video and caption displayed on the display 260 of the data display device 200a are the same as those shown in FIG.

本発明の実施例5にかかるデータ表示装置の例を示す。
実施例5のデータ表示装置は、実施例4に示したデータ表示装置と同様、映像キャプションが写り込んでいる映像コンテンツの映像データを取り込み、自ら映像キャプションの文字認識によるキャプションテキストデータの生成処理を実行し、映像をディスプレイの第1の表示エリアに、キャプションを第2の表示エリアに表示する装置であるが、実施例5のデータ表示装置は、映像中に残存している映像キャプションを消去する機能も備えたものである。実施例5のデータ表示装置も小型の携帯型端末を想定しており、ここでは、例えば、多機能型の携帯電話とする。
The example of the data display apparatus concerning Example 5 of this invention is shown.
Similar to the data display device shown in the fourth embodiment, the data display device of the fifth embodiment takes in video data of video content in which the video caption is reflected, and performs processing for generating caption text data by character recognition of the video caption itself. This is a device that executes and displays video in the first display area of the display and captions in the second display area, but the data display device of Example 5 erases the video caption remaining in the video. It also has functions. The data display device of the fifth embodiment is also assumed to be a small portable terminal, and here, for example, a multi-function mobile phone is used.

図14および図15は本発明の実施例5にかかるデータ表示装置200bの基本構成例を模式的に示す図である。
図14の構成例において、映像データ入力部210、映像表示処理部220、キャプション表示処理部230、文字認識部30、表示制御部240、フレームメモリ250、ディスプレイ260の各構成要素については、実施例4の図12に示したものと同様で良い。なお、図14の構成例では、文字認識部30はフレームメモリの第1の領域251から映像データを読み込む形となっているが、映像表示処理部220から映像データを受け取る構成としても良い。
また、図15に示すように、実施例4の図13と同様、映像データ入力部210が通信インタフェースを備え、ネットワークメディア310にアクセスする機能を持ち、ネットワークメディア310から映像データをダウンロードするものであっても良い。
14 and 15 are diagrams schematically illustrating a basic configuration example of a data display device 200b according to the fifth embodiment of the present invention.
In the configuration example of FIG. 14, each component of the video data input unit 210, the video display processing unit 220, the caption display processing unit 230, the character recognition unit 30, the display control unit 240, the frame memory 250, and the display 260 is described in the embodiment. 4 may be the same as that shown in FIG. In the configuration example of FIG. 14, the character recognition unit 30 reads video data from the first area 251 of the frame memory. However, the character recognition unit 30 may receive video data from the video display processing unit 220.
As shown in FIG. 15, as in FIG. 13 of the fourth embodiment, the video data input unit 210 includes a communication interface, has a function of accessing the network media 310, and downloads video data from the network media 310. There may be.

映像キャプション消去部60は、フレームメモリ250の第1の領域251に展開された映像データにおいて映像キャプションを探索し、映像キャプションを映像中から消去する部分である。
なお、映像キャプションの探索処理については、映像キャプション消去部60が自ら行なっても良いし、文字認識部30が文字認識処理の過程の探索処理において得ている映像キャプション領域情報の通知を受けても良い。後者の場合、図14には図示しないが文字認識部30から映像キャプション消去部60に対して映像キャプション領域情報の通知が行なわれる。
映像中に写り込んでいる映像キャプションの消去処理とは、実施例3で説明したように、理想的には映像キャプションが映像中に書き込まれる前の原映像に戻すことを意味するが、この例では映像キャプションの周囲の映像から映像キャプションで覆われた部分の元の映像を推定し、擬似消去処理を行なうものとする。
The video caption erasure unit 60 is a part that searches for video captions in the video data developed in the first area 251 of the frame memory 250 and erases the video captions from the video.
It should be noted that the video caption search process may be performed by the video caption erasing unit 60, or the character recognition unit 30 may be notified of the video caption area information obtained in the search process during the character recognition process. good. In the latter case, although not shown in FIG. 14, the video recognition area information is notified from the character recognition unit 30 to the video caption deletion unit 60.
As described in the third embodiment, the erasing process of the video caption reflected in the video ideally means that the video caption is restored to the original video before being written in the video. Then, it is assumed that the original video of the portion covered with the video caption is estimated from the video around the video caption and the pseudo-erasure process is performed.

なお、バッファメモリなどを用いずにフレームメモリに展開された映像データのみに基づいて文字認識処理と映像キャプション消去処理を行なう場合は、映像キャプション消去部60の映像キャプション消去処理は、文字認識部30による文字認識処理後に行なう必要がある。文字認識部30または映像キャプション消去部60が図示しないバッファメモリを備えて用いる場合、フレームメモリ250から当該バッファメモリに転送した映像データに基づいて文字認識処理または映像キャプション消去処理を行なうことができ、文字認識処理と映像キャプション消去処理を並行処理することができる。
データ表示装置200bのディスプレイ260に表示される映像およびキャプションは図11(b)に示すものと同様のものとなり、ディスプレイ260の表示画面の第1の表示エリア261に表示される映像において映像キャプションが擬似的に消去されている。
When character recognition processing and video caption erasure processing are performed based only on video data developed in the frame memory without using a buffer memory or the like, the video caption erasure processing of the video caption erasure unit 60 is performed by the character recognition unit 30. Need to be done after the character recognition process by. When the character recognition unit 30 or the video caption erasure unit 60 is provided with a buffer memory (not shown), the character recognition process or the video caption erasure process can be performed based on the video data transferred from the frame memory 250 to the buffer memory. Character recognition processing and video caption erasure processing can be performed in parallel.
The video and caption displayed on the display 260 of the data display device 200b are the same as those shown in FIG. 11B, and the video caption is displayed in the video displayed in the first display area 261 of the display screen of the display 260. Pseudo erased.

本発明の実施例6にかかるデータ表示装置の例を示す。
実施例6のデータ表示装置は、映像キャプションが写り込んでいる映像コンテンツの映像データを取り込み、映像キャプション部分を第2の表示エリア262の大きさに合わせた縦横倍率で拡大し、映像をディスプレイの第1の表示エリアに、拡大した映像キャプションを第2の表示エリアに表示する装置である。キャプションテキストデータの生成は行なわず、映像キャプションは映像として拡大する。実施例1から実施例5のいずれかに記載のデータ表示装置とは異なり、映像キャプションの文字認識処理を行なわないので処理負荷が小さく、少ないリソースで高速処理ができる。
実施例6のデータ表示装置も小型の携帯型端末を想定しており、ここでは、例えば、多機能型の携帯電話とする。
The example of the data display apparatus concerning Example 6 of this invention is shown.
The data display device according to the sixth embodiment captures video data of video content in which video captions are captured, expands the video caption portion at a vertical / horizontal magnification that matches the size of the second display area 262, and displays the video on the display. This is a device for displaying an enlarged video caption in the second display area in the first display area. Caption text data is not generated, and the video caption is expanded as a video. Unlike the data display device described in any one of the first to fifth embodiments, since the character recognition processing of the video caption is not performed, the processing load is small, and high-speed processing can be performed with few resources.
The data display device of the sixth embodiment is also assumed to be a small portable terminal, and here, for example, a multi-function mobile phone is used.

図16または図17は本発明の実施例6にかかるデータ表示装置200cの基本構成例を模式的に示す図である。
図16の構成例において、映像データ入力部210、映像表示処理部220、表示制御部240、フレームメモリ250、ディスプレイ260、映像キャプション消去部60の各構成要素については、実施例5の図14に示したものと同様で良い。
また、図17に示すように、実施例5の図15と同様、映像データ入力部210が通信インタフェースを備え、ネットワークメディア310にアクセスする機能を持ち、ネットワークメディア310から映像データをダウンロードするものであっても良い。
FIG. 16 or FIG. 17 is a diagram schematically illustrating a basic configuration example of a data display device 200c according to the sixth embodiment of the present invention.
In the configuration example of FIG. 16, the constituent elements of the video data input unit 210, the video display processing unit 220, the display control unit 240, the frame memory 250, the display 260, and the video caption erasure unit 60 are shown in FIG. It may be the same as shown.
As shown in FIG. 17, as in FIG. 15 of the fifth embodiment, the video data input unit 210 has a communication interface, has a function of accessing the network medium 310, and downloads video data from the network medium 310. There may be.

キャプション表示処理部230aは、フレームメモリの第1の領域251に展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、映像データ中の映像キャプション領域を認識し、表示制御部240の表示制御に従い、映像キャプション領域の映像データを第2の表示エリア262の大きさに合わせた縦横倍率で拡大しつつフレームメモリの第2の領域252に複製展開する部分である。   The caption display processing unit 230a analyzes the video caption written as video in the video data expanded in the first area 251 of the frame memory as a figure, recognizes the video caption area in the video data, and performs display control. In accordance with the display control of the unit 240, the video data in the video caption area is duplicated and expanded in the second area 252 of the frame memory while being enlarged at a vertical / horizontal magnification that matches the size of the second display area 262.

図18はキャプション表示処理部230aによる映像キャプションの拡大処理の概念を模式的に示す図である。
図18(a)は記録メディア500に記録された映像データまたはネットワークメディア310からダウンロードした映像データをそのまま表示した場合の映像である。映像表示処理部220によりこの映像データがフレームメモリ250の第1の領域251に展開されている。映像中、最下部に映像キャプションが書き込まれている。
まず、キャプション表示処理部230aは、フレームメモリの第1の領域251上に展開されている映像中、映像キャプションの図形パターンが含まれている映像キャプション領域を探索する。なお、当該探索について学習機能を有することが好ましい。映像キャプションは映像面の下縁部分など一定の個所に書き込まれていることが通例であり、学習効果が高く得られ、映像面全面を毎回探索する必要性はないからである。
FIG. 18 is a diagram schematically showing the concept of video caption enlargement processing by the caption display processing unit 230a.
FIG. 18A shows an image when the image data recorded on the recording medium 500 or the image data downloaded from the network medium 310 is displayed as it is. This video data is expanded in the first area 251 of the frame memory 250 by the video display processing unit 220. A video caption is written at the bottom of the video.
First, the caption display processing unit 230a searches a video caption area including a graphic pattern of the video caption in the video developed on the first area 251 of the frame memory. Note that it is preferable to have a learning function for the search. This is because the video caption is usually written at a certain location such as the lower edge of the video screen, so that a high learning effect is obtained and there is no need to search the entire video screen every time.

次に、キャプション表示処理部230aは、映像キャプション領域の映像データを、表示制御部240の表示制御に従い、フレームメモリの第2の領域252に複製展開するが、この際に、映像キャプション領域の映像データを第2の表示エリアの大きさに合わせて縦方向、横方向に拡大して複製展開する。例えば、第2の表示エリア262の縦方向のドット数がA0、横方向のドット数がB0とする。これらのドット数は一定となる。記録メディアから読み込んだ映像フレーム中の映像キャプション領域のドット数は映像フレームごとに異なるが、或る映像フレームの縦方向のドット数がA1、横方向のドット数がB1である場合、縦方向の拡大率はA0/A1となり、横方向の拡大率はB0/B1となる。映像キャプション領域の映像をこの縦横拡大率で拡大しつつフレームメモリの第2の領域252に複製展開することにより、映像キャプションをディスプレイの第2の表示エリア262の大きさに合わせた拡大表示を行なう。
図18(b)に映像キャプションが第2の表示エリアに拡大表示された様子を示す。映像として拡大しているので背景の映像も拡大された形で表示されている。なお、この構成例では、データ表示装置200cは映像キャプション消去部60を備えており、ディスプレイの第1の表示エリアには映像キャプションが消去された映像が表示されている。
Next, the caption display processing unit 230a duplicates and develops the video data in the video caption area in the second area 252 of the frame memory according to the display control of the display control unit 240. At this time, the video in the video caption area is displayed. The data is expanded in the vertical direction and the horizontal direction according to the size of the second display area, and duplicated and expanded. For example, assume that the number of dots in the vertical direction of the second display area 262 is A0 and the number of dots in the horizontal direction is B0. These dot numbers are constant. The number of dots in the video caption area in the video frame read from the recording medium varies from video frame to video frame. However, when the number of vertical dots in a video frame is A1 and the number of horizontal dots is B1, The enlargement ratio is A0 / A1, and the horizontal enlargement ratio is B0 / B1. The video caption area is enlarged and displayed in the second area 252 of the frame memory while being enlarged at the vertical and horizontal enlargement ratios, so that the video caption is enlarged according to the size of the second display area 262 of the display. .
FIG. 18B shows a state in which the video caption is enlarged and displayed in the second display area. Since the image is enlarged, the background image is also displayed in an enlarged form. In this configuration example, the data display device 200c includes a video caption deletion unit 60, and a video with the video captions deleted is displayed in the first display area of the display.

なお、キャプション表示処理部230aはフレームメモリの第1の領域251から映像フレームごとに取り込んで映像キャプションの拡大処理を行なっても良く、映像フレームごとには行なわず、所定周期ごとに映像フレームをサンプリングして行なっても良い。実施例1で説明したように、映像キャプションは人が目で読み取るという性質上、長短はあるものの複数のフレームにわたり同じ映像キャプションが付されていることとなる。そのため、すべてのフレームについて拡大処理を行なって第2の領域252に書き込み処理を行なうことはリソースの浪費となる場合がある。そこで、映像キャプションが2回以上切り替わる恐れのない間隔(例えば、1秒間隔や2秒間隔)でサンプリングしたフレームについて拡大処理および書き込み処理を行なえば良い。
また、上記説明では、キャプション表示処理部230aはフレームメモリの第1の領域251から映像データを読み込む形となっているが、映像表示処理部220から映像データを受け取る構成としても良い。
Note that the caption display processing unit 230a may capture the video caption from the first area 251 of the frame memory for each video frame, and may perform the video caption enlargement process. You may do it. As described in the first embodiment, the video captions are read by the human eye, and thus the same video captions are attached to a plurality of frames although they are long and short. Therefore, it may be a waste of resources to perform the enlargement process for all the frames and perform the write process in the second area 252. Therefore, enlargement processing and writing processing may be performed on frames sampled at intervals (for example, 1-second intervals or 2-second intervals) that do not cause the video caption to switch twice or more.
In the above description, the caption display processing unit 230 a reads video data from the first area 251 of the frame memory. However, the caption display processing unit 230 a may receive video data from the video display processing unit 220.

なお、上記実施例の説明においては、キャプションテキストデータを基にディスプレイの第2の表示エリアに表示されるキャプションが常に表示されているが、利用者の選択により、ディスプレイの第2の表示エリアへのキャプションの表示/非表示の選択が可能とすることができる。表示/非表示の選択情報を図示しないユーザインタフェースを介してキャプション表示処理部230に与え、キャプション表示処理部230がフレームメモリの第2の領域252への書き込みを制御すれば良い。
また、キャプションテキストデータを基にディスプレイの第2の表示エリアに表示されるキャプションの大きさの指定や調整、字体の指定や調整、色の指定や調整を可能とすることができる。映像に書き込まれた映像キャプションではなく、キャプションテキストデータを基に表示するのでキャプション表示処理部230によりこれらの調整を行なった上、フレームメモリの第2の領域252に書き込めば良い。
In the description of the above embodiment, the caption displayed in the second display area of the display is always displayed based on the caption text data. However, the user can select the second display area. It is possible to select whether or not to display captions. Display / non-display selection information may be given to the caption display processing unit 230 via a user interface (not shown), and the caption display processing unit 230 may control writing to the second area 252 of the frame memory.
Also, it is possible to specify and adjust the size of the caption displayed in the second display area of the display based on the caption text data, to specify and adjust the font, and to specify and adjust the color. Since the display is based on the caption text data, not the video caption written in the video, the adjustment may be made by the caption display processing unit 230 and then written into the second area 252 of the frame memory.

本発明のデータ記録装置は、ある記録メディアの映像データを読み出して別の記録メディアに書き込む用途で用いるAV機器などに適用することができる。例えば、DVD用ドライブと、メモリースティック(TM)やSDカード(TM)などの小型記録メディア用ドライブの2つのドライブを備え、DVDなどの大型記録メディアに記録されている映像データを、小型記録メディアに記録するDVDプレーヤーなどに適用できる。
また、本発明のデータ記録装置は、受信機能を備え、ネットワークメディアから映像データをダウンロードして記録メディアに書き込む用途で用いるAV機器などに適用することができる。例えば、地上波デジタル放送や衛星放送やインターネットなどの受信機能と、受信した映像データを内蔵ハードディスクなどに一時的に録画する録画機能と、録画した映像データを小型記録メディアにアップダビングする機能を備えたAV機器などに適用できる。
本発明のデータ表示装置は、小型記録メディア用ドライブと小型ディスプレイを備えた携帯型端末などに適用することができる。例えば、メモリースティック(TM)やSDカード(TM)などの小型記録メディア用ドライブを備えた液晶ディスプレイ付き携帯電話などへ適用できる。小型記録メディアに記録された外国映画など映像キャプションが書き込まれている映像データを読み込んで、小型ディスプレイに再生表示する携帯電話などに適用することができる。
また、本発明のデータ表示装置は、受信機能を備えてネットワークメディアから映像データをダウンロードし、小型ディスプレイに表示する機能を備えた携帯型端末などに適用することができる。例えば、地上波デジタル放送や衛星放送やインターネットなどの受信機能と、外国映画など映像キャプションが書き込まれている映像データを読み込んで小型ディスプレイに再生表示する機能を備えた携帯電話などに適用することができる。
The data recording apparatus of the present invention can be applied to AV equipment used for the purpose of reading video data from one recording medium and writing it to another recording medium. For example, a DVD drive and a drive for a small recording medium such as a memory stick (TM) or an SD card (TM) are provided, and video data recorded on a large recording medium such as a DVD is converted into a small recording medium. It can be applied to a DVD player for recording.
Further, the data recording apparatus of the present invention has a reception function and can be applied to AV equipment used for downloading video data from a network medium and writing it to the recording medium. For example, it has a reception function for terrestrial digital broadcasting, satellite broadcasting, the Internet, etc., a recording function for temporarily recording received video data on a built-in hard disk, etc., and a function for updubbing recorded video data to a small recording medium It can be applied to other AV equipment.
The data display device of the present invention can be applied to a portable terminal equipped with a small recording medium drive and a small display. For example, the present invention can be applied to a mobile phone with a liquid crystal display equipped with a drive for a small recording medium such as a memory stick (TM) or an SD card (TM). The present invention can be applied to a mobile phone or the like that reads video data in which video captions such as foreign movies recorded on a small recording medium are written and reproduced and displayed on a small display.
Further, the data display device of the present invention can be applied to a portable terminal or the like that has a function of downloading video data from a network medium with a receiving function and displaying it on a small display. For example, it can be applied to a mobile phone having a reception function such as terrestrial digital broadcasting, satellite broadcasting, and the Internet, and a function of reading video data in which video captions such as foreign movies are written and reproducing and displaying them on a small display. it can.

本発明の実施例1にかかるデータ記録装置の基本構成例を模式的に示す図1 schematically shows an example of a basic configuration of a data recording apparatus according to Embodiment 1 of the present invention. 本発明の実施例1にかかるデータ記録装置の基本構成の他の例を模式的に示す図FIG. 6 is a diagram schematically illustrating another example of the basic configuration of the data recording apparatus according to the first embodiment of the invention. 文字認識部30における処理の概要を模式的に説明する図The figure which illustrates the outline | summary of the process in the character recognition part 30 typically. 本発明の実施例1にかかるデータ表示装置200の基本構成例を模式的に示す図FIG. 1 is a diagram schematically illustrating a basic configuration example of a data display device 200 according to a first embodiment of the invention. 本発明の実施例1にかかるデータ表示装置200の基本構成の他の例を模式的に示す図The figure which shows typically the other example of the basic composition of the data display apparatus 200 concerning Example 1 of this invention. キャプションが第2の表示エリア262の大きさに合わせて大きく表示される様子を模式的に示す図The figure which shows a mode that a caption is largely displayed according to the magnitude | size of the 2nd display area 262. 小型ディスプレイ260を縦置きにして映像表示面261を確保した場合のキャプション表示面の位置の一例を示す図The figure which shows an example of the position of the caption display surface at the time of securing the video display surface 261 by placing the small display 260 vertically. 小型ディスプレイ260を横置きにして映像表示面261を確保した場合のキャプション表示面の位置の一例を示す図The figure which shows an example of the position of the caption display surface at the time of securing the video display surface 261 by placing the small display 260 horizontally 本発明の実施例2にかかるデータ記録装置の基本構成例を模式的に示す図The figure which shows typically the example of a basic composition of the data recording device concerning Example 2 of this invention. 本発明の実施例3にかかるデータ表示装置の基本構成例を模式的に示す図The figure which shows typically the example of a basic composition of the data display apparatus concerning Example 3 of this invention. 映像キャプション消去部60による映像キャプション消去処理の効果を示す図The figure which shows the effect of the image caption deletion process by the image caption deletion part 60 本発明の実施例4にかかるデータ表示装置の基本構成例を模式的に示す図The figure which shows typically the example of a basic composition of the data display apparatus concerning Example 4 of this invention. 本発明の実施例4にかかるデータ表示装置の基本構成の他の例を模式的に示す図The figure which shows typically the other example of the basic composition of the data display apparatus concerning Example 4 of this invention. 本発明の実施例5にかかるデータ表示装置の基本構成例を模式的に示す図The figure which shows typically the example of a basic composition of the data display apparatus concerning Example 5 of this invention. 本発明の実施例5にかかるデータ表示装置の基本構成の他の例を模式的に示す図The figure which shows typically the other example of the basic composition of the data display apparatus concerning Example 5 of this invention. 本発明の実施例6にかかるデータ表示装置の基本構成例を模式的に示す図The figure which shows typically the example of a basic composition of the data display apparatus concerning Example 6 of this invention. 本発明の実施例6にかかるデータ表示装置の基本構成の他の例を模式的に示す図The figure which shows typically the other example of the basic composition of the data display apparatus concerning Example 6 of this invention. キャプション表示処理部230aによる映像キャプションの拡大処理の概念を模式的に示す図The figure which shows typically the concept of the expansion process of the image caption by the caption display process part 230a.

符号の説明Explanation of symbols

10 映像データ入力部
20 フレームメモリ制御部
21 フレームメモリ
30 文字認識部
31 文字パターンDB
40 データフォーマット変換部
50 書き込み部
60 映像キャプション消去部
100,100a,100b データ記録装置
200,200a,200b,200c データ表示装置
210 映像データ入力部
220 映像表示処理部
230,230a キャプション表示処理部
240 表示制御部
250 フレームメモリ
251 第1の領域
252 第2の領域
260 ディスプレイ
261 第1の表示エリア
262 第2の表示エリア
291 上部筐体
292 下部筐体
293 スピーカ
294 マイクロフォン
295 キー入力部
296 アンテナ
300 第1の記録メディア
400 第2の記録メディア
500 記録メディア
10 video data input unit 20 frame memory control unit 21 frame memory 30 character recognition unit 31 character pattern DB
40 Data format conversion unit 50 Writing unit 60 Video caption erasing unit 100, 100a, 100b Data recording device 200, 200a, 200b, 200c Data display device 210 Video data input unit 220 Video display processing unit 230, 230a Caption display processing unit 240 Display Control unit 250 Frame memory 251 First area 252 Second area 260 Display 261 First display area 262 Second display area 291 Upper casing 292 Lower casing 293 Speaker 294 Microphone 295 Key input section 296 Antenna 300 First Recording media 400 Second recording media 500 Recording media

Claims (7)

映像データを取り込んで記録メディアに記録するデータ記録装置であって、
映像データを取り込む映像データ入力部と、
フレームメモリを備え、前記映像データ入力部から取り込んだ映像データを前記フレームメモリに展開するフレームメモリ制御部と、
前記フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータと、当該キャプションテキストデータと前記映像データとの対応情報とを生成する文字認識部と、
前記フレームメモリから前記映像データを受け、前記文字認識部から前記キャプションテキストデータと前記対応情報とを受け、それらを前記記録メディアに書き込む書き込み部を備えたデータ記録装置。
A data recording apparatus for capturing video data and recording it on a recording medium,
A video data input section for capturing video data;
A frame memory control unit for developing video data captured from the video data input unit in the frame memory;
The video caption written as video in the video data developed in the frame memory is analyzed as a figure, character recognition is performed, and caption text data and correspondence information between the caption text data and the video data are obtained. A character recognition unit to be generated;
A data recording apparatus comprising: a writing unit that receives the video data from the frame memory, receives the caption text data and the correspondence information from the character recognition unit, and writes them to the recording medium.
映像データを取り込んで記録メディアに記録するデータ記録装置であって、
映像データを取り込む映像データ入力部と、
フレームメモリを備え、前記映像データ入力部から取り込んだ映像データを前記フレームメモリに展開するフレームメモリ制御部と、
前記フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータと、当該キャプションテキストデータと前記映像データとの対応情報とを生成する文字認識部と、
前記フレームメモリに展開された映像データを所望のデータフォーマットに変換するデータフォーマット変換部と、
前記データフォーマット変換部から前記データフォーマット変換後の映像データを受け、前記文字認識部から前記キャプションテキストデータと前記対応情報とを受け、それらを前記記録メディアに書き込む書き込み部を備えたデータ記録装置。
A data recording apparatus for capturing video data and recording it on a recording medium,
A video data input section for capturing video data;
A frame memory control unit for developing video data captured from the video data input unit in the frame memory;
The video caption written as video in the video data developed in the frame memory is analyzed as a figure, character recognition is performed, and caption text data and correspondence information between the caption text data and the video data are obtained. A character recognition unit to be generated;
A data format conversion unit for converting the video data expanded in the frame memory into a desired data format;
A data recording apparatus comprising a writing unit that receives video data after the data format conversion from the data format conversion unit, receives the caption text data and the correspondence information from the character recognition unit, and writes them to the recording medium.
前記フレームメモリに展開された映像データにおいて、前記映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備えた請求項1または2に記載のデータ記録装置。 The video data expanded in the frame memory includes a video caption erasure unit that fills the inside of a character outline of the video caption with gradation between pixels of opposing character outline edges and erases the video caption. The data recording apparatus according to 1 or 2. 映像コンテンツを表示するデータ表示装置であって、
映像データとキャプションテキストデータとそれらの対応情報を取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
フレームメモリを備え、前記ディスプレイの表示エリアを少なくとも第1の表示エリアと第2の表示エリアの2つの表示エリアに分割し、各表示エリアに対応するフレームメモリの第1の領域と第2の領域へのデータ書き込みを制御して各表示エリアにおける表示を制御する表示制御部と、
前記表示制御部の表示制御に従い、前記映像データ入力部から取り込んだ前記映像データを読み込んで前記フレームメモリの第1の領域に展開する映像表示処理部と、
前記表示制御部の表示制御に従い、前記映像データ入力部から取り込んだ前記キャプションテキストデータと前記対応情報を読み込んで、前記対応情報に基づいて前記フレームメモリの第1の領域に展開されている映像データに対応するキャプションテキストデータを選択して前記フレームメモリの第2の領域に展開するキャプション表示処理部とを備え、
前記ディスプレイの第1の表示エリアにおいて前記映像が表示され、前記ディスプレイの第2の表示エリアにおいて前記キャプションが表示されるデータ表示装置。
A data display device for displaying video content,
A video data input section that captures video data, caption text data, and corresponding information;
A display for displaying video content;
A frame memory, wherein the display area of the display is divided into at least two display areas of a first display area and a second display area, and a first area and a second area of the frame memory corresponding to each display area A display control unit that controls data writing to the display area and controls display in each display area;
In accordance with display control of the display control unit, a video display processing unit that reads the video data captured from the video data input unit and develops the video data in a first area of the frame memory;
In accordance with display control of the display control unit, the caption text data captured from the video data input unit and the correspondence information are read, and the video data developed in the first area of the frame memory based on the correspondence information A caption display processing unit that selects caption text data corresponding to and expands it in the second area of the frame memory,
A data display device in which the video is displayed in a first display area of the display and the caption is displayed in a second display area of the display.
映像データを取り込んで映像コンテンツを表示するデータ表示装置であって、
映像データを取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
文字認識用フレームメモリと、映像表示用フレームメモリと、キャプション表示用フレームメモリと、
前記映像データ入力部から取り込んだ映像データストリームを、フレームごとに前記映像表示用フレームメモリに展開する機能と、所定周期でサンプリングして前記文字認識用フレームメモリに展開する機能とを備えた制御部と、
前記映像表示用フレームメモリに展開されたデータに基づいて前記ディスプレイの第1の表示エリアへの映像表示を制御する映像表示制御部と、
前記文字認識用フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータを生成する文字認識部と、
前記文字認識部が認識したキャプションテキストデータに基づいて前記ディスプレイの第2の表示エリアへのキャプションテキスト表示を制御するキャプション表示制御部とを備えたデータ表示装置。
A data display device that captures video data and displays video content,
A video data input section for capturing video data;
A display for displaying video content;
A character recognition frame memory, a video display frame memory, a caption display frame memory,
A control unit having a function of developing a video data stream captured from the video data input unit into the video display frame memory for each frame, and a function of sampling the video data stream at a predetermined cycle and developing the video data stream into the character recognition frame memory When,
A video display control unit for controlling video display on the first display area of the display based on the data developed in the video display frame memory;
A character recognition unit that analyzes a video caption written as a video in the video data developed in the character recognition frame memory as a figure, performs character recognition to generate caption text data, and
A data display device comprising: a caption display control unit that controls display of a caption text in a second display area of the display based on caption text data recognized by the character recognition unit.
前記映像表示用フレームメモリに展開された映像データ中の映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備え、
前記ディスプレイの第1の表示エリアにおいて前記映像キャプションが消去された映像が表示され、前記ディスプレイの第2の表示エリアにおいて前記キャプションが表示される請求項5に記載のデータ表示装置。
A video caption erasing unit that fills the inside of a character outline of a video caption in video data expanded in the video display frame memory with gradation between pixels of opposing character outline edges, and erases the video caption;
The data display device according to claim 5, wherein an image from which the image caption is deleted is displayed in the first display area of the display, and the caption is displayed in the second display area of the display.
映像データを取り込んで映像コンテンツを表示するデータ表示装置であって、
映像データを取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
映像表示用フレームメモリと、キャプション表示用フレームメモリと、
前記映像データ入力部から取り込んだ映像データストリームを、フレームごとに前記映像表示用フレームメモリに展開する機能を備えた制御部と、
前記映像表示用フレームメモリに展開されたデータに基づいて前記ディスプレイの第1の表示エリアへの映像表示を制御する映像表示制御部と、
前記映像表示用フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析して前記映像データ中の映像キャプション領域を認識し、前記映像キャプション領域の映像データを前記ディスプレイの第2の表示エリアの大きさに合わせた縦横倍率で拡大しつつ前記キャプション表示用フレームメモリに複製展開するキャプション表示制御部と、
前記映像表示用フレームメモリに展開された映像データ中の映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備え、
前記ディスプレイの第1の表示エリアにおいて前記映像キャプションが消去された映像が表示され、前記ディスプレイの第2の表示エリアにおいて前記縦横倍率で拡大されたキャプションが表示されるデータ表示装置。
A data display device that captures video data and displays video content,
A video data input section for capturing video data;
A display for displaying video content;
A frame memory for video display, a frame memory for caption display,
A control unit having a function of expanding the video data stream captured from the video data input unit into the video display frame memory for each frame;
A video display control unit for controlling video display on the first display area of the display based on the data developed in the video display frame memory;
The video caption written as video in the video data expanded in the video display frame memory is analyzed as a figure to recognize the video caption area in the video data, and the video data in the video caption area is displayed on the display A caption display control unit that replicates and expands in the caption display frame memory while expanding at a vertical and horizontal magnification according to the size of the second display area;
A video caption erasing unit that fills the inside of a character outline of a video caption in video data expanded in the video display frame memory with gradation between pixels of opposing character outline edges, and erases the video caption;
A data display device in which an image from which the image caption has been erased is displayed in the first display area of the display, and the caption enlarged at the aspect ratio is displayed in the second display area of the display.
JP2003353850A 2003-10-14 2003-10-14 Data recording device and data display device Pending JP2005123726A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003353850A JP2005123726A (en) 2003-10-14 2003-10-14 Data recording device and data display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003353850A JP2005123726A (en) 2003-10-14 2003-10-14 Data recording device and data display device

Publications (1)

Publication Number Publication Date
JP2005123726A true JP2005123726A (en) 2005-05-12

Family

ID=34612021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003353850A Pending JP2005123726A (en) 2003-10-14 2003-10-14 Data recording device and data display device

Country Status (1)

Country Link
JP (1) JP2005123726A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009057563A1 (en) * 2007-11-02 2009-05-07 Sony Corporation Information providing device and informationproviding method
WO2010055560A1 (en) * 2008-11-12 2010-05-20 富士通株式会社 Telop movement processing device, method and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009057563A1 (en) * 2007-11-02 2009-05-07 Sony Corporation Information providing device and informationproviding method
JP2009117987A (en) * 2007-11-02 2009-05-28 Sony Corp Information presentation device and information presentation method
WO2010055560A1 (en) * 2008-11-12 2010-05-20 富士通株式会社 Telop movement processing device, method and program
CN102210162A (en) * 2008-11-12 2011-10-05 富士通株式会社 Telop movement processing device, method and program
JP5267568B2 (en) * 2008-11-12 2013-08-21 富士通株式会社 Telop movement processing apparatus, method and program

Similar Documents

Publication Publication Date Title
US6683649B1 (en) Method and apparatus for creating a multimedia presentation from heterogeneous media objects in a digital imaging device
US6738075B1 (en) Method and apparatus for creating an interactive slide show in a digital imaging device
US7337403B2 (en) Method and apparatus for editing heterogeneous media objects in a digital imaging device
CN100556112C (en) Data managing method
US7855724B2 (en) Transitioning between two high resolution images in a slideshow
CN100450166C (en) Apparatus and method for image processing
US20050174457A1 (en) Image sensing apparatus and its control method
RU2008136457A (en) WATCHING A VIDEO USING A REDUCED PICTURE
US20070183749A1 (en) Content reproduction apparatus, content reproduction method, content reproduction system, and computer program therefor
JP4311194B2 (en) Image reproducing apparatus and image reproducing method
KR101458521B1 (en) A system for play a contents of augmented reality
JP2006303896A (en) Camera system for changing over display of reduced guide image in reproducing image by magnification, and image display method
KR101327298B1 (en) Dynamic image processing device, medium for storing thumbnail image generation program and method for generating thumbnail image
JP2007081584A (en) Image display apparatus or image display method
KR100522949B1 (en) Display Method For Moving Icon
US8340196B2 (en) Video motion menu generation in a low memory environment
JP4378295B2 (en) Image reproducing apparatus and image reproducing method
JP2004193695A (en) Recording and reproducing apparatus and method
KR100775187B1 (en) Thumbnail recording method and terminal using the same
JP2005123726A (en) Data recording device and data display device
JP4609711B2 (en) Image processing apparatus and method, and program
JP2006115412A (en) Data recorder
JP4413661B2 (en) Recording / playback device, image playback system, and terminal device
JP2010287974A (en) Mobile phone and program
JP2001211407A (en) Image reproduction device and program recording medium

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050314

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050523