JP2005123726A - Data recording device and data display device - Google Patents
Data recording device and data display device Download PDFInfo
- Publication number
- JP2005123726A JP2005123726A JP2003353850A JP2003353850A JP2005123726A JP 2005123726 A JP2005123726 A JP 2005123726A JP 2003353850 A JP2003353850 A JP 2003353850A JP 2003353850 A JP2003353850 A JP 2003353850A JP 2005123726 A JP2005123726 A JP 2005123726A
- Authority
- JP
- Japan
- Prior art keywords
- video
- display
- data
- caption
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
Description
この発明は、映像データを取り込んで記録メディアに記録するデータ記録装置に関する。また、映像データを取り込んで表示するデータ表示装置に関する。 The present invention relates to a data recording apparatus for capturing video data and recording it on a recording medium. The present invention also relates to a data display device that captures and displays video data.
近年、携帯型端末が広く普及しつつある。携帯型端末は持ち運びに便利なように筐体の小型化が求められるが、筐体の小型化のみならず、多機能化、高性能化が求められている。典型例としては、携帯電話は年々小型化する一方、その機能は通話機能のみならず、iモード機能、カメラ機能、動画録画再生機能、GPS利用機能など多種多様な機能を取り込みつつある。
携帯電話などの携帯型端末が取り込みつつある機能の一つに、映画やテレビドラマなどのコンテンツの映像データを読み込み、当該映像データを再生表示し、コンテンツの視聴を可能とする機能がある。
ここで、携帯電話などの携帯型端末における映像データの読み込みについて工夫が必要である。第1に、映画などのコンテンツデータは通常、DVDなどの大容量記録メディアにより提供されるが、携帯電話などの携帯型端末は筐体の大きさなどの制限からDVDなど大きな記録メディアに対応したドライブの搭載ができないので、それら大型の大容量記録メディアから直接データを読み込むことができないため、小型の記録メディアに記録し直して用いる必要がある。第2に、携帯電話などの携帯型端末の動画データに採用されるデータフォーマット(MPEG4、H.264など)とDVDなどで採用されるデータフォーマット(MPEG2など)が異なる場合は、DVDに記録された映像データのデータフォーマットを携帯型端末で利用しやすいデータフォーマットに変換する必要がある。
In recent years, portable terminals have become widespread. A portable terminal is required to be small in size so that it is convenient to carry. However, not only miniaturization of the case but also multifunction and high performance are required. As a typical example, while mobile phones are becoming smaller year by year, the functions thereof are not only calling functions but also incorporating various functions such as i-mode functions, camera functions, video recording / playback functions, and GPS utilization functions.
One of the functions that mobile terminals such as mobile phones are taking in is a function that reads video data of content such as movies and TV dramas, reproduces and displays the video data, and enables viewing of the content.
Here, it is necessary to devise a method for reading video data in a portable terminal such as a cellular phone. First, content data such as a movie is usually provided by a large-capacity recording medium such as a DVD, but a portable terminal such as a mobile phone is compatible with a large recording medium such as a DVD due to the limitation of the size of the case. Since the drive cannot be mounted, data cannot be read directly from these large-capacity recording media, so it is necessary to re-record on small recording media. Second, if the data format (MPEG4, H.264, etc.) used for moving picture data of a portable terminal such as a mobile phone is different from the data format (MPEG2, etc.) used for DVD, etc., it is recorded on the DVD. It is necessary to convert the data format of the video data into a data format that is easy to use on a portable terminal.
従来技術において、携帯電話などの携帯型端末において映像データを読み込む方法として、通信機能を介して通信回線を介してデータの配信を受ける方法(非特許文献1)、記録メディアドライブを複数備えたデータ再生録画装置を用いてDVDなどの大型記録メディアから読み込んだ映像データを、SDカード(TM)、メモリースティック(TM)、スマートメディア(TM)など他の小型記録メディアに記録し直し、小型記録メディア用ドライブを備えた携帯電話を用いて当該小型記録メディアから映像データを読み込む方法(非特許文献2)などが知られている。
映像データの携帯型端末への読み込み段階においては、上記の非特許文献1および非特許文献2に示した映像データの携帯型端末への読み込み方法は有用な方法である。
一方、携帯型端末の映像コンテンツの再生の段階においては、以下に示すように、映像キャプションの表示について改善の必要がある。
携帯型端末は、持ち運びの便宜上、筐体の小型化が求められ、搭載し得るディスプレイが小さいものとなっている。映像を表示するディスプレイは本来大きい方が映像を見やすいが、利用者は携帯型端末のディスプレイを顔の近くに保持しつつ映像を見ることができ、映像の絶対的大きさが多少小さくても映像を視聴することは可能であり、携帯型端末で場所を問わず視聴するという大きな利点が魅力となり、今後もこの映像の視聴形態は増えて行くものと期待されている。しかし、映像中に映像として書き込まれている映像キャプションは小さ過ぎて即座に読み取ることが困難となる場合がある。利用者が視聴するコンテンツのうち有力なコンテンツとして外国映画、外国ドラマ、外国歌手の公演ビデオなどがあり、それらの翻訳について音声による吹き替えが提供されている場合もあるが、その多くは台詞や歌詞を示すキャプションが映像キャプションとして映像中に書き込まれて付されているものが多い。それら映像キャプションはその性質上、主となる映像に干渉しない位置、例えば、映像面の最下部に小さく付されている。映像キャプションはある程度大きなディスプレイでの再生表示を前提として付されているため、携帯型端末のような小さなディスプレイにおいて外国映画などを再生表示した場合、表示面全体の絶対的大きさが小さい上、さらに、その小さな表示面中の最下部に小さく表示される映像キャプションは見難く、その識別が困難となる場合も十分に考えられる。
外国映画などのコンテンツの多くは音声による吹き替え版ではなく映像キャプション付きのものである現状、利用者に上記不便を強いる結果となってしまうという問題が生じる。
In the stage of reading video data into a portable terminal, the method for reading video data into the portable terminal shown in Non-Patent
On the other hand, at the stage of reproducing the video content of the portable terminal, as shown below, it is necessary to improve the display of the video caption.
A portable terminal is required to be small in size for convenience of carrying, and a display that can be mounted is small. The larger the display that displays the video, the easier it is to see the video, but the user can watch the video while holding the display of the portable terminal near the face, even if the absolute size of the video is somewhat small Can be viewed, and the great advantage of viewing from any location on a portable terminal is attractive, and it is expected that the number of viewing modes of this video will increase in the future. However, the video caption written as a video in the video may be too small to be read immediately. Some of the most popular content viewed by users are foreign movies, foreign dramas, and performance videos of foreign singers, and there are cases in which voice-overs are provided for the translation of these. In many cases, a caption indicating is written and added as a video caption in the video. Due to their nature, these video captions are attached to a position that does not interfere with the main video, for example, at the bottom of the video screen. Since video captions are attached on the premise of playback display on a somewhat large display, when a foreign movie is played back on a small display such as a portable terminal, the absolute size of the entire display surface is small, and The video caption displayed in a small size at the bottom of the small display surface is difficult to see, and it may be difficult to identify the video caption.
Many contents such as foreign movies are not dubbed by voice but are provided with video captions, and there is a problem that this results in inconvenience to the user.
上記問題点に鑑み、本発明は、携帯型端末の小さなディスプレイを表示面として再生表示する場合であっても、キャプションが利用者に十分に認識できるようにキャプションを加工し、表示することができるデータ記録装置およびデータ表示装置を提供することを目的とする。 In view of the above problems, the present invention can process and display a caption so that the caption can be fully recognized by the user even when the small display of the portable terminal is used as a display screen. An object is to provide a data recording device and a data display device.
上記目的を達成するため、本発明の第1のデータ記録装置は、映像データを取り込んで記録メディアに記録するデータ記録装置であって、
映像データを取り込む映像データ入力部と、
フレームメモリを備え、前記映像データ入力部から取り込んだ映像データを前記フレームメモリに展開するフレームメモリ制御部と、
前記フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータと、当該キャプションテキストデータと前記映像データとの対応情報とを生成する文字認識部と、
前記フレームメモリから前記映像データを受け、前記文字認識部から前記キャプションテキストデータと前記対応情報とを受け、それらを前記記録メディアに書き込む書き込み部を備えたものである。
上記構成により、映像データと別にキャプションテキストデータと対応情報とを得ることができ、本発明の第1のデータ記録装置で記録した記録メディアを利用するシステムにおいてキャプションテキストデータを利用することができる。キャプションテキストデータは映像データではなくテキストデータであるので、多様な形態での利用が容易となる。
In order to achieve the above object, a first data recording apparatus of the present invention is a data recording apparatus for capturing video data and recording it on a recording medium,
A video data input section for capturing video data;
A frame memory control unit for developing video data captured from the video data input unit in the frame memory;
The video caption written as video in the video data developed in the frame memory is analyzed as a figure, character recognition is performed, and caption text data and correspondence information between the caption text data and the video data are obtained. A character recognition unit to be generated;
A writing unit that receives the video data from the frame memory, receives the caption text data and the correspondence information from the character recognition unit, and writes them into the recording medium;
With the above configuration, caption text data and correspondence information can be obtained in addition to video data, and caption text data can be used in a system that uses a recording medium recorded by the first data recording apparatus of the present invention. Since the caption text data is not video data but text data, it can be easily used in various forms.
本発明の第2のデータ記録装置は、映像データを取り込んで記録メディアに記録するデータ記録装置であって、
映像データを取り込む映像データ入力部と、
フレームメモリを備え、前記映像データ入力部から取り込んだ映像データを前記フレームメモリに展開するフレームメモリ制御部と、
前記フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータと、当該キャプションテキストデータと前記映像データとの対応情報とを生成する文字認識部と、
前記フレームメモリに展開された映像データを所望のデータフォーマットに変換するデータフォーマット変換部と、
前記データフォーマット変換部から前記データフォーマット変換後の映像データを受け、前記文字認識部から前記キャプションテキストデータと前記対応情報とを受け、それらを前記記録メディアに書き込む書き込み部を備えたものである。
上記構成により、映像データのデータフォーマットを変換しつつ、キャプションテキストデータと対応情報も併せて得ることができる。
A second data recording apparatus of the present invention is a data recording apparatus for capturing video data and recording it on a recording medium,
A video data input section for capturing video data;
A frame memory control unit for developing video data captured from the video data input unit in the frame memory;
The video caption written as video in the video data developed in the frame memory is analyzed as a figure, character recognition is performed, and caption text data and correspondence information between the caption text data and the video data are obtained. A character recognition unit to be generated;
A data format conversion unit for converting the video data expanded in the frame memory into a desired data format;
And a writing unit that receives the video data after the data format conversion from the data format conversion unit, receives the caption text data and the correspondence information from the character recognition unit, and writes them to the recording medium.
With the above configuration, caption text data and corresponding information can be obtained together while converting the data format of the video data.
上記のデータ記録装置について、前記フレームメモリに展開された映像データにおいて、前記映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備えることも好ましい。
上記構成により、映像中から映像キャプションを消去できる。キャプション自体はテキストデータの形で利用できるので映像中に残存する映像キャプションは不要であるから消去しても問題なく、却って映像を毀損する形で書き込まれていた映像キャプションを消去することは好ましいからである。
In the above data recording device, in the video data developed in the frame memory, the video caption for erasing the video caption by filling the inside of the character contour of the video caption with a gradation between pixels of opposing character contour edges It is also preferable to provide an erasing unit.
With the above configuration, the video caption can be erased from the video. Since the caption itself can be used in the form of text data, the video caption remaining in the video is unnecessary, so there is no problem even if it is erased, and it is preferable to erase the video caption that was written in a way that damages the video. It is.
次に、本発明の第1のデータ表示装置は、映像コンテンツを表示するデータ表示装置であって、
利用メディアから映像データとキャプションテキストデータとそれらの対応情報を取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
フレームメモリを備え、前記ディスプレイの表示エリアを少なくとも第1の表示エリアと第2の表示エリアの2つの表示エリアに分割し、各表示エリアに対応するフレームメモリの第1の領域と第2の領域へのデータ書き込みを制御して各表示エリアにおける表示を制御する表示制御部と、
前記表示制御部の表示制御に従い、前記映像データ入力部から取り込んだ前記映像データを読み込んで前記フレームメモリの第1の領域に展開する映像表示処理部と、
前記表示制御部の表示制御に従い、前記映像データ入力部から取り込んだ前記キャプションテキストデータと前記対応情報を読み込んで、前記対応情報に基づいて前記フレームメモリの第1の領域に展開されている映像データに対応するキャプションテキストデータを選択して前記フレームメモリの第2の領域に展開するキャプション表示処理部とを備え、
前記ディスプレイの第1の表示エリアにおいて前記映像が表示され、前記ディスプレイの第2の表示エリアにおいて前記キャプションが表示されるデータ表示装置である。
上記構成により、利用するメディア中にキャプションがキャプションテキストデータとして与えられている場合、映像データは第1の表示エリアに、キャプションは第2の表示エリアに表示することができる。例えば、携帯型端末のようにディスプレイが小さい機器の場合、キャプションがあまりに小さくなり過ぎないように第2の表示エリアの大きさを文字の視認が困難とならない程度の大きさに調整すれば利用者が容易にキャプションを読むことができる。
Next, a first data display device of the present invention is a data display device for displaying video content,
A video data input unit that captures video data, caption text data, and corresponding information from the media used;
A display for displaying video content;
A frame memory, wherein the display area of the display is divided into at least two display areas of a first display area and a second display area, and a first area and a second area of the frame memory corresponding to each display area A display control unit that controls data writing to the display area and controls display in each display area;
In accordance with display control of the display control unit, a video display processing unit that reads the video data captured from the video data input unit and develops the video data in a first area of the frame memory;
In accordance with display control of the display control unit, the caption text data captured from the video data input unit and the correspondence information are read, and the video data developed in the first area of the frame memory based on the correspondence information A caption display processing unit that selects caption text data corresponding to and expands it in the second area of the frame memory,
A data display device in which the video is displayed in a first display area of the display and the caption is displayed in a second display area of the display.
With the above configuration, when captions are given as caption text data in the media to be used, video data can be displayed in the first display area and captions can be displayed in the second display area. For example, in the case of a device with a small display such as a portable terminal, the user can adjust the size of the second display area to a size that does not make it difficult to visually recognize characters so that the caption is not too small. Can easily read captions.
なお、映画やテレビジョンコンテンツの場合、映像面の縦横比が決まっているので、例えば、携帯型端末のディスプレイに当該縦横比の映像を表示した場合に、ディスプレイの縦方向に余裕がある場合、下側に余っているディスプレイ領域を第2の表示エリアとして当該エリアにキャプションを大きく表示すれば良い。 In the case of movies and television content, since the aspect ratio of the video screen is determined, for example, when displaying the video of the aspect ratio on the display of the portable terminal, if there is room in the vertical direction of the display, The display area remaining on the lower side may be used as the second display area to display a large caption in the area.
本発明の第2のデータ表示装置は、映像データを取り込んで映像コンテンツを表示するデータ表示装置であって、
映像データを取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
文字認識用フレームメモリと、映像表示用フレームメモリと、キャプション表示用フレームメモリと、
前記映像データ入力部から取り込んだ映像データストリームを、フレームごとに前記映像表示用フレームメモリに展開する機能と、所定周期でサンプリングして前記文字認識用フレームメモリに展開する機能とを備えた制御部と、
前記映像表示用フレームメモリに展開されたデータに基づいて前記ディスプレイの第1の表示エリアへの映像表示を制御する映像表示制御部と、
前記文字認識用フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータを生成する文字認識部と、
前記文字認識部が認識したキャプションテキストデータに基づいて前記ディスプレイの第2の表示エリアへのキャプションテキスト表示を制御するキャプション表示制御部とを備えたものである。
上記構成により、例えば、利用メディアとなる携帯型小型メモリへのアクセスや、地上波デジタル放送などの無線通信によるアクセスにより、映像キャプションが書き込まれたままの映像コンテンツを読み込んで自らキャプションテキストデータと対応情報を生成して利用することができる。
A second data display device of the present invention is a data display device that captures video data and displays video content,
A video data input section for capturing video data;
A display for displaying video content;
A character recognition frame memory, a video display frame memory, a caption display frame memory,
A control unit having a function of developing a video data stream captured from the video data input unit into the video display frame memory for each frame, and a function of sampling the video data stream at a predetermined cycle and developing the video data stream into the character recognition frame memory When,
A video display control unit for controlling video display on the first display area of the display based on the data developed in the video display frame memory;
A character recognition unit that analyzes a video caption written as a video in the video data developed in the character recognition frame memory as a figure, performs character recognition to generate caption text data, and
A caption display control unit that controls the display of the caption text in the second display area of the display based on the caption text data recognized by the character recognition unit.
With the above configuration, for example, by accessing the portable small memory that is the media used, or by wireless communication such as terrestrial digital broadcasting, the video content with the video caption still being written is read and the caption text data is handled. Information can be generated and used.
本発明の第3のデータ表示装置は、上記第2のデータ表示装置において、前記フレームメモリの第1の領域に展開された映像データ中の映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備え、前記ディスプレイの第1の表示エリアにおいて前記映像キャプションが消去された映像が表示され、前記ディスプレイの第2の表示エリアにおいて前記キャプションが表示されるものである。
上記構成により、映像中に書き込まれた映像キャプションを消去することができる。
According to a third data display device of the present invention, in the second data display device described above, the inside of the character contour of the video caption in the video data developed in the first area of the frame memory is opposed to the character contour. A video caption erasure unit for erasing the video caption, and filling the image with gradation between pixels at an edge; wherein the video with the video caption erased is displayed in the first display area of the display; and the second display of the display The caption is displayed in the area.
With the above configuration, the video caption written in the video can be erased.
上記のデータ記録装置およびデータ表示装置は、映像キャプションからキャプションテキストデータを生成して、当該キャプションテキストデータを利用するものであるが、映像キャプションを映像のまま拡大して利用することも可能である。 The data recording device and the data display device described above generate caption text data from a video caption and use the caption text data. However, the video caption can be enlarged and used as it is. .
本発明の第4のデータ表示装置は、映像データを取り込んで映像コンテンツを表示するデータ表示装置であって、
映像データを取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
映像表示用フレームメモリと、キャプション表示用フレームメモリと、
前記映像データ入力部から取り込んだ映像データストリームを、フレームごとに前記映像表示用フレームメモリに展開する機能を備えた制御部と、
前記映像表示用フレームメモリに展開されたデータに基づいて前記ディスプレイの第1の表示エリアへの映像表示を制御する映像表示制御部と、
前記映像表示用フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析して前記映像データ中の映像キャプション領域を認識し、前記映像キャプション領域の映像データを前記ディスプレイの第2の表示エリアの大きさに合わせた縦横倍率で拡大しつつ前記キャプション表示用フレームメモリに複製展開するキャプション表示制御部と、
前記映像表示用フレームメモリに展開された映像データ中の映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備え、
前記ディスプレイの第1の表示エリアにおいて前記映像キャプションが消去された映像が表示され、前記ディスプレイの第2の表示エリアにおいて前記縦横倍率で拡大されたキャプションが表示されるものである。
上記構成により、映像中の映像キャプション部分を消去するとともに、映像キャプション部分を拡大して第2の表示エリアに表示することができ、第2の表示エリアの大きさを映像キャプションの視認が困難とならない程度の大きさに調整すれば利用者が容易にキャプションを読むことができる。
なお、本発明のデータ記録装置またはデータ表示装置において、映像データ入力部が映像データを取り込むためアクセス可能な利用メディアとして、例えば、映像データが記録されているDVD、CD、MO、HDD、メモリなどの記録メディアが挙げられる。また、映像データの配信が可能となる地上波デジタル放送、衛星放送、CATV、インターネットなどのコンピュータ通信などのネットワークメディアが挙げられる。ネットワークメディアの場合、当該ネットワークの接続先のリソースとして含まれるHDDやメモリなどの記録メディアも含まれる。
A fourth data display device of the present invention is a data display device that captures video data and displays video content,
A video data input section for capturing video data;
A display for displaying video content;
A frame memory for video display, a frame memory for caption display,
A control unit having a function of expanding the video data stream captured from the video data input unit into the video display frame memory for each frame;
A video display control unit for controlling video display on the first display area of the display based on the data developed in the video display frame memory;
The video caption written as video in the video data expanded in the video display frame memory is analyzed as a figure to recognize the video caption area in the video data, and the video data in the video caption area is displayed on the display A caption display control unit that replicates and expands in the caption display frame memory while expanding at a vertical and horizontal magnification according to the size of the second display area;
A video caption erasing unit that fills the inside of a character outline of a video caption in video data expanded in the video display frame memory with gradation between pixels of opposing character outline edges, and erases the video caption;
An image from which the image caption has been deleted is displayed in the first display area of the display, and the caption enlarged at the aspect ratio is displayed in the second display area of the display.
With the above configuration, the video caption portion in the video can be erased, and the video caption portion can be enlarged and displayed in the second display area. The size of the second display area is difficult to visually recognize the video caption. The user can easily read the caption if the size is adjusted to such an extent that it is not necessary.
In the data recording apparatus or data display apparatus of the present invention, examples of accessible media that can be accessed by the video data input unit for capturing video data include a DVD, CD, MO, HDD, memory, and the like on which video data is recorded. Recording media. In addition, network media such as terrestrial digital broadcast, satellite broadcast, CATV, and the Internet such as computer communication capable of distributing video data can be used. In the case of network media, recording media such as HDDs and memories included as resources to which the network is connected are also included.
本発明のデータ記録装置によれば、映像データと別にキャプションテキストデータと対応情報とを得ることができ、当該データ記録装置により書き込んだ記録メディアを利用する映像データ表示装置においてキャプションテキストデータを利用することができる。キャプションテキストデータは映像データではなくテキストデータであるので、多様な形態での利用が容易となる。
本発明のデータ表示装置によれば、映像データを第1の表示エリアに、キャプションを第2の表示エリアに表示することができる。例えば、携帯型端末のようにディスプレイが小さい機器の場合、キャプションがあまりに小さくなり過ぎないように第2の表示エリアの大きさを文字の視認が困難とならない程度の大きさに調整すれば利用者が容易にキャプションを読むことができる。
According to the data recording apparatus of the present invention, caption text data and corresponding information can be obtained in addition to video data, and caption text data is used in a video data display apparatus that uses a recording medium written by the data recording apparatus. be able to. Since the caption text data is not video data but text data, it can be easily used in various forms.
According to the data display device of the present invention, video data can be displayed in the first display area, and captions can be displayed in the second display area. For example, in the case of a device with a small display such as a portable terminal, the user can adjust the size of the second display area to a size that does not make it difficult to visually recognize characters so that the caption is not too small. Can easily read captions.
以下、図面を参照しつつ、本発明のデータ記録装置およびデータ表示装置の実施例を説明する。 Embodiments of a data recording apparatus and a data display apparatus according to the present invention will be described below with reference to the drawings.
本発明の実施例1にかかる第1のデータ記録装置および第1のデータ表示装置の例を示す。
第1のデータ記録装置は、読み取り対象となる記録メディアまたはネットワークメディアから映像データ(映像キャプション付き)を読み込み、映像キャプションの文字認識によるキャプションテキストデータの生成処理を実行し、映像データとキャプションテキストデータと両者の対応情報を書き込み対象となる小型の記録メディアに記録する装置である。
図1および図2は本発明の実施例1にかかる第1のデータ記録装置100の基本構成例を模式的に示す図である。
1 shows an example of a first data recording device and a first data display device according to Example 1 of the present invention.
The first data recording device reads video data (with video caption) from a recording medium or network media to be read, executes caption text data generation processing by character recognition of the video caption, and performs video data and caption text data. And the correspondence information between the two is recorded on a small recording medium to be written.
1 and 2 are diagrams schematically showing an example of the basic configuration of a first
図1の例において、映像データ入力部10は、読み取り対象となる記録メディア300に対応している読み取り装置を備え、記録メディア300に対応する物理インタフェースおよび論理インタフェースを持っている。映像データ入力部10は読み取り対象となる記録メディア300から映像データを次々と読み取り、フレームメモリ制御部20に渡して行く。
読み取り対象となる記録メディア300は特に限定されない。例えば、外国映画などのコンテンツが記録されたDVD、CDROM、VHSビデオテープ、MOなどの記録媒体が記録メディア300となり得る。また、外部からテレビジョン放送を受信し、受信したテレビジョン放送を内蔵のハードディスク記憶装置に録画し、書き込み対象となる小型記録メディア400にアップダビングする場合は、当該ハードディスク記録装置が記録メディア300となり得る。
In the example of FIG. 1, the video
The
なお、図2の例では、映像データ入力部10は、地上波デジタル放送や衛星放送を受信する機能やインターネットなどのネットワークメディアにアクセスする機能を備え、ネットワークメディアとの通信インタフェースを持っている。映像データ入力部10はネットワークメディア310から映像データを次々とダウンロードして取り込み、フレームメモリ制御部20に渡して行く。なお、映像データ入力部10はチューニング機能を備え、チャンネル選択などができることが好ましい。
オンデマンドによるネットワークメディアを介したダウンロードを行なう場合、ネットワークを介して接続されている接続先の記録メディアが読み取り対象となる記録メディア300となり得る。
In the example of FIG. 2, the video
When downloading via network media on demand, the connected recording medium connected via the network can be the
次に、図1または図2において、書き込み対象となる小型記録メディア400は特に限定されないが、携帯型の小型記録メディアが想定される。本発明のデータ記録装置が提供する小型記録メディア400は、DVDなどの記録メディア300を直接取り扱うことができないような携帯電話などの小型の携帯型端末で取り扱うことができる記録メディアを想定したものであって、例えば、メモリースティック(TM)、コンパクトフラッシュカード(TM)、スマートメディアカード(TM)、SDカード(TM)などの携帯型小型記録メディアが記録メディア400となり得る。
Next, in FIG. 1 or FIG. 2, the
なお、3つ以上の記録メディアやネットワークメディア間で映像データを授受する場合は、次のように捉えることができる(なお、以下の説明では記録メディアの場合について代表的に述べるが、ネットワークメディアについても同様に考えることができる。)。映像データを授受する複数のネットワークメディアや記録メディアを、授受の道筋をフローチャートに見立てて並べ、映像データを他の記録メディアに授ける記録メディアが記録メディア300、受け取る記録メディアが小型記録メディア400となり、記録メディアA、記録メディアB、記録メディアCが直列にこの順で映像データを授受する場合、記録メディアAから記録メディアBの関係に注目すると、記録メディアAが記録メディア300、記録メディアBが小型記録メディア400となり、記録メディアBから記録メディアCの関係に注目すると、記録メディアBが記録メディア300、記録メディアCが小型記録メディア400となる。記録メディアAから記録メディアBと記録メディアCの2つの記録メディアにいわゆる並列に映像データが授受される場合、記録メディアAが記録メディア300、記録メディアBと記録メディアCのそれぞれが独立して小型記録メディア400となる。逆に記録メディアAと記録メディアBのそれぞれから記録メディアCに映像データが授受される場合、記録メディアAと記録メディアBのそれぞれが独立して記録メディア300となり、記録メディアCが小型記録メディア400となる。
なお、ネットワークメディア310から映像データをダウンロードし、一時的にデータ記録装置内の内蔵ハードディスクに保存し、後にハードディスクからメモリースティック(TM)などの小型の記録メディア400にアップダビングする場合、ネットワークメディアを読み取り対象のメディアとし、本発明のキャプションデータおよび対応情報生成処理を行なってハードディスクを書き込み対象のメディアとしても良く、ネットワークメディア310からハードディスクへの記録は本発明のキャプションデータおよび対応情報生成処理を行なわず、ハードディスクを読み取り対象のメディアとし、本発明のキャプションデータおよび対応情報生成処理を行なって小型の記録メディア400を書き込み対象のメディアとしても良い。
データフォーマットに関して、この実施例1の第1のデータ記録装置は、読み取り対象となる記録メディア300またはネットワークメディア310から取り込まれる映像データのデータフォーマット変換処理が不要である例として説明する。
In addition, when video data is exchanged between three or more recording media and network media, it can be understood as follows (Note that in the following description, the case of recording media will be described representatively, Can be thought of as well.) A plurality of network media and recording media for transmitting and receiving video data are arranged with the flow of transmission and reception taken as a flowchart, the recording media for transmitting video data to other recording media are the
In addition, when video data is downloaded from the
Regarding the data format, the first data recording apparatus of the first embodiment will be described as an example in which the data format conversion processing of the video data captured from the
フレームメモリ制御部20は、フレームメモリ21を備え、フレームメモリ21の入出力を制御する部分である。フレームメモリ制御部20は読み取り対象となる記録メディア300から読み込んだ映像データをフレームメモリ21に展開する。
文字認識部30は、フレームメモリ21に展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータを生成する部分である。また、生成したキャプションテキストデータと当該キャプションが映像として書き込まれていた映像データとの対応情報とを生成する部分である。
文字認識部30は文字パターンデータベース31を備えている。文字パターンデータベース31は文字認識処理においてパターンマッチングに用いる文字パターンを集めたデータベースである。
The frame
The
The
図3は文字認識部30における処理の概要を模式的に説明する図である。フレームメモリ制御部20の処理によりDVDなどの記録メディア300から読み込まれた映像データはフレームごとにフレームメモリ21に展開されている。図3は当該映像を模式的に示している。映像の最下部には映像キャプションが映像中に書き込まれている(焼き付けられている)。この映像キャプションは映像そのものの中に焼き付けられており、テキストデータではなく映像中に写り込んでいる図形データと捉えることができる。この例の映像フレームには「坂道を上りながら後ろを振り向いてごらん。海が見えるよ。」という映像キャプションが付されているとする。
FIG. 3 is a diagram schematically illustrating an outline of processing in the
まず、文字認識部30はフレームメモリ21上に展開されている映像中、映像キャプションの図形パターンが含まれている領域を探索する。文字認識部30は当該探索について学習機能を有することが好ましい。ここで、映像キャプションが書き込まれている領域は、例えば、映像領域の最下部付近や、右端部分など一定部分に固定されていることが多く、学習効果が高く発揮されることとなる。
次に、文字認識部30は、映像キャプション図形から文字ごとの図形パターン切り出しを行なう。そして、文字パターンデータベース31中の文字パターンと切り出した図形パターンとのパターンマッチングを行い、映像キャプションの各文字の認識処理を行なう。この後、認識精度を向上させるために、単語認識、意味認識、構文チェックなどを行なうことも好ましい。これら単語認識や意味認識に必要なエンジン、単語データベース、意味データベース、構文データベースなどを備えているものとする。
First, the
Next, the
文字認識部30による文字認識の結果、図3に示すように、図形としての映像キャプションからテキストデータとしてのキャプションテキストデータが得られる。ここでは「坂道を上りながら後ろを振り向いてごらん。海が見えるよ。」というキャプションテキストデータが得られることとなる。
また、文字認識部30は、得られたキャプションテキストデータがどの映像フレーム中の映像キャプションに相当するデータであるかを示すため、映像データとキャプションテキストデータとの対応を示す対応情報も生成する。例えば、「映像フレーム番号○○−キャプションテキストデータ番号○○」という対応情報が生成される。生成されたキャプションテキストデータと対応情報は書き込み部40に渡される。
As a result of the character recognition by the
The
上記のフレームメモリ制御部20によるフレームメモリ21への映像データの書き込み処理、文字認識部30による文字認識処理までを映像フレームごとに行なう。なお、文字認識部30による文字認識処理については映像フレームごとには行なわず、所定周期ごとに映像フレームをサンプリングして行なっても良い。映像キャプションは人が目で読み取るという性質上、一定の時間は必要であり、長短はあるものの複数のフレームにわたり同じ映像キャプションが付されていることとなる。そのため、すべてのフレームについて文字認識処理を行なうことはリソースの浪費となる場合がある。そこで、映像キャプションが2回以上切り替わる恐れのない間隔(例えば、1秒間隔や2秒間隔)でサンプリングしたフレームについて文字認識処理を行なえば良い。
The video data writing process to the
次に、図1または図2において、書き込み部40は、フレームメモリ制御部20から渡される映像データストリームと、文字認識部30から渡されるキャプションテキストデータと対応情報とを、書き込み対象の記録メディア400に書き込む部分である。書き込み対象の記録メディア400用の書き込みドライブを備え、記録メディア400に対応する物理フォーマット、論理フォーマットで映像データを書き込み対象の記録メディア400に書き込む。
Next, in FIG. 1 or FIG. 2, the
上記のように、本発明のデータ記録装置により、DVDなどの読み取り対象となる記録メディア300に記録されている外国映画など映像キャプションを含む映像データを読み込み、当該映像データと映像キャプションに相当するキャプションテキストデータをSDカード(TM)やメモリースティック(TM)などの書き込み対象となる小型記録メディア400に記録される。記録メディア400にアクセスした携帯型端末において、映像データとともにテキストデータとしてのキャプションテキストデータが利用できる。
なお、図1の構成例にはバッファメモリなどは図示していないが、いずれかの処理において必要であればバッファメモリを用いても良い。
As described above, the data recording apparatus of the present invention reads video data including a video caption such as a foreign movie recorded on the
Although the buffer memory or the like is not shown in the configuration example of FIG. 1, a buffer memory may be used if necessary in any processing.
次に、本発明の第1のデータ表示装置について説明する。
第1のデータ表示装置200は、上記の小型記録メディア400などの記録メディアまたはネットワークメディアから映像データ、キャプションテキストデータ、それらの対応情報を読み込み、映像データをディスプレイの第1の表示エリアに表示し、キャプションをディスプレイの第2の表示エリアに表示する装置である。なお、キャプションの表示にあたり、キャプションテキストデータを利用する。
なお、第1のデータ表示装置200は小型の携帯型端末を想定しており、ここでは、例えば、多機能型の携帯電話とする。
図4および図5は、本発明の実施例1にかかる第1のデータ表示装置200の基本構成例を模式的に示す図である。
Next, the first data display device of the present invention will be described.
The first
Note that the first
4 and 5 are diagrams schematically illustrating a basic configuration example of the first
図4の例において、映像データ入力部210は、小型記録メディア400に対応している読み取り装置を備え、小型記録メディア400に対応する物理インタフェースおよび論理インタフェースを持っている。映像データ入力部210は読み取り対象となる小型記録メディア400から映像データ、キャプションテキストデータ、対応情報を次々と読み取り、映像データを映像表示処理部220に、キャプションテキストデータと対応情報をキャプション表示処理部230に渡して行く。
読み取り対象となる小型記録メディア400は、本発明の第1のデータ記録装置100により映像データ、キャプションテキストデータ、対応情報が書き込まれた小型記録メディアである。
In the example of FIG. 4, the video
The
なお、図5の例では、映像データ入力部210は、地上波デジタル放送やインターネットなどのネットワークメディアにアクセスする機能を備え、ネットワークメディアとの通信インタフェースを持っている。ネットワークメディア310は、映像データ、キャプションテキストデータ、両者の対応情報が格納されたリソースを備えている。これらデータはサービス提供業者が用意して利用者に提供する。提供形態は有償、無償など多様な形態があり得る。
映像データ入力部210はネットワークメディア310から映像データ、キャプションテキストデータ、両者の対応情報を次々と読み取り、映像データを映像表示処理部220に、キャプションテキストデータと対応情報をキャプション表示処理部230に渡して行く。なお、映像データ入力部10はチューニング機能を備え、チャンネル選択などができることが好ましい。
In the example of FIG. 5, the video
The video
映像表示処理部220は、映像データ入力部210から渡された映像データを受け取り、表示制御部240の表示制御に従い、フレームメモリ250の第1の領域251に映像データを展開する部分である。
キャプション表示処理部230は、映像データ入力部210から渡されたキャプションテキストデータと対応情報を受け取り、対応情報を参照して、フレームメモリ250の第1の領域251に展開されている映像データに対応するキャプションテキストデータを選択し、表示制御部240の表示制御に従い、選択したキャプションテキストデータをフレームメモリ250の第2の領域252に展開する部分である。キャプションテキストデータのフレームメモリ250の第2の領域252への展開にあたり、当該第2の領域252の大きさ(ディスプレイ260の第2の表示エリアの大きさ)に合わせてキャプションが拡大表示できるように縦横倍率を調整して展開する。
The video
The caption
表示制御部240は、フレームメモリ250を備え、ディスプレイ260の表示エリアを少なくとも第1の表示エリア261と第2の表示エリア262の2つの表示エリアに分割し、各表示エリアに対応するフレームメモリ250の第1の領域251と第2の領域252へのデータ書き込みを制御して各表示エリアにおける表示を制御する部分である。つまり、フレームメモリ250の第1の領域251に書き込まれたデータがディスプレイ260の第1の表示エリア261に表示され、フレームメモリ250の第2の領域252に書き込まれたデータがディスプレイ260の第2の表示エリア262に表示されることとなる。このようにフレームメモリへの書き込み領域を制御することによりディスプレイ260の表示画面を分割制御する。
ディスプレイ260の種類は特に限定されない。液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、CRTなど多様なものがある。ここでは、多機能型の携帯電話に多く採用されている小型の液晶ディスプレイとする。
The
The type of
上記のように、映像表示処理部220とキャプション表示処理部230と表示制御部240の制御により、映像データがフレームメモリ250の第1の領域251に、キャプションテキストデータがフレームメモリ250の第2の領域252に、別々に分けて書き込まれるため、ディスプレイ260の第1の表示エリア261において映像が表示され、ディスプレイ260の第2の表示エリア262においてキャプションが表示される。
ここで、キャプションを表示するフレームメモリ250の第2の領域252の大きさを調整し、ディスプレイの第2の表示エリア262の大きさを適度な大きさに制御することにより、表示されるキャプションの大きさを読みやすい程度に大きくすることができる。
As described above, the video data is stored in the
Here, by adjusting the size of the
図6は、キャプションが第2の表示エリア262の大きさに合わせて大きく表示される様子を模式的に示す図である。図6(a)は読み取り対象となる記録メディア300に記録されている映像データをそのまま再生した場合の表示画面の様子である。映像フレーム中の映像キャプションはそのまま映像として写り込んでいる。
なお、この例ではディスプレイはほぼ正方形であり、映像フレームはその縦横比から縦方向には短いため、この例では縦方向に余っているエリアがある。
図6(a)の表示画面が携帯電話などの小型ディスプレイに表示された場合、映像キャプションの絶対的大きさが小さ過ぎて読み取るのは難しい場合がある。
図6(b)は本発明のデータ表示装置200によりキャプションを第2の表示エリア262に表示した場合の表示画面の様子である。第1の表示エリア261の映像フレーム中の映像キャプションは図6(a)の場合と同様、小さくて見難いが、第2の表示エリア262にはキャプションテキストデータを基に表示するキャプションが大きく表示され、読み取りやすいものとなっている。
このように、本発明のデータ表示装置200を用いれば、携帯電話のように小型ディスプレイを搭載した携帯型端末であっても利用者が容易にキャプションを読み取ることができる。
FIG. 6 is a diagram schematically illustrating a state in which a caption is displayed in a large size in accordance with the size of the
In this example, the display is substantially square, and the video frame is short in the vertical direction due to its aspect ratio, so there is an area left in the vertical direction in this example.
When the display screen of FIG. 6A is displayed on a small display such as a mobile phone, it may be difficult to read because the absolute size of the video caption is too small.
FIG. 6B shows a state of a display screen when captions are displayed in the
Thus, by using the
なお、図7および図8は、本発明のデータ表示装置100である携帯電話の小型ディスプレイ260において、第1の表示エリア(映像表示面)と、第2の表示エリア(キャプション表示面)の様子の一例を示した図である。映像表示面は映像コンテンツによりその縦横比が決まっている。キャプション表示面は、小型ディスプレイ260上に映像表示面261を確保した後、余った領域に確保することが好ましい。図7は小型ディスプレイ260を縦置きにして映像表示面261を確保した場合のキャプション表示面の位置の一例を示す図で、図8は小型ディスプレイ260を横置きにして映像表示面261を確保した場合のキャプション表示面の位置の一例を示す図である。なお、図中、291は上部筐体、292は下部筐体、293はスピーカ、294はマイクロフォン、295はキー入力部、296はアンテナを示している。
7 and 8 show a state of the first display area (video display surface) and the second display area (caption display surface) in the
実施例2にかかる本発明の第2のデータ記録装置は、実施例1に示した第1のデータ記録装置の基本機能を備え、さらに、記録メディア300またはネットワークメディア310から読み取った映像データのデータフォーマットから他のデータフォーマットへ変換する変換処理も行なうものである。
図9は本発明の実施例2にかかる第2のデータ記録装置100aの基本構成例を模式的に示す図である。
映像データ入力部10、フレームメモリ制御部20、文字認識部30、書き込み部40は実施例1の図1に示したものと同様で良い。また、読み込み対象となる記録メディア300および書き込み対象となる記録メディア400も実施例1の図1に示したものと同様で良い。
また、図示しないが、実施例1の図2と同様、映像データ入力部10が通信インタフェースを備え、ネットワークメディア310にアクセスする機能を持ち、ネットワークメディア310から映像データをダウンロードするものであっても良い。
A second data recording apparatus according to the second embodiment of the present invention has the basic function of the first data recording apparatus shown in the first embodiment, and further, video data data read from the
FIG. 9 is a diagram schematically illustrating a basic configuration example of the second data recording apparatus 100a according to the second embodiment of the present invention.
The video
Although not shown, the video
図9において、データフォーマット変換部50は、フレームメモリ21に展開された映像データを所望のデータフォーマットに変換しつつ映像データストリームを生成する部分である。生成された映像データストリームは書き込み部40に渡される。例えば、DVDなどの第1の記録メディア300にはMPEG2のデータフォーマットにより記録され、SDカード(TM)やメモリースティック(TM)などの第2の記録メディア400にMPEG4またはH.264などのデータフォーマットで記録する場合、データフォーマット変換部50は映像データのデータフォーマットをMPEG2からMPEG4またはH.264などに変換する。
In FIG. 9, the data
本発明の第2のデータ記録装置100aの処理の流れは以下のようになる。
映像データ入力部10による記録メディア300からの映像データの読み取り処理、フレームメモリ制御部20によるフレームメモリ21への映像データの書き込み処理に続き、データフォーマット変換部50によるデータフォーマット変換処理までを映像フレームごとに行なう。例えば、データフォーマット変換部50によりMPEG2からH.264のデータフォーマットによるデータストリームに変換される。
文字認識部30による文字認識処理は、実施例1と同様、映像フレームごとには行なわず、所定周期ごとに映像フレームをサンプリングして行なっても良い。
書き込み部40は、データフォーマット変換部50から渡されるデータフォーマット変換後の映像データストリームと、文字認識部30から渡されるキャプションテキストデータと対応情報とを、記録メディア400に書き込む映像データ書き込み処理を行なう。書き込み部40は記録メディア400用の書き込みドライブを備え、記録メディア400に対応する物理フォーマット、論理フォーマットで映像データを記録メディア400に書き込む。
The flow of processing of the second data recording apparatus 100a of the present invention is as follows.
Following the video data reading process from the
The character recognition processing by the
The
なお、データ表示装置としては、実施例1に示したものを用いることができる。本発明の第2のデータ記録装置100aにより映像データが書き込まれた記録メディア400をデータ表示装置200により再生することができ、図4のように映像が第1の表示エリア261に表示され、キャプションが第2の表示エリア262に表示される。
上記に示した通り、本発明の第2のデータ記録装置によれば、映像データのデータフォーマットを変換しつつ、キャプションテキストデータと対応情報を併せて記録メディアに書き込むことができ、データ表示装置においてキャプションテキストデータを利用することができる。
In addition, as a data display apparatus, what was shown in Example 1 can be used. The
As described above, according to the second data recording apparatus of the present invention, the caption text data and the corresponding information can be written together on the recording medium while converting the data format of the video data. Caption text data can be used.
本発明の実施例3にかかるデータ記録装置およびデータ表示装置の例を示す。
実施例3のデータ記録装置100bは、実施例1または実施例2に示したデータ記録装置100または100aと同様、映像キャプションの文字認識によるキャプションテキストデータの生成処理を実行するが、実施例3のデータ記録装置100bは、映像中に残存している映像キャプションを消去する機能も備えたものである。実施例1または実施例2で示したように、利用者が読むキャプション自体はキャプションテキストデータを基に第2の表示エリアにおいて大きく表示されるため、映像中に残存している映像キャプションは無駄となり、却って映像を毀損するノイズとなっており、それらは消去することが好ましいからである。
以下の構成例は、実施例2に示したデータフォーマット変換部50を備えた構成例として説明するが、実施例1に示したようにデータフォーマット変換部50を備えていない構成も可能である。
7 shows an example of a data recording device and a data display device according to Example 3 of the present invention.
The
The following configuration example will be described as a configuration example including the data
図10は本発明の実施例3にかかるデータ記録装置の基本構成例を模式的に示す図である。
図10の構成例において、映像データ入力部10、フレームメモリ制御部20、フレームメモリ21、文字認識部30、文字パターンDB31、データフォーマット変換部50、書き込み部40の各構成要素については、図9に示したものと同様で良い。また、読み込み対象となる記録メディア300および書き込み対象となる記録メディア400も図9に示したものと同様で良い。
また、図示しないが、実施例1の図2と同様、映像データ入力部10が通信インタフェースを備え、ネットワークメディア310にアクセスする機能を持ち、ネットワークメディア310から映像データをダウンロードするものであっても良い。
FIG. 10 is a diagram schematically illustrating a basic configuration example of a data recording apparatus according to the third embodiment of the present invention.
In the configuration example of FIG. 10, the constituent elements of the video
Although not shown, the video
図10において、映像キャプション消去部60は、フレームメモリ21に展開された映像データにおいて映像キャプションを探索し、映像キャプションを映像中から消去する部分である。
なお、映像キャプションの探索処理については、映像キャプション消去部60が自ら行なっても良いし、文字認識部30が文字認識処理の過程の探索処理において得ている映像キャプション領域情報の通知を受けても良い。後者の場合、図10には図示しないが文字認識部30から映像キャプション消去部60に対して映像キャプション領域情報の通知が行なわれる。
映像中に写り込んでいる映像キャプションの消去処理とは、映像キャプションの文字輪郭の内側の画素を0値とする意味ではなく、理想的には映像キャプションが映像中に書き込まれる前の原映像に戻すことを意味する。映像キャプション消去部60が原映像データを外部から入手することができれば当該原映像データを映像キャプション消去後の映像データとして用いれば良い。映像キャプション消去部60が、映像キャプションが映像として写り込んでいる映像データしか利用できない場合は、当該映像データを処理して映像キャプションを消去しなければならないが、映像キャプションで覆われた部分の元の映像が分からないので、映像キャプションの周囲の映像から映像キャプションで覆われた部分の元の映像を推定するしかない。
In FIG. 10, the video
It should be noted that the video caption search process may be performed by the video
Deletion processing of video captions reflected in the video does not mean that the pixels inside the character outline of the video caption are zero values, but ideally the original caption before the video caption is written in the video. It means returning. If the video
そこで、本実施例3のデータ記録装置100bでは以下の擬似消去処理を行なう。映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、映像キャプションが書かれていた部分を周囲の映像部分とシームレスにつなげて目立たないものとすることにより擬似的に消去する。もともと映像キャプションを構成する文字は細い線分より構成されているので、このような擬似消去処理でも十分な効果が得られる。
ここで、対向し合う文字輪郭エッジを選択する方法は特に限定されないが、処理時間の短縮も考慮し、例えば、水平方向にスキャンして対向し合う文字輪郭エッジを順次選択する方式、垂直方向にスキャンして対向し合う文字輪郭エッジを順次選択する方式などを採用することができる。
Therefore, the following pseudo erasure process is performed in the
Here, the method for selecting the opposing character contour edges is not particularly limited. However, in consideration of shortening the processing time, for example, a method of scanning in the horizontal direction and sequentially selecting the opposing character contour edges, in the vertical direction. For example, a method of sequentially selecting character outline edges that are opposite to each other by scanning can be employed.
なお、バッファメモリなどを用いずにフレームメモリに展開された映像データのみに基づいて文字認識処理と映像キャプション消去処理とデータフォーマット変換処理を行なう場合、映像キャプション消去部60の映像キャプション消去処理を文字認識部30による文字認識処理後でデータフォーマット変換部50によるデータフォーマット変換処理前に行なうことができる。文字認識部30または映像キャプション消去部60が図示しないバッファメモリを備えて用いる場合、フレームメモリ21から当該バッファメモリに転送した映像データに基づいて文字認識処理または映像キャプション消去処理を行なうことができ、文字認識処理と映像キャプション消去処理を並行処理することができる。
When character recognition processing, video caption erasure processing, and data format conversion processing are performed based only on video data developed in the frame memory without using a buffer memory or the like, the video caption erasure processing of the video
データ表示装置としては、実施例1に示したものを用いることができる。本発明の第2のデータ記録装置100bにより映像データが書き込まれた記録メディア400をデータ表示装置200により再生することができる。
図11は映像キャプション消去部60による映像キャプション消去処理の効果を示す図である。図11(b)と図6(b)を比較すると分かるように、データ表示装置200のディスプレイ260の表示画面の第1の表示エリア261に表示される映像において映像キャプションが擬似的に消去されている。キャプションはキャプションテキストデータに基づいて第2の表示エリア262に大きく表示される。
As the data display device, the one shown in
FIG. 11 is a diagram showing the effect of the image caption erasure process by the image
本発明の実施例4にかかるデータ表示装置の例を示す。
実施例4のデータ表示装置は、映像キャプションが写り込んでいる映像コンテンツの映像データを取り込み、自ら映像キャプションの文字認識によるキャプションテキストデータの生成処理を実行し、映像をディスプレイの第1の表示エリアに、キャプションを第2の表示エリアに表示する装置である。データ表示装置200aは小型の携帯型端末を想定しており、ここでは、例えば、多機能型の携帯電話とする。
The example of the data display apparatus concerning Example 4 of this invention is shown.
The data display apparatus according to the fourth embodiment takes in video data of video content in which video captions are captured, executes caption text data generation processing by character recognition of video captions, and displays the video in the first display area of the display. In addition, the device displays the caption in the second display area. The
図12および図13は本発明の実施例4にかかるデータ表示装置200aの基本構成例を模式的に示す図である。
図12において、記録メディア500は特に限定されないが、携帯型の小型記録メディアが想定される。例えば、メモリースティック(TM)、コンパクトフラッシュカード(TM)、スマートメディアカード(TM)、SDカード(TM)などの携帯型小型記録メディアが想定される。この記録メディア500には外国映画など映像キャプションが書き込まれている状態の映像データが記録されているものとする。この例では映像データは小型記録メディア500に適した物理フォーマット、論理フォーマット(例えばMPEG4やH.264)で記録されているものとする。
12 and 13 are diagrams schematically illustrating a basic configuration example of a
In FIG. 12, the
実施例4のデータ表示装置200aは、映像データ入力装置として、映像データ入力部210を備えている。映像データ入力部210は、記録メディア500に対応している読み取り装置である。記録メディア500に対応する物理インタフェースおよび論理インタフェースを備えている。映像データ入力部210は記録メディア500から映像データを読み取り、映像表示処理部220に渡す。
また、図13の例では、映像データ入力部210は、地上波デジタル放送や衛星放送を受信する機能やインターネットなどのネットワークメディア310にアクセスする機能を備え、ネットワークメディア310との通信インタフェースを持っている。映像データ入力部210はネットワークメディア310から映像データを次々とダウンロードして取り込み、フレームメモリ制御部20に渡して行く。なお、映像データ入力部10はチューニング機能を備え、チャンネル選択などができることが好ましい。このネットワークメディア310の接続先には外国映画など映像キャプションが書き込まれている状態の映像データが格納されており、当該映像データをダウンロードできるものとする。
例えば、利用者は映像データ入力部210のユーザインタフェースを介して地上波デジタル放送の受信したいチャンネルに合わせ、受信先システムのアプリケーションを介して映画やテレビ番組などの映像コンテンツの映像データを取り込む。また、例えば、無線や有線によりインターネットに接続し、インターネット経由のネットワーク通信により接続先先システムのアプリケーションを介して映画やテレビ番組などの映像コンテンツの映像データを取り込む。なお、取り込まれる映像データはMPEG4やH.264などのデータフォーマットのものとする。
The
In the example of FIG. 13, the video
For example, the user captures video data of video content such as a movie or a TV program via the application of the receiving system in accordance with a channel desired to receive terrestrial digital broadcast via the user interface of the video
映像表示処理部220は、実施例1のものと同様、映像データ入力部210から渡された映像データを受け取り、表示制御部240の表示制御に従い、フレームメモリ250の第1の領域251に映像データを展開する。
データ表示装置200aが備える表示制御部240、フレームメモリ250、フレームメモリの第1の領域251、第2の領域252、ディスプレイ260、ディスプレイの第1の表示エリア261、第2の表示エリア262は、実施例1で説明したものと同様で良い。実施例1の場合と同様、表示制御部240がフレームメモリ250への書き込み領域を制御することによりディスプレイ260の表示画面を分割制御する。また、実施例1と同様、キャプションを表示するフレームメモリ250の第2の領域252の容量を調整し、ディスプレイの第2の表示エリアの大きさを適度な大きさに制御することにより、表示されるキャプションの大きさを読みやすい程度に大きくすることができる。
Similar to the first embodiment, the video
The
実施例4のデータ表示装置200aは文字認識部30を備えている。文字認識部30は実施例1のものと同様のもので良い。文字認識部30によりフレームメモリの第1の領域251に展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータを生成する。文字認識部30は生成したキャプションテキストデータをキャプション表示処理部230に渡す。
なお、図12および図13の構成例では、文字認識部30はフレームメモリの第1の領域251から映像データを読み込む形となっているが、映像表示処理部220から映像データを受け取る構成としても良い。
The
12 and 13, the
上記の映像表示処理部220および表示制御部240によるフレームメモリ251への映像データの書き込み処理を映像フレームごとに行なうが、文字認識部30による文字認識処理については映像フレームごとには行なわず、所定周期ごとに映像フレームをサンプリングして行なう。映像キャプションは人が目で読み取るという性質上、一定の時間は必要であり、長短はあるものの複数のフレームにわたり同じ映像キャプションが付されていることとなる。そのため、すべてのフレームについて文字認識処理を行なうことはリソースの浪費となる場合がある。ここでは特に、データ表示装置200aは携帯電話などの小型の携帯端末が想定され、リソースの節約は重要である。そこで、映像キャプションが2回以上切り替わる恐れのない間隔(例えば、1秒間隔や2秒間隔)でサンプリングしたフレームについて文字認識処理を行なえば良い。
The video
キャプション表示処理部230は、実施例1のものと同様で良いが、ここでは文字認識部30からキャプションテキストデータを受け取り、表示制御部240の表示制御に従い、キャプションテキストデータをフレームメモリ250の第2の領域252に展開する。キャプションテキストデータのフレームメモリ250の第2の領域252への展開にあたり、当該第2の領域252の容量(ディスプレイ260の第2の表示エリアの大きさ)に合わせてキャプションテキストデータが表示できるように文字ポイント数を調整して展開する。
The caption
上記のように、映像表示処理部220とキャプション表示処理部230と表示制御部240の制御により、映像データがフレームメモリ250の第1の領域251に、キャプションテキストデータがフレームメモリ250の第2の領域252に、別々に分けて書き込まれるため、ディスプレイ260の第1の表示エリア261において映像が表示され、ディスプレイ260の第2の表示エリア262においてキャプションが表示される。ここで、表示されるキャプションは第2の表示エリア262の大きさに合わせて大きく表示されるのでキャプションが読みやすくなる。
データ表示装置200aのディスプレイ260に表示される映像およびキャプションは図6(b)に示すものと同様のものとなる。
As described above, the video data is stored in the
The video and caption displayed on the
本発明の実施例5にかかるデータ表示装置の例を示す。
実施例5のデータ表示装置は、実施例4に示したデータ表示装置と同様、映像キャプションが写り込んでいる映像コンテンツの映像データを取り込み、自ら映像キャプションの文字認識によるキャプションテキストデータの生成処理を実行し、映像をディスプレイの第1の表示エリアに、キャプションを第2の表示エリアに表示する装置であるが、実施例5のデータ表示装置は、映像中に残存している映像キャプションを消去する機能も備えたものである。実施例5のデータ表示装置も小型の携帯型端末を想定しており、ここでは、例えば、多機能型の携帯電話とする。
The example of the data display apparatus concerning Example 5 of this invention is shown.
Similar to the data display device shown in the fourth embodiment, the data display device of the fifth embodiment takes in video data of video content in which the video caption is reflected, and performs processing for generating caption text data by character recognition of the video caption itself. This is a device that executes and displays video in the first display area of the display and captions in the second display area, but the data display device of Example 5 erases the video caption remaining in the video. It also has functions. The data display device of the fifth embodiment is also assumed to be a small portable terminal, and here, for example, a multi-function mobile phone is used.
図14および図15は本発明の実施例5にかかるデータ表示装置200bの基本構成例を模式的に示す図である。
図14の構成例において、映像データ入力部210、映像表示処理部220、キャプション表示処理部230、文字認識部30、表示制御部240、フレームメモリ250、ディスプレイ260の各構成要素については、実施例4の図12に示したものと同様で良い。なお、図14の構成例では、文字認識部30はフレームメモリの第1の領域251から映像データを読み込む形となっているが、映像表示処理部220から映像データを受け取る構成としても良い。
また、図15に示すように、実施例4の図13と同様、映像データ入力部210が通信インタフェースを備え、ネットワークメディア310にアクセスする機能を持ち、ネットワークメディア310から映像データをダウンロードするものであっても良い。
14 and 15 are diagrams schematically illustrating a basic configuration example of a
In the configuration example of FIG. 14, each component of the video
As shown in FIG. 15, as in FIG. 13 of the fourth embodiment, the video
映像キャプション消去部60は、フレームメモリ250の第1の領域251に展開された映像データにおいて映像キャプションを探索し、映像キャプションを映像中から消去する部分である。
なお、映像キャプションの探索処理については、映像キャプション消去部60が自ら行なっても良いし、文字認識部30が文字認識処理の過程の探索処理において得ている映像キャプション領域情報の通知を受けても良い。後者の場合、図14には図示しないが文字認識部30から映像キャプション消去部60に対して映像キャプション領域情報の通知が行なわれる。
映像中に写り込んでいる映像キャプションの消去処理とは、実施例3で説明したように、理想的には映像キャプションが映像中に書き込まれる前の原映像に戻すことを意味するが、この例では映像キャプションの周囲の映像から映像キャプションで覆われた部分の元の映像を推定し、擬似消去処理を行なうものとする。
The video
It should be noted that the video caption search process may be performed by the video
As described in the third embodiment, the erasing process of the video caption reflected in the video ideally means that the video caption is restored to the original video before being written in the video. Then, it is assumed that the original video of the portion covered with the video caption is estimated from the video around the video caption and the pseudo-erasure process is performed.
なお、バッファメモリなどを用いずにフレームメモリに展開された映像データのみに基づいて文字認識処理と映像キャプション消去処理を行なう場合は、映像キャプション消去部60の映像キャプション消去処理は、文字認識部30による文字認識処理後に行なう必要がある。文字認識部30または映像キャプション消去部60が図示しないバッファメモリを備えて用いる場合、フレームメモリ250から当該バッファメモリに転送した映像データに基づいて文字認識処理または映像キャプション消去処理を行なうことができ、文字認識処理と映像キャプション消去処理を並行処理することができる。
データ表示装置200bのディスプレイ260に表示される映像およびキャプションは図11(b)に示すものと同様のものとなり、ディスプレイ260の表示画面の第1の表示エリア261に表示される映像において映像キャプションが擬似的に消去されている。
When character recognition processing and video caption erasure processing are performed based only on video data developed in the frame memory without using a buffer memory or the like, the video caption erasure processing of the video
The video and caption displayed on the
本発明の実施例6にかかるデータ表示装置の例を示す。
実施例6のデータ表示装置は、映像キャプションが写り込んでいる映像コンテンツの映像データを取り込み、映像キャプション部分を第2の表示エリア262の大きさに合わせた縦横倍率で拡大し、映像をディスプレイの第1の表示エリアに、拡大した映像キャプションを第2の表示エリアに表示する装置である。キャプションテキストデータの生成は行なわず、映像キャプションは映像として拡大する。実施例1から実施例5のいずれかに記載のデータ表示装置とは異なり、映像キャプションの文字認識処理を行なわないので処理負荷が小さく、少ないリソースで高速処理ができる。
実施例6のデータ表示装置も小型の携帯型端末を想定しており、ここでは、例えば、多機能型の携帯電話とする。
The example of the data display apparatus concerning Example 6 of this invention is shown.
The data display device according to the sixth embodiment captures video data of video content in which video captions are captured, expands the video caption portion at a vertical / horizontal magnification that matches the size of the
The data display device of the sixth embodiment is also assumed to be a small portable terminal, and here, for example, a multi-function mobile phone is used.
図16または図17は本発明の実施例6にかかるデータ表示装置200cの基本構成例を模式的に示す図である。
図16の構成例において、映像データ入力部210、映像表示処理部220、表示制御部240、フレームメモリ250、ディスプレイ260、映像キャプション消去部60の各構成要素については、実施例5の図14に示したものと同様で良い。
また、図17に示すように、実施例5の図15と同様、映像データ入力部210が通信インタフェースを備え、ネットワークメディア310にアクセスする機能を持ち、ネットワークメディア310から映像データをダウンロードするものであっても良い。
FIG. 16 or FIG. 17 is a diagram schematically illustrating a basic configuration example of a
In the configuration example of FIG. 16, the constituent elements of the video
As shown in FIG. 17, as in FIG. 15 of the fifth embodiment, the video
キャプション表示処理部230aは、フレームメモリの第1の領域251に展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、映像データ中の映像キャプション領域を認識し、表示制御部240の表示制御に従い、映像キャプション領域の映像データを第2の表示エリア262の大きさに合わせた縦横倍率で拡大しつつフレームメモリの第2の領域252に複製展開する部分である。
The caption
図18はキャプション表示処理部230aによる映像キャプションの拡大処理の概念を模式的に示す図である。
図18(a)は記録メディア500に記録された映像データまたはネットワークメディア310からダウンロードした映像データをそのまま表示した場合の映像である。映像表示処理部220によりこの映像データがフレームメモリ250の第1の領域251に展開されている。映像中、最下部に映像キャプションが書き込まれている。
まず、キャプション表示処理部230aは、フレームメモリの第1の領域251上に展開されている映像中、映像キャプションの図形パターンが含まれている映像キャプション領域を探索する。なお、当該探索について学習機能を有することが好ましい。映像キャプションは映像面の下縁部分など一定の個所に書き込まれていることが通例であり、学習効果が高く得られ、映像面全面を毎回探索する必要性はないからである。
FIG. 18 is a diagram schematically showing the concept of video caption enlargement processing by the caption
FIG. 18A shows an image when the image data recorded on the
First, the caption
次に、キャプション表示処理部230aは、映像キャプション領域の映像データを、表示制御部240の表示制御に従い、フレームメモリの第2の領域252に複製展開するが、この際に、映像キャプション領域の映像データを第2の表示エリアの大きさに合わせて縦方向、横方向に拡大して複製展開する。例えば、第2の表示エリア262の縦方向のドット数がA0、横方向のドット数がB0とする。これらのドット数は一定となる。記録メディアから読み込んだ映像フレーム中の映像キャプション領域のドット数は映像フレームごとに異なるが、或る映像フレームの縦方向のドット数がA1、横方向のドット数がB1である場合、縦方向の拡大率はA0/A1となり、横方向の拡大率はB0/B1となる。映像キャプション領域の映像をこの縦横拡大率で拡大しつつフレームメモリの第2の領域252に複製展開することにより、映像キャプションをディスプレイの第2の表示エリア262の大きさに合わせた拡大表示を行なう。
図18(b)に映像キャプションが第2の表示エリアに拡大表示された様子を示す。映像として拡大しているので背景の映像も拡大された形で表示されている。なお、この構成例では、データ表示装置200cは映像キャプション消去部60を備えており、ディスプレイの第1の表示エリアには映像キャプションが消去された映像が表示されている。
Next, the caption
FIG. 18B shows a state in which the video caption is enlarged and displayed in the second display area. Since the image is enlarged, the background image is also displayed in an enlarged form. In this configuration example, the
なお、キャプション表示処理部230aはフレームメモリの第1の領域251から映像フレームごとに取り込んで映像キャプションの拡大処理を行なっても良く、映像フレームごとには行なわず、所定周期ごとに映像フレームをサンプリングして行なっても良い。実施例1で説明したように、映像キャプションは人が目で読み取るという性質上、長短はあるものの複数のフレームにわたり同じ映像キャプションが付されていることとなる。そのため、すべてのフレームについて拡大処理を行なって第2の領域252に書き込み処理を行なうことはリソースの浪費となる場合がある。そこで、映像キャプションが2回以上切り替わる恐れのない間隔(例えば、1秒間隔や2秒間隔)でサンプリングしたフレームについて拡大処理および書き込み処理を行なえば良い。
また、上記説明では、キャプション表示処理部230aはフレームメモリの第1の領域251から映像データを読み込む形となっているが、映像表示処理部220から映像データを受け取る構成としても良い。
Note that the caption
In the above description, the caption
なお、上記実施例の説明においては、キャプションテキストデータを基にディスプレイの第2の表示エリアに表示されるキャプションが常に表示されているが、利用者の選択により、ディスプレイの第2の表示エリアへのキャプションの表示/非表示の選択が可能とすることができる。表示/非表示の選択情報を図示しないユーザインタフェースを介してキャプション表示処理部230に与え、キャプション表示処理部230がフレームメモリの第2の領域252への書き込みを制御すれば良い。
また、キャプションテキストデータを基にディスプレイの第2の表示エリアに表示されるキャプションの大きさの指定や調整、字体の指定や調整、色の指定や調整を可能とすることができる。映像に書き込まれた映像キャプションではなく、キャプションテキストデータを基に表示するのでキャプション表示処理部230によりこれらの調整を行なった上、フレームメモリの第2の領域252に書き込めば良い。
In the description of the above embodiment, the caption displayed in the second display area of the display is always displayed based on the caption text data. However, the user can select the second display area. It is possible to select whether or not to display captions. Display / non-display selection information may be given to the caption
Also, it is possible to specify and adjust the size of the caption displayed in the second display area of the display based on the caption text data, to specify and adjust the font, and to specify and adjust the color. Since the display is based on the caption text data, not the video caption written in the video, the adjustment may be made by the caption
本発明のデータ記録装置は、ある記録メディアの映像データを読み出して別の記録メディアに書き込む用途で用いるAV機器などに適用することができる。例えば、DVD用ドライブと、メモリースティック(TM)やSDカード(TM)などの小型記録メディア用ドライブの2つのドライブを備え、DVDなどの大型記録メディアに記録されている映像データを、小型記録メディアに記録するDVDプレーヤーなどに適用できる。
また、本発明のデータ記録装置は、受信機能を備え、ネットワークメディアから映像データをダウンロードして記録メディアに書き込む用途で用いるAV機器などに適用することができる。例えば、地上波デジタル放送や衛星放送やインターネットなどの受信機能と、受信した映像データを内蔵ハードディスクなどに一時的に録画する録画機能と、録画した映像データを小型記録メディアにアップダビングする機能を備えたAV機器などに適用できる。
本発明のデータ表示装置は、小型記録メディア用ドライブと小型ディスプレイを備えた携帯型端末などに適用することができる。例えば、メモリースティック(TM)やSDカード(TM)などの小型記録メディア用ドライブを備えた液晶ディスプレイ付き携帯電話などへ適用できる。小型記録メディアに記録された外国映画など映像キャプションが書き込まれている映像データを読み込んで、小型ディスプレイに再生表示する携帯電話などに適用することができる。
また、本発明のデータ表示装置は、受信機能を備えてネットワークメディアから映像データをダウンロードし、小型ディスプレイに表示する機能を備えた携帯型端末などに適用することができる。例えば、地上波デジタル放送や衛星放送やインターネットなどの受信機能と、外国映画など映像キャプションが書き込まれている映像データを読み込んで小型ディスプレイに再生表示する機能を備えた携帯電話などに適用することができる。
The data recording apparatus of the present invention can be applied to AV equipment used for the purpose of reading video data from one recording medium and writing it to another recording medium. For example, a DVD drive and a drive for a small recording medium such as a memory stick (TM) or an SD card (TM) are provided, and video data recorded on a large recording medium such as a DVD is converted into a small recording medium. It can be applied to a DVD player for recording.
Further, the data recording apparatus of the present invention has a reception function and can be applied to AV equipment used for downloading video data from a network medium and writing it to the recording medium. For example, it has a reception function for terrestrial digital broadcasting, satellite broadcasting, the Internet, etc., a recording function for temporarily recording received video data on a built-in hard disk, etc., and a function for updubbing recorded video data to a small recording medium It can be applied to other AV equipment.
The data display device of the present invention can be applied to a portable terminal equipped with a small recording medium drive and a small display. For example, the present invention can be applied to a mobile phone with a liquid crystal display equipped with a drive for a small recording medium such as a memory stick (TM) or an SD card (TM). The present invention can be applied to a mobile phone or the like that reads video data in which video captions such as foreign movies recorded on a small recording medium are written and reproduced and displayed on a small display.
Further, the data display device of the present invention can be applied to a portable terminal or the like that has a function of downloading video data from a network medium with a receiving function and displaying it on a small display. For example, it can be applied to a mobile phone having a reception function such as terrestrial digital broadcasting, satellite broadcasting, and the Internet, and a function of reading video data in which video captions such as foreign movies are written and reproducing and displaying them on a small display. it can.
10 映像データ入力部
20 フレームメモリ制御部
21 フレームメモリ
30 文字認識部
31 文字パターンDB
40 データフォーマット変換部
50 書き込み部
60 映像キャプション消去部
100,100a,100b データ記録装置
200,200a,200b,200c データ表示装置
210 映像データ入力部
220 映像表示処理部
230,230a キャプション表示処理部
240 表示制御部
250 フレームメモリ
251 第1の領域
252 第2の領域
260 ディスプレイ
261 第1の表示エリア
262 第2の表示エリア
291 上部筐体
292 下部筐体
293 スピーカ
294 マイクロフォン
295 キー入力部
296 アンテナ
300 第1の記録メディア
400 第2の記録メディア
500 記録メディア
10 video
40 Data
Claims (7)
映像データを取り込む映像データ入力部と、
フレームメモリを備え、前記映像データ入力部から取り込んだ映像データを前記フレームメモリに展開するフレームメモリ制御部と、
前記フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータと、当該キャプションテキストデータと前記映像データとの対応情報とを生成する文字認識部と、
前記フレームメモリから前記映像データを受け、前記文字認識部から前記キャプションテキストデータと前記対応情報とを受け、それらを前記記録メディアに書き込む書き込み部を備えたデータ記録装置。 A data recording apparatus for capturing video data and recording it on a recording medium,
A video data input section for capturing video data;
A frame memory control unit for developing video data captured from the video data input unit in the frame memory;
The video caption written as video in the video data developed in the frame memory is analyzed as a figure, character recognition is performed, and caption text data and correspondence information between the caption text data and the video data are obtained. A character recognition unit to be generated;
A data recording apparatus comprising: a writing unit that receives the video data from the frame memory, receives the caption text data and the correspondence information from the character recognition unit, and writes them to the recording medium.
映像データを取り込む映像データ入力部と、
フレームメモリを備え、前記映像データ入力部から取り込んだ映像データを前記フレームメモリに展開するフレームメモリ制御部と、
前記フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータと、当該キャプションテキストデータと前記映像データとの対応情報とを生成する文字認識部と、
前記フレームメモリに展開された映像データを所望のデータフォーマットに変換するデータフォーマット変換部と、
前記データフォーマット変換部から前記データフォーマット変換後の映像データを受け、前記文字認識部から前記キャプションテキストデータと前記対応情報とを受け、それらを前記記録メディアに書き込む書き込み部を備えたデータ記録装置。 A data recording apparatus for capturing video data and recording it on a recording medium,
A video data input section for capturing video data;
A frame memory control unit for developing video data captured from the video data input unit in the frame memory;
The video caption written as video in the video data developed in the frame memory is analyzed as a figure, character recognition is performed, and caption text data and correspondence information between the caption text data and the video data are obtained. A character recognition unit to be generated;
A data format conversion unit for converting the video data expanded in the frame memory into a desired data format;
A data recording apparatus comprising a writing unit that receives video data after the data format conversion from the data format conversion unit, receives the caption text data and the correspondence information from the character recognition unit, and writes them to the recording medium.
映像データとキャプションテキストデータとそれらの対応情報を取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
フレームメモリを備え、前記ディスプレイの表示エリアを少なくとも第1の表示エリアと第2の表示エリアの2つの表示エリアに分割し、各表示エリアに対応するフレームメモリの第1の領域と第2の領域へのデータ書き込みを制御して各表示エリアにおける表示を制御する表示制御部と、
前記表示制御部の表示制御に従い、前記映像データ入力部から取り込んだ前記映像データを読み込んで前記フレームメモリの第1の領域に展開する映像表示処理部と、
前記表示制御部の表示制御に従い、前記映像データ入力部から取り込んだ前記キャプションテキストデータと前記対応情報を読み込んで、前記対応情報に基づいて前記フレームメモリの第1の領域に展開されている映像データに対応するキャプションテキストデータを選択して前記フレームメモリの第2の領域に展開するキャプション表示処理部とを備え、
前記ディスプレイの第1の表示エリアにおいて前記映像が表示され、前記ディスプレイの第2の表示エリアにおいて前記キャプションが表示されるデータ表示装置。 A data display device for displaying video content,
A video data input section that captures video data, caption text data, and corresponding information;
A display for displaying video content;
A frame memory, wherein the display area of the display is divided into at least two display areas of a first display area and a second display area, and a first area and a second area of the frame memory corresponding to each display area A display control unit that controls data writing to the display area and controls display in each display area;
In accordance with display control of the display control unit, a video display processing unit that reads the video data captured from the video data input unit and develops the video data in a first area of the frame memory;
In accordance with display control of the display control unit, the caption text data captured from the video data input unit and the correspondence information are read, and the video data developed in the first area of the frame memory based on the correspondence information A caption display processing unit that selects caption text data corresponding to and expands it in the second area of the frame memory,
A data display device in which the video is displayed in a first display area of the display and the caption is displayed in a second display area of the display.
映像データを取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
文字認識用フレームメモリと、映像表示用フレームメモリと、キャプション表示用フレームメモリと、
前記映像データ入力部から取り込んだ映像データストリームを、フレームごとに前記映像表示用フレームメモリに展開する機能と、所定周期でサンプリングして前記文字認識用フレームメモリに展開する機能とを備えた制御部と、
前記映像表示用フレームメモリに展開されたデータに基づいて前記ディスプレイの第1の表示エリアへの映像表示を制御する映像表示制御部と、
前記文字認識用フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析し、その文字認識を行なってキャプションテキストデータを生成する文字認識部と、
前記文字認識部が認識したキャプションテキストデータに基づいて前記ディスプレイの第2の表示エリアへのキャプションテキスト表示を制御するキャプション表示制御部とを備えたデータ表示装置。 A data display device that captures video data and displays video content,
A video data input section for capturing video data;
A display for displaying video content;
A character recognition frame memory, a video display frame memory, a caption display frame memory,
A control unit having a function of developing a video data stream captured from the video data input unit into the video display frame memory for each frame, and a function of sampling the video data stream at a predetermined cycle and developing the video data stream into the character recognition frame memory When,
A video display control unit for controlling video display on the first display area of the display based on the data developed in the video display frame memory;
A character recognition unit that analyzes a video caption written as a video in the video data developed in the character recognition frame memory as a figure, performs character recognition to generate caption text data, and
A data display device comprising: a caption display control unit that controls display of a caption text in a second display area of the display based on caption text data recognized by the character recognition unit.
前記ディスプレイの第1の表示エリアにおいて前記映像キャプションが消去された映像が表示され、前記ディスプレイの第2の表示エリアにおいて前記キャプションが表示される請求項5に記載のデータ表示装置。 A video caption erasing unit that fills the inside of a character outline of a video caption in video data expanded in the video display frame memory with gradation between pixels of opposing character outline edges, and erases the video caption;
The data display device according to claim 5, wherein an image from which the image caption is deleted is displayed in the first display area of the display, and the caption is displayed in the second display area of the display.
映像データを取り込む映像データ入力部と、
映像コンテンツを表示するディスプレイと、
映像表示用フレームメモリと、キャプション表示用フレームメモリと、
前記映像データ入力部から取り込んだ映像データストリームを、フレームごとに前記映像表示用フレームメモリに展開する機能を備えた制御部と、
前記映像表示用フレームメモリに展開されたデータに基づいて前記ディスプレイの第1の表示エリアへの映像表示を制御する映像表示制御部と、
前記映像表示用フレームメモリに展開された映像データ中に映像として書き込まれている映像キャプションを図形として解析して前記映像データ中の映像キャプション領域を認識し、前記映像キャプション領域の映像データを前記ディスプレイの第2の表示エリアの大きさに合わせた縦横倍率で拡大しつつ前記キャプション表示用フレームメモリに複製展開するキャプション表示制御部と、
前記映像表示用フレームメモリに展開された映像データ中の映像キャプションの文字輪郭の内側を、対向し合う文字輪郭エッジの画素間のグラデーションにより埋め、前記映像キャプションを消去する映像キャプション消去部を備え、
前記ディスプレイの第1の表示エリアにおいて前記映像キャプションが消去された映像が表示され、前記ディスプレイの第2の表示エリアにおいて前記縦横倍率で拡大されたキャプションが表示されるデータ表示装置。
A data display device that captures video data and displays video content,
A video data input section for capturing video data;
A display for displaying video content;
A frame memory for video display, a frame memory for caption display,
A control unit having a function of expanding the video data stream captured from the video data input unit into the video display frame memory for each frame;
A video display control unit for controlling video display on the first display area of the display based on the data developed in the video display frame memory;
The video caption written as video in the video data expanded in the video display frame memory is analyzed as a figure to recognize the video caption area in the video data, and the video data in the video caption area is displayed on the display A caption display control unit that replicates and expands in the caption display frame memory while expanding at a vertical and horizontal magnification according to the size of the second display area;
A video caption erasing unit that fills the inside of a character outline of a video caption in video data expanded in the video display frame memory with gradation between pixels of opposing character outline edges, and erases the video caption;
A data display device in which an image from which the image caption has been erased is displayed in the first display area of the display, and the caption enlarged at the aspect ratio is displayed in the second display area of the display.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003353850A JP2005123726A (en) | 2003-10-14 | 2003-10-14 | Data recording device and data display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003353850A JP2005123726A (en) | 2003-10-14 | 2003-10-14 | Data recording device and data display device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005123726A true JP2005123726A (en) | 2005-05-12 |
Family
ID=34612021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003353850A Pending JP2005123726A (en) | 2003-10-14 | 2003-10-14 | Data recording device and data display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005123726A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009057563A1 (en) * | 2007-11-02 | 2009-05-07 | Sony Corporation | Information providing device and informationproviding method |
WO2010055560A1 (en) * | 2008-11-12 | 2010-05-20 | 富士通株式会社 | Telop movement processing device, method and program |
-
2003
- 2003-10-14 JP JP2003353850A patent/JP2005123726A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009057563A1 (en) * | 2007-11-02 | 2009-05-07 | Sony Corporation | Information providing device and informationproviding method |
JP2009117987A (en) * | 2007-11-02 | 2009-05-28 | Sony Corp | Information presentation device and information presentation method |
WO2010055560A1 (en) * | 2008-11-12 | 2010-05-20 | 富士通株式会社 | Telop movement processing device, method and program |
CN102210162A (en) * | 2008-11-12 | 2011-10-05 | 富士通株式会社 | Telop movement processing device, method and program |
JP5267568B2 (en) * | 2008-11-12 | 2013-08-21 | 富士通株式会社 | Telop movement processing apparatus, method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6683649B1 (en) | Method and apparatus for creating a multimedia presentation from heterogeneous media objects in a digital imaging device | |
US6738075B1 (en) | Method and apparatus for creating an interactive slide show in a digital imaging device | |
US7337403B2 (en) | Method and apparatus for editing heterogeneous media objects in a digital imaging device | |
CN100556112C (en) | Data managing method | |
US7855724B2 (en) | Transitioning between two high resolution images in a slideshow | |
CN100450166C (en) | Apparatus and method for image processing | |
US20050174457A1 (en) | Image sensing apparatus and its control method | |
RU2008136457A (en) | WATCHING A VIDEO USING A REDUCED PICTURE | |
US20070183749A1 (en) | Content reproduction apparatus, content reproduction method, content reproduction system, and computer program therefor | |
JP4311194B2 (en) | Image reproducing apparatus and image reproducing method | |
KR101458521B1 (en) | A system for play a contents of augmented reality | |
JP2006303896A (en) | Camera system for changing over display of reduced guide image in reproducing image by magnification, and image display method | |
KR101327298B1 (en) | Dynamic image processing device, medium for storing thumbnail image generation program and method for generating thumbnail image | |
JP2007081584A (en) | Image display apparatus or image display method | |
KR100522949B1 (en) | Display Method For Moving Icon | |
US8340196B2 (en) | Video motion menu generation in a low memory environment | |
JP4378295B2 (en) | Image reproducing apparatus and image reproducing method | |
JP2004193695A (en) | Recording and reproducing apparatus and method | |
KR100775187B1 (en) | Thumbnail recording method and terminal using the same | |
JP2005123726A (en) | Data recording device and data display device | |
JP4609711B2 (en) | Image processing apparatus and method, and program | |
JP2006115412A (en) | Data recorder | |
JP4413661B2 (en) | Recording / playback device, image playback system, and terminal device | |
JP2010287974A (en) | Mobile phone and program | |
JP2001211407A (en) | Image reproduction device and program recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050523 |