JP2009049511A - Still image extracting device and still image extracting program - Google Patents

Still image extracting device and still image extracting program Download PDF

Info

Publication number
JP2009049511A
JP2009049511A JP2007211440A JP2007211440A JP2009049511A JP 2009049511 A JP2009049511 A JP 2009049511A JP 2007211440 A JP2007211440 A JP 2007211440A JP 2007211440 A JP2007211440 A JP 2007211440A JP 2009049511 A JP2009049511 A JP 2009049511A
Authority
JP
Japan
Prior art keywords
still image
data
capacity
still
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007211440A
Other languages
Japanese (ja)
Other versions
JP4772012B2 (en
Inventor
Naoki Kawai
直樹 河合
Masami Fujita
昌巳 藤田
Akira Nakamura
章 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2007211440A priority Critical patent/JP4772012B2/en
Publication of JP2009049511A publication Critical patent/JP2009049511A/en
Application granted granted Critical
Publication of JP4772012B2 publication Critical patent/JP4772012B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a still image extracting device for extracting a still image efficiently so as to store necessary amount of still images even when a receiver has small capacity enough to understand content of image data. <P>SOLUTION: The still image extracting device for extracting the still image using variable coding from the image data in order to create thumbnail data, comprises: a storage capacity acquiring means for acquiring information on a free space capacity of a storage means for storing the thumbnail data, a first still image extracting means for extracting the still image using a predetermined number of variable coding from the image data, an excessive image calculating means for calculating the excessive number of the still images based on the free space capacity and an average still image data capacity for one image obtained from the whole still image data capacity extracted by the first still image extracting means, and a second still image extracting means for extracting and recording the still image to be recorded by eliminating the excessive number of still images. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、サムネイルを作成するために動画の中から静止画を抽出する静止画抽出装置及び静止画抽出プログラムに関する。   The present invention relates to a still image extraction apparatus and a still image extraction program for extracting a still image from a moving image in order to create a thumbnail.

テレビジョン放送として放送される番組のデータには、映像データと音声データが含まれている。また、放送される番組データには、映像データとして含まれているため、ユーザ側で表示の可否を選択できない字幕(番組の題名やキャストなどの紹介、または、海外の作品における日本語字幕)が含まれている場合がある。また、放送される番組データには、表示させるか否かをユーザ側で選択可能な字幕データが含まれている場合がある。このような選択可能な字幕データは、一般にクローズドキャプション(Closed Caption)と称され、主に、聴覚障害者用に開発され、海外の作品における日本語字幕のように、出演者の会話だけではなく、例えば、BGMや効果音などの説明も含まれる。   The data of a program broadcast as a television broadcast includes video data and audio data. In addition, since the broadcast program data is included as video data, there are subtitles (introduction of program titles, casts, etc., or Japanese subtitles in overseas works) that cannot be selected by the user. May be included. In addition, the broadcast program data may include subtitle data that allows the user to select whether or not to display the program data. Such selectable subtitle data is generally called Closed Caption, and it was developed mainly for the hearing impaired, and not only the conversation of performers like Japanese subtitles in overseas works. For example, descriptions of BGM, sound effects, and the like are also included.

例えば、NTSC(National Television System Committee)方式のアナログの地上波放送では、映像信号に525本の走査線が用いられており、この525本のうち、各フィールド(2フィールドで1フレームを構成)の最初の21本相当は、VBI(Vertical Blanking Interval:垂直帰線消去期間)と称される、走査を開始するためのインターバル用に割り当てられている。クローズドキャプションは、各フィールドのVBIのうち、VBIの21本目に文字コードを多重化することによって伝送される。そして、各フィールドを使って2種類の文字セットを毎秒約60文字が伝送されている。   For example, in NTSC (National Television System Committee) analog terrestrial broadcasting, 525 scanning lines are used for video signals. Of these 525 lines, one field is composed of two fields. The first 21 lines are allocated for an interval for starting scanning, which is called VBI (Vertical Blanking Interval). The closed caption is transmitted by multiplexing the character code in the 21st VBI of the VBIs in each field. Each field is used to transmit about 60 characters per second through two types of character sets.

また、デジタルテレビ放送の字幕情報の伝送については、国内規定である地上デジタルテレビジョン放送運用規定・技術資料(ARIB TR−B14)、BS/広帯域CSデジタル放送運用規定・技術資料(ARIB TR−B15)で規定されているように、字幕情報用のトランスポートストリームを使って映像情報の伝送と同時に字幕情報を伝送できるように構成されている。そして、デジタルテレビ放送用受信機において、字幕情報に対応する符号がデコードされ、字幕を構成する文字、図形が生成されて、映像に重畳されて表示される。デジタルテレビ放送において、字幕情報用のトランスポートストリームを使って映像情報の伝送と同時に伝送されたテキスト情報を、内部に保存したり、内部に保存したテキスト情報をテレビモニタでいつでも表示閲覧したりすることができるようにすることにより、ユーザが、表示された字幕のメモを取らなくても、字幕の情報を活用することができるようにした技術がある(例えば、特許文献1参照)。   Regarding the transmission of caption information for digital television broadcasts, terrestrial digital television broadcast operation regulations / technical documents (ARIB TR-B14), BS / broadband CS digital broadcast operation regulations / technical documents (ARIB TR-B15) are domestic regulations. The subtitle information can be transmitted simultaneously with the transmission of the video information using the subtitle information transport stream. Then, in the receiver for digital television broadcasting, the code corresponding to the caption information is decoded, characters and figures constituting the caption are generated, and displayed superimposed on the video. In digital television broadcasting, the text information transmitted simultaneously with the transmission of video information using the transport stream for subtitle information is stored internally, and the text information stored internally can be displayed and viewed on a TV monitor at any time. Thus, there is a technique in which a user can utilize subtitle information without taking a note of the displayed subtitle (see, for example, Patent Document 1).

テレビジョン放送は、近年、例えば、携帯電話やPDA(Personal Digital Assistant)などのユーザが携帯可能な端末でも閲覧することができるようになってきている。また、家庭内の録画装置で録画された番組を、携帯可能な装置に装着する記録媒体に記録し、その記録媒体から、記録された番組を再生するといったようなことも行われている。このように、放送される字幕データは、さまざまなサービスに利用され始めている。また、テレビジョン放送自体も、さまざまな装置で受信され、その受信された番組が閲覧できるような仕組みも設けられている。   In recent years, television broadcasts can be viewed on terminals that can be carried by users such as mobile phones and PDAs (Personal Digital Assistants). In addition, a program recorded by a recording device at home is recorded on a recording medium mounted on a portable device, and the recorded program is reproduced from the recording medium. Thus, the caption data to be broadcast has begun to be used for various services. In addition, a system is also provided in which television broadcasts themselves are received by various devices and the received programs can be browsed.

しかしながら、テレビジョン放送は、さまざまな装置で受信され、そのテレビジョン放送で放送された番組は、所定の記録媒体に記録され携帯可能な装置で閲覧されるなどされているが、その番組を記録する記録媒体の容量には限度がある。また、携帯可能な装置に装着可能(内蔵可能)な記録媒体という条件が付加されると、さらに、利用できる記録媒体の容量は限定されてしまう。   However, a television broadcast is received by various devices, and a program broadcast by the television broadcast is recorded on a predetermined recording medium and viewed on a portable device, but the program is recorded. There is a limit to the capacity of recording media. In addition, when a condition of a recording medium that can be mounted (built in) in a portable device is added, the capacity of the usable recording medium is further limited.

そのため、携帯可能な装置で番組を閲覧すると、短い時間の番組しか閲覧できない(番組の一部分しか閲覧できない)、長い時間分の番組を記録するために圧縮率を高くすると、映像が荒くなり画質が低下してしまうといった問題があった。そのために普及しないといった問題もあった。そこで、携帯可能な装置でも長時間の番組や複数の番組を閲覧でき、かつ、画質が低下してしまうようなことを防ぎながら閲覧できる機能が望まれている。   Therefore, when viewing a program on a portable device, only a short time program can be viewed (only a part of the program can be viewed), and if a high compression ratio is recorded to record a long time program, the video becomes rough and the image quality is improved. There was a problem of being lowered. For this reason, there was a problem that it did not spread. Therefore, there is a demand for a function that allows a portable device to browse a long program or a plurality of programs while preventing the image quality from being deteriorated.

このような問題を解決するため、携帯可能な装置においても、複数の番組や、長時間の番組を閲覧できるようにするために、携帯電話機により指示されたテレビジョン放送の番組を録画し、この録画された番組を時刻情報により関連付けたサムネイル画像データとテキストデータに変換して表示することにより、番組の内容を把握することができる情報処理装置が知られている(例えば、特許文献2参照)。
特開2003−078889号公報 特開2006−253960号公報
In order to solve such a problem, even in a portable device, in order to be able to view a plurality of programs and long-time programs, a television broadcast program instructed by a mobile phone is recorded, and this program is recorded. There is known an information processing apparatus capable of grasping the contents of a program by converting the recorded program into thumbnail image data and text data associated with time information and displaying the data (for example, see Patent Document 2). .
JP 2003-078889 A JP 2006-253960 A

ところで、放送番組などの映像コンテンツの内容を容易に理解できるように、映像に付随する字幕データ(テキストデータ)と、映像データから抽出した静止画(サムネイル画像)を表示することで、コンテンツの内容を閲覧あるいは検索することが可能となる。この場合、内容を理解するために過不足なく必要な量の静止画を映像から抽出する必要があるが、長時間の映像データから人手を使って静止画の抽出を行うのは現実的でない。また、コンテンツをダウンロードして閲覧するのに携帯端末等を用いる場合、電波が届く環境ではリアルタイムで配信することが可能であるが、ダウンロードした後に電波の届かない環境でも利用したい場合に、全静止画を記憶容量の少ない携帯端末に収めることができない可能性がある。このような場合、記憶容量の少ない携帯端末に収まるように、静止画の容量、すなわち静止画の枚数を制限してダウンロード用に用意し配信する必要がある。これは1枚の静止画容量が固定となる固定量符号化を用いた静止画では簡単であるが、1枚の静止画の容量が可変である可変量符号化を用いた静止画の場合には所定量の静止画容量とするのは困難であるという問題がある。   By the way, in order to easily understand the content of video content such as broadcast programs, the content of the content is displayed by displaying subtitle data (text data) attached to the video and still images (thumbnail images) extracted from the video data. Can be browsed or searched. In this case, in order to understand the contents, it is necessary to extract a necessary amount of still images from a video without excess or deficiency, but it is not realistic to extract still images from long-time video data by hand. Also, if you use a mobile device to download and view content, it can be delivered in real time in an environment where radio waves reach, but if you want to use it in an environment where radio waves do not reach after downloading, There is a possibility that the image cannot be stored in a portable terminal with a small storage capacity. In such a case, it is necessary to limit the still image capacity, that is, the number of still images, and prepare and distribute it for download so that it can be stored in a portable terminal with a small storage capacity. This is easy for a still image using a fixed amount encoding in which the capacity of one still image is fixed, but in the case of a still image using a variable amount encoding in which the capacity of one still image is variable. Has a problem that it is difficult to obtain a predetermined amount of still image capacity.

本発明は、このような事情に鑑みてなされたもので、映像データの内容を理解するために過不足なく、かつ記憶容量の少ない受信装置であっても必要な量の静止画を保存することができるように効率的に静止画の抽出を行うことができる静止画抽出装置及び静止画抽出プログラムを提供することを目的とする。   The present invention has been made in view of such circumstances, and it is possible to store a necessary amount of still images even in a receiving device that is not excessive or insufficient to understand the contents of video data and has a small storage capacity. It is an object of the present invention to provide a still image extraction apparatus and a still image extraction program that can efficiently extract still images so that an image can be extracted.

本発明は、サムネイルデータを作成するために、映像データから可変量符号化を用いた静止画を抽出する静止画抽出装置であって、前記サムネイルデータを記憶する記憶手段の空き記憶容量の情報を取得する記憶容量取得手段と、前記映像データから所定数の可変量符号化を用いた静止画を抽出する第1の静止画抽出手段と、前記第1の静止画抽出手段によって抽出された全ての静止画データ容量と前記空き記憶容量とに基づいて、前記静止画の超過容量を算出する超過容量算出手段と、前記超過容量分の静止画を省いて記録するべき静止画を抽出して記録する第2の静止画抽出手段とを備えたことを特徴とする。   The present invention is a still image extraction apparatus for extracting still images using variable amount encoding from video data to create thumbnail data, and information on the free storage capacity of a storage means for storing the thumbnail data. A storage capacity acquisition unit to acquire; a first still image extraction unit that extracts a still image using a predetermined number of variable amount encoding from the video data; and all of the images extracted by the first still image extraction unit. Based on the still image data capacity and the free storage capacity, the excess capacity calculating means for calculating the excess capacity of the still image, and extracting and recording the still image to be recorded by omitting the still images corresponding to the excess capacity And a second still image extracting means.

本発明は、前記第2の静止画抽出手段は、時間軸上において一定の割合で前記超過容量分の静止画を省くことを特徴とする。   The present invention is characterized in that the second still image extraction unit omits the still images corresponding to the excess capacity at a constant rate on the time axis.

本発明は、前記第2の静止画抽出手段は、連続する2枚の静止画の画像差分が少ない順に前記超過容量分の静止画を省くことを特徴とする。   The present invention is characterized in that the second still image extracting means omits the still images corresponding to the excess capacity in ascending order of image difference between two consecutive still images.

本発明は、前記第2の静止画抽出手段は、字幕表示の間隔が長い箇所の順に前記超過容量分の静止画を省くことを特徴とする。   The present invention is characterized in that the second still image extracting means omits the still images corresponding to the excess capacity in the order of locations where the caption display interval is long.

本発明は、サムネイルデータを作成するために、コンピュータによって映像データから可変量符号化を用いた静止画を抽出する静止画抽出プログラムであって、前記サムネイルデータを記憶する記憶手段の空き記憶容量の情報を取得する記憶容量取得ステップと、前記映像データから所定数の可変量符号化を用いた静止画を抽出する第1の静止画抽出ステップと、前記第1の静止画抽出ステップによって抽出された全ての静止画データ容量と前記空き記憶容量とに基づいて、前記静止画の超過容量を算出する超過容量算出ステップと、前記超過容量分の静止画を省いて記録するべき静止画を抽出して記録する第2の静止画抽出ステップとをコンピュータに行わせることを特徴とする。   The present invention is a still image extraction program for extracting a still image using variable amount coding from video data by a computer in order to create thumbnail data, and having a free storage capacity of a storage means for storing the thumbnail data A storage capacity acquisition step for acquiring information, a first still image extraction step for extracting a still image using a predetermined number of variable amount encoding from the video data, and a first still image extraction step. Based on all the still image data capacity and the free storage capacity, an excess capacity calculating step for calculating the excess capacity of the still image, and extracting a still image to be recorded by omitting the still images corresponding to the excess capacity A second still image extraction step for recording is performed by a computer.

本発明によれば、映像データの内容を理解するために過不足なく、かつ記憶容量の少ない受信装置であっても必要な量の静止画を保存することができるように効率的に静止画の抽出を行うことができるという効果が得られる。   According to the present invention, it is possible to efficiently store still images so that a necessary amount of still images can be stored even with a receiving device having a sufficient storage capacity and a sufficient storage capacity in order to understand the contents of video data. The effect that extraction can be performed is acquired.

以下、本発明の一実施形態による静止画抽出装置を図面を参照して説明する。初めに、本発明による静止画抽出装置が適用される受配信システムについて説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号1は、映像、音声、テキストなどを配信する配信装置である。符号2は、配信装置1の処理動作を統括して制御する制御部である。符号3は、コンテンツデータの入力のほか、各種データの入出力を行う入力出力部である。符号4は、テキスト/サムネイル配信・表示ソフトウエア9、映像/音声/テキスト配信・表示ソフトウエア10、コンテンツデータ11、12、13、配信・表示部ソフトウェア管理データ14、コンテンツ管理データ15、ユーザ管理データ16、コンテンツ・ユーザ付加データ17等が記憶される記憶部である。符号5は、テキスト、サムネイルを配信するテキスト/サムネイル配信部である。符号6は、映像、音声、テキストの配信を行う映像/音声/テキスト配信部である。符号7は、ユーザがコンテンツに付与するコメント、評価などのデータを受信し、集約したデータを配信するコンテンツ・ユーザ付加データ受配信部である。符号8は、情報の放送または情報通信を行う通信部である。   Hereinafter, a still image extracting apparatus according to an embodiment of the present invention will be described with reference to the drawings. First, a receiving / distributing system to which the still image extracting apparatus according to the present invention is applied will be described. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure, reference numeral 1 denotes a distribution device that distributes video, audio, text, and the like. Reference numeral 2 denotes a control unit that performs overall control of processing operations of the distribution apparatus 1. Reference numeral 3 denotes an input / output unit for inputting / outputting various data in addition to input of content data. Reference numeral 4 denotes text / thumbnail distribution / display software 9, video / audio / text distribution / display software 10, content data 11, 12, 13, distribution / display unit software management data 14, content management data 15, user management. The storage unit stores data 16, content / user additional data 17, and the like. Reference numeral 5 denotes a text / thumbnail distribution unit that distributes text and thumbnails. Reference numeral 6 denotes a video / audio / text distribution unit that distributes video, audio, and text. Reference numeral 7 denotes a content / user-added data receiving / distributing unit that receives data such as comments and evaluations given to the content by the user and distributes the aggregated data. Reference numeral 8 denotes a communication unit that performs information broadcasting or information communication.

テキスト/サムネイル配信・表示ソフトウエア9は、テキスト/サムネイルの配信・表示処理を実現するソフトウエアである。映像/音声/テキスト配信・表示ソフトウエア10は、映像、音声、テキストの配信・表示処理を実現するソフトウェアである。コンテンツデータ11は、映像、音声、テキスト、サムネイル、その他のデータで構成されるコンテンツデータであり、各データは配信装置1から通信部を介して配信される。コンテンツデータ11は、時間的に切り替わる静止画像の集まりも含む映像データ(動画像データ)18、映像に時間的に連動した音声データ19、テレビ放送の字幕をテキストに変換したデータなどの映像、または音声に時間的に連動したテキストデータ20、映像を縮小した静止画像データであるサムネイルデータ21及びコンテンツ全体の名称、概要などの全体情報データと、コンテンツの一部のシーン説明、BGM、タイトル名などの個別情報データに大別され、映像、または音声に時間的に連動するその他のデータ22から構成する。   The text / thumbnail distribution / display software 9 is software for realizing text / thumbnail distribution / display processing. The video / audio / text distribution / display software 10 is software that realizes video / audio / text distribution / display processing. The content data 11 is content data composed of video, audio, text, thumbnails, and other data, and each data is distributed from the distribution device 1 via the communication unit. The content data 11 includes video data (moving image data) 18 including a collection of still images that change over time, audio data 19 that is synchronized with the video over time, video such as data obtained by converting subtitles of a television broadcast into text, or Text data 20 that is temporally linked to audio, thumbnail data 21 that is still image data obtained by reducing video, and overall information data such as the name and outline of the entire content, a scene description of part of the content, BGM, title name, etc. It is roughly divided into individual information data, and is composed of other data 22 that is temporally linked to video or audio.

配信・表示ソフトウェア管理データ14は、テキスト/サムネイル配信・表示部ソフトウエアおよび映像/音声/テキスト配信・表示ソフトウエアを管理するデータである。コンテンツ管理データ15は、コンテンツデータ11〜13を管理するデータである。ユーザ管理データ16は、ユーザ情報を管理するデータである。コンテンツ・ユーザ付加データ17は、ユーザがコンテンツに付与するコメント、評価などのデータである。   The distribution / display software management data 14 is data for managing text / thumbnail distribution / display unit software and video / audio / text distribution / display software. The content management data 15 is data for managing the content data 11 to 13. The user management data 16 is data for managing user information. The content / user additional data 17 is data such as comments and evaluations given to the content by the user.

符号23は、配信装置1が配信した映像、音声、テキストなどを受信し、表示する受信装置であり、例えば、携帯電話端末等で構成する。符号24は、受信装置23の処理動作を統括して制御する制御部である。符号25は、ダイヤルキーやファンクションキー等で構成し、ユーザとのマンマシンインタフェースを行う入力部である。符号26は、ユーザに対して、コンテンツデータなどの表示を行うために液晶のディスプレイ等で構成する表示装置である。符号27は、放送の受信、配信装置1との間で情報通信を行う通信部である。符号28は、テキスト/サムネイル表示ソフトウエア38、映像/音声/テキスト表示ソフトウエア39、コンテンツデータ40、41、42等が記憶される記憶部である。   Reference numeral 23 denotes a receiving device that receives and displays video, audio, text, and the like distributed by the distribution device 1, and includes, for example, a mobile phone terminal. Reference numeral 24 denotes a control unit that performs overall control of processing operations of the receiving device 23. Reference numeral 25 denotes an input unit configured by a dial key, a function key, or the like, and performing a man-machine interface with the user. Reference numeral 26 denotes a display device configured with a liquid crystal display or the like in order to display content data or the like to the user. Reference numeral 27 denotes a communication unit that performs information communication with the broadcast reception and distribution device 1. Reference numeral 28 denotes a storage unit that stores text / thumbnail display software 38, video / audio / text display software 39, content data 40, 41, 42, and the like.

符号29は、テキスト/サムネイル表示ソフトウエア38を用いて、コンテンツデータの中のテキストデータとサムネイルデータなどを、データバッファ30を介して記憶部28から読み出して表示装置26に表示するテキスト/サムネイル表示部であり、テキスト表示部31とサムネイル表示部32とから構成する。テキスト表示部31は、コンテンツデータの中のテキストデータを表示装置26に表示する。テキストデータは記憶部28に記憶されたデータや、通信部27経由で取得されたデータを使用し、入力部25における操作入力に応答する形で、行送りやページ送りなどの表示制御を行う。サムネイル表示部32は、コンテンツデータの中のサムネイルデータやその他のデータを表示する。サムネイルデータやその他のデータは、記憶部28に記憶されたデータや通信部27経由で取得されたデータを使用する。サムネイルデータやその他のデータのうち、個別情報データについては、テキストデータに連動して表示する。   Reference numeral 29 denotes a text / thumbnail display that uses text / thumbnail display software 38 to read text data and thumbnail data in the content data from the storage unit 28 via the data buffer 30 and display them on the display device 26. A text display unit 31 and a thumbnail display unit 32. The text display unit 31 displays text data in the content data on the display device 26. As the text data, data stored in the storage unit 28 or data acquired via the communication unit 27 is used, and display control such as line feed and page feed is performed in response to an operation input in the input unit 25. The thumbnail display unit 32 displays thumbnail data and other data in the content data. As the thumbnail data and other data, data stored in the storage unit 28 and data acquired via the communication unit 27 are used. Among the thumbnail data and other data, the individual information data is displayed in conjunction with the text data.

符号33は、映像/音声/テキスト表示ソフトウエア39を用いて、コンテンツデータの中の映像データ、音声データ、テキストデータなどを、データバッファ34を介して記憶部28から読み出して表示装置26に表示する映像/音声/テキスト表示部であり、映像表示部、音声出力部、テキスト表示部からなる。映像表示部35は、コンテンツデータの中の映像データを表示する。映像データは記憶部28に記憶されたデータや通信部27経由で取得されたデータを使用し、入力部25における操作入力に応答する形で、再生、停止、早送り、巻き戻しなどの表示制御を行う。音声出力部36は、コンテンツデータの中の音声データを表示する。音声データは記憶部28に記憶されたデータや通信部27経由で取得されたデータを使用する。音声データは、映像データに連動して出力されるか、または音声データが先行出力され、映像が追従する形で連動して表示される。テキスト表示部37は、コンテンツデータの中のテキストデータやその他のデータを表示する。テキストデータやその他のデータは記憶部28に記憶されたデータや通信部27経由で取得されたデータを使用する。テキストデータやその他データのうち、個別情報データについては、映像データ、または音声データに連動して表示する。   Reference numeral 33 is a video / audio / text display software 39 that reads out video data, audio data, text data, etc. in the content data from the storage unit 28 via the data buffer 34 and displays them on the display device 26. The video / audio / text display unit includes a video display unit, an audio output unit, and a text display unit. The video display unit 35 displays video data in the content data. For video data, data stored in the storage unit 28 or data acquired via the communication unit 27 is used, and display control such as playback, stop, fast forward, and rewind is performed in response to an operation input in the input unit 25. Do. The audio output unit 36 displays audio data in the content data. As the audio data, data stored in the storage unit 28 or data acquired via the communication unit 27 is used. The audio data is output in conjunction with the video data, or the audio data is output in advance and displayed in association with the video. The text display unit 37 displays text data and other data in the content data. As text data and other data, data stored in the storage unit 28 and data acquired via the communication unit 27 are used. Among text data and other data, individual information data is displayed in conjunction with video data or audio data.

テキスト/サムネイル表示ソフトウエア38は、コンテンツデータの中のテキストデータとサムネイルデータなどを用いて、表示装置26に表示する処理を実現するソフトウエアである。テキスト/サムネイル表示ソフトウエア38は配信装置1から通信部27経由で取得し記憶部28に記憶する。ユーザからのリクエストに応じて、コンテンツデータをテキスト/サムネイル表示部29により視聴する場合、このソフトウエアが呼び出され、使用される。テキスト/サムネイル表示ソフトウエア38はバージョンアップにより改変され、最新のソフトウエアは配信装置1から通信部27経由で逐次取得する。   The text / thumbnail display software 38 is software that realizes processing to display on the display device 26 using text data and thumbnail data in the content data. The text / thumbnail display software 38 is acquired from the distribution apparatus 1 via the communication unit 27 and stored in the storage unit 28. In response to a request from the user, when viewing the content data by the text / thumbnail display unit 29, this software is called and used. The text / thumbnail display software 38 is modified by upgrading, and the latest software is sequentially acquired from the distribution device 1 via the communication unit 27.

映像/音声/テキスト表示ソフトウエア39は、コンテンツデータの中の映像データ、音声データ、テキストデータなどを用いて、表示装置26に表示する処理を実現するソフトウエアである。映像/音声/テキスト表示ソフトウエア39は、配信装置1から通信部27経由で取得され、記憶部28に記憶する。ユーザからのリクエストに応じて、コンテンツデータを映像/音声/テキスト表示部33により視聴する場合、このソフトウエアが呼び出され、使用される。映像/音声/テキスト表示部ソフトウエア39はバージョンアップにより改変され、最新のソフトウエアは配信装置1から通信部27経由で逐次取得する。   The video / audio / text display software 39 is software that realizes processing to display on the display device 26 using video data, audio data, text data, etc. in the content data. The video / audio / text display software 39 is acquired from the distribution apparatus 1 via the communication unit 27 and stored in the storage unit 28. In response to a request from the user, when viewing the content data by the video / audio / text display unit 33, this software is called and used. The video / audio / text display unit software 39 is modified by upgrading, and the latest software is sequentially acquired from the distribution apparatus 1 via the communication unit 27.

次に、図9を参照して、図1に示す受信装置23におけるコンテンツ閲覧機能を説明する。図9は、図1に示す受信装置23におけるコンテンツ閲覧機能を示す図である。受信装置23は、メタデータ検索機能、読むモード機能及び見るモード機能の3つの機能を有している。   Next, the content browsing function in the receiving apparatus 23 shown in FIG. 1 will be described with reference to FIG. FIG. 9 is a diagram showing a content browsing function in the receiving device 23 shown in FIG. The receiving device 23 has three functions: a metadata search function, a reading mode function, and a viewing mode function.

(1)メタデータ検索機能
キーワードの入力により、番組内の見たい箇所へピンポイントで到達することができる機能である。メタデータは、字幕データを利用して作成し、テキストとして提供される。例えば、検索キーワードとして「ていえん」と入力すると、全番組のメタデータをくまなく検索し、「日本の庭園」と番組内のシーンまでたどり着くことができる。
(1) Metadata search function This is a function that allows a user to pinpoint to a desired place in a program by inputting a keyword. Metadata is created using caption data and provided as text. For example, if “deien” is entered as a search keyword, the metadata of all programs can be searched, and “Japanese garden” and scenes in the program can be reached.

(2)読むモード機能
テキスト(字幕データ)と静止画(サムネイル)を関係付けて表示することにより、手早く情報の閲覧を行うことが可能な機能であり、スクロールとページ送りを行うことができる。テキストと静止画が事前にダウンロードされているため、電波が届かないところでも「いつでもどこでも」閲覧することが可能である。
(2) Reading mode function This function enables quick browsing of information by displaying text (caption data) and a still image (thumbnail) in association with each other, and can perform scrolling and page turning. Since text and still images are downloaded in advance, it can be viewed “anytime, anywhere” even when radio waves do not reach.

(3)見るモード機能
読むモードにおいてテキスト部分をクリックすると、この時点からの動画を再生することが可能な機能であり、早送り/巻き戻し/サーチ機能を備えている。動画再生は、予め受信装置23内に蓄積した映像コンテンツを再生する機能と、通信または放送を介してストリーミングで再生する機能を備えている。ストリーミングで再生する場合、長時間の動画再生が可能であり、視聴を中断した箇所を記憶しておき、簡単に視聴の再開が可能である。
(3) View mode function This is a function capable of playing back a moving image from this point by clicking on a text part in the read mode, and has a fast forward / rewind / search function. The moving image reproduction has a function of reproducing video content stored in advance in the receiving device 23 and a function of reproducing by streaming via communication or broadcasting. In the case of reproduction by streaming, it is possible to reproduce a moving image for a long time, and it is possible to easily resume viewing by storing a portion where viewing is interrupted.

読むモードと見るモードは、連動して切替えすることが可能であり、読むモードを見たい動画の検索に用いることができる。   The reading mode and the viewing mode can be switched in conjunction with each other, and can be used for searching for a moving image in which the reading mode is desired.

次に、図2〜図5を参照して、図1に示す記憶部4に記憶されるコンテンツデータ11のうち、サムネイルデータ21を生成する静止画抽出方法を説明する。このサムネイルデータは、配信装置1内において生成してもよいが、配信装置1とは別のサーバ等において生成し、入力出力部3を介して入力して、記憶部4に記憶するようにしてもよい。ここでは、テキスト/サムネイル配信部5が、コンテンツデータ11の映像データ18とテキストデータ(字幕データ)20を使用して、受信装置(携帯端末)23の記憶容量に応じたサムネイルデータを生成するものとして説明する。   Next, a still image extraction method for generating thumbnail data 21 among the content data 11 stored in the storage unit 4 shown in FIG. 1 will be described with reference to FIGS. The thumbnail data may be generated in the distribution device 1, but is generated in a server or the like different from the distribution device 1, input via the input / output unit 3, and stored in the storage unit 4. Also good. Here, the text / thumbnail distribution unit 5 uses the video data 18 of the content data 11 and the text data (caption data) 20 to generate thumbnail data corresponding to the storage capacity of the receiving device (mobile terminal) 23. Will be described.

図2は、静止画のデータ容量と受信装置23の空き記憶容量とに応じて、記憶するべき静止画を選択する機能を示すブロック図である。まず、受信装置23の制御部24は、配信装置1からサムネイルデータ21を受信しようとする場合、記憶部28の空き記憶容量を通信部27を介して、配信装置1へ通知する。これを受けて、配信装置1の制御部2は、受信した空き記憶容量を記憶部4内に記憶し保持しておく。   FIG. 2 is a block diagram illustrating a function of selecting a still image to be stored according to the data capacity of the still image and the free storage capacity of the receiving device 23. First, when receiving the thumbnail data 21 from the distribution device 1, the control unit 24 of the reception device 23 notifies the distribution device 1 of the free storage capacity of the storage unit 28 via the communication unit 27. In response to this, the control unit 2 of the distribution apparatus 1 stores and holds the received free storage capacity in the storage unit 4.

次に、静止画抽出部51は、映像データ18を読み込み、一定時間間隔毎のフレームを抽出し、これらのフレームをN枚の静止画とする。一方、静止画枚数算出部52は、記憶部4に記憶しておいた空き記憶容量を読み出し、記憶可能な静止画枚数Mを算出する。この静止画枚数Mは、空き記憶容量を1枚の静止画のデータ容量で除算することにより求めることができる。そして、静止画枚数算出部52は、算出した静止画枚数Mを比率選択部53へ出力する。これを受けて、比率選択部53は、静止画抽出部51が抽出した静止画のうち、静止画記憶部54に記憶される静止画がM枚になるように、M/Nの比率で静止画抽出部51が抽出した静止画を選択して、静止画記憶部54に記憶する。   Next, the still image extraction unit 51 reads the video data 18, extracts frames at regular time intervals, and sets these frames as N still images. On the other hand, the still image number calculation unit 52 reads the free storage capacity stored in the storage unit 4 and calculates the storable still image number M. The number M of still images can be obtained by dividing the free storage capacity by the data capacity of one still image. Then, the still image number calculation unit 52 outputs the calculated still image number M to the ratio selection unit 53. In response to this, the ratio selection unit 53 stops the still image at the M / N ratio so that the number of still images stored in the still image storage unit 54 among the still images extracted by the still image extraction unit 51 is M. The still image extracted by the image extraction unit 51 is selected and stored in the still image storage unit 54.

このように、1枚の静止画のデータ容量が一定となる固定量符号化の静止画の場合は、記憶容量に収まる制限後の静止画の枚数を計算することができるため、一度抽出した全枚数の静止画から制限後の枚数になるように、時間軸上で一定の割合で選択することにより、記憶容量に確実に収まるようにすることができる。   As described above, in the case of a fixed amount encoded still image in which the data capacity of one still image is constant, the number of still images after restriction that can be stored in the storage capacity can be calculated. By selecting at a fixed rate on the time axis so that the number of still images is limited from the number of still images, it is possible to ensure that the number of still images fits in the storage capacity.

次に、図3を参照して、1枚の静止画のデータ容量が静止画の内容によって異なる可変量符号化を用いた静止画を時間軸上で選択して抽出する機能について説明する。図3は、1枚の静止画のデータ容量が静止画の内容によって異なる可変量符号化を用いた静止画を時間軸上で選択して抽出する機能を示すブロック図である。まず、受信装置23の制御部24は、配信装置1からサムネイルデータ21を受信しようとする場合、記憶部28の空き記憶容量を通信部27を介して、配信装置1へ通知する。これを受けて、配信装置1の制御部2は、受信した空き記憶容量を記憶部4内に記憶し保持しておく。   Next, a function of selecting and extracting a still image using variable amount coding on the time axis, in which the data capacity of one still image varies depending on the content of the still image, will be described with reference to FIG. FIG. 3 is a block diagram showing a function of selecting and extracting still images using variable amount coding on the time axis, in which the data capacity of one still image varies depending on the content of the still image. First, when receiving the thumbnail data 21 from the distribution device 1, the control unit 24 of the reception device 23 notifies the distribution device 1 of the free storage capacity of the storage unit 28 via the communication unit 27. In response to this, the control unit 2 of the distribution apparatus 1 stores and holds the received free storage capacity in the storage unit 4.

次に、静止画抽出部51は、映像データ18を読み込み、一定時間間隔毎のフレームを抽出し、これらのフレームを静止画とする。1枚当たり平均符号化量算出部55は、抽出した静止画の1枚当たりの容量を算出する。また、容量算出部59は、静止画抽出部51が抽出した静止画全体のデータ容量を算出し、このデータ容量を超過容量算出部56へ出力する。超過容量算出部56は、容量算出部59が算出したデータ容量と記憶部4内に記憶されている空き記憶容量とを比較して、超過容量を算出する。判定部60は、空き記憶容量よりデータ容量の方が小さい場合、抽出した静止画を静止画記憶部54に記憶する。   Next, the still image extraction unit 51 reads the video data 18, extracts frames at regular time intervals, and sets these frames as still images. The average encoding amount calculation unit 55 for each frame calculates the capacity of each extracted still image. The capacity calculation unit 59 calculates the data capacity of the entire still image extracted by the still image extraction unit 51, and outputs this data capacity to the excess capacity calculation unit 56. The excess capacity calculation unit 56 compares the data capacity calculated by the capacity calculation unit 59 with the free storage capacity stored in the storage unit 4 to calculate the excess capacity. When the data capacity is smaller than the free storage capacity, the determination unit 60 stores the extracted still image in the still image storage unit 54.

一方、空き記憶容量よりデータ容量の方が大きい場合、超過枚数算出部57は、超過容量算出部56が算出した超過容量と、1枚当たり平均符号化量算出部55が算出した1枚当たりの静止画容量とから超過している静止画枚数を算出して、超過枚数を比率選択部58へ出力する。比率選択部58は、静止画抽出部51が抽出した静止画のうち、静止画記憶部54に記憶される静止画が空き記憶容量になるように、超過枚数に基づいた一定の比率、あるいはより少ない比率から始めて、静止画抽出部51が抽出した静止画を選択して省く。そして、容量算出部59は、比率選択部58が静止画を省いた後の静止画全体のデータ容量を算出し、このデータ容量と空き記憶容量とを比較して、超過容量が0または負の値になるまで処理を繰り返す。このとき、比率選択部58の比率を繰り返す毎に上げていく。このようにして、データ容量が空き記憶容量以下になった時点で抽出した静止画を静止画記憶部54に記憶する。   On the other hand, when the data capacity is larger than the free storage capacity, the excess number calculation unit 57 calculates the excess capacity calculated by the excess capacity calculation unit 56 and the per-sheet average coding amount calculation unit 55. The excess number of still images is calculated from the still image capacity, and the excess number is output to the ratio selection unit 58. The ratio selection unit 58 is a fixed ratio based on the excess number or more so that the still images stored in the still image storage unit 54 out of the still images extracted by the still image extraction unit 51 have a free storage capacity. Starting from a small ratio, the still image extracted by the still image extraction unit 51 is selected and omitted. Then, the capacity calculation unit 59 calculates the data capacity of the entire still image after the ratio selection unit 58 omits the still image, compares the data capacity with the free storage capacity, and the excess capacity is 0 or negative. Repeat the process until the value is reached. At this time, the ratio is increased every time the ratio of the ratio selector 58 is repeated. In this manner, the still image extracted when the data capacity becomes equal to or less than the free storage capacity is stored in the still image storage unit 54.

このように、時間軸上で一定の割合で静止画を省くようにしたため、データ容量を空き記憶容量以下にする処理を簡単に行うことが可能となる。   As described above, since still images are omitted at a constant rate on the time axis, it is possible to easily perform a process of reducing the data capacity to a free storage capacity or less.

次に、図4を参照して、1枚の静止画のデータ容量が静止画の内容によって異なる可変量符号化を用いた静止画を画像差分で選択して抽出する機能について説明する。図4は、1枚の静止画のデータ容量が静止画の内容によって異なる可変量符号化を用いた静止画を画像差分で選択して抽出する機能を示すブロック図である。まず、受信装置23の制御部24は、配信装置1からサムネイルデータ21を受信しようとする場合、記憶部28の空き記憶容量を通信部27を介して、配信装置1へ通知する。これを受けて、配信装置1の制御部2は、受信した空き記憶容量を記憶部4内に記憶し保持しておく。   Next, with reference to FIG. 4, a function of selecting and extracting still images using variable amount coding in which the data capacity of one still image differs depending on the content of the still image will be described. FIG. 4 is a block diagram showing a function of selecting and extracting still images using variable amount coding in which the data capacity of one still image differs depending on the content of the still image based on the image difference. First, when receiving the thumbnail data 21 from the distribution device 1, the control unit 24 of the reception device 23 notifies the distribution device 1 of the free storage capacity of the storage unit 28 via the communication unit 27. In response to this, the control unit 2 of the distribution apparatus 1 stores and holds the received free storage capacity in the storage unit 4.

次に、静止画抽出部51は、映像データ18を読み込み、一定時間間隔毎のフレームを抽出し、これらのフレームを静止画とする。1枚当たり平均符号化量算出部55は、抽出した静止画の1枚当たりの容量を算出する。また、容量算出部59は、静止画抽出部51が抽出した静止画全体のデータ容量を算出し、このデータ容量を超過容量算出部56へ出力する。超過容量算出部56は、容量算出部59が算出したデータ容量と記憶部4内に記憶されている空き記憶容量とを比較して、超過容量を算出する。判定部60は、空き記憶容量よりデータ容量の方が小さい場合、抽出した静止画を静止画記憶部54に記憶する。   Next, the still image extraction unit 51 reads the video data 18, extracts frames at regular time intervals, and sets these frames as still images. The average encoding amount calculation unit 55 for each frame calculates the capacity of each extracted still image. The capacity calculation unit 59 calculates the data capacity of the entire still image extracted by the still image extraction unit 51, and outputs this data capacity to the excess capacity calculation unit 56. The excess capacity calculation unit 56 compares the data capacity calculated by the capacity calculation unit 59 with the free storage capacity stored in the storage unit 4 to calculate the excess capacity. When the data capacity is smaller than the free storage capacity, the determination unit 60 stores the extracted still image in the still image storage unit 54.

一方、空き記憶容量よりデータ容量の方が大きい場合、映像差分調整部62は、超過容量算出部56が算出した超過容量と、1枚当たり平均符号化量算出部55が算出した1枚当たりの静止画容量とから超過している静止画枚数を算出するとともに、それに対応する映像差分量を差分選択部61へ出力する。差分選択部61は、静止画抽出部51が抽出した静止画のうち、連続する2枚の静止画の画像差分量に応じて静止画を省く。そして、容量算出部59は、差分選択部61が静止画を省いた後の静止画全体のデータ容量を算出し、このデータ容量と空き記憶容量とを比較して、超過容量が0または負の値になるまで処理を繰り返す。このとき、映像差分調整部の映像差分量を繰り返す毎に増やしていく。このようにして、データ容量が空き記憶容量以下になった時点で抽出した静止画を静止画記憶部54に記憶する。   On the other hand, when the data capacity is larger than the free storage capacity, the video difference adjustment unit 62 determines the excess capacity calculated by the excess capacity calculation unit 56 and the per-frame average coding amount calculation unit 55. The excess number of still images is calculated from the still image capacity, and the corresponding video difference amount is output to the difference selection unit 61. The difference selection unit 61 omits a still image according to the image difference amount between two consecutive still images among the still images extracted by the still image extraction unit 51. Then, the capacity calculation unit 59 calculates the data capacity of the entire still image after the difference selection unit 61 omits the still image, and compares this data capacity with the free storage capacity, and the excess capacity is 0 or negative. Repeat the process until the value is reached. At this time, the video difference amount of the video difference adjustment unit is increased every time it is repeated. In this manner, the still image extracted when the data capacity becomes equal to or less than the free storage capacity is stored in the still image storage unit 54.

このように、画像の差分が少ない静止画の順に省くようにしたため、重要な映像シーンを残せる可能性を高くしつつ、データ容量を空き記憶容量以下にすることができる。   As described above, since the still images having the fewest image differences are omitted in order, the data capacity can be reduced to the free storage capacity while increasing the possibility of leaving an important video scene.

次に、図5を参照して、1枚の静止画のデータ容量が静止画の内容によって異なる可変量符号化を用いた静止画を字幕表示の間隔で選択して抽出する機能について説明する。図5は、1枚の静止画のデータ容量が静止画の内容によって異なる可変量符号化を用いた静止画を字幕表示の間隔で選択して抽出する機能を示すブロック図である。まず、受信装置23の制御部24は、配信装置1からサムネイルデータ21を受信しようとする場合、記憶部28の空き記憶容量を通信部27を介して、配信装置1へ通知する。これを受けて、配信装置1の制御部2は、受信した空き記憶容量を記憶部4内に記憶し保持しておく。   Next, a function for selecting and extracting still images using variable amount encoding in which the data capacity of one still image differs depending on the content of the still image will be described with reference to FIG. FIG. 5 is a block diagram showing a function of selecting and extracting still images using variable amount coding whose data capacity of one still image differs depending on the content of the still image at intervals of subtitle display. First, when receiving the thumbnail data 21 from the distribution device 1, the control unit 24 of the reception device 23 notifies the distribution device 1 of the free storage capacity of the storage unit 28 via the communication unit 27. In response to this, the control unit 2 of the distribution apparatus 1 stores and holds the received free storage capacity in the storage unit 4.

次に、静止画抽出部51は、映像データ18を読み込み、一定時間間隔毎のフレームを抽出し、これらのフレームを静止画とする。1枚当たり平均符号化量算出部55は、抽出した静止画の1枚当たりの容量を算出する。また、容量算出部59は、静止画抽出部51が抽出した静止画全体のデータ容量を算出し、このデータ容量を超過容量算出部56へ出力する。超過容量算出部56は、容量算出部59が算出したデータ容量と記憶部4内に記憶されている空き記憶容量とを比較して、超過容量を算出する。判定部60は、空き記憶容量よりデータ容量の方が小さい場合、抽出した静止画を静止画記憶部54に記憶する。   Next, the still image extraction unit 51 reads the video data 18, extracts frames at regular time intervals, and sets these frames as still images. The average encoding amount calculation unit 55 for each frame calculates the capacity of each extracted still image. The capacity calculation unit 59 calculates the data capacity of the entire still image extracted by the still image extraction unit 51, and outputs this data capacity to the excess capacity calculation unit 56. The excess capacity calculation unit 56 compares the data capacity calculated by the capacity calculation unit 59 with the free storage capacity stored in the storage unit 4 to calculate the excess capacity. When the data capacity is smaller than the free storage capacity, the determination unit 60 stores the extracted still image in the still image storage unit 54.

一方、空き記憶容量よりデータ容量の方が大きい場合、字幕ページ数調整部65は、字幕ページ数算出部63が算出した、静止画抽出部51で抽出した静止画と静止画の間の字幕ページ数を参照するとともに、超過容量算出部56が算出した超過容量と、1枚当たり平均符号化量算出部55が算出した1枚当たりの静止画容量とから超過している静止画枚数を算出するとともに、それに対応する字幕ページ数の量(字幕の更新回数)を字幕ページ数選択部64へ出力する。字幕ページ数選択部64は、静止画抽出部51が抽出した静止画のうち、字幕表示の間隔に応じて省く。そして、容量算出部59は、字幕ページ数選択部64が静止画を省いた後の静止画全体のデータ容量を算出し、このデータ容量と空き記憶容量とを比較して、超過容量が0または負の値になるまで処理を繰り返す。このとき、字幕ページ数調整部65の字幕ページ数の量(字幕の更新回数)を繰り返す毎に増やしていく。このようにして、データ容量が空き記憶容量以下になった時点で抽出した静止画を静止画記憶部54に記憶する。   On the other hand, when the data capacity is larger than the free storage capacity, the caption page number adjustment unit 65 calculates the caption page between the still image extracted by the still image extraction unit 51 and the still image calculated by the caption page number calculation unit 63. The number of still images is calculated from the excess capacity calculated by the excess capacity calculation unit 56 and the still image capacity per frame calculated by the average encoding amount calculation unit 55 per frame. At the same time, the number of subtitle pages (number of subtitle updates) corresponding thereto is output to the subtitle page number selection unit 64. The subtitle page number selection unit 64 omits the still image extracted by the still image extraction unit 51 according to the subtitle display interval. Then, the capacity calculation unit 59 calculates the data capacity of the entire still picture after the subtitle page number selection part 64 omits the still picture, and compares this data capacity with the free storage capacity, and the excess capacity is 0 or Repeat the process until the value is negative. At this time, the number of subtitle pages (number of subtitle updates) of the subtitle page number adjustment unit 65 is increased each time it is repeated. In this manner, the still image extracted when the data capacity becomes equal to or less than the free storage capacity is stored in the still image storage unit 54.

このように、字幕表示の間隔が長い箇所の順に省くようにしたため、字幕に付随する静止画を残せる可能性を高くしつつ、データ容量を空き記憶容量以下にすることができる。   As described above, since the caption display intervals are omitted in the order of long intervals, it is possible to reduce the data capacity below the free storage capacity while increasing the possibility of leaving a still image associated with the caption.

なお、前述した説明においては、図2〜図5に示す静止画抽出部51は、一定時間間隔による抽出する例を説明したが、時間軸上、画像差分、字幕表示に基づく静止画抽出を行うようにしてもよい。   In the above description, the example in which the still image extraction unit 51 illustrated in FIGS. 2 to 5 performs extraction at regular time intervals has been described. However, on the time axis, still image extraction based on image difference and caption display is performed. You may do it.

以上説明したように、可変量符号化の静止画の場合、あらかじめ抽出した全枚数の静止画の容量から1枚の静止画の平均符号化量を算出することにより制限後の静止画枚数を計算し、その制限後の枚数に基づいて固定量符号化の場合のように静止画を省く処理を行なっても記憶容量に収まらない可能性があるが、記憶容量を超えた場合は超えた容量に相当する静止画の枚数を平均符号化量により計算し、さらに省くようにしたため、空き記憶容量に確実に収まるようにすることができる。   As described above, in the case of a variable amount encoded still image, the number of still images after restriction is calculated by calculating the average encoding amount of one still image from the capacity of all the still images extracted in advance. However, there is a possibility that it will not fit in the storage capacity even if the process of omitting still images is performed based on the limited number of pictures as in the case of fixed amount encoding, but if it exceeds the storage capacity, the capacity will be exceeded. Since the number of corresponding still images is calculated based on the average encoding amount and is further omitted, it is possible to ensure that the number of still images fits in the free storage capacity.

なお、図2〜7における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより静止画抽出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。   A program for realizing the functions of the processing units in FIGS. 2 to 7 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into the computer system and executed to execute a still image. An extraction process may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。   The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.

本発明の一実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of this invention. 図1に示すテキスト/サムネイル配信部5における静止画抽出の機能を示すブロック図である。It is a block diagram which shows the function of the still image extraction in the text / thumbnail delivery part 5 shown in FIG. 図1に示すテキスト/サムネイル配信部5における静止画抽出の機能を示すブロック図である。It is a block diagram which shows the function of the still image extraction in the text / thumbnail delivery part 5 shown in FIG. 図1に示すテキスト/サムネイル配信部5における静止画抽出の機能を示すブロック図である。It is a block diagram which shows the function of the still image extraction in the text / thumbnail delivery part 5 shown in FIG. 図1に示すテキスト/サムネイル配信部5における静止画抽出の機能を示すブロック図である。It is a block diagram which shows the function of the still image extraction in the text / thumbnail delivery part 5 shown in FIG. 図1に示す受信装置23の機能を示す説明図である。It is explanatory drawing which shows the function of the receiver 23 shown in FIG.

符号の説明Explanation of symbols

1・・・配信装置、23・・・受信装置、4・・・記憶部、5・・・テキスト/サムネイル配信部、51、55、56・・・フレーム抽出部、52・・・静止画枚数算出部、53、58・・・比率選択部、54・・・静止画記憶部、55・・・1枚当たり平均符号化量算出部、56・・・超過容量算出部、57・・・超過枚数算出部、59・・・容量算出部、60・・・判定部、61・・・差分選択部、62・・・映像差分調整部、63・・・字幕数算出部、64・・・字幕数選択部、65・・・字幕数調整部   DESCRIPTION OF SYMBOLS 1 ... Distribution apparatus, 23 ... Receiving device, 4 ... Memory | storage part, 5 ... Text / thumbnail distribution part, 51, 55, 56 ... Frame extraction part, 52 ... Number of still images Calculation unit, 53, 58... Ratio selection unit, 54... Still image storage unit, 55... Average coding amount calculation unit per sheet, 56. Number calculation unit, 59 ... Capacity calculation unit, 60 ... Determination unit, 61 ... Difference selection unit, 62 ... Video difference adjustment unit, 63 ... Subtitle number calculation unit, 64 ... Subtitle Number selection unit, 65 ... subtitle number adjustment unit

Claims (5)

サムネイルデータを作成するために、映像データから可変量符号化を用いた静止画を抽出する静止画抽出装置であって、
前記サムネイルデータを記憶する記憶手段の空き記憶容量の情報を取得する記憶容量取得手段と、
前記映像データから所定数の可変量符号化を用いた静止画を抽出する第1の静止画抽出手段と、
前記第1の静止画抽出手段によって抽出された全ての静止画データ容量と前記空き記憶容量とに基づいて、前記静止画の超過容量を算出する超過容量算出手段と、
前記超過容量分の静止画を省いて記録するべき静止画を抽出して記録する第2の静止画抽出手段と
を備えたことを特徴とする静止画抽出装置。
A still image extraction device that extracts a still image using variable amount coding from video data to create thumbnail data,
Storage capacity acquisition means for acquiring information on free storage capacity of storage means for storing the thumbnail data;
First still image extraction means for extracting a still image using a predetermined number of variable amount encoding from the video data;
Excess capacity calculating means for calculating an excess capacity of the still picture based on all the still picture data capacity extracted by the first still picture extracting means and the free storage capacity;
A still image extraction apparatus comprising: a second still image extracting unit that extracts and records a still image to be recorded without the excess capacity still image.
前記第2の静止画抽出手段は、時間軸上において一定の割合で前記超過容量分の静止画を省くことを特徴とする請求項1に記載の静止画抽出装置。   The still image extraction device according to claim 1, wherein the second still image extraction unit omits still images corresponding to the excess capacity at a constant rate on a time axis. 前記第2の静止画抽出手段は、連続する2枚の静止画の画像差分が少ない順に前記超過容量分の静止画を省くことを特徴とする請求項1に記載の静止画抽出装置。   2. The still image extraction apparatus according to claim 1, wherein the second still image extraction unit omits still images corresponding to the excess capacity in ascending order of image difference between two consecutive still images. 前記第2の静止画抽出手段は、字幕表示の間隔が長い箇所の順に前記超過容量分の静止画を省くことを特徴とする請求項1に記載の静止画抽出装置。   The still image extraction apparatus according to claim 1, wherein the second still image extraction unit omits the still images corresponding to the excess capacity in the order of locations where the interval between caption display is long. サムネイルデータを作成するために、コンピュータによって映像データから可変量符号化を用いた静止画を抽出する静止画抽出プログラムであって、
前記サムネイルデータを記憶する記憶手段の空き記憶容量の情報を取得する記憶容量取得ステップと、
前記映像データから所定数の可変量符号化を用いた静止画を抽出する第1の静止画抽出ステップと、
前記第1の静止画抽出ステップによって抽出された全ての静止画データ容量と前記空き記憶容量とに基づいて、前記静止画の超過容量を算出する超過容量算出ステップと、
前記超過容量分の静止画を省いて記録するべき静止画を抽出して記録する第2の静止画抽出ステップと
をコンピュータに行わせることを特徴とする静止画抽出プログラム。
A still image extraction program for extracting a still image using variable amount encoding from video data by a computer in order to create thumbnail data,
A storage capacity acquisition step of acquiring information on the free storage capacity of the storage means for storing the thumbnail data;
A first still image extraction step of extracting a still image using a predetermined number of variable amount encoding from the video data;
An excess capacity calculating step of calculating an excess capacity of the still image based on all the still image data capacity extracted by the first still image extraction step and the free storage capacity;
A still image extraction program for causing a computer to perform a second still image extraction step of extracting and recording a still image to be recorded by omitting the excess capacity of still images.
JP2007211440A 2007-08-14 2007-08-14 Still image extraction apparatus and still image extraction program Expired - Fee Related JP4772012B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007211440A JP4772012B2 (en) 2007-08-14 2007-08-14 Still image extraction apparatus and still image extraction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007211440A JP4772012B2 (en) 2007-08-14 2007-08-14 Still image extraction apparatus and still image extraction program

Publications (2)

Publication Number Publication Date
JP2009049511A true JP2009049511A (en) 2009-03-05
JP4772012B2 JP4772012B2 (en) 2011-09-14

Family

ID=40501348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007211440A Expired - Fee Related JP4772012B2 (en) 2007-08-14 2007-08-14 Still image extraction apparatus and still image extraction program

Country Status (1)

Country Link
JP (1) JP4772012B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0965287A (en) * 1995-08-18 1997-03-07 Hitachi Ltd Method and device for detecting characteristic scene for dynamic image
JP2003009069A (en) * 2001-06-26 2003-01-10 Canon Inc Method and device for recording moving picture, method and device for reproducing moving picture, program, and storage medium
JP2003023600A (en) * 2001-07-10 2003-01-24 Canon Inc Image processor, animation recording/playback equipment, image processing method, program, and computer- readable storage medium
JP2003244614A (en) * 2002-02-15 2003-08-29 Minolta Co Ltd Digital camera
JP2005151546A (en) * 2003-10-20 2005-06-09 Matsushita Electric Ind Co Ltd Multimedia data recording apparatus, monitoring system, and multimedia data recording method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0965287A (en) * 1995-08-18 1997-03-07 Hitachi Ltd Method and device for detecting characteristic scene for dynamic image
JP2003009069A (en) * 2001-06-26 2003-01-10 Canon Inc Method and device for recording moving picture, method and device for reproducing moving picture, program, and storage medium
JP2003023600A (en) * 2001-07-10 2003-01-24 Canon Inc Image processor, animation recording/playback equipment, image processing method, program, and computer- readable storage medium
JP2003244614A (en) * 2002-02-15 2003-08-29 Minolta Co Ltd Digital camera
JP2005151546A (en) * 2003-10-20 2005-06-09 Matsushita Electric Ind Co Ltd Multimedia data recording apparatus, monitoring system, and multimedia data recording method

Also Published As

Publication number Publication date
JP4772012B2 (en) 2011-09-14

Similar Documents

Publication Publication Date Title
US8533210B2 (en) Index of locally recorded content
US20090132924A1 (en) System and method to create highlight portions of media content
KR101472013B1 (en) Server and method for providing music streaming include data of add image
KR20150014722A (en) Device, system and method for providing screen shot
US8661013B2 (en) Method and apparatus for generating and providing relevant information related to multimedia content
JP5290178B2 (en) Video distribution apparatus and video distribution program
KR101387207B1 (en) Scene control system and method and recording medium thereof
JP5214614B2 (en) Video distribution apparatus and video distribution program
WO2008103364A1 (en) Systems and methods for sending, receiving and processing multimedia bookmarks
JP4846674B2 (en) Still image extraction apparatus and still image extraction program
JP4937211B2 (en) Still image extraction apparatus and still image extraction program
JP2007074158A (en) Reproduction system and reproducing method using the system
JP4772012B2 (en) Still image extraction apparatus and still image extraction program
JP5073535B2 (en) CONTENT REPRODUCTION DEVICE, CONTENT REPRODUCTION METHOD, CONTENT REPRODUCTION SYSTEM, CONTENT REPRODUCTION PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
KR20150048961A (en) System for servicing hot scene, method of servicing hot scene and apparatus for the same
KR100667025B1 (en) Digital television with shared function of multimedia contents
KR100671147B1 (en) Apparatus for experiencing famous scene and Method thereof
JP4511569B2 (en) Remote viewing system and remote viewing method
KR102279404B1 (en) Apparatus and method for receiving and playing contents
JP2011059732A (en) Content distribution system, distribution server, and client terminal
KR100808198B1 (en) Broadcasting Terminal and Method for Recording Broadcasting Data thereof
JP2008219691A (en) Video distribution service system
JP2017200075A (en) Distribution device and program
JP2007150443A (en) Program distribution system
JP4498531B2 (en) Streaming video playback method, streaming video playback device, and recording medium recorded with streaming video playback program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110621

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4772012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees