JP2008176538A - Video attribute information output apparatus, video summarizing device, program, and method for outputting video attribute information - Google Patents

Video attribute information output apparatus, video summarizing device, program, and method for outputting video attribute information Download PDF

Info

Publication number
JP2008176538A
JP2008176538A JP2007008909A JP2007008909A JP2008176538A JP 2008176538 A JP2008176538 A JP 2008176538A JP 2007008909 A JP2007008909 A JP 2007008909A JP 2007008909 A JP2007008909 A JP 2007008909A JP 2008176538 A JP2008176538 A JP 2008176538A
Authority
JP
Japan
Prior art keywords
attribute information
video
area
scene
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007008909A
Other languages
Japanese (ja)
Other versions
JP5010292B2 (en
Inventor
Koji Yamamoto
晃司 山本
Original Assignee
Toshiba Corp
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, 株式会社東芝 filed Critical Toshiba Corp
Priority to JP2007008909A priority Critical patent/JP5010292B2/en
Publication of JP2008176538A publication Critical patent/JP2008176538A/en
Application granted granted Critical
Publication of JP5010292B2 publication Critical patent/JP5010292B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00711Recognising video content, e.g. extracting audiovisual features from movies, extracting representative key-frames, discriminating news vs. sport content
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0616Means for conducting or scheduling competition, league, tournaments or rankings
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video attribute information output apparatus capable of easily generating metadata concerned with a video content. <P>SOLUTION: An attribute information area extraction part 153 extracts an attribute information area which is an area of no change and an area for displaying attribute information between prescribed frames in respective adjacent scenes obtained by dividing the video content 10 by a scene division part 151, a character area extraction part 155 extracts a character area in which individual characters in the attribute information area exist, a character area meaning part 156 means the character area, and a character area reading part 157 reads out video attribute information which is metadata concerned with the video content from the meant character area and outputs the read information. Consequently, video attribute information which is metadata concerned with the video content such as scores and ball counts in a baseball broadcast e.g. can be easily generated. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法に関する。   The present invention relates to a video attribute information output device, a video summarization device, a program, and a video attribute information output method.
近年、放送の多チャンネル化等の情報インフラの発展により、多くの映像コンテンツが流通するようになっている。一方、録画装置の側においては、ハードディスク・レコーダやチューナー搭載のパーソナルコンピュータの普及により映像コンテンツをデジタルデータとして保存することが出来るようになっており、様々な視聴方法が可能となっている。   In recent years, with the development of information infrastructure such as multi-channel broadcasting, many video contents have been distributed. On the other hand, on the recording device side, video contents can be stored as digital data by the spread of hard disk recorders and personal computers equipped with tuners, and various viewing methods are possible.
録画装置を用いた視聴方法の1つとしては、長時間の映像を短時間に要約して視聴する映像要約技術がある。例えば、特許文献1には、スポーツ中継番組の要約手法として、メタデータが付与された映像からユーザの好みに基づいてシーンを抽出し、ダイジェストを作成する手法が記載されている。ここで、上述したメタデータは、試合中の個々のプレイなどをイベントとして時刻情報と共に記述したものであり、映像を見ながら人手で入力されるものである。   As one viewing method using a recording apparatus, there is a video summarization technique for summarizing and viewing a long time video in a short time. For example, Patent Document 1 describes a technique for extracting a scene based on a user's preference from a video provided with metadata as a method for summarizing a sports broadcast program, and creating a digest. Here, the above-mentioned metadata describes individual plays during a game as events together with time information, and is manually input while watching a video.
また、特許文献2には、メタデータを入力するための補助となる手法が記載されている。具体的には、野球中継におけるイニングや得点などの情報の表示される画像領域(スコア情報領域)を指定してキー画像として登録しておき、イニングが変わったなどのイベントが発生した際にキー画像に対する変化率が一定の基準以上になったと判定した場合に、その時点の画像を表示するものである。   Japanese Patent Application Laid-Open No. 2004-228561 describes a technique that is an assist for inputting metadata. Specifically, an image area (score information area) for displaying information such as innings and scores in baseball broadcasts is designated and registered as a key image, and a key is generated when an event such as a change in inning occurs. When it is determined that the rate of change with respect to the image has exceeded a certain reference, the image at that time is displayed.
特開2005−109566号公報JP 2005-109566 A 特開2000−132563号公報JP 2000-132563 A
しかしながら、特許文献1に記載されている手法によれば、ダイジェスト生成に必要となるメタデータを用いることで高精度な要約を生成できる半面、メタデータをすべて人手で入力することは入力の手間やコストが負担であるという課題がある。   However, according to the method described in Patent Document 1, it is possible to generate a high-precision summary by using the metadata necessary for generating the digest. On the other hand, manually inputting all the metadata is difficult to input. There is a problem that the cost is a burden.
そこで、特許文献2に記載されている手法を用いるようにすれば、野球中継におけるメタデータの入力について、ある程度の負担の軽減は望めるようになると考えられる。   Therefore, if the technique described in Patent Document 2 is used, it is considered that a certain amount of reduction in the input of metadata in the baseball broadcast can be expected.
ところが、特許文献2の手法によれば、イニングや得点などの情報が表示される画像領域の指定やイベントとして検出された画像の読み取りは人手によるため、番組ごとに画像領域を指定する手間や読み取ったイニングや得点の入力の手間やコストなどの課題は依然として解決されない。   However, according to the method of Patent Document 2, since the specification of an image area in which information such as inning and score is displayed and the reading of an image detected as an event are performed manually, it is troublesome to specify the image area for each program, and the reading. Problems such as labor and cost of entering inning and scoring are still not solved.
本発明は、上記に鑑みてなされたものであって、映像コンテンツに関するメタデータを容易に生成することができる映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法を提供することを目的とする。   The present invention has been made in view of the above, and provides a video attribute information output device, a video summarization device, a program, and a video attribute information output method capable of easily generating metadata relating to video content. Objective.
上述した課題を解決し、目的を達成するために、本発明の映像属性情報出力装置は、映像コンテンツのフレーム間の類似性が低くなるシーンチェンジを検出して、前記映像コンテンツを複数のシーンに分割するシーン分割手段と、前記シーン分割手段で分割した隣接する前記各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出する属性情報領域抽出手段と、前記属性情報領域抽出手段により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する文字領域抽出手段と、前記文字領域抽出手段で抽出した前記文字領域について意味付けを記したルール情報を照合することにより当該文字領域の意味付けを行う文字領域意味付け手段と、意味付けされた前記文字領域から前記映像コンテンツに関するメタデータである映像属性情報を読み取って出力する映像属性情報出力手段と、を備える。   In order to solve the above-described problems and achieve the object, the video attribute information output apparatus of the present invention detects a scene change in which the similarity between frames of video content is low, and converts the video content into a plurality of scenes. Attribute information for extracting an attribute information area that is an area that does not change and is displayed between the predetermined frame in each of the adjacent scenes divided by the scene dividing means and the scene dividing means to be divided Area extracting means; character area extracting means for extracting a character area that is an area where each character in the attribute information area extracted by the attribute information area extracting means; and the character area extracting means extracting the character area. Character area semantic means for meaning the character area by collating the rule information describing the meaning of the character area, And and a video attribute information output means for outputting the read video attribute information is meta data relating to the video content from the character region.
また、本発明の映像要約装置は、請求項1ないし9の何れか一記載の映像属性情報出力装置と、前記映像属性情報出力装置から出力された前記映像属性情報に含まれるイベントごとにその重要度を算出する重要度算出部と、算出された重要度に従って、要約映像に含める映像コンテンツの映像区間を選択する映像区間選択部と、前記イベント列から要約映像に用いる説明文の生成に用いる説明文用イベントを選択する説明文用イベント選択部と、選択された前記説明文用イベントから説明文を生成する説明文作成部と、選択された前記映像区間と前記説明文とを統合し、両方の情報を含んだ要約映像情報を生成する統合部と、を備える。   A video summarization apparatus according to the present invention is provided for each event included in the video attribute information output device according to any one of claims 1 to 9 and the video attribute information output from the video attribute information output device. An importance calculating unit for calculating the degree, a video section selecting unit for selecting a video section of video content to be included in the summary video according to the calculated importance, and an explanation used for generating an explanatory text used for the summary video from the event sequence An explanatory text event selecting section for selecting an event for text, an explanatory text creating section for generating an explanatory text from the selected explanatory text event, and the selected video section and the explanatory text are both integrated. And an integration unit that generates summary video information including the information.
また、本発明のプログラムは、映像コンテンツのフレーム間の類似性が低くなるシーンチェンジを検出して、前記映像コンテンツを複数のシーンに分割するシーン分割機能と、前記シーン分割機能で分割した隣接する前記各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出する属性情報領域抽出機能と、前記属性情報領域抽出機能により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する文字領域抽出機能と、前記文字領域抽出機能で抽出した前記文字領域について意味付けを記したルール情報を照合することにより当該文字領域の意味付けを行う文字領域意味付け機能と、意味付けされた前記文字領域から前記映像コンテンツに関するメタデータである映像属性情報を読み取って出力する映像属性情報出力機能と、をコンピュータに実行させる。   Further, the program of the present invention detects a scene change in which the similarity between frames of video content is low, and divides the video content into a plurality of scenes, and adjacent divided by the scene division function. An attribute information area extraction function that extracts an attribute information area that is an area in which attribute information is displayed between the predetermined frames in each scene, and the attribute information area extraction function extracts the attribute information area. The character area extraction function for extracting a character area, which is an area where individual characters exist in the attribute information area, and the rule information indicating the meaning of the character area extracted by the character area extraction function A character area semanticizing function for meaning the character area, and a menu for the video content from the meaningful character area. Executing the video attribute information output function of outputting to read the video attribute information is data, to the computer.
また、本発明の映像属性情報出力方法は、映像コンテンツのフレーム間の類似性が低くなるシーンチェンジを検出して、前記映像コンテンツを複数のシーンに分割するシーン分割工程と、前記シーン分割工程で分割した隣接する前記各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出する属性情報領域抽出工程と、前記属性情報領域抽出工程により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する文字領域抽出工程と、前記文字領域抽出工程で抽出した前記文字領域について意味付けを記したルール情報を照合することにより当該文字領域の意味付けを行う文字領域意味付け工程と、意味付けされた前記文字領域から前記映像コンテンツに関するメタデータである映像属性情報を読み取って出力する映像属性情報出力工程と、を含む。   The video attribute information output method of the present invention includes a scene dividing step of detecting a scene change in which similarity between frames of video content is low, and dividing the video content into a plurality of scenes, and the scene dividing step. An attribute information area extracting step for extracting an attribute information area, which is an area in which attribute information is displayed, and is not changed between predetermined frames in the divided adjacent scenes, and the attribute information area extracting step. A character area extraction step for extracting a character area, which is an area where individual characters exist in the extracted attribute information area, and a rule information indicating the meaning of the character area extracted in the character area extraction step are collated. A character area meaning assigning step for assigning the meaning of the character area, and the video content from the meaningful character area. Including a video attribute information output step of outputting to read the video attribute information is meta data about.
本発明によれば、例えば野球中継の場合における得点やボールカウントなどの映像コンテンツに関するメタデータである映像属性情報が表示される画像領域の指定などの人手を介した作業を省略し、映像コンテンツから映像属性情報を自動的に認識して取得することができるので、映像コンテンツに関するメタデータを容易に生成することができる、という効果を奏する。   According to the present invention, for example, in the case of a baseball game, manual operations such as designation of an image area in which video attribute information that is metadata related to video content such as a score and a ball count is displayed can be omitted, and Since the video attribute information can be automatically recognized and acquired, there is an effect that metadata relating to the video content can be easily generated.
以下に添付図面を参照して、この発明にかかる映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法の最良な実施の形態を詳細に説明する。   Exemplary embodiments of a video attribute information output device, a video summarization device, a program, and a video attribute information output method according to the present invention will be explained below in detail with reference to the accompanying drawings.
[第1の実施の形態]
本発明の第1の実施の形態を図1ないし図16に基づいて説明する。本実施の形態は映像要約装置としてパーソナルコンピュータを適用した例である。
[First Embodiment]
A first embodiment of the present invention will be described with reference to FIGS. This embodiment is an example in which a personal computer is applied as a video summarization apparatus.
図1は、本発明の第1の実施の形態にかかる映像要約装置1の構成を示すブロック図である。映像要約装置1は、情報処理を行うCPU(Central Processing Unit)101、BIOSなどを記憶した読出し専用メモリであるROM(Read Only Memory)102、各種データを書換え可能に記憶するRAM(Random Access Memory)103、各種データベースとして機能するとともに各種のプログラムを格納するHDD(Hard Disk Drive)104、記憶媒体110を用いて情報を保管したり外部に情報を配布したり外部から情報を入手するためのDVDドライブ等の媒体駆動装置105、ネットワーク2を介して外部の他のコンピュータと通信により情報を伝達するための通信制御装置106、処理経過や結果等を操作者に表示するLCD(Liquid Crystal Display)等の表示部107、並びに操作者がCPU101に命令や情報等を入力するためのキーボードやマウス等の入力部108等から構成されており、これらの各部間で送受信されるデータをバスコントローラ109が調停して動作する。   FIG. 1 is a block diagram showing a configuration of a video summarizing apparatus 1 according to the first embodiment of the present invention. The video summarizing apparatus 1 includes a CPU (Central Processing Unit) 101 that performs information processing, a ROM (Read Only Memory) 102 that is a read-only memory storing a BIOS, and a RAM (Random Access Memory) that stores various data in a rewritable manner. 103, a HDD (Hard Disk Drive) 104 that functions as various databases and stores various programs, and a DVD drive for storing information using the storage medium 110, distributing information to the outside, and obtaining information from the outside Such as a medium driving device 105, a communication control device 106 for communicating information with other external computers via the network 2, an LCD (Liquid Crystal Display) for displaying processing progress and results to the operator, etc. The display unit 107 and a keyboard or mouse for an operator to input commands and information to the CPU 101 Of which an input unit 108 or the like, the data between these units bus controller 109 are operated in arbitration.
このような映像要約装置1では、ユーザが電源を投入するとCPU101がROM102内のローダーというプログラムを起動させ、HDD104よりOS(Operating System)というコンピュータのハードウェアとソフトウェアとを管理するプログラムをRAM103に読み込み、このOSを起動させる。このようなOSは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。OSのうち代表的なものとしては、Windows(登録商標)等が知られている。これらのOS上で走る動作プログラムをアプリケーションプログラムと呼んでいる。なお、アプリケーションプログラムは、所定のOS上で動作するものに限らず、後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。   In such a video summarizing apparatus 1, when the user turns on the power, the CPU 101 activates a program called a loader in the ROM 102, and loads a program for managing computer hardware and software called OS (Operating System) from the HDD 104 into the RAM 103. This OS is started. Such an OS activates a program, reads information, and stores information in accordance with a user operation. As a representative OS, Windows (registered trademark) and the like are known. These operation programs running on the OS are called application programs. The application program is not limited to one that runs on a predetermined OS, and may be one that causes the OS to execute some of the various processes described below, or constitutes predetermined application software, an OS, or the like. It may be included as part of a group of program files.
ここで、映像要約装置1は、アプリケーションプログラムとして、映像処理プログラムをHDD104に記憶している。この意味で、HDD104は、映像処理プログラムを記憶する記憶媒体として機能する。   Here, the video summarizing apparatus 1 stores a video processing program in the HDD 104 as an application program. In this sense, the HDD 104 functions as a storage medium that stores a video processing program.
また、一般的には、映像要約装置1のHDD104にインストールされるアプリケーションプログラムは、DVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等の各種方式のメディア等の記憶媒体110に記録され、この記憶媒体110に記録された動作プログラムがHDD104にインストールされる。このため、DVD等の光情報記録メディアやFD等の磁気メディア等の可搬性を有する記憶媒体110も、アプリケーションプログラムを記憶する記憶媒体となり得る。さらには、アプリケーションプログラムは、例えば通信制御装置106を介して外部のネットワーク2から取り込まれ、HDD104にインストールされても良い。   In general, application programs installed in the HDD 104 of the video summarizing apparatus 1 are various optical disks such as DVDs, various magnetic disks such as various magneto-optical disks and flexible disks, and various types of media such as semiconductor memories. The operation program recorded in the storage medium 110 and recorded in the storage medium 110 is installed in the HDD 104. Therefore, the portable storage medium 110 such as an optical information recording medium such as a DVD or a magnetic medium such as an FD can also be a storage medium that stores an application program. Further, the application program may be fetched from the external network 2 via the communication control device 106 and installed in the HDD 104, for example.
映像要約装置1は、OS上で動作する映像処理プログラムが起動すると、この映像処理プログラムに従い、CPU101が各種の演算処理を実行して各部を集中的に制御する。映像要約装置1のCPU101が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。   In the video summarizing apparatus 1, when a video processing program operating on the OS is started, the CPU 101 executes various arithmetic processes according to the video processing program and controls each unit intensively. Of the various types of arithmetic processing executed by the CPU 101 of the video summarizing apparatus 1, the characteristic processing of this embodiment will be described below.
図2は、映像要約装置1の概略構成を示すブロック図である。図2に示すように、映像要約装置1は、映像処理プログラムに従うことにより、映像属性情報出力装置である映像属性情報作成部15、重要度算出部16、映像区間選択部17、説明文用イベント選択部18、説明文作成部19、統合部20を備える。また、10は元映像情報、11は映像属性情報、12は要約作成情報、13は説明文作成情報、14は要約映像情報である。   FIG. 2 is a block diagram illustrating a schematic configuration of the video summarizing apparatus 1. As shown in FIG. 2, the video summarization apparatus 1 follows a video processing program, and thereby, a video attribute information creation unit 15, an importance calculation unit 16, a video section selection unit 17, an explanatory sentence event, which are video attribute information output devices. A selection unit 18, an explanatory note creation unit 19, and an integration unit 20 are provided. Also, 10 is original video information, 11 is video attribute information, 12 is summary creation information, 13 is explanatory text creation information, and 14 is summary video information.
元映像情報10は、例えばテレビの番組やユーザが撮影した映像など、様々な映像コンテンツがこれに該当する。本実施の形態では、元映像情報10は、デジタルデータとする。デジタルデータの形式は、どのような形式でもよい(例えば、MPEG−1やMPEG−2などの圧縮データ形式を用いるのが一般的である)。もちろん、ソース映像がアナログデータでもよいが、この場合には、予め外部でデジタルデータに変換するか、または、映像要約装置1がアナログ・デジタル変換を備えるものとする。また、映像コンテンツは、1つでも複数でもかまわなく、タイトルやIDなど映像コンテンツを一意に特定できる情報と、再生を開始する時間またはフレーム番号とを与えれば、任意の映像コンテンツを任意の位置から再生可能である。   The original video information 10 corresponds to various video contents such as TV programs and videos taken by users. In the present embodiment, the original video information 10 is digital data. The format of the digital data may be any format (for example, a compressed data format such as MPEG-1 or MPEG-2 is generally used). Of course, the source video may be analog data, but in this case, it is converted into digital data externally beforehand, or the video summarization apparatus 1 is provided with analog-digital conversion. In addition, one or a plurality of video contents may be used, and given any information that can uniquely identify the video contents such as a title and ID, and a playback start time or frame number, any video content can be moved from any position. It is reproducible.
映像属性情報11は、映像コンテンツに関する様々な属性情報(メタデータ)である。映像属性情報11には、映像コンテンツ内で起きた事象をイベントとして列挙したイベント列が含まれる。イベントは、人物や物体の名称や動き(例えば、野球の場合、「○○選手のホームラン」など)や、時間的な区切り(「試合開始」、「試合終了」など)などの情報がその発生時間と共に記述される。発生時刻の記述は、シーン情報のように区間の始点・終点を記述する形式でもよいし、イベントが発生した瞬間の時刻を記述する形式でもよい。その他、属性情報には、スポーツの種目、対戦チーム名、日時、場所、出場選手、試合結果など、映像コンテンツ中の特定の時間に関連しない情報も含んでよい。また、ここでは具体例としてスポーツを挙げたが、属性情報はコンテンツに応じて適宜記述することができる。例えば、ドラマや情報番組についても登場人物やトピックのタイトルを用いることで、同様に記述することができる。   The video attribute information 11 is various attribute information (metadata) related to the video content. The video attribute information 11 includes an event sequence listing events occurring in the video content as events. Events include information such as the names and movements of people and objects (for example, “Home run of XX player” for baseball) and time breaks (“start of game”, “end of game”, etc.) Described over time. The description of the occurrence time may be a format describing the start point / end point of the section as in the scene information, or may be a format describing the time when the event occurs. In addition, the attribute information may include information not related to a specific time in the video content, such as a sport item, a battle team name, a date, a place, a participating player, and a game result. In addition, although a sport is given here as a specific example, the attribute information can be appropriately described according to the content. For example, drama and information programs can be described in the same manner by using characters and topic titles.
要約作成情報12は、要約を作成するときのユーザの嗜好や、要約映像の時間、要約アルゴリズムのパラメータなどを含む情報である。ユーザの嗜好とは、ユーザが優先的に視聴したい部分を求めるためのキーワードなどの情報である。スポーツの試合であれば、好みのチームや好みの選手などの情報がこれに該当する。キーワードは、見たい対象だけ記述してもよいし、見たい対象だけではなく、見たくない対象についての記述をも可能にしてもよい。これらの情報は、直接入力してもよいし、毎回同じような条件を入力する手間を省くために予め内部あるいは外部の記憶装置上に保持しておいてもよい。   The summary creation information 12 is information including user preferences when creating a summary, summary video time, summary algorithm parameters, and the like. The user's preference is information such as a keyword for obtaining a portion that the user wants to watch preferentially. In the case of a sporting game, information such as a favorite team and a favorite player corresponds to this. The keyword may be described only for the object that the user wants to see, or it may be possible to describe not only the object that the user wants to see but also the object that the user does not want to see. These pieces of information may be input directly, or may be stored in advance on an internal or external storage device in order to save the trouble of inputting the same condition every time.
説明文作成情報13は、映像属性情報11に含まれるイベントから、説明文を作成するときに用いるテンプレート(雛形)を含む情報である。ここで用いるテンプレートとは、例えば、「(時間)、(チーム)のチャンス。(選手)の(プレイ)!」のように、固定された文字列と可変の文字列の組み合わせによって与えられる文字列である。この例では、「(時間)」など()によって示された文字列が可変の文字列を表している。   The explanatory note creation information 13 is information including a template (template) used when creating an explanatory note from an event included in the video attribute information 11. The template used here is, for example, a character string given by a combination of a fixed character string and a variable character string, such as “(Time), (Team) Chance. (Player) (Play)!”. It is. In this example, the character string indicated by () such as “(time)” represents a variable character string.
要約映像情報14は、映像要約装置1によって生成される要約映像である。要約映像情報14は、元映像コンテンツの一部と、生成された文字等の可視的情報や音声等の可聴的情報による説明文(例えばテロップやナレーションなど)を含む。また、元映像コンテンツとは別に用意されたコンテンツ(例えば、タイトル画面など)を含めてもかまわない。また、要約映像情報14の形態は、元映像とは別の映像コンテンツとして、それ単体で再生できる情報であってもよいし、元映像コンテンツを参照して再生しながら、文字や音声による説明文を表示・再生するものであってもよい。後者には、SMILなど複数のメディアを同期して表示することのできる記述言語を用いることができる。音声の再生には、例えば、音声合成を用いることができる。   The summary video information 14 is a summary video generated by the video summary device 1. The summary video information 14 includes a part of the original video content and an explanatory text (eg, telop or narration) using visible information such as generated characters and audible information such as audio. Also, content prepared separately from the original video content (for example, a title screen) may be included. In addition, the form of the summary video information 14 may be information that can be reproduced independently as a video content different from the original video, or may be described with text or sound while referring to the original video content. May be displayed / reproduced. For the latter, a description language such as SMIL that can display a plurality of media synchronously can be used. For speech reproduction, for example, speech synthesis can be used.
以下において、映像要約装置1の各部について説明する。   Hereinafter, each part of the video summarizing apparatus 1 will be described.
映像属性情報作成部15は、元映像情報10に基づいて映像属性情報11を自動的に作成する。なお、映像属性情報作成部15における映像属性情報11の自動作成処理の詳細は後述する。   The video attribute information creation unit 15 automatically creates video attribute information 11 based on the original video information 10. Details of the automatic creation processing of the video attribute information 11 in the video attribute information creation unit 15 will be described later.
重要度算出部16は、入力された映像属性情報11および要約作成情報12に基づいて、映像属性情報11に含まれるイベントごとにその重要度を算出する。イベントの重要度の算出方法は、当該イベントに含まれる文字列と要約作成情報12に含まれるキーワードとの一致の具合の評価値を求めることによって行う。例えば、重要度をwとし、キーワードの総数をNとして、次に例示する式により重要度wを求めることができる。ただし、次式においてakは、要約作成情報12に含まれるk番目のキーワードの重み値を示すパラメータである。
w=ΣakM(x)
ここで、Σはk=1〜Nの範囲を総和の対象とする。また、x番目のキーワードが一致する場合には、M(x)=1とし、x番目のキーワードが一致しない場合には、M(x)=0とする。
The importance calculation unit 16 calculates the importance for each event included in the video attribute information 11 based on the input video attribute information 11 and summary creation information 12. The event importance level is calculated by obtaining an evaluation value of the degree of matching between the character string included in the event and the keyword included in the summary creation information 12. For example, if the importance is w and the total number of keywords is N, the importance w can be obtained by the following example. In the following expression, a k is a parameter indicating the weight value of the k-th keyword included in the summary creation information 12.
w = Σa k M (x)
Here, Σ is a summation target in the range of k = 1 to N. When the xth keyword matches, M (x) = 1 is set, and when the xth keyword does not match, M (x) = 0.
なお、キーワードとして見たくない対象についての記述をも可能にする構成においては、M(x)について、x番目のキーワードが一致し、x番目のキーワードが見たい映像に係るキーワードである場合には、M(x)=1とし、x番目のキーワードが一致し、x番目のキーワードが見たくない映像に係るキーワードである場合には、M(x)=−1とし、x番目のキーワードが一致しない場合には、M(x)=0とする。   Note that in the configuration that allows description of an object that is not desired to be viewed as a keyword, when the xth keyword matches M (x) and the xth keyword is a keyword related to a video that the user wants to view, , M (x) = 1, the xth keyword matches, and the xth keyword is a keyword related to the video that you do not want to see, M (x) =-1 and the xth keyword matches If not, M (x) = 0.
映像区間選択部17は、算出された重要度に従って、要約映像に含める元映像コンテンツの区間を選択する。   The video segment selection unit 17 selects a segment of the original video content to be included in the summary video according to the calculated importance.
説明文用イベント選択部18は、要約映像に用いる文字や音声による説明文(テロップやナレーションなど)の生成に用いるイベントを、イベント列から選択する。選択は予め決められたイベントを自動的に選択してもよいし、ユーザが明示的に選択してもよい。例えば、野球中継の場合には、ヒットなどの安打のイベントを選択する。基本的には、要約映像の全部に対してのみ説明文を生成する処理と、要約映像の一部に対してのみ説明文を生成する処理と、要約映像の全部又は一部及び要約映像以外の所定の部分に対して説明文を生成する処理と、要約映像以外の所定の部分に対してのみ説明文を生成する処理が考えられる。これらのイベント選択処理は、映像区間選択部17とは独立して処理してもよいし、映像区間選択部17のデータを利用してもよい。   The explanatory note event selection unit 18 selects an event to be used for generating an explanatory sentence (telop, narration, etc.) using characters and sounds used for the summary video from the event sequence. For the selection, a predetermined event may be automatically selected, or the user may explicitly select the event. For example, in the case of a baseball game, a hit event such as a hit is selected. Basically, a process for generating an explanatory text only for the entire summary video, a process for generating an explanatory text for only a part of the summary video, A process for generating an explanatory text for a predetermined part and a process for generating an explanatory text only for a predetermined part other than the summary video are conceivable. These event selection processes may be performed independently of the video segment selection unit 17, or data of the video segment selection unit 17 may be used.
説明文作成部19は、説明文用イベント選択部18で選択された説明文用イベントと説明文作成情報13とから、(文字等の可視的情報や音声等の可聴的情報による)説明文を生成する。前述したように、説明文作成情報13は、説明文を生成するためのテンプレートを含む情報である。テンプレートとは、例えば、「(時間)、(チーム)のチャンス。(選手)の(プレイ)!」のように、固定された文字列と可変の文字列の組み合わせによって、与えられる文字列である。この例では、「(時間)」など()によって示された文字列が可変の文字列を表している。可変の文字列には、映像属性情報11や要約作成情報12から、直接的あるいは間接的に得ることができる文字列が入る。このようなテンプレートがイベントの種類などによって複数用意される。   The explanatory note creating unit 19 generates an explanatory sentence (by visible information such as characters or audible information such as voice) from the explanatory note event selected by the explanatory note event selecting unit 18 and the explanatory note creating information 13. Generate. As described above, the explanatory note creation information 13 is information including a template for generating an explanatory note. A template is a character string given by a combination of a fixed character string and a variable character string, such as “(Time), (Team) chance. (Player) (Play)!”. . In this example, the character string indicated by () such as “(time)” represents a variable character string. The variable character string includes a character string that can be obtained directly or indirectly from the video attribute information 11 or the summary creation information 12. A plurality of such templates are prepared depending on the type of event.
統合部20は、映像区間情報と文字テロップや音声ナレーションによる説明文とを統合し、両方の情報を含んだ要約映像情報14を生成する。文字の表示や音声の発話のタイミングは、イベントの発生時刻や映像区間に合わせて行う。発生時刻に合わせる場合、発生時刻の前に適当な間隔をおいて表示、発話したり、発話区間の特定の位置(例えば中間点)がイベントの発生時刻となるように表示、発話したりするようにタイミングを調整すればよい。また、映像区間に合わせる場合は、その区間の開始点や終了点から適当な間隔をとって表示、発話すればよい。もちろん、これらの複数の手法を組み合わせて、例えば、文字テロップは映像区間に合わせ、音声ナレーションはイベントの発生時刻に合わせて用いるなどしてもよい。   The integration unit 20 integrates the video section information and the explanatory text by the character telop or voice narration, and generates summary video information 14 including both pieces of information. The display timing of the characters and the voice utterance are performed in accordance with the event occurrence time and the video section. When adjusting to the occurrence time, display and speak at an appropriate interval before the occurrence time, or display and speak so that a specific position in the utterance section (for example, the midpoint) becomes the event occurrence time. The timing may be adjusted. In addition, when adjusting to the video section, display and speaking may be performed with an appropriate interval from the start point and end point of the section. Of course, by combining these methods, for example, the character telop may be used in accordance with the video section, and the voice narration may be used in accordance with the event occurrence time.
統合時には、テロップのオーバーレイ表示や、音声合成による音声ナレーションを作成して、要約映像に含めてもよいし、テキストの状態で要約映像情報14として記述して、再生装置側で、オーバーレイ表示音声合成を行ってもよい。   At the time of integration, telop overlay display or voice narration by voice synthesis may be created and included in the summary video, or described as summary video information 14 in the text state, and overlay display voice synthesis on the playback device side May be performed.
なお、上記では、統合部20は、選択された映像区間情報と生成された説明文情報とを単純に重ね合わせて、1つの要約映像情報14として出力する例を示したが、映像区間や音量の調整を含むようにしてもよい。   In the above description, the integration unit 20 has shown an example in which the selected video section information and the generated explanatory text information are simply superimposed and output as one summary video information 14. The adjustment may be included.
以上のように本実施の形態の映像要約装置1によれば、映像情報の中から、ユーザの入力したキーワードや時間などの条件やユーザの好みに基づいて、ユーザの興味のある映像区間のみを選択し、それにテロップや音声ナレーションを付加した要約映像を作成することができる。また、省略されてしまった重要なシーンを説明文で補うことで、より内容を理解しやすい要約映像を作成することができる。   As described above, according to the video summarization apparatus 1 of the present embodiment, only video segments that are of interest to the user are selected from the video information based on conditions such as keywords and time input by the user and user preferences. A summary video can be created by selecting and adding a telop or voice narration. Also, by supplementing important scenes that have been omitted with explanatory texts, it is possible to create a summary video that makes it easier to understand the contents.
したがって、本実施の形態の映像要約装置1によれば、ユーザは1つの番組をまるごと再生することなく、自分の興味のある部分だけを含む要約を作成して、再生することが可能である。その際に、テロップや音声ナレーションによる説明を映像に現れない部分を含めて、ユーザの嗜好に合った文章や口調で受けることができる。   Therefore, according to the video summarizing apparatus 1 of the present embodiment, the user can create and reproduce a summary including only a portion of interest of the user without reproducing the entire program. At that time, it is possible to receive explanations based on telops and voice narrations in sentences and tone that match the user's preference, including portions that do not appear in the video.
次に、映像属性情報作成部15における映像属性情報11の自動作成処理について詳述する。ここで、図3は映像属性情報作成部15の概略構成を示すブロック図、図4は映像属性情報の自動作成処理の流れを概略的に示すフローチャートである。   Next, the automatic creation processing of the video attribute information 11 in the video attribute information creation unit 15 will be described in detail. Here, FIG. 3 is a block diagram showing a schematic configuration of the video attribute information creation unit 15, and FIG. 4 is a flowchart schematically showing a flow of automatic creation processing of the video attribute information.
図3に示すように、映像属性情報作成部15は、元映像情報10を入力とし、映像属性情報11を出力する。このような映像属性情報作成部15は、元映像情報10をシーンに分割するシーン分割手段として機能するシーン分割部151と、同じ構図で撮影した画像(典型シーン)を抽出する典型シーン抽出手段として機能する典型シーン抽出部152と、属性情報領域を抽出する属性情報領域抽出手段として機能する属性情報領域抽出部153と、典型シーンに属性情報領域が含まれるか否かを判定する領域判定手段として機能する属性情報領域有無判定部154と、属性情報領域が含まれる文字領域を抽出する文字領域抽出手段として機能する文字領域抽出部155と、文字領域の意味付けを行う文字領域意味付け手段として機能する文字領域意味付け部156と、文字領域から映像属性情報を読み取って出力する映像属性情報出力手段として機能する文字領域読み取り部157と、を備えている。   As shown in FIG. 3, the video attribute information creation unit 15 receives the original video information 10 and outputs video attribute information 11. Such a video attribute information creation unit 15 is a scene division unit 151 that functions as a scene division unit that divides the original video information 10 into scenes, and a typical scene extraction unit that extracts an image (typical scene) shot with the same composition. A typical scene extraction unit 152 that functions, an attribute information region extraction unit 153 that functions as an attribute information region extraction unit that extracts an attribute information region, and an area determination unit that determines whether or not an attribute information region is included in a typical scene Functions as an attribute information area presence / absence determination unit 154 that functions, a character area extraction unit 155 that functions as a character area extraction unit that extracts a character area that includes the attribute information region, and a character area meaning unit that makes the character area meaningful A character area meaning assigning unit 156 that reads the video attribute information from the character area and outputs it. A character area reading unit 157, and a.
映像属性情報の自動作成処理の流れを概略的に説明する。各ステップの詳細については、後述する。図4に示すように、まず、元映像情報10のフレームごとの特徴量を算出し、特徴量が類似する連続フレームの集合である複数のシーンに元映像情報10を分割する(ステップS1:シーン分割部151)。すなわち、元映像情報10のフレーム間の類似性が低くなるシーンチェンジを検出して、元映像情報10を複数のシーンに分割する。   The flow of the automatic creation processing of video attribute information will be schematically described. Details of each step will be described later. As shown in FIG. 4, first, the feature amount of each frame of the original video information 10 is calculated, and the original video information 10 is divided into a plurality of scenes that are sets of continuous frames having similar feature amounts (step S1: scene). Division unit 151). That is, a scene change that reduces the similarity between frames of the original video information 10 is detected, and the original video information 10 is divided into a plurality of scenes.
次いで、各シーンの中から典型シーンを抽出し(ステップS2:典型シーン抽出部152)、画面の中から属性情報が表示される属性情報領域を抽出し(ステップS3:属性情報領域抽出部153)、ステップS2で抽出された各典型シーンについて、属性情報が表示されているか否かを判定する(ステップS4:属性情報領域有無判定部154)。   Next, a typical scene is extracted from each scene (step S2: typical scene extraction unit 152), and an attribute information area in which attribute information is displayed is extracted from the screen (step S3: attribute information area extraction unit 153). Then, it is determined whether or not attribute information is displayed for each typical scene extracted in step S2 (step S4: attribute information area presence / absence determining unit 154).
その後、属性情報が表示された典型シーンから文字領域を抽出し(ステップS5:文字領域抽出部155)、抽出された文字領域とルール情報を照合して文字領域の意味付けを行う(ステップS6:文字領域意味付け部156)。   Thereafter, a character area is extracted from the typical scene on which the attribute information is displayed (step S5: character area extraction unit 155), and the extracted character area is compared with the rule information to make the character area meaningful (step S6: Character area meaning unit 156).
最後に、文字領域の読み取りを行って映像属性情報を生成し(ステップS7:文字領域読み取り部157)、処理を終了する。   Finally, the character area is read to generate video attribute information (step S7: character area reading unit 157), and the process is terminated.
ここで、上述の各用語について図面を参照しつつ説明する。   Here, the above-mentioned terms will be described with reference to the drawings.
図5は、野球中継番組の画面例を示す模式図である。図5に示すように、201に示す領域には“回”、“得点”、“ボールカウント”、“出塁状況”などが表示されている。これらのスコア情報を属性情報、201の領域を属性情報領域と呼ぶ。さらに、属性情報領域内の個々の文字が存在する領域(例えば、202に示すボールカウントが存在するスコア領域)を文字領域と呼ぶ。   FIG. 5 is a schematic diagram illustrating a screen example of a baseball broadcast program. As shown in FIG. 5, in the area 201, “times”, “scores”, “ball count”, “exit situation”, and the like are displayed. These score information is called attribute information, and the area 201 is called an attribute information area. Furthermore, an area in the attribute information area where individual characters exist (for example, a score area where the ball count indicated by 202 exists) is called a character area.
図6は、典型シーンとなる同じ構図で撮影した画像について示す説明図である。301は元映像情報10を示し、紙面を右に向かって時間が流れているとする。斜線部(例えば、302)は投球シーンを示す。投球シーンは、図5に示したようにピッチャーの後方からバッター方向を撮影したシーンである。野球中継では、図5に示すような画面に投球の度に切り替わることが多く、カメラの位置や向きは毎回、ほぼ同じである。そのため、303に示すように、野球中継番組では投球シーンが繰り返し出現する。このように、映像コンテンツ中に何度も反復して出現する同じ構図で撮影した画像を典型シーンと定義する。   FIG. 6 is an explanatory diagram showing an image shot with the same composition as a typical scene. Reference numeral 301 denotes the original video information 10, and it is assumed that time flows toward the right side of the page. A hatched portion (for example, 302) indicates a pitching scene. The throwing scene is a scene in which the batter direction is photographed from the rear of the pitcher as shown in FIG. In baseball broadcasts, the screen shown in FIG. 5 is often switched every time a pitch is thrown, and the position and orientation of the camera are almost the same each time. Therefore, as shown at 303, a pitching scene repeatedly appears in a baseball broadcast program. Thus, an image shot with the same composition that appears repeatedly in the video content is defined as a typical scene.
次に、各ステップにおける処理の詳細について説明する。   Next, details of processing in each step will be described.
まず、シーン分割部151によるシーン分割(ステップS1)について説明する。シーン分割部151によるシーン分割は、元映像情報10の映像フレームの特徴量を比較することで行う。ここで、図7は入力映像からの特徴量抽出方法について模式的に示す説明図である。図7に示す401は、元映像情報10の映像フレームを順次並べたものである。これらの映像フレームから特徴量を直接抽出することもできるが、本実施の形態においては、時間的・空間的にサンプリングを行うことで処理量を削減しつつ、特徴量を抽出する方法について述べる。   First, scene division (step S1) by the scene division unit 151 will be described. The scene division by the scene division unit 151 is performed by comparing the feature amounts of the video frames of the original video information 10. Here, FIG. 7 is an explanatory diagram schematically showing a method for extracting feature amounts from an input video. Reference numeral 401 shown in FIG. 7 is a sequence of video frames of the original video information 10. Although feature amounts can be directly extracted from these video frames, this embodiment describes a method of extracting feature amounts while reducing the processing amount by performing sampling temporally and spatially.
時間的なサンプリングは、図7に示すように、映像フレーム群401から映像の一部のフレーム402を抜き出して処理する。抜き出す方法としては、一定間隔で抜き出したり、MPEGのIピクチャだけ抜き出す方法などがある。403は抜き出した1フレームである。次いで、抜き出したフレーム403を縮小してサムネール画像404を作成し、空間的にサンプリングする。サムネール画像404の作成方法としては、複数の画素の平均値を求めて縮小する方法やMPEGのIピクチャのDCT係数のDC成分だけを復号して算出する方法などがある。そして、サムネール画像404をブロックに分割し、ブロックごとに色のヒストグラム分布405を求める。この色ヒストグラム分布をこのフレームの特徴量とする。   As shown in FIG. 7, temporal sampling is performed by extracting a part of a frame 402 from a video frame group 401. Extraction methods include extraction at regular intervals and extraction of only MPEG I pictures. Reference numeral 403 denotes one extracted frame. Next, the extracted frame 403 is reduced to create a thumbnail image 404 and spatially sampled. As a method for creating the thumbnail image 404, there are a method of obtaining an average value of a plurality of pixels and reducing the average value, a method of decoding and calculating only a DC component of a DCT coefficient of an MPEG I picture, and the like. Then, the thumbnail image 404 is divided into blocks, and a color histogram distribution 405 is obtained for each block. This color histogram distribution is used as a feature amount of this frame.
そして、隣接するフレーム403の間の特徴量の距離を求め、特徴量の距離が一定の基準を上回るフレーム403の間、すなわち類似度が低下するフレーム403の間でシーンを分割する。特徴量の距離には、例えばユークリッド距離を用いることができる。フレームiのa番目ブロックのヒストグラムにおけるb番目の頻度をhi(a,b)とすると、フレームiとフレームi+1間のユークリッド距離dは、下記式のようになる。
Then, the distance of the feature amount between the adjacent frames 403 is obtained, and the scene is divided between the frames 403 where the distance of the feature amount exceeds a certain reference, that is, between the frames 403 where the similarity decreases. For example, the Euclidean distance can be used as the feature distance. If the b-th frequency in the histogram of the a-th block of the frame i is h i (a, b), the Euclidean distance d between the frame i and the frame i + 1 is expressed by the following equation.
次に、典型シーン抽出部152による典型シーンの抽出(ステップS2)について説明する。ここで、図8は典型シーンの抽出処理の流れを示すフローチャートである。図8に示すように、まず初めに、シーン分割部151で分割したシーン毎の特徴量に基づいて類似するシーンをグループに分類する(ステップS11:分類手段)。すなわち、1つのグループには、類似するシーンのみが含まれることになる。シーンの特徴量としては、例えば、各シーンの先頭のフレームの特徴量を用いることができる。   Next, typical scene extraction (step S2) by the typical scene extraction unit 152 will be described. FIG. 8 is a flowchart showing the flow of typical scene extraction processing. As shown in FIG. 8, first, similar scenes are classified into groups based on the feature quantities for each scene divided by the scene dividing unit 151 (step S11: classification means). That is, only one similar scene is included in one group. As the feature amount of the scene, for example, the feature amount of the first frame of each scene can be used.
続くステップS12では、グループi(i=1,2,3,・・・N(初期値i=1))に分類されたシーンの中に基準以上の「反復があるシーン」が含まれるか否かを判定する。Nは、グループの総数である。「反復があるシーン」は、映像の時系列中に何度も反復して出現する同じ構図で撮影した画像である。判定の基準としては、例えば、グループに含まれる「反復があるシーン」の総数が定められた閾値を超えているか否かであったり、グループに含まれる「反復があるシーン」の総時間が元映像の時間に対して一定以上の割合を占めるか否かである。   In subsequent step S12, whether or not “scenes with repetitions” exceeding the reference are included in the scenes classified into group i (i = 1, 2, 3,... N (initial value i = 1)). Determine whether. N is the total number of groups. A “scene with repetition” is an image taken with the same composition that appears repeatedly in a time series of video. As a criterion for determination, for example, whether or not the total number of “scenes with repetition” included in the group exceeds a predetermined threshold, or the total time of “scenes with repetition” included in the group Whether or not it occupies a certain percentage of the video time.
基準以上の「反復があるシーン」が含まれる、すなわち基準を満たすと判定された場合は(ステップS12のYes)、ステップS13へ進み、グループiに分類された全シーンを典型シーンとする。ここに、判定手段の機能が実行される。その後、ステップS14へ進む。   If it is determined that “scenes with repetitions” above the standard are included, that is, it is determined that the standard is satisfied (Yes in step S12), the process proceeds to step S13, and all scenes classified into group i are set as typical scenes. Here, the function of the determination means is executed. Then, it progresses to step S14.
一方、基準以上の「反復があるシーン」が含まれない場合は(ステップS12のNo)、そのままステップS14に進む。   On the other hand, when the “scene with repetition” that exceeds the reference is not included (No in step S12), the process proceeds to step S14 as it is.
ステップS14では全グループについての処理が終了したか否か、すなわちi=Nか否かを判定する。全グループについての処理が終了していなければ(ステップS14のNo)、iを更新し(ステップS15)、ステップS12へ戻る。全グループについての処理が終了していれば(ステップS14のYes)、選択した典型シーンを時間順に並び替え(ステップS16)、処理を終了する。   In step S14, it is determined whether or not processing for all groups is completed, that is, whether i = N. If processing for all groups has not been completed (No in step S14), i is updated (step S15), and the process returns to step S12. If the processing for all the groups has been completed (Yes in step S14), the selected typical scenes are rearranged in time order (step S16), and the processing is terminated.
次に、属性情報領域抽出部153による属性情報領域の抽出(ステップS3)について説明する。ここで、図9は属性情報領域の抽出処理の流れを示すフローチャートである。図9に示すように、まず初めに、シーン分割部151で分割した各シーンの境界について、境界の前と境界の後のフレームを選択し、フレーム間の重複部分を抽出する(ステップS21)。なお、選択するフレームはシーン境界の直前、直後である必要はなく、数フレームあるいは数秒離れた位置のフレームを選択してもよい。また、映像中で処理対象とするシーン境界は映像中の全てのシーン境界としてもよいが、典型シーンとその直前のシーンの境界だけを対象としてもよい。これは、典型シーン(例えば、ピッチングシーン)は1つのプレイの開始であるため、属性情報(スコア情報)が表示されることが多く、属性情報領域の検出に適しているからである。   Next, attribute information region extraction (step S3) by the attribute information region extraction unit 153 will be described. Here, FIG. 9 is a flowchart showing a flow of attribute information region extraction processing. As shown in FIG. 9, first, with respect to the boundary of each scene divided by the scene dividing unit 151, frames before and after the boundary are selected, and overlapping portions between the frames are extracted (step S21). Note that the frame to be selected does not have to be immediately before or after the scene boundary, but may be a frame located several frames or several seconds away. Further, the scene boundary to be processed in the video may be all scene boundaries in the video, but only the boundary between the typical scene and the immediately preceding scene may be targeted. This is because a typical scene (for example, a pitching scene) is the start of one play, and therefore attribute information (score information) is often displayed, which is suitable for detecting an attribute information area.
図10は、典型シーンを用いてフレーム間の重複部分を抽出する処理について模式的に示す説明図である。図10中、501は典型シーンの中の1シーンの先頭付近のフレーム、502はその直前のシーンの終端付近のフレームを示す。すなわち、ステップS21においては、典型シーンの中の1シーンの先頭付近のフレーム501と、その直前のシーンの終端付近のフレーム502との重複部分、すなわち変化がない領域が抽出される。図10においては、斜線で示す重複部分503が、変化がない領域として抽出される。   FIG. 10 is an explanatory diagram schematically showing processing for extracting an overlapping portion between frames using a typical scene. In FIG. 10, reference numeral 501 denotes a frame near the beginning of one scene in the typical scene, and 502 denotes a frame near the end of the immediately preceding scene. That is, in step S21, an overlapping portion of the frame 501 near the beginning of one scene in the typical scene and the frame 502 near the end of the immediately preceding scene, that is, an area without change is extracted. In FIG. 10, an overlapping portion 503 indicated by hatching is extracted as a region having no change.
次いで、抽出された重複部分中において閾値を下回る画素を2値化によって求める(ステップS22)。   Next, pixels that are below the threshold in the extracted overlapping portion are obtained by binarization (step S22).
そして、抽出した全てのシーン境界の重複部分を合算し(ステップS23)、合算した重複部分中(図10中の504)において閾値を下回る画素を2値化によって求める(ステップS24)。   Then, the extracted overlapping portions of all the scene boundaries are added together (step S23), and pixels below the threshold in the added overlapping portion (504 in FIG. 10) are obtained by binarization (step S24).
最後に、これらの画素の分布密度が高い部分を属性情報領域として抽出する(ステップS25)。ここで、図11は属性情報領域の抽出方法を模式的に示す説明図である。図11に示すように、画面601の中での属性情報領域の候補を602とし、この領域602の位置を求める。画面601をx軸方向,y軸方向に射影すると、603,604のような分布をもつヒストグラムが生成される。これらのヒストグラム603,604において閾値以上の頻度を持つ区間605,606を求め、その領域602を属性情報領域201の位置とする。   Finally, a portion with a high distribution density of these pixels is extracted as an attribute information region (step S25). Here, FIG. 11 is an explanatory diagram schematically showing a method for extracting an attribute information area. As shown in FIG. 11, the attribute information area candidate in the screen 601 is set to 602, and the position of this area 602 is obtained. When the screen 601 is projected in the x-axis direction and the y-axis direction, histograms having distributions such as 603 and 604 are generated. In these histograms 603 and 604, sections 605 and 606 having a frequency equal to or higher than the threshold are obtained, and the area 602 is set as the position of the attribute information area 201.
次に、属性情報領域有無判定部154による属性情報領域の有無の判定(ステップS4)について説明する。ステップS2で抽出された各典型シーンに属性情報(スコア情報)が表示されているか否かの判定は、ステップS3で合算された重複部分504と、各典型シーンとその直前のシーンとの重複部分(例えば、503)を比較することにより行なう。すなわち、重複部分504と、各典型シーンとその直前のシーンとの重複部分(例えば、503)を比較し、基準以上の画素が一致する場合に、その典型シーンには属性情報(スコア情報)が表示されていると判定する。   Next, the determination of the presence / absence of an attribute information area (step S4) by the attribute information area presence / absence determination unit 154 will be described. It is determined whether or not the attribute information (score information) is displayed in each typical scene extracted in step S2. The overlapping portion 504 added in step S3 is overlapped with each typical scene and the immediately preceding scene. This is done by comparing (for example, 503). That is, the overlap portion 504 is compared with the overlap portion (for example, 503) between each typical scene and the immediately preceding scene, and when the pixels equal to or higher than the reference match, the typical scene has attribute information (score information). It is determined that it is displayed.
次に、文字領域抽出部155による文字領域抽出(ステップS5)について説明する。ここで、図12は文字領域の抽出処理の流れを示すフローチャート、図13は文字領域を抽出する処理について模式的に示す説明図である。図12に示すように、まず初めに、隣接する2つの典型シーン間の属性情報領域201における差分を抽出する(ステップS31)。例えば、図13においては、典型シーン701と典型シーン702の属性情報領域201における差分703を求める。   Next, the character area extraction (step S5) by the character area extraction unit 155 will be described. Here, FIG. 12 is a flowchart showing the flow of the character region extraction process, and FIG. 13 is an explanatory diagram schematically showing the process of extracting the character region. As shown in FIG. 12, first, a difference in the attribute information area 201 between two adjacent typical scenes is extracted (step S31). For example, in FIG. 13, the difference 703 in the attribute information area 201 between the typical scene 701 and the typical scene 702 is obtained.
次に、閾値に基づいて差分を2値化する(ステップS32)。このようにすることで、2つの典型シーンの属性情報領域201間で、変化のあった箇所だけが抽出される。野球の投球では1プレイごとに典型シーンが繰り返されるため、1球ごとの変化が抽出される。この差分を他の隣接典型シーンの組み合わせについても求める。例えば、図13においては、典型シーン702の属性情報領域201と典型シーン704の属性情報領域201の差分705を求める。   Next, the difference is binarized based on the threshold value (step S32). By doing in this way, only the changed part is extracted between the attribute information areas 201 of the two typical scenes. In baseball pitching, a typical scene is repeated for each play, so changes for each ball are extracted. This difference is also obtained for combinations of other adjacent typical scenes. For example, in FIG. 13, the difference 705 between the attribute information area 201 of the typical scene 702 and the attribute information area 201 of the typical scene 704 is obtained.
続いて、これらの属性情報領域201内の差分を領域に分割する(ステップS33)。差分は2値化されているので、隣接画素が同じ値であれば1つの領域とする領域成長法によって領域に分割することができる。これらの領域が文字領域となる。   Subsequently, the difference in the attribute information area 201 is divided into areas (step S33). Since the difference is binarized, if adjacent pixels have the same value, they can be divided into regions by a region growing method in which one region is used. These areas become character areas.
最後に、全ての典型シーンについて求めた文字領域から、映像中で変化のあった領域の一覧706を作成する(ステップS34)。なお、一覧には重複する領域は一度だけ含まれるようにする。   Finally, a list 706 of regions that have changed in the video is created from the character regions obtained for all typical scenes (step S34). Note that the list includes an overlapping area only once.
ここで、図14は重複する領域の処理例を模式的に示す説明図である。図14は、重複する領域の処理についてストライクカウントを例に説明したものである。なお、図14に示す破線部は説明のためのもので、実際には何もない。図14に示す801は、打者が交代することにより、2ストライクからノーストライクに変化したときの差分を示す領域である。図14に示す802は、ノーストライクから1ストライクに変化したときの差分を示す領域である。同様に、図14に示す803は、1ストライクから2ストライクに変化したときの差分を示す領域である。このとき、801の領域は802の領域と803の領域を合わせたものとなり、それぞれと重複する。この場合、801の領域は領域一覧には含めず、重複しない802と803の領域を含める。また、映像中に802や803と同等の領域は何度も出現するが、1回だけ採用する。   Here, FIG. 14 is an explanatory diagram schematically showing a processing example of overlapping regions. FIG. 14 illustrates the processing of overlapping areas by taking a strike count as an example. Note that the broken line portion shown in FIG. 14 is for explanation, and there is actually nothing. 801 shown in FIG. 14 is an area indicating a difference when the batter is changed to change from two strikes to north strikes. 802 shown in FIG. 14 is an area indicating a difference when changing from north strike to one strike. Similarly, reference numeral 803 shown in FIG. 14 is an area indicating a difference when changing from one strike to two strikes. At this time, the area 801 is a combination of the area 802 and the area 803, which overlap each other. In this case, the area 801 is not included in the area list, and the areas 802 and 803 that do not overlap are included. Moreover, although the area | region equivalent to 802 and 803 appears many times in an image | video, it employ | adopts only once.
次に、文字領域意味付け部156による文字領域の意味付け(ステップS6)について説明する。文字領域意味付け部156は、ステップS5で抽出された文字領域一覧の個々の領域の意味付けを行う。   Next, the meaning of the character area (step S6) by the character area semanticizing unit 156 will be described. The character area meaning assigning unit 156 makes meanings for individual areas in the character area list extracted in step S5.
例えば、野球の場合、ボールカウント(ストライク,ボール,アウト)や得点を表すスコア文字領域(文字領域)に意味を割り当てる。意味付けにはルール情報を用い、スコア文字領域(文字領域)の特徴と照合して適合する内容を割り当てる。ルール情報は、スコア文字領域(文字領域)のグループ、他のスコア文字領域(文字領域)との相対的な位置関係やスコア文字領域(文字領域)内での大まかな位置に関する内容を含む。グループとは複数のスコア文字領域で1つの意味合いを持つものを指し、グループを構成するスコア文字領域(文字領域)の数、配色、位置関係をルール情報とする。例えば、ストライクカウントは2つのスコア文字領域(文字領域)によって構成されるので、これらの2つの領域を1グループとして扱う。そのため、意味付け処理の手順は初めに位置や色で領域をグルーピングし、次に、他のグループとの相対的な関係を比較するという2段階の処理で行う。   For example, in the case of baseball, a meaning is assigned to a score character area (character area) representing a ball count (strike, ball, out) or a score. Rule information is used for meaning assignment, and matching contents are assigned by matching with the characteristics of the score character area (character area). The rule information includes contents relating to a group of score character areas (character areas), a relative positional relationship with other score character areas (character areas), and a rough position in the score character area (character area). A group refers to a plurality of score character areas having one meaning, and the number, color arrangement, and positional relationship of score character areas (character areas) constituting the group are used as rule information. For example, since the strike count is composed of two score character areas (character areas), these two areas are treated as one group. For this reason, the semantic process is a two-stage process in which areas are first grouped by position and color, and then the relative relationship with other groups is compared.
図15は、ルール情報の一例を示す模式図である。図15に示すように、ルール情報は、それぞれの内容901と、対応するグループとしてのルール902と、位置関係のルール903とにより構成される。例えば、「ストライク」カウントに対応して、「水平方向に隣接する2つの同サイズ同色の領域である」というグループのルール902が定義されている。そこで、各領域を位置、色によってグルーピングする。なお、隣接と近接の違いは、領域間の距離の閾値の違いであり、隣接の方がより近い位置にある。次に、「ストライク」カウントに対応して、「ボールおよびアウトカウントと領域の左端のx座標が同じ(縦並びの場合)あるいはy座標が同じ(横並びの場合)」という他の要素との相対的な位置関係についてのルール903が定義されている。そこで、このような位置関係のルール903を用いて照合を行い、ルール902に基づいてグルーピングした領域からルール903を満たすものを選択し、意味付けを完了する。   FIG. 15 is a schematic diagram illustrating an example of rule information. As shown in FIG. 15, the rule information includes each content 901, a rule 902 as a corresponding group, and a positional relationship rule 903. For example, a group rule 902 is defined corresponding to the “strike” count “two adjacent areas of the same size and the same color in the horizontal direction”. Therefore, each area is grouped by position and color. Note that the difference between adjacency and proximity is a difference in the threshold value of the distance between the regions, and the adjacency is closer. Next, in relation to the “strike” count, relative to other elements “the ball and the out count are the same as the x coordinate of the left end of the region (when vertically aligned) or the y coordinate is equal (when horizontally aligned)”. A rule 903 for a general positional relationship is defined. Therefore, collation is performed using such a positional relationship rule 903, and a region that satisfies the rule 903 is selected from the areas grouped based on the rule 902, and the meaning is completed.
例えば野球中継においては、このように抽象度の高いルールを用いることで、放送局ごとのデザインの違いに影響を受けづらくなるので、汎用性が高まる。なお、ルール情報は1つである必要はなく複数のパターンを用意しておいてもよい。例えば、ボールカウントが数字で表示されるパターンを用意する。ルールで数字と定義されているものは属性情報領域201が表示された典型シーンを1つ以上選択し、数字として読み取ってみて、読み取ることができれば数字とする。スポーツ中継に用いられるスコア情報はスポーツごとにある程度決まった形があり、放送局が変わっても大きくは変わらないため、スポーツごとに数パターンを作成しておけば十分である。もちろん、汎用性が必要がない場合はこのような抽象的なルール情報ではなく、特定の番組のスコア情報の配置をテンプレート(雛形)とし、スコア文字領域(文字領域)の位置や大きさを細かく指定しても構わない。   For example, in a baseball broadcast, the use of a rule with a high level of abstraction makes it difficult to be influenced by the design difference of each broadcasting station, so that versatility is enhanced. Note that the rule information need not be one, and a plurality of patterns may be prepared. For example, a pattern in which the ball count is displayed as a number is prepared. If the rule defines a number, one or more typical scenes in which the attribute information area 201 is displayed are selected and read as numbers. The score information used for sports broadcasts has a certain form for each sport, and does not change greatly even if the broadcasting station changes, so it is sufficient to create several patterns for each sport. Of course, if versatility is not required, the abstract score information is not such a rule, but the score information layout of a specific program is used as a template (model), and the position and size of the score character area (character area) are detailed. You may specify.
次に、文字領域読み取り部157による映像属性情報の生成(ステップS7)について説明する。文字領域読み取り部157は、ステップS6で意味づけられた各文字領域から映像コンテンツに関するメタデータである映像属性情報11を読み取って出力する。ここで、図16は野球のスコア情報の一例を示す模式図である。図16に示す野球のスコア情報の例では、回、得点、ボールカウント、出塁状況を含んでいるが、一部の情報(例えば、ボールカウントだけを含む情報)を生成してもよい。その場合、当然、ステップS6における処理も該当する情報だけを意味づけることができればよい。   Next, generation of video attribute information (step S7) by the character area reading unit 157 will be described. The character area reading unit 157 reads and outputs the video attribute information 11 that is metadata relating to the video content from each character area defined in step S6. Here, FIG. 16 is a schematic diagram showing an example of baseball score information. The example of baseball score information shown in FIG. 16 includes the times, scores, ball counts, and output situations, but some information (for example, information including only the ball counts) may be generated. In that case, as a matter of course, it is sufficient that the process in step S6 can also mean only the corresponding information.
なお、スコア文字領域(文字領域)からの映像属性情報11の読み取りは、図形なのか文字なのかで処理が異なる。例えば、図形は、丸の数で表現されるボールカウントや出塁状況に用いられる。この場合は、各スコア文字情報が表示状態なのか、非表示状態なのかを判定する。一般的に表示状態は輝度や彩度が高い図形で表示されるので、閾値処理によって判定することができる。あるいは複数の典型シーンのスコア文字領域(文字領域)を2つのクラス(グループ)に分類し、輝度や彩度が高い方を選択する。一方、文字の読み取りの場合、野球中継で用いられる文字は数字と「表,裏」の文字であり、種類が限られている。そこで、これらの文字のテンプレートを予め作成しておき、比較することで読み取ることができる。もちろん、一般のOCRを用いたより汎用性が高い文字認識技術を用いても構わない。スコア文字領域(文字領域)から読み取ったスコア文字情報(映像属性情報11)はスポーツのルールと照らし合わせて矛盾がないように訂正される。例えば、回などに変化がないにも係わらず得点の数字が減少したときは誤認識である可能性が高いので、増加あるいは変化しない数字で読み取りの信頼性が高いものがあればそちらの数字を採用する。また、図形の読み取りに関しても、ボールカウントの1つ目が点灯せずに2つめ以降が点灯するなどの通常ありえない認識結果の場合には、前後の読み取り結果を考慮して訂正する。   Note that the reading of the video attribute information 11 from the score character area (character area) differs depending on whether it is a graphic or a character. For example, a figure is used for a ball count expressed in the number of circles or an output situation. In this case, it is determined whether each score character information is in a display state or a non-display state. Generally, the display state is displayed as a graphic with high luminance and saturation, and can be determined by threshold processing. Alternatively, score character areas (character areas) of a plurality of typical scenes are classified into two classes (groups), and the one with higher luminance and saturation is selected. On the other hand, in the case of character reading, characters used in the baseball broadcast are numbers and “front and back” characters, and the types are limited. Therefore, these character templates can be prepared in advance and read by comparison. Of course, a more versatile character recognition technique using a general OCR may be used. The score character information (image attribute information 11) read from the score character region (character region) is corrected so as to be consistent with the sports rules. For example, if there is no change in the number of times, but the number of points has decreased, there is a high possibility of misrecognition, so if there is a number that does not increase or change and has high reliability in reading, enter that number. adopt. In addition, regarding the reading of the figure, in the case of a recognition result that is not normally possible, such as the first ball count is not turned on and the second and subsequent lights are turned on, correction is performed in consideration of the preceding and subsequent reading results.
このように本実施の形態によれば、映像コンテンツを分割した隣接する各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出し、属性情報領域内の個々の文字が存在する領域である文字領域を抽出するとともに当該文字領域の意味付けを行い、意味付けされた文字領域から映像コンテンツに関するメタデータである映像属性情報を読み取って出力する。これにより、例えば野球中継の場合における得点やボールカウントなどの映像コンテンツに関するメタデータである映像属性情報が表示される画像領域の指定などの人手を介した作業を省略し、映像コンテンツから映像属性情報を自動的に認識して取得することができるので、映像コンテンツに関するメタデータを容易に生成することができる。   As described above, according to the present embodiment, an attribute information area that is an area in which attribute information is displayed is not changed between predetermined frames in each adjacent scene obtained by dividing the video content. Extracts the character area where individual characters exist in the attribute information area, assigns the meaning of the character area, and reads and outputs the video attribute information, which is metadata related to the video content, from the assigned character area To do. Thus, for example, in the case of a baseball game, manual operations such as designation of an image area in which video attribute information that is metadata related to video content such as a score and a ball count is displayed is omitted, and video attribute information from the video content is omitted. Can be automatically recognized and acquired, so that metadata relating to video content can be easily generated.
また、野球を初めとするスポーツ中継番組では投球時に投手の背後から打者方向を撮影したシーンのように、同じ構図で撮影した画像(典型的なシーン)が繰り返し現れる。このように番組に典型的なシーンはスポーツの1つのプレイごとに繰り返されることが多く、その度に得点やボールカウントなどのスコア情報に変化が生じる。そこで、本実施の形態では、対象となる映像コンテンツにおいて、野球の投球のように試合中の繰り返しの単位となる典型的なシーンを自動的に検出し、典型シーンの間での画面の変化によって映像属性情報を検出・認識することで、得点やボールカウントなどのメタデータを自動生成することにより、映像コンテンツに関するメタデータの生成を更に容易にすることができる。   Also, in sports broadcast programs such as baseball, images (typical scenes) shot with the same composition appear repeatedly, such as a scene shot from the back of the pitcher at the time of pitching. As described above, scenes typical of a program are often repeated for each play of a sport, and a change occurs in score information such as a score and a ball count each time. Therefore, in the present embodiment, in the target video content, a typical scene that is a repetitive unit during a game, such as a baseball pitch, is automatically detected, and the screen changes between typical scenes. By detecting and recognizing the video attribute information, metadata such as scores and ball counts can be automatically generated, thereby making it easier to generate metadata related to video content.
[第2の実施の形態]
次に、本発明の第2の実施の形態を図17および図18に基づいて説明する。なお、前述した第1の実施の形態と同じ部分は同じ符号で示し説明も省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to FIGS. The same parts as those in the first embodiment described above are denoted by the same reference numerals, and description thereof is also omitted.
図17は、本発明の第2の実施の形態の映像属性情報作成部15の概略構成を示すブロック図である。図17に示すように、本実施の形態の映像属性情報作成部15は、第1の実施の形態の映像属性情報作成部15の構成にイベント検出部160を追加し、イベント検出部160で検出したイベント情報30を説明文用イベント選択部18(図2参照)に出力するようにしたものである。   FIG. 17 is a block diagram illustrating a schematic configuration of the video attribute information creation unit 15 according to the second embodiment of this invention. As shown in FIG. 17, the video attribute information creation unit 15 according to the present embodiment adds an event detection unit 160 to the configuration of the video attribute information creation unit 15 according to the first embodiment, and the event detection unit 160 detects the event detection unit 160. The event information 30 is output to the explanatory text event selector 18 (see FIG. 2).
イベントとは試合の中で発生した何らかの事象である。例えば、野球ではヒット、ホームラン、打者の交代などが挙げられる。これらのイベントが発生すると、スコア情報(映像属性情報11)に特定の変化が起こる。そこで、イベント検出部160は、スコア情報(映像属性情報11)の変化パターンを予め用意されたイベントルール情報と照合し、特定のパターンが現れたときにイベント情報30として検出する。イベントルール情報としては、例えば、「ヒットの場合、ストライク、ボールのカウントが0に戻る」「アウトで打者が交代するときは、ストライク、ボールのカウントが0に戻り、アウトのカウントが1つ増える」「ホームランの場合は、出塁なしの状態になり、得点が増える」などが考えられる。このようなイベントルール情報を検出したいイベントの種類ごとに用意しておき、映像属性情報11と照合してイベント情報30を出力する。   An event is any event that occurs during a match. For example, in baseball, hits, home runs, alternation of batters, and the like can be mentioned. When these events occur, a specific change occurs in the score information (video attribute information 11). Therefore, the event detection unit 160 compares the change pattern of the score information (video attribute information 11) with event rule information prepared in advance, and detects it as event information 30 when a specific pattern appears. Event rule information includes, for example, “when hit, strike and ball count return to 0” “when batters change in out, strike and ball count return to 0 and out count increases by one "In the case of a home run, there will be no surrender and the score will increase." Such event rule information is prepared for each type of event to be detected, and the event information 30 is output by collating with the video attribute information 11.
ここで、図16に示したスコア情報(映像属性情報11)を例に説明する。図16に示す1001から1002のスコア情報に変化したときに、ストライク、ボールのカウントがクリアされ、アウトカウントには変化がないため、1001の投球の結果がヒットであったことが分かる。また、1003から1004への変化では、ストライク、ボールのカウント、出塁がクリアされ、得点が増えているので、ホームランと判断できる。   Here, the score information (video attribute information 11) shown in FIG. 16 will be described as an example. When the score information changes from 1001 to 1002 shown in FIG. 16, the strike and ball counts are cleared, and the outcount does not change, so that it is understood that the result of the 1001 pitch is a hit. Further, in the change from 1003 to 1004, the strike, the ball count, and the output are cleared, and the score is increased, so that it can be determined as a home run.
したがって、統合部20は、説明文用イベント選択部18で選択されたイベント情報30が含まれる典型シーンを順次再生することが可能になる。より詳細には、統合部20は、典型シーン抽出部152で得られた典型シーンの時刻を受け取り、スキップの指示があったときに典型シーンの単位で再生中の映像をスキップする。なお、次のイベントを含む典型シーンへスキップするタイミングは、前の典型シーンの再生後に自動的にスキップしてもよいし、外部からの指示があったときにスキップしてもよい。スキップした後、再生を再開するときに、説明文作成部19はその典型シーンに対応したスコア情報(映像属性情報11)に基づいて説明文を生成する。前述したように、説明文の生成はスコア情報を文章のテンプレート(説明文作成情報13)に当てはめることで行う。テンプレートは、スコア情報(映像属性情報11)の部分を除いた文章が決まっており、空白の部分にスコア情報(映像属性情報11)を当てはめる。テンプレートは1種類である必要はなく、スコア情報(映像属性情報11)の内容や前後の説明文、試合展開、ユーザの好みなどに応じて切り替えてもよい。例えば、図14の1005のスコア情報を「(回)回の(表裏)、(得点)の場面で、カウントは(ストライク)ストライク、(ボール)ボール」というテンプレートに当てはめると、「5回の裏,2対3の場面で、カウントは1ストライク、1ボール」となる。このようにして生成された説明文を音声合成を用いて音声等の可聴的情報に変換し、再生される映像に同期して再生する。このような構成とすることで、ユーザは安打のシーンや打者に対する最終投球だけを飛ばして視聴することができるので、短時間で視聴することができる。また、視聴を再開した場面での試合状況を音声で教えてくれるため、試合の流れも理解しやすくなる。   Therefore, the integration unit 20 can sequentially reproduce the typical scene including the event information 30 selected by the explanatory note event selection unit 18. More specifically, the integration unit 20 receives the time of the typical scene obtained by the typical scene extraction unit 152, and skips the video being reproduced in units of typical scenes when there is a skip instruction. Note that the timing for skipping to the typical scene including the next event may be automatically skipped after the previous typical scene is reproduced, or may be skipped when an external instruction is given. When the reproduction is resumed after skipping, the explanatory note creating unit 19 generates an explanatory note based on the score information (video attribute information 11) corresponding to the typical scene. As described above, the explanation is generated by applying the score information to the sentence template (description creation information 13). In the template, a sentence excluding the score information (video attribute information 11) is determined, and the score information (video attribute information 11) is applied to a blank part. The template need not be one type, and may be switched according to the contents of the score information (video attribute information 11), the explanatory text before and after, the game development, the user's preference, and the like. For example, if the score information of 1005 in FIG. 14 is applied to a template of “(time) (front and back), (score), and the count is (strike) strike, (ball) ball”, then “5 times back , In a 2 to 3 scene, the count is 1 strike, 1 ball. The explanatory text generated in this way is converted into audible information such as voice using voice synthesis, and is played back in synchronization with the video to be played back. By adopting such a configuration, the user can skip and view only the final hit pitch for the hit scene or the batter, so that the user can watch in a short time. In addition, since the game situation is told by voice when viewing is resumed, it is easy to understand the flow of the game.
また、上述したようなスキップの際に、スコア文字領域(文字領域)の変化部分を分かり易くするように、強調表示を行うようにしても良い。図18に示すように、1401のスコア文字領域(文字領域)を含む典型シーンから1402のスコア文字領域(文字領域)を含む典型シーンにスキップで変化した際に、統合部20は、変化したスコア文字領域(文字領域)が分かり易くなるように1403のように変化部分を囲むなどして強調表示を行う。文字領域抽出部155で隣接する2つの典型シーン間の属性情報領域201における差分が得られているので、その部分の領域を強調表示する。強調表示方法は何でもよく、1403のように囲むほか、例えば色を変化させたり、点滅させたりする。このような表示とすることで、画面を切り替えたときにどの部分に動きがあったのかがすぐに把握できる。なお、ここではスキップで変化した際に強調表示を行うようにしたが、継続的な再生時にも強調表示を行うようにしても良い。   Further, when skipping as described above, highlighting may be performed so that the changed portion of the score character area (character area) can be easily understood. As shown in FIG. 18, when the typical scene including the score character area (character area) 1401 changes to the typical scene including the score character area (character area) 1402, the integration unit 20 changes the changed score. In order to make the character area (character area) easy to understand, highlighting is performed by surrounding the changed part as in 1403. Since the difference in the attribute information area 201 between two typical scenes adjacent to each other is obtained by the character area extraction unit 155, the area of that part is highlighted. Any highlighting method may be used. In addition to enclosing as in 1403, for example, the color is changed or blinked. With such a display, it is possible to immediately grasp which part has moved when the screen is switched. Here, highlighting is performed when a change is made by skipping, but highlighting may also be performed during continuous playback.
このように本実施の形態によれば、映像属性情報から詳細なメタデータであるイベント情報を生成することが可能であり、また、このようなイベント情報が発生したシーンだけを視聴することで短時間での視聴が可能となる。   As described above, according to the present embodiment, it is possible to generate event information that is detailed metadata from video attribute information, and it is possible to shorten only by viewing only a scene in which such event information has occurred. Viewing in time is possible.
本発明の第1の実施の形態にかかる映像要約装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image | video summarization apparatus concerning the 1st Embodiment of this invention. 映像要約装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of an image | video summary apparatus. 映像属性情報作成部の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of a video attribute information preparation part. 映像属性情報の自動作成処理の流れを概略的に示すフローチャートである。It is a flowchart which shows schematically the flow of the automatic creation process of video attribute information. 野球中継番組の画面例を示す模式図である。It is a schematic diagram which shows the example of a screen of a baseball broadcast program. 典型シーンについて示す説明図である。It is explanatory drawing shown about a typical scene. 入力映像からの特徴量抽出方法について模式的に示す説明図である。It is explanatory drawing typically shown about the feature-value extraction method from an input image | video. 典型シーンの抽出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the extraction process of a typical scene. 属性情報領域の抽出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the extraction process of an attribute information area | region. 典型シーンを用いてフレーム間の重複部分を抽出する処理について模式的に示す説明図である。It is explanatory drawing which shows typically the process which extracts the duplication part between frames using a typical scene. 属性情報領域の抽出方法を模式的に示す説明図である。It is explanatory drawing which shows the extraction method of an attribute information area | region typically. 文字領域の抽出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the extraction process of a character area. 文字領域を抽出する処理について模式的に示す説明図である。It is explanatory drawing which shows typically the process which extracts a character area. 重複する領域の処理例を模式的に示す説明図である。It is explanatory drawing which shows typically the process example of the area | region which overlaps. ルール情報の一例を示す模式図である。It is a schematic diagram which shows an example of rule information. 野球のスコア情報の一例を示す模式図である。It is a schematic diagram which shows an example of the score information of a baseball. 本発明の第2の実施の形態の映像属性情報作成部の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the image | video attribute information preparation part of the 2nd Embodiment of this invention. 強調表示の一例を模式的に示す説明図である。It is explanatory drawing which shows an example of an emphasis display typically.
符号の説明Explanation of symbols
1 映像要約装置
10 映像コンテンツ
11 映像属性情報
15 映像属性情報出力装置
16 重要度算出部
17 映像区間選択部
18 説明文用イベント選択部
19 説明文作成部
20 統合部
151 シーン分割手段
152 典型シーン抽出手段
153 属性情報領域抽出手段
154 領域判定手段
155 文字領域抽出手段
156 文字領域意味付け手段
157 映像属性情報出力手段
DESCRIPTION OF SYMBOLS 1 Image | video summarization apparatus 10 Image | video content 11 Image | video attribute information 15 Image | video attribute information output device 16 Importance calculation part 17 Image | video section selection part 18 Explanation sentence event selection part 19 Explanation sentence creation part 20 Integration part 151 Scene division | segmentation means 152 Typical scene extraction Means 153 Attribute information area extraction means 154 Area determination means 155 Character area extraction means 156 Character area meaning means 157 Video attribute information output means

Claims (14)

  1. 映像コンテンツのフレーム間の類似性が低くなるシーンチェンジを検出して、前記映像コンテンツを複数のシーンに分割するシーン分割手段と、
    前記シーン分割手段で分割した隣接する前記各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出する属性情報領域抽出手段と、
    前記属性情報領域抽出手段により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する文字領域抽出手段と、
    前記文字領域抽出手段で抽出した前記文字領域について意味付けを記したルール情報を照合することにより当該文字領域の意味付けを行う文字領域意味付け手段と、
    意味付けされた前記文字領域から前記映像コンテンツに関するメタデータである映像属性情報を読み取って出力する映像属性情報出力手段と、
    を備えることを特徴とする映像属性情報出力装置。
    A scene dividing means for detecting a scene change in which the similarity between frames of the video content is low, and dividing the video content into a plurality of scenes;
    Attribute information area extracting means for extracting an attribute information area, which is an area in which attribute information is displayed, and is not changed between predetermined frames in each of the adjacent scenes divided by the scene dividing means;
    A character area extracting means for extracting a character area that is an area where individual characters in the attribute information area extracted by the attribute information area extracting means exist;
    Character area meaning means for meaning the character area by collating rule information indicating meaning for the character area extracted by the character area extraction means;
    Video attribute information output means for reading and outputting video attribute information that is metadata relating to the video content from the meaning character area;
    A video attribute information output device comprising:
  2. 前記シーン分割手段で分割した隣接する前記各シーンの中から前記映像コンテンツ中に何度も反復して出現する同じ構図で撮影した画像である典型シーンを抽出する典型シーン抽出手段と、
    前記典型シーン抽出手段により抽出された前記典型シーンについて、前記属性情報領域抽出手段により抽出された前記属性情報領域が有るか否かを判定する領域判定手段と、
    を更に備え、
    前記文字領域抽出手段は、前記領域判定手段により前記典型シーンに有ると判定された前記属性情報領域抽出手段により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する、
    ことを特徴とする請求項1記載の映像属性情報出力装置。
    Typical scene extracting means for extracting a typical scene that is an image shot with the same composition that appears repeatedly in the video content from the adjacent scenes divided by the scene dividing means;
    Area determination means for determining whether or not the attribute information area extracted by the attribute information area extraction means is present for the typical scene extracted by the typical scene extraction means;
    Further comprising
    The character area extraction means extracts a character area that is an area where individual characters in the attribute information area extracted by the attribute information area extraction means determined to be present in the typical scene by the area determination means. To
    The video attribute information output device according to claim 1.
  3. 前記属性情報領域抽出手段は、前記典型シーンとその直前のシーンの境界で前記属性情報領域を抽出する、
    ことを特徴とする請求項2記載の映像属性情報出力装置。
    The attribute information area extracting means extracts the attribute information area at a boundary between the typical scene and the immediately preceding scene;
    The video attribute information output device according to claim 2.
  4. 前記典型シーン抽出手段は、
    前記シーン分割手段で分割したシーン毎の特徴量に基づいて類似するシーンをグループに分類する分類手段と、
    同じ構図で撮影した画像が前記グループに分類されたシーンの中に所定基準以上出現する場合に、当該グループに分類された全シーンを前記典型シーンとする判定手段と、
    を備えることを特徴とする請求項2記載の映像属性情報出力装置。
    The typical scene extracting means includes
    Classification means for classifying similar scenes into groups based on the feature amount of each scene divided by the scene dividing means;
    When an image shot with the same composition appears more than a predetermined reference in the scene classified into the group, a determination unit that sets all scenes classified in the group as the typical scene,
    The video attribute information output device according to claim 2, further comprising:
  5. 前記判定手段の判定基準は、前記グループに含まれる同じ構図で撮影した画像の総数が定められた閾値を超えているか否かである、
    ことを特徴とする請求項4記載の映像属性情報出力装置。
    The determination criterion of the determination means is whether or not the total number of images taken with the same composition included in the group exceeds a predetermined threshold value,
    The video attribute information output device according to claim 4.
  6. 前記判定手段の判定基準は、前記グループに含まれる同じ構図で撮影した画像の総時間が前記映像コンテンツの時間に対して一定以上の割合を占めるか否かである、
    ことを特徴とする請求項4記載の映像属性情報出力装置。
    The determination criterion of the determination means is whether or not the total time of images taken with the same composition included in the group occupies a certain ratio or more with respect to the time of the video content,
    The video attribute information output device according to claim 4.
  7. 前記ルール情報は、意味付けの内容と、前記意味付けの内容に対応付けられており前記各文字領域を相対的な位置関係と配色の関係との少なくとも何れか一方によりグルーピングする第1のルールと、前記各文字領域の位置関係の第2のルールとを含み、
    前記文字領域意味付け手段は、前記第1のルールグルーピングした前記文字領域から前記第2のルールを満たす前記意味付けの内容を選択し、前記文字領域の意味付けを行う、
    ことを特徴とする請求項1記載の映像属性情報出力装置。
    The rule information includes a meaning content and a first rule that is associated with the meaning content and groups the character regions by at least one of a relative positional relationship and a color scheme relationship. A second rule of the positional relationship between the character regions,
    The character area meaning assigning means selects the content of the meaning that satisfies the second rule from the character areas grouped in the first rule, and makes the character area meaningful.
    The video attribute information output device according to claim 1.
  8. 前記映像属性情報出力手段は、意味付けがなされた前記文字領域から読み取った前記映像属性情報に矛盾が生じた場合に認識結果を訂正する、
    ことを特徴とする請求項1記載の映像属性情報出力装置。
    The video attribute information output means corrects a recognition result when a contradiction occurs in the video attribute information read from the character area to which meaning is given.
    The video attribute information output device according to claim 1.
  9. 前記映像属性情報出力手段から出力される前記映像属性情報について、前記映像属性情報の変化パターンとイベントの内容との対応関係を含むイベントルール情報と照合し、特定のパターンが現れたときにイベント情報として検出するイベント検出手段を更に備える、
    ことを特徴とする請求項1ないし8の何れか一記載の映像属性情報出力装置。
    The video attribute information output from the video attribute information output means is checked against event rule information including a correspondence relationship between the change pattern of the video attribute information and the content of the event, and event information is displayed when a specific pattern appears. Further comprising event detection means for detecting as
    The video attribute information output device according to claim 1, wherein the video attribute information output device is a video attribute information output device.
  10. 請求項1ないし9の何れか一記載の映像属性情報出力装置と、
    前記映像属性情報出力装置から出力された前記映像属性情報に含まれるイベントごとにその重要度を算出する重要度算出部と、
    算出された重要度に従って、要約映像に含める映像コンテンツの映像区間を選択する映像区間選択部と、
    前記イベント列から要約映像に用いる説明文の生成に用いる説明文用イベントを選択する説明文用イベント選択部と、
    選択された前記説明文用イベントから説明文を生成する説明文作成部と、
    選択された前記映像区間と前記説明文とを統合し、両方の情報を含んだ要約映像情報を生成する統合部と、
    を備えることを特徴とする映像要約装置。
    The video attribute information output device according to any one of claims 1 to 9,
    An importance calculation unit for calculating the importance for each event included in the video attribute information output from the video attribute information output device;
    A video segment selector that selects a video segment of video content to be included in the summary video according to the calculated importance;
    An explanatory text event selection unit for selecting an explanatory text event used for generating an explanatory text used for the summary video from the event sequence;
    An explanatory note creation unit for generating an explanatory note from the selected explanatory note event;
    An integration unit that integrates the selected video section and the description, and generates summary video information including both pieces of information;
    A video summarization apparatus comprising:
  11. 前記統合部は、前記説明文用イベント選択部で選択された前記説明文用イベントを含む前記要約映像情報を順次出力してスキップ再生する、
    ことを特徴とする請求項10記載の映像要約装置。
    The integration unit sequentially outputs the summary video information including the explanatory text event selected by the explanatory text event selection unit and performs skip reproduction.
    The video summarizing apparatus according to claim 10.
  12. 前記統合部は、スキップ再生で変化する文字領域に対して強調表示を行う、
    ことを特徴とする請求項10記載の映像要約装置。
    The integration unit performs highlighting on a character region that changes in skip reproduction.
    The video summarizing apparatus according to claim 10.
  13. 映像コンテンツのフレーム間の類似性が低くなるシーンチェンジを検出して、前記映像コンテンツを複数のシーンに分割するシーン分割機能と、
    前記シーン分割機能で分割した隣接する前記各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出する属性情報領域抽出機能と、
    前記属性情報領域抽出機能により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する文字領域抽出機能と、
    前記文字領域抽出機能で抽出した前記文字領域について意味付けを記したルール情報を照合することにより当該文字領域の意味付けを行う文字領域意味付け機能と、
    意味付けされた前記文字領域から前記映像コンテンツに関するメタデータである映像属性情報を読み取って出力する映像属性情報出力機能と、
    をコンピュータに実行させることを特徴とするプログラム。
    A scene division function for detecting a scene change in which similarity between frames of video content is low, and dividing the video content into a plurality of scenes;
    An attribute information area extraction function that extracts an attribute information area that is an area in which attribute information is displayed and is not changed between predetermined frames in each of the adjacent scenes divided by the scene division function;
    A character area extraction function for extracting a character area that is an area in which individual characters in the attribute information area extracted by the attribute information area extraction function exist;
    A character area semanticizing function for meaning the character area by collating rule information indicating meaning for the character area extracted by the character area extraction function;
    Video attribute information output function for reading and outputting video attribute information that is metadata related to the video content from the character area that is given meaning;
    A program that causes a computer to execute.
  14. 映像コンテンツのフレーム間の類似性が低くなるシーンチェンジを検出して、前記映像コンテンツを複数のシーンに分割するシーン分割工程と、
    前記シーン分割工程で分割した隣接する前記各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出する属性情報領域抽出工程と、
    前記属性情報領域抽出工程により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する文字領域抽出工程と、
    前記文字領域抽出工程で抽出した前記文字領域について意味付けを記したルール情報を照合することにより当該文字領域の意味付けを行う文字領域意味付け工程と、
    意味付けされた前記文字領域から前記映像コンテンツに関するメタデータである映像属性情報を読み取って出力する映像属性情報出力工程と、
    を含むことを特徴とする映像属性情報出力方法。
    A scene dividing step of detecting a scene change in which the similarity between frames of the video content is low, and dividing the video content into a plurality of scenes;
    An attribute information area extracting step for extracting an attribute information area, which is an area in which attribute information is displayed, and is not changed between predetermined frames in each of the adjacent scenes divided in the scene dividing step;
    A character region extraction step of extracting a character region which is a region where individual characters in the attribute information region extracted by the attribute information region extraction step exist;
    A character area semanticizing step for making the meaning of the character area by collating the rule information indicating the meaning for the character area extracted in the character area extraction step;
    A video attribute information output step of reading and outputting video attribute information that is metadata relating to the video content from the meaning character region;
    A method for outputting video attribute information, comprising:
JP2007008909A 2007-01-18 2007-01-18 Video attribute information output device, video summarization device, program, and video attribute information output method Expired - Fee Related JP5010292B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007008909A JP5010292B2 (en) 2007-01-18 2007-01-18 Video attribute information output device, video summarization device, program, and video attribute information output method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007008909A JP5010292B2 (en) 2007-01-18 2007-01-18 Video attribute information output device, video summarization device, program, and video attribute information output method
US12/007,570 US8103107B2 (en) 2007-01-18 2008-01-11 Video-attribute-information output apparatus, video digest forming apparatus, computer program product, and video-attribute-information output method

Publications (2)

Publication Number Publication Date
JP2008176538A true JP2008176538A (en) 2008-07-31
JP5010292B2 JP5010292B2 (en) 2012-08-29

Family

ID=39641276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007008909A Expired - Fee Related JP5010292B2 (en) 2007-01-18 2007-01-18 Video attribute information output device, video summarization device, program, and video attribute information output method

Country Status (2)

Country Link
US (1) US8103107B2 (en)
JP (1) JP5010292B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012032953A1 (en) * 2010-09-06 2012-03-15 ソニー株式会社 Moving picture processing device, and moving picture processing method and program
KR101331242B1 (en) * 2012-07-27 2013-11-26 차병래 Searchable image encryption system of streaming service based on cloud computing
KR20160025477A (en) 2014-08-27 2016-03-08 후지쯔 가부시끼가이샤 Information processing method and device
JP2016107001A (en) * 2014-12-10 2016-06-20 富士通株式会社 Extraction program, method, and device
WO2016103457A1 (en) * 2014-12-26 2016-06-30 Necディスプレイソリューションズ株式会社 Video record creating device, video record creating method and program
US9530061B2 (en) 2014-01-20 2016-12-27 Fujitsu Limited Extraction method for extracting a pitching scene and device for the same
US9767364B2 (en) 2014-06-09 2017-09-19 Fujitsu Limited Footage extraction method, footage playback method, and device
JP2017169992A (en) * 2016-03-25 2017-09-28 株式会社Jvcケンウッド Display device, display method and display program
US10200764B2 (en) 2014-08-27 2019-02-05 Fujitsu Limited Determination method and device
WO2019088592A1 (en) * 2017-11-01 2019-05-09 삼성전자주식회사 Electronic device and control method thereof
JP2020042771A (en) * 2018-09-07 2020-03-19 台達電子工業股▲ふん▼有限公司Delta Electronics,Inc. Data analysis method and data analysis system
KR20200038667A (en) * 2018-10-04 2020-04-14 주식회사 엔씨소프트 Method and apparatus for highlight extraction of sports game
KR20200095437A (en) * 2020-07-27 2020-08-10 주식회사 엔씨소프트 Method and apparatus for highlight extraction of sports game

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101264070B1 (en) * 2009-03-25 2013-05-13 후지쯔 가부시끼가이샤 Computer-readable medium storing playback control program, playback control method, and playback device
US20130283143A1 (en) 2012-04-24 2013-10-24 Eric David Petajan System for Annotating Media Content for Automatic Content Understanding
US9367745B2 (en) * 2012-04-24 2016-06-14 Liveclips Llc System for annotating media content for automatic content understanding
JP2014106637A (en) * 2012-11-26 2014-06-09 Sony Corp Information processor, method and program
JP6303525B2 (en) * 2014-01-20 2018-04-04 富士通株式会社 Extraction program, method, and apparatus, and baseball video meta information creation apparatus, method, and program
US9955234B2 (en) * 2014-03-28 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Image reception apparatus, parameter setting method, and additional information displaying system including a calibration operation
JP2017187969A (en) * 2016-04-07 2017-10-12 富士通株式会社 Image processing device, image processing program, and image processing method
JP6910875B2 (en) * 2016-07-22 2021-07-28 ジョセフ プローグマンJoseph Ploegman Systems and methods for displaying baseball batter counts
US10410060B2 (en) * 2017-12-14 2019-09-10 Google Llc Generating synthesis videos
US20190356948A1 (en) * 2018-05-18 2019-11-21 Thuuz, Inc. Machine learning for recognizing and interpreting embedded information card content
CN108829881A (en) * 2018-06-27 2018-11-16 深圳市腾讯网络信息技术有限公司 video title generation method and device
CN109364480A (en) * 2018-10-26 2019-02-22 杭州电魂网络科技股份有限公司 A kind of information synchronization method and device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006454A (en) * 2005-05-26 2007-01-11 Sony Corp Contents processing device, contents processing method, and computer program

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH099199A (en) 1995-06-19 1997-01-10 Sony Corp Video signal recording/reproducing device
JP2000132563A (en) 1998-10-26 2000-05-12 Omron Corp Image retrieval method, image processing method, information retrieval method, recording medium recording execution programs of the methods, image processor, and information retrieval system
JP3738631B2 (en) * 1999-09-27 2006-01-25 三菱電機株式会社 Image search system and image search method
JP2001177806A (en) 1999-12-20 2001-06-29 Sony Corp Information signal display method, and information signal display device
JP3821362B2 (en) 2001-08-20 2006-09-13 日本ビクター株式会社 Index information generating apparatus, recording / reproducing apparatus, and index information generating method
JP4067326B2 (en) 2002-03-26 2008-03-26 富士通株式会社 Video content display device
US8872979B2 (en) * 2002-05-21 2014-10-28 Avaya Inc. Combined-media scene tracking for audio-video summarization
JP3918772B2 (en) 2003-05-09 2007-05-23 日本電気株式会社 Video editing apparatus, video editing method, and video editing program
JP3923932B2 (en) 2003-09-26 2007-06-06 株式会社東芝 Video summarization apparatus, video summarization method and program
JP4047264B2 (en) * 2003-09-30 2008-02-13 株式会社東芝 Moving image processing apparatus, moving image processing method, and moving image processing program
US7382933B2 (en) * 2005-08-24 2008-06-03 International Business Machines Corporation System and method for semantic video segmentation based on joint audiovisual and text analysis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006454A (en) * 2005-05-26 2007-01-11 Sony Corp Contents processing device, contents processing method, and computer program

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012032953A1 (en) * 2010-09-06 2012-03-15 ソニー株式会社 Moving picture processing device, and moving picture processing method and program
KR101331242B1 (en) * 2012-07-27 2013-11-26 차병래 Searchable image encryption system of streaming service based on cloud computing
US9530061B2 (en) 2014-01-20 2016-12-27 Fujitsu Limited Extraction method for extracting a pitching scene and device for the same
TWI586161B (en) * 2014-01-20 2017-06-01 富士通股份有限公司 Extraction method and device
US9767364B2 (en) 2014-06-09 2017-09-19 Fujitsu Limited Footage extraction method, footage playback method, and device
TWI659654B (en) * 2014-06-09 2019-05-11 日商富士通股份有限公司 Footage extraction method, footage playback method, and device
JP2016048853A (en) * 2014-08-27 2016-04-07 富士通株式会社 Information processing program, method, and device
US10115318B2 (en) 2014-08-27 2018-10-30 Fujitsu Limited Information processing method and device
KR20160025477A (en) 2014-08-27 2016-03-08 후지쯔 가부시끼가이샤 Information processing method and device
TWI579026B (en) * 2014-08-27 2017-04-21 富士通股份有限公司 Information processing method and device
US10200764B2 (en) 2014-08-27 2019-02-05 Fujitsu Limited Determination method and device
JP2016107001A (en) * 2014-12-10 2016-06-20 富士通株式会社 Extraction program, method, and device
US10134445B2 (en) 2014-12-10 2018-11-20 Fujitsu Limited Method of extracting a point from footage of a baseball game
JPWO2016103457A1 (en) * 2014-12-26 2017-09-28 Necディスプレイソリューションズ株式会社 Video recording creation apparatus, video recording creation method and program
WO2016103457A1 (en) * 2014-12-26 2016-06-30 Necディスプレイソリューションズ株式会社 Video record creating device, video record creating method and program
JP2017169992A (en) * 2016-03-25 2017-09-28 株式会社Jvcケンウッド Display device, display method and display program
WO2019088592A1 (en) * 2017-11-01 2019-05-09 삼성전자주식회사 Electronic device and control method thereof
JP2020042771A (en) * 2018-09-07 2020-03-19 台達電子工業股▲ふん▼有限公司Delta Electronics,Inc. Data analysis method and data analysis system
KR20200038667A (en) * 2018-10-04 2020-04-14 주식회사 엔씨소프트 Method and apparatus for highlight extraction of sports game
JP2020061729A (en) * 2018-10-04 2020-04-16 エヌシーソフト・コーポレイションNcsoft Corporation Method and apparatus for highlighting sports competition
KR102187208B1 (en) * 2018-10-04 2020-12-04 주식회사 엔씨소프트 Method and apparatus for highlight extraction of sports game
KR20200095437A (en) * 2020-07-27 2020-08-10 주식회사 엔씨소프트 Method and apparatus for highlight extraction of sports game
KR102248456B1 (en) * 2020-07-27 2021-05-06 주식회사 엔씨소프트 Method and apparatus for highlight extraction of sports game

Also Published As

Publication number Publication date
US8103107B2 (en) 2012-01-24
US20080175486A1 (en) 2008-07-24
JP5010292B2 (en) 2012-08-29

Similar Documents

Publication Publication Date Title
JP5010292B2 (en) Video attribute information output device, video summarization device, program, and video attribute information output method
US8121462B2 (en) Video edition device and method
JP2008048279A (en) Video-reproducing device, method, and program
US6964021B2 (en) Method and apparatus for skimming video data
JP4449216B2 (en) Video information editing method and editing apparatus
US20070074244A1 (en) Method and apparatus for presenting content of images
US20030086692A1 (en) Special reproduction control information describing method, special reproduction control information creating apparatus and method therefor, and video reproduction apparatus and method therefor
JP2009508379A (en) Video navigation method and apparatus
US20090129749A1 (en) Video recorder and video reproduction method
JP2005514841A (en) Method and apparatus for segmenting multi-mode stories to link multimedia content
WO2012020668A1 (en) Information processing device, method of processing information, and program
WO2007127695A2 (en) Prefernce based automatic media summarization
JP2008283486A (en) Information processor, information processing method, and program
JP2008022103A (en) Apparatus and method for extracting highlight of moving picture of television program
JP2007060060A (en) Reproduction system, reproducing apparatus, reproducing method, information processing apparatus, information processing method, and program
JP2009118168A (en) Program recording/reproducing apparatus and program recording/reproducing method
TW201536039A (en) Data processing method and device
US20060010366A1 (en) Multimedia content generator
JP2007336283A (en) Information processor, processing method and program
JP2006287319A (en) Program digest generation apparatus and program digest generation program
JPH11220689A (en) Video software processor and medium for storing its program
US20100254574A1 (en) Method for decomposition and rendering of video content and user interface for operating the method thereof
JP2005328329A (en) Picture reproducer, picture recording-reproducing device and method of reproducing picture
JP2010109852A (en) Video indexing method, video recording and playback device, and video playback device
JP2008153920A (en) Motion picture list displaying apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120601

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150608

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees