JP2011039915A - Scene search device and program - Google Patents
Scene search device and program Download PDFInfo
- Publication number
- JP2011039915A JP2011039915A JP2009188310A JP2009188310A JP2011039915A JP 2011039915 A JP2011039915 A JP 2011039915A JP 2009188310 A JP2009188310 A JP 2009188310A JP 2009188310 A JP2009188310 A JP 2009188310A JP 2011039915 A JP2011039915 A JP 2011039915A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- game
- data
- unit
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、映像に含まれるシーンに対応した他の映像のシーンを検索して提示するシーン検索装置及びプログラムに関する。 The present invention relates to a scene search apparatus and program for searching for and presenting a scene of another video corresponding to a scene included in the video.
スポーツニュースなどでは、試合のダイジェスト映像を放送することが一般的である。このダイジェスト映像に含まれる試合の各ハイライトシーンは極めて短時間であるため、ハイライトシーンの前後のシーンまでを含めて試合映像を詳しく視聴したいという視聴者の要望があった。このような場合、視聴者は、個人的に録画しておいた該当試合の放送番組における該当シーンを、早送りなどの操作を繰り返し行いながら探したり、該当試合に出場したチームのウェブサイト等においてストリーミング配信されている試合動画の中から該当シーンの映像を探したりしていた。 In sports news and the like, it is common to broadcast a digest video of a game. Since each highlight scene of the game included in the digest video is extremely short, there has been a demand from the viewer to view the game video in detail including the scenes before and after the highlight scene. In such a case, the viewer searches for the corresponding scene in the broadcast program of the corresponding game that has been personally recorded while repeatedly performing operations such as fast-forwarding, or streaming on the website of the team that participated in the game. I was looking for the video of the scene from the game video that was distributed.
一方、特許文献1には、映像のフレーム画像から特徴量を抽出し、別のフレーム画像の特徴量との比較照合を行なうことによって類似シーンを検索する技術が開示されている。
On the other hand,
ダイジェスト映像が本編の試合映像を利用して編集されている場合、特許文献1の技術を用いることにより、本編の試合映像からダイジェスト映像に含まれるハイライトシーンと同じ映像を検索することができるため、視聴者はハイライトシーンの前後のシーンを探すために自身で上述した煩雑な作業を行う必要がなくなると考えられる。しかし実際には、スポーツニュースのダイジェスト映像は、必ずしも本編の試合映像に含まれる映像を使用したものではなく、制作会社が本編の試合映像とは別に収録した映像から選ばれて使用されていることも多い。このような場合、類似シーンを正しく検索できないため、ダイジェスト映像に含まれるハイライトシーンに対応した本編の試合映像中のシーンを高精度に得られない可能性がある。
When the digest video is edited by using the main game video, the same video as the highlight scene included in the digest video can be searched from the main video by using the technique of
本発明は、このような事情を考慮してなされたもので、その目的は、スポーツのダイジェスト映像に含まれるハイライトシーンに対応した試合本編映像のシーンを検索し、ユーザに提示することができるシーン検索装置及びプログラムを提供することにある。 The present invention has been made in consideration of such circumstances, and its purpose is to search for a scene of a game main video corresponding to a highlight scene included in a sports digest video and present it to a user. To provide a scene search device and a program.
[1] 本発明の一態様は、試合映像に関する文を含む言語情報データを受信する言語情報受信部と、前記試合映像に関するキーワード候補のリストを示すキーワード候補データを試合データ蓄積装置から読み出すキーワード候補データ取得部と、前記言語情報受信部が受信した前記言語情報データに含まれる前記文から、前記キーワード候補データ取得部が取得した前記キーワード候補データに含まれる前記キーワードと、当該キーワードに対応する前記シーン特定情報とを検出し、検出された前記シーン特定情報及び前記キーワードをシーン検索条件として、前記試合映像中のシーンを特定するシーン特定情報と前記シーンにおけるキーワードと試合映像における前記シーンに対応する時刻情報とを関連付けた前記試合経過データの検索を前記試合データ蓄積装置に要求するシーン検索要求部と、前記シーン検索要求部による検索の要求の結果検出された前記試合経過データの時刻情報が示すシーンを含む前記試合映像における開始点及び終了点を決定する部分映像特定部と、前記部分映像特定部が決定した前記試合映像における前記開始点及び前記終了点を出力するシーン通知部と、を備えることを特徴とするシーン検索装置である。
この発明によれば、シーン検索装置は、試合のダイジェスト映像に関する言語情報データを受信し、受信した言語情報データに含まれるシーン特定情報及びキーワードの情報を検索条件とした試合経過データの検索を要求する。そして、この検索の要求により、ダイジェスト映像のハイライトシーンに対応した試合経過データの検索結果が得られると、検出された試合経過データにより示される本編の試合映像の対応箇所を含んだシーンの開始点及び終了点をコンテンツ視聴装置に通知する。
これにより、ユーザが保有するコンテンツ視聴装置は、試合映像蓄積装置に蓄積されている本編の試合映像データから、シーン検索装置より通知された開始点及び終了点で示される部分の試合映像データを読み出して表示することができ、ユーザに、スポーツの試合のダイジェスト映像に含まれるハイライトシーンに対応した本編の試合映像を提供することが可能になる。従って、ユーザがスポーツニュースなどで試合のダイジェスト映像を視聴している際、そのダイジェスト映像に含まれるハイライトシーンに興味を持った場合に、事前に録画された本編の試合映像を自身で検索するような煩雑な作業をすることなく、本編の試合映像中の所望のシーンを視聴することが可能となる。
[1] According to one aspect of the present invention, a language information receiving unit that receives language information data including a sentence related to a game video, and a keyword candidate that reads keyword candidate data indicating a list of keyword candidates related to the game video from the game data storage device The keyword included in the keyword candidate data acquired by the keyword candidate data acquisition unit from the sentence included in the language information data received by the data acquisition unit and the language information reception unit, and the keyword corresponding to the keyword The scene identification information is detected, and the scene identification information for identifying the scene in the game video, the keyword in the scene, and the scene in the game video are handled using the detected scene specification information and the keyword as a scene search condition. Search for the game progress data associated with time information A start point and an end point in the game video including the scene indicated by the time information of the game progress data detected as a result of the search request by the scene search request unit and the scene search request unit requested to the game data storage device A scene search apparatus comprising: a partial video specifying unit to be determined; and a scene notifying unit that outputs the start point and the end point in the game video determined by the partial video specifying unit.
According to the present invention, the scene search device receives language information data related to a digest video of a game, and requests a search of game progress data using the scene specifying information and keyword information included in the received language information data as search conditions. To do. When the search result of the game progress data corresponding to the highlight scene of the digest video is obtained by this search request, the start of the scene including the corresponding part of the main game video indicated by the detected game progress data is started. The content viewing device is notified of the point and the end point.
As a result, the content viewing device owned by the user reads out the game video data of the portion indicated by the start point and the end point notified from the scene search device from the main game video data stored in the game video storage device. It is possible to display the game video of the main part corresponding to the highlight scene included in the digest video of the sports game. Therefore, when a user is watching a digest video of a game with sports news or the like, if he / she is interested in a highlight scene included in the digest video, he / she searches for the main game video recorded in advance. It is possible to view a desired scene in the game video of the main part without performing such complicated work.
[2] 本発明の一態様は、上述するシーン検索装置であって、前記シーン検索要求部は、シーン特定情報及びキーワードが検出された文については、検出された前記シーン特定情報及び前記キーワードをシーン検索条件とし、キーワードのみが検出された文については、前記文より前の文において最も近くに検出されたシーン特定情報、及び、前記キーワードをシーン検索条件とする、ことを特徴とする。
この発明によれば、シーン検索装置は、1文中にシーン特定情報とキーワードとが明確に対応づけて示されていない場合でも、シーン検索条件となるシーン特定情報とキーワードの組み合わせを得ることができる。
これにより、言語情報データとしてダイジェスト映像のアナウンスコメントや、字幕等を使用することが可能となる。
[2] One aspect of the present invention is the above-described scene search device, wherein the scene search request unit uses the detected scene specification information and the keyword for a sentence in which scene specification information and a keyword are detected. For a sentence in which only a keyword is detected as a scene search condition, the scene specifying information detected in the closest position in the sentence before the sentence and the keyword are set as a scene search condition.
According to the present invention, the scene search device can obtain a combination of scene specification information and a keyword as a scene search condition even when the scene specification information and the keyword are not clearly associated with each other in one sentence. .
Thereby, it is possible to use an announcement comment of a digest video, subtitles, and the like as language information data.
[3] 本発明の一態様は、上述するシーン検索装置であって、前記試合経過データは、前記シーンにおける試合状況の情報を含んでおり、前記シーン検索要求部による検索の要求の結果検出された前記試合経過データに含まれる前記試合状況の情報を関連シーン検索条件として、前記関連シーン検索条件が含まれる前記試合経過データの検索を前記試合データ蓄積装置に要求する関連シーン検索要求部をさらに備え、前記部分映像特定部は、前記関連シーン検索要求部による検索の要求の結果検出された前記試合経過データの時刻情報が示すシーンを含む前記試合映像における開始点及び終了点を決定する、ことを特徴とする。
この発明によれば、シーン検索装置は、ダイジェスト映像のハイライトシーンに対応した試合経過データから得られる試合状況に基づいて、ハイライトシーンに関連する他のシーンの試合経過データをさらに検索し、検索の結果得られた試合経過データにより示される本編の試合映像データの対応箇所を含んだシーンの開始点及び終了点をコンテンツ視聴装置に通知する。
これにより、コンテンツ視聴装置は、ダイジェスト映像に含まれるハイライトシーンに関連したシーンの試合映像データを読み出して表示することができる。従って、ユーザは、煩雑な作業をすることなく、スポーツの試合のダイジェスト映像を視聴している際、そのダイジェスト映像に含まれるハイライトシーンに関連した本編の試合映像中のシーンを視聴することが可能になる。
[3] One aspect of the present invention is the scene search device described above, wherein the game progress data includes information on a game situation in the scene, and is detected as a result of a search request by the scene search request unit. A related scene search requesting unit for requesting the game data storage device to search for the game progress data including the related scene search condition using the game situation information included in the game progress data as a related scene search condition; The partial video specifying unit determines a start point and an end point in the game video including a scene indicated by time information of the game progress data detected as a result of a search request by the related scene search request unit. It is characterized by.
According to this invention, the scene search device further searches the game progress data of other scenes related to the highlight scene based on the game situation obtained from the game progress data corresponding to the highlight scene of the digest video, The content viewing device is notified of the start and end points of the scene including the corresponding portion of the main game video data indicated by the game progress data obtained as a result of the search.
Thereby, the content viewing apparatus can read and display the game video data of the scene related to the highlight scene included in the digest video. Therefore, the user can view a scene in the main game video related to the highlight scene included in the digest video while watching the digest video of the sports game without performing complicated work. It becomes possible.
[4] 本発明の一態様は、上述するシーン検索装置であって、前記言語情報受信部は、コンテンツ視聴装置に出力されているダイジェスト映像に対応した前記言語情報データを受信する、ことを特徴とする。
この発明によれば、シーン検索装置は、ユーザがコンテンツ視聴装置によって視聴しているダイジェスト映像に関する言語情報データを受信し、この言語情報データに含まれるシーン特定情報及びキーワードの情報を検索条件として試合経過データの検索を要求する。
これにより、ユーザが現在、コンテンツ視聴装置によって視聴しているダイジェスト映像に含まれるハイライトシーンに対応した本編の試合映像を提供することが可能になる。
[4] One aspect of the present invention is the scene search device described above, wherein the language information receiving unit receives the language information data corresponding to a digest video output to a content viewing device. And
According to the present invention, the scene search device receives language information data relating to a digest video that the user is viewing with the content viewing device, and uses the scene specifying information and the keyword information included in the language information data as a search condition to play a match. Request retrieval of historical data.
Accordingly, it is possible to provide a main game video corresponding to a highlight scene included in a digest video currently being viewed by the user with the content viewing device.
[5] 本発明の一態様は、上述するシーン検索装置であって、前記試合は野球の試合であり、前記シーン特定情報は、イニング情報であり、前記試合経過データに含まれる前記キーワードは打者の情報である、ことを特徴とする。
この発明によれば、シーン検索装置は、野球の試合のダイジェスト映像に含まれているハイライトシーンに対応したシーンを含んだ本編の試合映像データの開始点及び終了点をコンテンツ視聴装置に出力する。
これにより、ユーザは、煩雑な作業をすることなく、野球の試合のダイジェスト映像を視聴している際、そのダイジェスト映像に含まれるハイライトシーンに関連した本編の試合映像中のシーンを視聴することが可能になる。
[5] One aspect of the present invention is the scene search device described above, wherein the game is a baseball game, the scene specifying information is inning information, and the keyword included in the game progress data is a batter It is the information of this.
According to the present invention, the scene search device outputs the start point and end point of the main game video data including the scene corresponding to the highlight scene included in the baseball game digest video to the content viewing device. .
As a result, the user can watch the scene in the main game video related to the highlight scene included in the digest video while watching the digest video of the baseball game without performing complicated work. Is possible.
なお、上述するシーン検索装置において、前記キーワード候補データは、投手の情報を含んでおり、前記シーン検索要求部は、前記言語情報受信部が受信した前記言語情報データに含まれる前記文から、イニング情報と、前記キーワード候補データ取得部が取得した前記キーワード候補データが示す投手以外の選手と、を検出して前記検索条件とするようにしてもよい。
このシーン検索装置によれば、受信した言語情報データの文に含まれている選手が投手である場合は、試合経過データの検索条件として用いないようにする。
これにより、投手名を打者名として試合経過データを検索することがないため、野球の試合のダイジェスト映像に含まれるハイライトシーンに対応した試合映像内のシーンを精度よく提供することが可能になる。
In the scene search device described above, the keyword candidate data includes pitcher information, and the scene search requesting unit performs inning from the sentence included in the language information data received by the language information receiving unit. Information and players other than the pitcher indicated by the keyword candidate data acquired by the keyword candidate data acquisition unit may be detected and used as the search condition.
According to this scene search device, when a player included in the sentence of the received language information data is a pitcher, it is not used as a search condition for game progress data.
As a result, since the game progress data is not searched using the pitcher name as the batter name, it is possible to accurately provide a scene in the game video corresponding to the highlight scene included in the digest video of the baseball game. .
なお、上述するシーン検索装置において、前記試合経過データそれぞれは、投手の各投球のシーンに対応するとともに、イニング情報と、打者の情報、及び、投球特定情報を含んでおり、前記シーン検索要求部は、前記シーン検索条件により特定される前記試合経過データのうち打者への最後の投球に対応する試合経過データの検索を要求するようにしてもよい。
このシーン検索装置によれば、試合経過データが1投球毎に生成されており、同一の打席について複数の試合経過データがある場合、打席の最後の投球のシーンに対応した試合経過データを検索結果として得ることができる。
これにより、ハイライトシーンとして選択されないシーンの試合経過データが検索結果として得られることがないため、野球の試合のダイジェスト映像に含まれるハイライトシーンに対応した試合映像内のシーンを精度よく提供することが可能になる。
In the scene search device described above, each of the game progress data corresponds to each pitcher's pitch scene, and includes inning information, batter information, and pitch specification information, and the scene search request unit May request a search of game progress data corresponding to the last pitch to the batter among the game progress data specified by the scene search condition.
According to this scene search device, when the game progress data is generated for each pitch and there are a plurality of game progress data for the same batting, the game progress data corresponding to the last pitching scene of the batting is retrieved. Can be obtained as
Thereby, since the game progress data of the scene not selected as the highlight scene is not obtained as the search result, the scene in the game video corresponding to the highlight scene included in the digest video of the baseball game is accurately provided. It becomes possible.
なお、上述するシーン検索装置において、前記部分映像特定部は、選手が検出された前記文に基づいて生成したシーン検索条件による検索の要求の結果検出された前記試合経過データが、前記文よりも前の文に基づいて生成したシーン検索条件による検索の要求の結果検出された前記試合経過データよりも前のシーンに対応している場合、前記前のシーンに対応している前記試合経過データを検索結果から除外するようにしてもよい。
このシーン検索装置によれば、言語情報データ内の1文ごとに順に生成したシーン検索条件により検索した結果得られた試合経過データが時間的に前後している場合、ハイライトシーンに対応した試合経過データから除外する。
これにより、言語情報データに走者の選手名が含まれている場合に、ハイライトシーンとして選ばれていないこの走者の打席のシーンに対応した試合経過データを、ハイライトシーンに対応した試合経過データとして扱うことがないため、野球の試合のダイジェスト映像に含まれるハイライトシーンに対応した試合映像内のシーンを精度よく提供することが可能になる。
In the scene search device described above, the partial video specifying unit is configured such that the game progress data detected as a result of a search request based on a scene search condition generated based on the sentence from which a player is detected is more than the sentence. When it corresponds to a scene before the game progress data detected as a result of a search request based on the scene search condition generated based on the previous sentence, the game progress data corresponding to the previous scene is You may make it exclude from a search result.
According to this scene search device, when the game progress data obtained as a result of the search by the scene search conditions generated in order for each sentence in the language information data is around the time, the match corresponding to the highlight scene Exclude from progress data.
Thus, when the runner's player name is included in the language information data, the game progress data corresponding to the scene of the runner's batting not selected as the highlight scene is changed to the game progress data corresponding to the highlight scene. Therefore, the scene in the game video corresponding to the highlight scene included in the digest video of the baseball game can be provided with high accuracy.
[6] 本発明の一態様は、シーン検索装置として用いられるコンピュータを、試合映像に関する文を含む言語情報データを受信する言語情報受信部、前記試合映像に関するキーワード候補のリストを示すキーワード候補データを試合データ蓄積装置から読み出すキーワード候補データ取得部、前記言語情報受信部が受信した前記言語情報データに含まれる前記文から、前記キーワード候補データ取得部が取得した前記キーワード候補データに含まれる前記キーワードと、当該キーワードに対応する前記シーン特定情報とを検出し、検出された前記シーン特定情報及び前記キーワードをシーン検索条件として、前記試合映像中のシーンを特定するシーン特定情報と前記シーンにおけるキーワードと試合映像における前記シーンに対応する時刻情報とを関連付けた前記試合経過データの検索を前記試合データ蓄積装置に要求するシーン検索要求部、前記シーン検索要求部による検索の要求の結果検出された前記試合経過データの時刻情報が示すシーンを含む前記試合映像における開始点及び終了点を決定する部分映像特定部、前記部分映像特定部が決定した前記試合映像における前記開始点及び前記終了点を出力するシーン通知部、として機能させることを特徴とするプログラムである。 [6] According to one aspect of the present invention, a computer used as a scene search device uses a language information receiving unit that receives language information data including a sentence related to a game video, and keyword candidate data indicating a list of keyword candidates related to the game video. The keyword candidate data acquisition unit read from the game data storage device, the keyword included in the keyword candidate data acquired by the keyword candidate data acquisition unit from the sentence included in the language information data received by the language information reception unit, and , Detecting the scene specifying information corresponding to the keyword, and using the detected scene specifying information and the keyword as a scene search condition, the scene specifying information for specifying a scene in the game video, the keyword in the scene, and the game Time corresponding to the scene in the video A scene search request unit that requests the game data storage device to search for the game progress data associated with the information, and a scene indicated by time information of the game progress data detected as a result of the search request by the scene search request unit Including a partial video specifying unit for determining a start point and an end point in the game video, and a scene notifying unit for outputting the start point and the end point in the game video determined by the partial video specifying unit. It is a program.
この発明によれば、シーン検索装置は、野球等のスポーツの試合のダイジェスト映像に含まれるハイライトシーンに対応した試合映像内のシーンをユーザに提供することができる。従って、ユーザがスポーツニュースなどで試合のダイジェスト映像を視聴している際に、そのダイジェスト映像に含まれるハイライトシーンに興味を持った場合に、事前に録画しておいた本編の試合映像や、インターネット上で配信されている本編の試合映像を自身で検索するような煩雑な作業をすることなく、本編試合映像中の所望のシーンを視聴することが可能となる。 According to the present invention, the scene search device can provide a user with a scene in a game video corresponding to a highlight scene included in a digest video of a sports game such as baseball. Therefore, when the user is watching a digest video of a game with sports news, etc., if he / she is interested in the highlight scene included in the digest video, the main game video recorded in advance, It is possible to view a desired scene in the main game video without performing a complicated task of searching for the main game video distributed on the Internet.
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
図1は、本発明の第1の実施形態による関連映像推薦システムの機能ブロック図である。同図において、関連映像推薦システムは、コンテンツ視聴装置1、コンテンツ配信装置2、言語情報蓄積装置3、シーン検索装置4、試合データ蓄積装置5、及び、試合映像蓄積装置6をインターネットなどのネットワーク9を介して接続して構成される。同図においては、コンテンツ視聴装置1を1台のみ示しているが、複数台がネットワーク9に接続される。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a functional block diagram of a related video recommendation system according to the first embodiment of the present invention. In the figure, the related video recommendation system includes a
コンテンツ視聴装置1は、例えば、視聴者であるユーザが保有するパーソナルコンピュータや携帯電話などであり、通信部11、出力制御部12、表示部13、音声出力部14、検索要求部15、及び、入力部16を含んで構成される。通信部11は、ネットワーク9を介して他の装置とデータを送受信する。表示部13は、LCD(Liquid Crystal Display)やCRT(cathode ray tube)などのディスプレイである。音声出力部14は、スピーカーであり、音声を出力する。入力部16は、例えば、キーボードやマウス、ボタンなどであり、ユーザへ入力インタフェースを提供する。出力制御部12は、映像データに基づいて表示部13に画像を表示させるとともに、音声出力部14により音声を出力させる。検索要求部15は、ダイジェスト映像に含まれるハイライトシーンに対応した本編の試合映像のシーンの検索要求や配信要求を出力する。なお、ダイジェスト映像とは、スポーツニュースなどでその日に行われたスポーツの試合の概要を伝えるために放送される映像であり、試合中のハイライトシーンの映像を集めたものである。また、本編の試合映像とは、生中継や録画中継などにより実際に放送された試合番組である。ハイライトシーンに対応した本編の試合映像のシーンには、本編の試合映像においてハイライトシーンとその前後のシーンが含まれる本編ハイライトシーンや、ハイライトシーンにおいて取り上げられている選手が出場している本編の試合映像の他のシーンである関連シーン等がある。
The
コンテンツ配信装置2は、例えばサーバ等のコンピュータ装置であり、通信部21、コンテンツ配信部22、及び、コンテンツ記憶部23を含んで構成される。通信部21は、ネットワーク9を介して他の装置とデータを送受信する。コンテンツ記憶部23は、ハードディスク装置や半導体メモリなどで実現され、コンテンツの映像データを記憶する。コンテンツ配信部22は、コンテンツ記憶部23から読み出した映像データをコンテンツ視聴装置1へ配信する。コンテンツの映像データには、スポーツニュース番組の映像データである番組映像データや、ダイジェスト映像の映像データであるダイジェスト映像データなどがある。ダイジェスト映像データには、試合を一意に特定する試合特定情報が付加され、付加されている試合特定情報により特定される試合のみのダイジェスト映像が含まれる。例えば、試合特定情報は、試合日及び試合ID(Identifier)の組み合わせにより表すことができ、ダイジェスト映像データのデータ名、または、データ名の一部に用いることもできる。
The
言語情報蓄積装置3は、例えばデータベースサーバ等のコンピュータ装置であり、通信部31、言語情報取得部32、及び、言語情報記憶部33を含んで構成される。通信部31は、ネットワーク9を介して他の装置とデータを送受信する。言語情報記憶部33は、ハードディスク装置や半導体メモリなどで実現され、言語情報データを試合特定情報と対応づけて記憶する。言語情報取得部32は、受信した試合特定情報に対応した言語情報データを言語情報記憶部33から読み出し、試合特定情報とともにシーン検索装置4へ送信する。言語情報データはダイジェスト映像データに付随するデータであり、例えば、ダイジェスト映像に付加されている音声コメントのテキストデータ、ダイジェスト映像に付加された字幕のテキストデータ、ダイジェスト映像データに関する情報が記述されたメタデータを用いることができる。
The language
試合データ蓄積装置5は、例えばデータベースサーバ等のコンピュータ装置であり、通信部51、試合データ検索部52、及び、試合データ記憶部53を含んで構成される。通信部51は、ネットワーク9を介して他の装置とデータを送受信する。試合データ記憶部53は、ハードディスク装置や半導体メモリなどで実現され、出場選手データ(キーワード候補データ)及びアーカイブされた試合経過データを試合特定情報と対応付けて記憶する。出場選手データは、対応する試合特定情報により特定される試合に出場した選手を示し、チームスポーツ等の場合は試合における選手のポジションの情報も含まれる。試合経過データは、対応する試合特定情報により特定される試合におけるシーンを特定するシーン特定情報と、試合映像における当該シーンの時刻情報と、当該シーンにおいて主に試合に関わっている選手など、試合に重要な役割を果たしている選手であるキー選手との情報を含む。なお、試合映像におけるシーンの時刻情報は、当該シーンが試合映像として録画されたときの実際の時刻や、本編の試合映像の開始を起点とした相対的な経過時間などを用いることができる。試合データ検索部52は、シーン検索装置4から受信した試合特定情報により特定される出場選手データを試合データ記憶部53から読み出して返送する。また、試合データ検索部52は、シーン検索装置4からシーン検索条件を受信し、このシーン検索条件により示される試合特定情報、シーン特定情報、選手の情報等に基づいて試合データ記憶部53に記憶されている試合経過データを検索した結果を返送する。
The game
試合映像蓄積装置6は、例えばデータベースサーバ等のコンピュータ装置であり、通信部61、試合映像配信部62、及び、試合映像記憶部63を含んで構成される。通信部61は、ネットワーク9を介して他の装置とデータを送受信する。試合映像記憶部63は、ハードディスク装置や半導体メモリなどで実現され、本編の試合映像のデータである試合映像データを試合特定情報と対応付けて記憶する。試合映像配信部62は、コンテンツ視聴装置1から試合特定情報、試合映像における再生の開始点及び終了点の情報を含む映像要求を受信し、試合特定情報に対応した試合映像データから、再生の開始点及び終了点までの映像を抽出したデータである部分試合映像データを返送する。
The game
シーン検索装置4は、例えばサーバ等のコンピュータ装置であり、通信部41、言語情報受信部42、出場選手データ取得部43(キーワード候補データ取得部)、シーン検索要求部44、関連シーン検索要求部45、部分映像特定部46、及び、シーン通知部47を含んで構成される。通信部41は、ネットワーク9を介して他の装置とデータを送受信する。言語情報受信部42は、試合特定情報及び言語情報データを受信する。出場選手データ取得部43は、言語情報受信部42が受信した試合特定情報に対応した出場選手データを試合データ蓄積装置5から読み出す。シーン検索要求部44は、言語情報受信部42が受信した言語情報データと、出場選手データ取得部43が読み出した出場選手データに基づいてハイライトシーンに対応した試合経過データを検索するためのシーン検索条件を生成し、試合データ蓄積装置5からシーン検索条件に基づいて試合経過データを検索した結果を受信する。関連シーン検索要求部45は、シーン検索要求部44が生成したシーン検索条件に基づいて検索した結果得られた試合経過データ内の情報を用いてハイライトシーンに関連した他のシーンを検索するための関連シーン検索条件を生成し、試合データ蓄積装置5から関連シーン検索条件に基づいて試合経過データを検索した結果を受信する。部分映像特定部46は、シーン検索要求部44が受信した試合経過データの検索結果に基づいて、試合映像における本編ハイライトシーンの開始点及び終了点を決定する。また、部分映像特定部46は、関連シーン検索要求部45が受信した試合経過データの検索結果に基づいて、試合映像における関連シーンの開始点及び終了点を決定する。シーン通知部47は、試合映像データにおける本編ハイライトシーンや関連シーンの開始点及び終了点をコンテンツ視聴装置1に通知する。
The
なお、コンテンツ配信装置2、言語情報蓄積装置3、シーン検索装置4、試合データ蓄積装置5、及び、試合映像蓄積装置6の全てを同一のプロバイダ内に設置してよく、任意の複数の装置または各装置を異なる場所や異なる企業に設定し、管理してもよい。
また、コンテンツ配信装置2、言語情報蓄積装置3、シーン検索装置4、試合データ蓄積装置5、試合映像蓄積装置6のうち任意の装置を同一のコンピュータ装置により実現してもよい。
The
Further, any of the
以下、コンテンツ視聴装置1が放送局やスポーツポータルサイトなどのコンテンツプロバイダが提供するウェブサイトにアクセスすることにより、コンテンツ配信装置2から配信される野球のダイジェスト映像を受信し、ユーザは、コンテンツ視聴装置1において動作するウェブブラウザ上で、配信されたダイジェスト映像を視聴している場合を例にして説明する。
Hereinafter, the
図2は、コンテンツ配信装置2から配信されるダイジェスト映像データDの例を示す図である。ここでは、ダイジェスト映像データDのデータ名に試合特定情報が含まれるものとする。同図に示すダイジェスト映像データDは、打者「大村」が「2塁打」を打ったハイライトシーンの映像データ、打者「阿部」が「ヒット」を打ったハイライトシーンの映像データ、打者「小笠原」が「フライ」を打ったハイライトシーンの映像データ、打者「松中」が「ヒット」を打ったハイライトシーンの映像データ、打者「本多」が「ゴロ」を打ったハイライトシーンの映像データからなる。
FIG. 2 is a diagram illustrating an example of the digest video data D distributed from the
図3は、言語情報蓄積装置3の言語情報記憶部33に記憶される言語情報データCの例を示す図であり、図2に示すダイジェスト映像データDに対応する。ここでは、言語情報データCのデータ名に試合特定情報が含まれるものとする。図3に示す言語情報データCは、ダイジェスト映像に付加されているアナウンスコメントをテキスト化したデータである。同図に示すように、アナウンスコメントには、イニング情報「6回表」、「7回」、…などのシーン特定情報や、選手名「大村」、「阿部」、…などの選手を特定する情報が含まれる。
FIG. 3 is a diagram showing an example of the language information data C stored in the language
図4は、試合データ蓄積装置5の試合データ記憶部53に記憶される出場選手データPの記述例を示す図である。同図に示すように、出場選手データPは、試合特定情報と対応づけられて記憶されており、試合に出場した選手の選手ID及び選手名を示す選手リストと、各イニングの投手名を示す投手リストを含む。
FIG. 4 is a diagram illustrating a description example of the participating player data P stored in the game
図5は、試合データ蓄積装置5の試合データ記憶部53に記憶される試合経過データとしてのスコアデータSCの例を示す図である。同図に示すように、スコアデータSCは、試合特定情報と対応付けられて記憶されている。スコアデータSCは、投手の1投球毎に生成されるデータである。つまり、投球の開始から次の投球の開始直前までの1投球毎の勝負が1シーンであり、スコアデータSCは1シーン毎に生成される。なお、試合の最後の投球の場合、投球の開始から試合終了までが1シーンとなる。
FIG. 5 is a diagram illustrating an example of score data SC as game progress data stored in the game
図6は、スコアデータSCの記述例を示す図である。同図に示すスコアデータSCは、XML(extensible markup language)文書として記述されており、スコアデータを特定する識別子であるシーンユニットID(sceneUnit id)、両チーム得点(score)、試合状況(situation)、打撃結果(result)の情報を含む。 FIG. 6 is a diagram illustrating a description example of the score data SC. The score data SC shown in the figure is described as an XML (extensible markup language) document. The scene unit ID (sceneUnit id), the scores of both teams (score), and the game situation (situation) are identifiers for identifying the score data. , Including information on the result of the hit.
シーンユニットIDには、イニング番号、イニングの表裏、イニングにおいて何人目の打者であるかを示す打者数、及び、打者に対する投球数の情報が含まれる。同図に示すシーンユニットID「0610405」は、最も左の数字を1桁目とした場合、1桁目から2桁目までの数字「06」がイニング番号「6回」を示し、3桁目「1」がイニングの表であることを示し(裏の場合は「2」となる)、4桁目から5桁目までの数値「04」が4人目の打者であることを示し、6桁目から7桁目までの数値「05」が5球目の投球であることを示す。 The scene unit ID includes information on the inning number, the front and back of the inning, the number of batters indicating the number of batters in the inning, and the number of pitches to the batter. In the scene unit ID “0610405” shown in the figure, when the leftmost number is the first digit, the number “06” from the first digit to the second digit indicates the inning number “6 times” and the third digit “1” indicates that it is an inning table (in the case of the reverse, “2”), the fourth digit to the fifth digit “04” indicates that it is the fourth batter, and six digits A numerical value “05” from the first to the seventh digit indicates the fifth pitch.
両チーム得点(score)には、表の攻撃チームの得点(teamScore HV="1")と、裏の攻撃チームの得点(teamScore HV="2")が含まれる。試合状況(situation)には、イニング番号(inning)、表のイニングであるか裏のイニングであるか(topbottom)、投手(pitcher)の選手識別子(ID)及び選手名(name)、打者(batter)の選手識別子(ID)及び選手名(name)、sboカウント(sbo)、進塁状況(runner)、シーンの開始時刻(time)の情報が含まれ、sboカウント(sbo)には、ストライクカウント(s)、ボールカウント(b)、アウトカウント(o)が含まれる。進塁状況(runner)は、それぞれが1〜3塁に対応した3つのビットからなり、走者がいる場合にはビットに「1」が、いない場合にはビットに「0」が設定される。 The score of both teams (score) includes the score of the attack team in the front (teamScore HV = "1") and the score of the back attack team (teamScore HV = "2"). The situation (situation) includes inning number (inning), front inning or reverse inning (topbottom), pitcher player identifier (ID), player name (name), batter (batter) ) Player identifier (ID), player name (name), sbo count (sbo), progress status (runner), scene start time (time) information is included, sbo count (sbo) includes strike count (S), ball count (b), and outcount (o) are included. The progress status (runner) is composed of 3 bits corresponding to 1 to 3 respectively, and “1” is set to the bit when there is a runner, and “0” is set to the bit when there is no runner.
図7は、試合映像蓄積装置6の試合映像記憶部63に記憶される試合映像データVの例を示す図である。同図に示すように、各試合映像データVは、試合特定情報と対応づけられている。
FIG. 7 is a diagram illustrating an example of the game video data V stored in the game
図8は、本実施形態による関連映像推薦システムの動作を示す図である。なお、番組映像データ、ダイジェスト映像データ、言語情報データ、出場選手データ、スコアデータ、及び、試合映像データは予め蓄積されているものとする。試合経過データは、外部の試合データ制作会社DPなどによって作成され、制作会社端末から試合データ蓄積装置5に書き込まれる。
FIG. 8 is a diagram illustrating an operation of the related video recommendation system according to the present embodiment. It is assumed that program video data, digest video data, language information data, participating player data, score data, and game video data are stored in advance. The game progress data is created by an external game data production company DP or the like and written into the game
ユーザUが当初はコンテンツ視聴装置1によりスポーツニュースを視聴している場合の関連映像推薦システムの動作を以下に述べる。すなわち、放送局、スポーツポータルサイトなどのコンテンツプロバイダのウェブサイトを提供するコンテンツ配信装置2において、コンテンツ配信部22は、コンテンツ記憶部23から読み出したスポーツニュースの番組映像データをコンテンツ視聴装置1に配信している。コンテンツ視聴装置1の出力制御部12は、コンテンツ配信装置2から受信した映像データの画像を表示部13に表示し、音声を音声出力部14に出力する。
The operation of the related video recommendation system when the user U is initially watching sports news with the
コンテンツ視聴装置1の出力制御部12は、コンテンツ配信装置2のコンテンツ配信部22がコンテンツ記憶部23から読み出したスポーツニュース中のダイジェスト映像データDを受信し始める(ステップS105)。出力制御部12は、受信したダイジェスト映像データDの画像を表示部13に表示し、音声を音声出力部14に出力する。コンテンツ視聴装置1の検索要求部15は、出力制御部12が受信したダイジェスト映像データのデータ名に含まれている試合特定情報を言語情報蓄積装置3に送信する(ステップS110)。
The
言語情報蓄積装置3の言語情報取得部32は、コンテンツ視聴装置1から受信した試合特定情報に対応付けられた言語情報データCを言語情報記憶部33から読み出し、読み出した言語情報データCをそのデータ名とともにシーン検索装置4に送信する(ステップS115)。シーン検索装置4の言語情報受信部42は、言語情報データCを受信すると、言語情報データCのデータ名から試合特定情報を取得する。
The language
シーン検索装置4の出場選手データ取得部43は、言語情報受信部42が受信した試合特定情報に対応した出場選手データPの読み出しを指示する出場選手データクエリ言語Q1を生成し、試合データ蓄積装置5に送信する(ステップS120)。試合データ蓄積装置5の試合データ検索部52は、シーン検索装置4から受信した出場選手データクエリ言語Q1に検索条件として設定されている試合特定情報を取得すると、取得した試合特定情報と対応付けられている出場選手データPを試合データ記憶部53から読み出して返送する(ステップS125)。
The participating player
続いて、シーン検索装置4のシーン検索要求部44は、言語情報データCにより示される最初の文から順に、シーン特定情報としてのイニング情報と、選手名を取得すると、取得したイニング情報及び選手名の組み合わせをシーン検索条件としてスコアデータSCのシーンユニットIDを読み出すためのシーン検索クエリ言語Q2を生成し、試合データ蓄積装置5に送信する(ステップS130)。なお、言語情報データCの文から取得する選手名は、ステップS125において読み出された出場選手データPの選手リストに含まれる選手名である。
Subsequently, when the scene
試合データ蓄積装置5の試合データ検索部52は、シーン検索クエリ言語Q2を受信すると、シーン検索クエリ言語Q2によって示されるシーン検索条件に合致する試合データ記憶部53内のスコアデータSCを特定し、特定したスコアデータSCからシーンユニットIDを読み出してシーン検索装置4に返送する(ステップS135)。シーン検索装置4のシーン検索要求部44は、試合データ蓄積装置5から受信したシーンユニットIDのリストであるハイライトシーンリストL1を得る(ステップS140)。
When the game
シーン検索装置4の部分映像特定部46は、ハイライトシーンリストL1に含まれるシーンユニットIDに基づき、ハイライトシーンの前後のシーンを含んだ本編ハイライトシーンが試合映像において開始する位置及び終了する位置を決定する。例えば、シーンユニットIDにより特定されるスコアデータSC内の開始時刻から所定時間だけ遡った時刻を開始点、経過した時刻を終了点とすることができる。また、例えば、シーンユニットIDにより特定されるスコアデータSCから、所定数だけ前のシーンのスコアデータSCに設定されている開始時刻を開始点、所定数だけ後ろのシーンのスコアデータSCに設定されている開始時刻を終了点とすることができる。
The partial
シーン検索装置4のシーン通知部47は、試合特定情報及び開始点を試合映像蓄積装置6に出力し、画像データを要求する。試合映像蓄積装置6の試合映像配信部62は、シーン検索装置4から受信した試合特定情報により特定される試合映像データVから、開始点に対応する画像データを取得して返送する(ステップS145)。シーン検索装置4のシーン通知部47は、試合映像蓄積装置6から取得した画像データからサムネイルHの画像データを生成すると、試合特定情報と、本編ハイライトシーンの開始点及び終了点と、開始点に対応して取得した画像データから生成したサムネイルHの画像データとを設定した検索結果シーンリストL2をコンテンツ視聴装置1に送信する(ステップS150)。
The
コンテンツ視聴装置1の出力制御部12は、受信した検索結果シーンリストL2に含まれる画像データに基づいたサムネイルHを表示部13に表示させる。ユーザUが、表示部13に表示されているサムネイルHのうち、本編ハイライトシーンを表示させるサムネイルHを入力部16により選択すると、検索要求部15は、選択されたサムネイルHに対応する試合特定情報と、開始点及び終了点とを設定した映像要求を試合映像蓄積装置6に送信する(ステップS155)。
The
試合映像蓄積装置6の試合映像配信部62は、受信した映像要求から試合特定情報と、開始点及び終了点とを取得すると、試合特定情報により試合映像データVを特定し、特定した映像データVから開始点より終了点までの部分試合映像データV’を抽出して返送する(ステップS160)。コンテンツ視聴装置1の出力制御部12は、試合映像蓄積装置6から受信した部分試合映像データV’に基づいた画像を表示部13に表示するとともに、音声を音声出力部14に出力する。これにより、ユーザUは、ハイライトシーンの試合映像をゆっくり視聴することが可能となる。
When the game
なお、ユーザUが現在コンテンツ視聴装置1により視聴しているダイジェスト映像について上記の処理を行なった後、コンテンツ配信装置2から新たなダイジェスト映像の映像データが配信され始めた場合には、再びステップS105からの処理を行なう。
In addition, after the above processing is performed on the digest video that the user U is currently viewing with the
次に、シーン検索装置4のシーン検索要求部44によるシーン検索クエリ言語Q2の作成方法について詳細に説明する。
図9は、シーン検索クエリ言語Q2に設定するシーン検索条件となるイニング情報及び選手名の組み合わせの取得を説明するための図である。ここでは、シーン検索装置4の言語情報受信部42が図3に示す言語情報データCを受信し、出場選手データ取得部43が図4に示す出場選手データPを取得した場合を例にして説明する。
Next, a method for creating the scene search query language Q2 by the scene
FIG. 9 is a diagram for explaining acquisition of a combination of inning information and a player name as a scene search condition set in the scene search query language Q2. Here, the case where the language
図9には、言語情報データC内の各文と、この各文の出現順を示す文番号を示している。この文番号は、説明のために便宜的に付与したものである。シーン検索装置4の関連シーン検索要求部45は、言語情報データC内の最初の文から順に1文ずつ解析を行い、1文からイニング情報と選手名が取得できた場合に検索対象とし、シーン検索クエリ言語Q2を生成する。1文毎のイニング情報と選手名の取得は以下のように行う。
FIG. 9 shows sentences in the language information data C and sentence numbers indicating the appearance order of the sentences. This sentence number is given for convenience of explanation. The related scene
まず、シーン検索装置4のシーン検索要求部44は、現在処理対象としている文において、「n回」、「n回表」、あるいは、「n回裏」(nは1以上の整数)として記述されるイニング情報を検出するとともに、出場選手データPの選手リストに含まれている選手名を検出する。同図においては、検出されたイニング情報には波線の下線を付与し、検出された選手名には一重線の下線を付与している。イニング情報が検出されなかった場合、現在処理中の文の直前の文のイニング情報を引き継ぐ。このようにして、イニング情報と選手名の両方が取得できた文が検索対象となる。
なお、予め定めた一定回数だけ連続してイニング情報を引き継ぎ可能とするようにしてもよい。例えば、5文連続してイニング情報が検出されなかった場合、そのうち最初の3文のみが直前の文のイニング情報を引き継ぎ、4文以降はイニング情報なしとする。これにより、離れた文において出現したイニング情報は引き継がず、検索対象としないようにすることができる。
First, the scene
Note that the inning information may be succeeded continuously for a predetermined number of times. For example, when inning information is not detected continuously for 5 sentences, only the first 3 sentences take over the inning information of the immediately preceding sentence, and there is no inning information after the 4th sentence. As a result, inning information that appears in a distant sentence is not taken over and can be prevented from being searched.
シーン検索要求部44は、検索実行対象の文において検出されたイニング情報、あるいは、イニング情報が検出されなかったため前の文から引き継いだイニング情報と、当該検索対象の文で検出された選手名との組み合わせをシーン検索条件とし、シーン検索クエリ言語Q2を生成する。なお、シーン検索条件に設定するイニング情報は、イニング情報で示されるイニング番号のみでもよく、イニング情報で示されるイニング番号と表裏の情報との組み合わせてもよいが、以下では、イニング番号のみを使用する場合を説明する。また、図において、括弧で示されるイニング情報は、文内ではイニング情報が検出されず、前の文のイニング情報を引き継いだことを示す。
The scene
例えば、文番号「1」の文ではイニング情報、選手名とも検出されず、この文より前の文はないため、イニング情報、選手名とも「−」(なし)となる。よって、シーン検索クエリ言語Q2は生成されない。
次に、文番号「2」の文では、イニング情報「6回表」と選手名「大村」が検出されている。この場合、イニング番号「6回」と選手名「大村」の組み合わせをシーン検索条件としてシーン検索クエリ言語Q2が生成される。
続いて、文番号「3」の文では、イニング情報、選手名とも検出されていない。この場合、文番号「3」の文のイニング情報は、文番号「2」において検出されたイニング情報「6回表」を引き継ぐ。しかし、選手名が検出されていないため、シーン検索クエリ言語Q2は生成されない。
For example, in the sentence with the sentence number “1”, neither the inning information nor the player name is detected, and since there is no sentence before this sentence, both the inning information and the player name are “−” (none). Therefore, the scene search query language Q2 is not generated.
Next, in the sentence with the sentence number “2”, the inning information “six times table” and the player name “Omura” are detected. In this case, the scene search query language Q2 is generated using the combination of the inning number “6 times” and the player name “Omura” as a scene search condition.
Subsequently, neither the inning information nor the player name is detected in the sentence with the sentence number “3”. In this case, the inning information of the sentence with the sentence number “3” inherits the inning information “six times table” detected in the sentence number “2”. However, since the player name is not detected, the scene search query language Q2 is not generated.
また、文番号「7」の文では、選手名「阿部」のみが検出されている。この場合、文番号「6」において検出されたイニング情報「7回」を引き継ぐ。よって、イニング番号「7回」と選手名「阿部」の組み合わせをシーン検索条件としてシーン検索クエリ言語Q2が生成される。
文番号「8」の文では、選手名「小笠原」のみが検出されている。この場合、文番号「7」のイニング情報「7回」を引き継ぐ。よって、イニング番号「7回」と選手名「小笠原」の組み合わせをシーン検索条件としてシーン検索クエリ言語Q2が生成される。
In the sentence with sentence number “7”, only the player name “Abe” is detected. In this case, the inning information “seven times” detected in the sentence number “6” is taken over. Therefore, the scene search query language Q2 is generated using the combination of the inning number “7 times” and the player name “Abe” as a scene search condition.
In the sentence with the sentence number “8”, only the player name “Ogasawara” is detected. In this case, the inning information “seven times” of the sentence number “7” is taken over. Therefore, the scene search query language Q2 is generated using the combination of the inning number “7 times” and the player name “Ogasawara” as a scene search condition.
スコアデータがXML文書として記述されている場合、シーン検索クエリ言語Q2にはxpathなどを利用することができる。例えば、イニング番号「6回」、打者の選手名「大村」という条件でxpathを生成した場合、以下の(例1)ように記載することができる。 When the score data is described as an XML document, xpath or the like can be used for the scene search query language Q2. For example, when the xpath is generated under the condition of the inning number “6 times” and the batter's player name “Omura”, it can be described as (Example 1) below.
/game/sceneUnit[substring(./@id,1,2)=“06”][situation/batter/name=“大村”]/@id ・・・(例1) /game/sceneUnit[substring(./@id,1,2)=“06”][situation/batter/name=“Omura”]/@id (Example 1)
これは、「game」配下に記憶されているスコアデータのうち、シーンユニットID(sceneUnit id)の1番目の位置から始まる長さ2文字分の値が「06」であり、かつ、試合状況(situation)配下の打者(batter)の選手名(name)に「大村」が設定されているスコアデータから、シーンユニットID(id)を読み出すことを示す。シーンユニットIDの1番目〜2番目の値はイニング番号を示すため、イニング番号「6」回は、シーンユニットIDの1番目の位置から2文字分を「06」として検索条件としている。 This is because the score data stored under “game” has a value of “06” for two characters in length starting from the first position of the scene unit ID (sceneUnit id), and the game status ( situation) Indicates that the scene unit ID (id) is read out from the score data in which “Omura” is set in the player name (name) of the batter under his control. Since the first to second values of the scene unit ID indicate the inning number, the inning number “6” times uses “06” as two characters from the first position of the scene unit ID as a search condition.
なお、イニング番号と表裏の情報の組み合わせ「6回表」により検索する場合には、[substring(./@id,1,2)=“06”]の部分を[substring(./@id,1,3)=“061”]と置き換えればよい。これは、シーンユニットID(sceneUnit id)の3番目の数値は表(1)か裏(2)かを示すため、「6回表」は、シーンユニットIDの1番目の位置から3文字分が「061」として表されるからである。
このように、シーン検索クエリ言語Q2によってシーン検索条件に合致したスコアデータのシーンユニットIDを読み出すことにより、ハイライトシーンリストL1を得ることが可能となる。
When searching by a combination of inning number and front and back information “6 times table”, the part of [substring (./@ id, 1,2) = “06”] is replaced with [substring (./@ id, 1,3) = “061”]. This is because the third number of the scene unit ID (sceneUnit id) indicates the front (1) or back (2), so the “six times table” has three characters from the first position of the scene unit ID. This is because it is represented as “061”.
As described above, the highlight scene list L1 can be obtained by reading the scene unit ID of the score data that matches the scene search condition by the scene search query language Q2.
しかし、上記のように、イニング情報および選手名のみを利用した検索では、次の理由(a)〜(c)により、ハイライトシーンに対応していないスコアデータを検索してしまうことがある。 However, as described above, in the search using only the inning information and the player name, score data that does not correspond to the highlight scene may be searched for the following reasons (a) to (c).
(a)同じイニングにおいて、同じ選手が登場する打席が複数ありうる。
(b)文に現れる投手名を打者名として検索してしまう場合がある。
(c)文に現れる走者名を打者名として検索してしまう場合がある。
(A) In the same inning, there can be multiple bats where the same player appears.
(B) A pitcher name appearing in a sentence may be searched as a batter name.
(C) A runner name appearing in a sentence may be searched as a batter name.
これらの理由によりハイライトシーンに対応しないスコアデータが特定されてしまうことを回避するために、最終投球制約、投手除外制約、打順制約の3つの制約条件を導入する。以下、これらの制約条件を説明する。 In order to avoid the specification of score data that does not correspond to the highlight scene for these reasons, three constraint conditions are introduced: final pitch constraint, pitcher exclusion constraint, and batting order constraint. Hereinafter, these constraint conditions will be described.
図10は、最終投球制約を説明するための図である。最終投球制約とは、同一打席の最終投球、もしくは、試合における最後の投球のシーンのスコアデータであることをシーン検索条件に加えるものである。
ハイライトシーンとして選択されるのは、ある打者の打席の最終投球や、試合最後のプレーであることがほとんどである。例えば、同図に示すように、イニング番号「6回」、打者の選手名「大村」をシーン検出条件とした場合に検出されるスコアデータは、1投球目の「大村ストライク」のシーン、2投球目「大村ボール」のシーン、3投球目の「大村ファール」のシーン、4投球目「大村ボール」のシーン、5投球目「大村2塁打」のシーンのものである。
FIG. 10 is a diagram for explaining the final pitch restriction. The final pitch restriction is to add to the scene search condition that it is score data of the final pitch of the same batting or the scene of the last pitch in the game.
Most of the highlight scenes are the final throw at a batter's bat and the last play of the game. For example, as shown in the figure, the score data detected when the inning number “6 times” and the batter ’s player name “Omura” are set as scene detection conditions are the scenes of “Omura Strike” in the first pitch, 2 This is the scene of the pitch “Omura Ball”, the third “Omura Fal” scene, the fourth “Omura Ball” scene, the fifth “
通常、ある選手が打席に立った後、アウトにならないストライクシーンや進塁しないボールシーンがハイライトシーンとして選ばれることはなく、なんらかの打撃や、アウト、進塁などのシーンがハイライトシーンとして含まれる。このようなシーンは、打席の最後のシーンに対応する。従って、同図の例では、打席の最後のプレーである5投球目「大村2塁打」のシーンがハイライトシーンとして選ばれる。つまり、「次の投球が次打者の1投球目」であるか、「試合の最後のプレー」である、ということがハイライトシーンとして選ばれる条件である。よって、シーン検索クエリ言語Q2によるハイライトシーンの検索の際にはこの条件を制約として加える。上述した(例1)のxpathクエリに対してこの制約を加えたxpathは、以下の(例2)のように記述される。
Normally, after a player stands at the bat, a strike scene that does not go out or a ball scene that does not advance is not selected as a highlight scene, and scenes such as some hits, out, advance etc. are included as highlight scenes It is. Such a scene corresponds to the last scene of the bat. Therefore, in the example of FIG. 5, the scene of the fifth throw “
/game/sceneUnit[substring(./@id,1,2)=“06”][situation/batter/name=“大村"][position()=last() or following-sibling::sceneUnit[position()=1][substring(./@id,6,2)="01"]]/@id"; ・・・(例2) / game / sceneUnit [substring (./@ id, 1,2) = “06”] [situation / batter / name = “Omura”] [position () = last () or following-sibling :: sceneUnit [position ( ) = 1] [substring (./@ id, 6,2) = "01"]] / @ id "; ... (Example 2)
「positon()=last()」は試合最後のスコアデータであるという制約条件を示す。また、「following-sibling::sceneUnit[position()=1]」は、自身より後ろにある兄弟要素(sceneUnit)の中で最初のスコアデータである次の投球のスコアデータを示し、「[substring(./@id,6,2)="01"]」は、シーンユニットID(sceneUnit id)の6番目の位置から始まる長さ2文字分が表す投球数の値が「01」であることを示すため、「following-sibling::sceneUnit[position()=1][substring(./@id,6,2)="01"]」は、次の投球のスコアデータが次の打者への1投球目のシーンのものであるという制約条件を示す。 “Positon () = last ()” indicates a constraint condition that it is score data at the end of the game. In addition, “following-sibling :: sceneUnit [position () = 1]” indicates the score data of the next pitch that is the first score data among the sibling elements (sceneUnit) behind itself, and “[substring (./@id,6,2)="01 "]" means that the number of pitches represented by 2 characters in length starting from the sixth position of the scene unit ID (sceneUnit id) is "01" "Following-sibling :: sceneUnit [position () = 1] [substring (./@ id, 6,2) =" 01 "]" means that the score data of the next pitch will be sent to the next batter The constraint condition that the scene is the first pitch is shown.
図11は、投手除外制約を説明するための図である。投手除外制約とは、言語情報データの文において検出した選手名が投手名である場合、検索を行わないようにするものである。同図において、文番号「6」の文には、イニング情報と共に投手名である「和田」という単語が現れている。図9に示した方法により生成したシーン検索クエリ言語Q2によってスコアデータの検索を行った場合、イニング番号「6回」において選手名「和田」が打席に立ったときのシーンのスコアデータを検索してしまう。そのため、検索結果としては何も得られないか、目的とは違うスコアデータを特定してしまう。そこで、シーン検索装置4の関連シーン検索要求部45は、現在、処理対象としている言語情報データCの文について取得したイニング情報により示されるイニング番号と対応した投手名を図4に示す出場選手データの投手リストから取得し、取得した投手名と、文において検出された選手名とが一致する場合は、検索処理の対象から除外し、シーン検索クエリ言語Q2の生成を行わない。
FIG. 11 is a diagram for explaining pitcher exclusion restrictions. The pitcher exclusion restriction is to prevent the search from being performed when the player name detected in the sentence of the language information data is the pitcher name. In the same figure, in the sentence with sentence number “6”, the word “Wada” as the pitcher name appears together with the inning information. When the score data is searched by the scene search query language Q2 generated by the method shown in FIG. 9, the score data of the scene when the player name “Wada” stands at the inning number “6 times” is searched. End up. Therefore, nothing is obtained as a search result, or score data different from the purpose is specified. Therefore, the related scene
図12は、打順制約を説明するための図である。打順制約とは、言語情報データに含まれる最初の文から順にシーン検索クエリ言語Q2の生成を行なってスコアデータSCを検索した結果、前に生成したシーン検索クエリ言語Q2によって特定されたスコアデータSCよりも遡った打順のスコアデータSCが検索結果としてられた場合、この遡った打順のスコアデータSCをハイライトシーンリストL1に加える対象から除外するものである。 FIG. 12 is a diagram for explaining the batting order restriction. The batting order restriction is the score data SC specified by the scene search query language Q2 generated previously as a result of searching the score data SC by generating the scene search query language Q2 in order from the first sentence included in the language information data. If the score data SC with the stroke order that is earlier than that is obtained as a search result, the score data SC with the stroke order that is earlier than this is excluded from the targets to be added to the highlight scene list L1.
同図において、文番号「13」の文では、そのシーンにおけるランナーの選手名「本多」が出現している。よって、図9に示した検索処理や、図10に示した最終投球制約、図11に示した投手除外制約を行なった検索処理では、イニング番号「8回」の打者の選手名「本多」の打席のシーンに対応したスコアデータSCを特定してしまう。しかし、実際は、ハイライトシーンにおいて「本多」選手はランナーであるため、イニング番号「8回」の選手名「本多」の打席のシーンは、実際のハイライトシーンよりも前のシーンである。図12において、文番号「13」の文に基づいて生成されたシーン検索クエリ言語Q2により得られたスコアデータSCは、文番号「11」の文に基づいて生成されたシーン検索クエリ言語Q2により得られた、イニング番号「8回」、打者の選手名「松中」の打撃のシーンのスコアデータSCより前のシーンに対応するため、ハイライトシーンリストL1から除外する。 In the figure, in the sentence with sentence number “13”, the runner's player name “Honda” in the scene appears. Therefore, in the search process shown in FIG. 9, the final pitch restriction shown in FIG. 10, and the pitcher exclusion restriction shown in FIG. 11, the player name “Honda” of the batter with the inning number “8 times” is used. The score data SC corresponding to the at-bats scene is specified. However, since “Honda” is actually a runner in the highlight scene, the batting scene of the player name “Honda” with the inning number “8 times” is a scene before the actual highlight scene. . In FIG. 12, the score data SC obtained by the scene search query language Q2 generated based on the sentence with the sentence number “13” is obtained by the scene search query language Q2 generated based on the sentence with the sentence number “11”. In order to correspond to the obtained scene before the score data SC of the hit scene of the inning number “8 times” and the batter ’s player name “Matsunaka”, it is excluded from the highlight scene list L1.
上述した3つの制約を加えた検出を行うことにより、ダイジェスト映像の中に含まれるハイライトシーンに対応したスコアデータを高精度に検索することが可能となる。 By performing the detection with the above three constraints added, it is possible to search the score data corresponding to the highlight scene included in the digest video with high accuracy.
図13は、上述した制約条件を用いたシーン検索装置4における検索アルゴリズムのフローチャートを示す。
シーン検索装置4の言語情報受信部42は、データ名に試合特定情報が含まれている言語情報データCを言語情報蓄積装置3から受信する(ステップS205)。シーン検索要求部44は、検索条件イニング番号i、検索条件選手名p、及び、ハイライトシーンリストL1に初期値NULLを設定し、初期化する(ステップS210)。
FIG. 13 shows a flowchart of a search algorithm in the
The language
出場選手データ取得部43は、言語情報受信部42が取得した言語情報データC1のデータ名から試合特定情報を取得すると、取得した試合特定情報を検索条件として出場選手データPの読み出しを指示する出場選手データクエリ言語Q1を生成し、試合データ蓄積装置5に送信する(ステップS220)。出場選手データ取得部43は、試合データ蓄積装置5から試合特定情報と対応付けられている出場選手データPを受信する(ステップS225)。
The participating player
続いて、シーン検索要求部44は、言語情報データCに未処理の文が含まれていると判断した場合(ステップS230:YES)、未処理の文のうち最も先頭に近い文を言語情報データCから取得する(ステップS235)。シーン検索要求部44は、ステップS235において取得した文に「n回」、「n回表」、「n回裏」として記述されるイニング番号nが出現しているかを判断する(ステップS240:YES)。イニング番号nが出現していない場合(ステップS240:NO)、そのままステップS250の処理に進み、イニング番号nが出現している場合(ステップS240:YES)、検索条件イニング番号iにイニング番号nを代入した後(ステップS245)、ステップS250の処理に進む。
Subsequently, when the scene
続いて、シーン検索要求部44は、ステップS235において取得した文に、ステップS225において受信した出場選手データPの選手リストに記述されているいずれかの選手名と一致する選手名Nが出現しているかを判断する(ステップS250)。文に出場選手データPの選手リストに記述されているいずれの選手名も出現しない場合(ステップS250:NO)、ステップS230からの処理を繰り返す。
Subsequently, the scene
一方、文に出場選手データPの選手リストに記述されている選手名と一致する選手名Nが出現する場合(ステップS250:YES)、シーン検索要求部44は、さらに、出場選手データPの投手リストに検索条件イニング番号iと対応付けて記述されている投手名が、選手名Nと一致するかを判断する(ステップS255)。検索条件イニング番号iに対応付けて記述されている投手名が選手名Nと一致する場合、ステップS230からの処理を繰り返す。
On the other hand, when the player name N that matches the player name described in the player list of the participating player data P appears in the sentence (step S250: YES), the scene
検索条件イニング番号iに対応付けて記述されている投手名が、選手名Nと一致しない場合(ステップS255:NO)、シーン検索要求部44は、検索条件選手名pに選手名Nを代入する(ステップS260)。シーン検索要求部44は、検索条件イニング番号iと検索条件選手名pの組み合わせからなるシーン検索条件に、最終投球制約の条件を加えたシーン検索クエリ言語Q2を生成し、試合データ蓄積装置5に送信する(ステップS265)。関連シーン検索要求部45は、試合データ蓄積装置5から、シーン検索クエリ言語Q2によって示されるシーン検索条件及び制約条件に合致するスコアデータSCのシーンユニットIDを受信する(ステップS270)。
When the pitcher name described in association with the search condition inning number i does not match the player name N (step S255: NO), the scene
シーン検索要求部44は、ステップS270において受信したシーンユニットIDと、直前に読み出されたシーンユニットIDとを比較し、ステップS270において受信したシーンユニットIDにより特定されるスコアデータSCが、直前のシーン検索クエリ言語Q2によって読み出されたシーンユニットIDにより特定されるスコアデータSCよりも、時間的に前のシーンのものであるか否かを判断する(ステップS275)。例えば、読み出したシーンユニットIDにより示される打者数よりも、直前に読み出したシーンユニットIDにより示される打者数のほうが小さい場合、時間的に前のシーンであると判断することができる。あるいは、試合データ蓄積装置5からシーン検索クエリ言語Q2によって特定されたスコアデータのシーンユニットIDに併せて、当該スコアデータ内の開始時間をさらに試合データ蓄積装置5から読み出すようにし、ステップS270において読み出された開始時間と、直前のシーン検索クエリ言語Q2によって読み出された開始時間とを比較するようにしてもよい。
The scene
ステップS270において受信したシーンユニットIDにより特定されるスコアデータSCが、直前のシーン検索クエリ言語Q2によって読み出されたシーンユニットIDにより特定されるスコアデータSCよりも時間的に前のシーンのものではない場合(ステップS275:NO)、シーン検索要求部44は、ハイライトシーンリストL1に、ステップS270において受信したシーンユニットIDを追加し(ステップS280)、ステップS230からの処理を繰り返す。一方、ステップS270において受信したシーンユニットIDにより特定されるスコアデータSCが、直前のシーン検索クエリ言語Q2によって読み出されたシーンユニットIDにより特定されるスコアデータSCよりも時間的に前のシーンのものである場合(ステップS275:NO)、ステップS230からの処理を繰り返す。
If the score data SC specified by the scene unit ID received in step S270 is that of the scene temporally before the score data SC specified by the scene unit ID read by the immediately preceding scene search query language Q2. If there is not (step S275: NO), the scene
そして、ステップS230において、シーン検索要求部44が、言語情報データC内の全ての文について処理を行なったため、未処理の文が含まれていないと判断した場合(ステップS230:NO)、部分映像特定部46は、ハイライトシーンリストL1に含まれているシーンユニットIDを用いて、検索結果シーンリストL2を以下のように生成し、コンテンツ視聴装置1へ送信する(ステップS285)。
In step S230, when the scene
まず、部分映像特定部46は、本編ハイライトシーンの試合映像データにおける開始点及び終了点を以下の(1)または(2)のように決定する。
First, the partial
(1)部分映像特定部46は、シーンユニットIDに対応するスコアデータSCに記述されている開始時刻を試合データ蓄積装置5から読み出すと、読み出した開始時刻から所定時間だけ遡った時刻を開始点とし、所定の時間が経過した時刻を終了点とする。あるいは、シーンユニットIDに対応するスコアデータSCの次のスコアデータSCに記述されている開始時刻を試合データ蓄積装置5から読み出し、読み出した次のスコアデータSCの開始時刻から所定時間経過した時刻を終了点としてもよい。
(1) When the partial
(2)部分映像特定部46は、シーンユニットIDに対応するスコアデータSCよりも所定数だけ前のシーンのスコアデータSCに記述されている開始時刻と、所定数だけ後ろのシーンのスコアデータSCに記述されている開始時刻を試合データ蓄積装置5から読み出し、それぞれを開始点、終了点とする。
(2) The partial
シーン検索装置4のシーン通知部47は、試合特定情報と、部分映像特定部46が決定した開始時刻を試合映像蓄積装置6に出力し、試合特定情報により特定される試合映像データVから開始点に対応する画像データを取得する。シーン通知部47は、試合特定情報と、本編ハイライトシーンの開始点及び終了点と、試合特定情報及び開始点に対応した画像データから生成したサムネイルHの画像データとを設定した検索結果シーンリストL2をコンテンツ視聴装置1に送信する。
The
なお、検索結果シーンリストL2には、ハイライトシーンリストL1に含まれるシーンユニットIDに対応したスコアデータSCに記述されている情報により示されるイベント内容を含めることもできる。例えば、検索結果シーンリストL2に、イベント内容、試合特定情報、開始点のタイムコード、開始点からの長さで示される終了点のタイムコード等の情報が含まれる場合、以下のように記述することができる。なお、ここでは、サムネイルHの画像データは省略している。 It should be noted that the search result scene list L2 may include event contents indicated by information described in the score data SC corresponding to the scene unit ID included in the highlight scene list L1. For example, when the search result scene list L2 includes information such as event contents, game specifying information, start time code, and end time time code indicated by the length from the start point, the description is as follows: be able to. Here, the image data of the thumbnail H is omitted.
[6回表4人目:大村2塁打],[NPB_20080622],[6140000],[69000],…、
[7回裏1人目:阿部ヒットゴロ],[NPB_20080622],[7391000],[32000],…、
・・・
[6th Table: 4th person:
[7th back first person: Abe Hit Goro], [NPB_20080622], [7391000], [32000], ...
...
イベント情報には、スコアデータSCから読み出したイニング番号、表の攻撃か裏の攻撃か、何人目の打者であるかの打者数、打者の選手名、打撃結果の情報が含まれる。コンテンツ視聴装置1の出力制御部12は、サムネイルHに対応付けて、イベント内容を表示部13に表示させることができる。
The event information includes information on the inning number read from the score data SC, the number of hitters, the number of hitters, the name of the batter, and the hitting result. The
なお、上記においては、ダイジェスト映像に含まれるハイライトシーンの前後のシーンが含まれる本編ハイライトシーンについて、試合映像における開始点及び終了点を取得しているが、ハイライトシーンに関連した他のシーンについて、試合映像における開始点及び終了点を取得し、コンテンツ視聴装置1に通知することもできる。この場合、シーン検索装置4の関連シーン検索要求部45は、ハイライトシーンリストL1として得られたシーンユニットIDを試合データ蓄積装置5に送信し、シーンユニットIDに対応したスコアデータSCを読み出す。シーン検索装置4の関連シーン検索要求部45は、受信したスコアデータに設定されている情報、例えば、投手の選手名及び打者の選手名を関連シーン検索条件としてスコアデータSCのシーンユニットIDを取得するための関連シーン検索クエリ言語Q3を生成し、試合データ蓄積装置5に送信する。このとき、検索条件として、試合特定情報を加えてもよく、受信したスコアデータから読み出した日付より所定期間内の試合であることをなど加えてもよい。また、最終投球制約を加えてもよい。
In the above, the start point and end point in the match video are acquired for the main highlight scene including the scenes before and after the highlight scene included in the digest video, but other points related to the highlight scene are obtained. With respect to the scene, the start point and end point in the game video can be acquired and notified to the
試合データ蓄積装置5の試合データ検索部52は、受信した関連シーン検索クエリ言語Q3により示される関連シーン検索条件に合致する試合データ記憶部53内のスコアデータSCを特定し、特定したスコアデータSCに設定されているシーンユニットIDと、特定したスコアデータSCに対応した試合特定情報を読み出してシーン検索装置4へ返送する。
The match
シーン検索装置4の部分映像特定部46は、受信したシーンユニットIDに基づいて、本編ハイライトシーンの場合と同様に、上述した(1)、(2)により、試合映像データにおける関連シーンの開始点及び終了点を決定し、シーン通知部47は、試合特定情報により特定される試合映像データから開始点に対応する画像データを取得する。シーン通知部47は、試合特定情報と、関連シーンの開始点及び終了点と、試合特定情報及び開始点に対応して読み出した画像データから生成したサムネイルHの画像データと、関連シーン検索条件とを検索結果シーンリストL3としてコンテンツ視聴装置1に送信する。コンテンツ視聴装置1の出力制御部12は、検索結果シーンリストL3に設定されている関連シーンのサムネイルHと、当該関連シーンに対応した関連シーン検索条件とを表示部13に表示させる。そして、ユーザUが、コンテンツ視聴装置1の表示部13に表示されているサムネイルHを入力部16により選択すると、検索要求部15は、選択されたサムネイルHに対応した試合特定情報と、開始点及び終了点とを設定した映像要求を試合映像蓄積装置6に送信する。コンテンツ視聴装置1の出力制御部12は、試合映像蓄積装置6が試合特定情報により特定される試合映像データVから抽出した開始点から終了点までの部分試合映像データV’を受信すると、部分試合映像データV’に基づいた画像を表示部13に表示するとともに、音声を音声出力部14に出力する。
Based on the received scene unit ID, the partial
図13は、コンテンツ視聴装置1の表示部13への表示例を示す。
同図に示すように、ウェブブラウザの中央に大きな映像によりスポーツニュースなどの番組映像が表示されており、ここにダイジェスト映像が表示されると、コンテンツ視聴装置1は試合特定情報を言語情報蓄積装置3へ送信する。これによって、シーン検索装置4が、言語情報蓄積装置3から言語情報データを受信し、この言語情報データにより示されるダイジェスト映像のアナウンスコメントを利用して、ダイジェスト映像を構成するハイライトシーンが含まれる本編ハイライトシーンを検索する。コンテンツ視聴装置1にはダイジェスト映像の下にシーン検索装置4が検索した本編ハイライトシーンのサムネイルMを表示する。ユーザがサムネイルMをマウスによってクリックすることにより、コンテンツ視聴装置1は、そのサムネイルMに対応した本編ハイライトシーンが含まれる部分試合映像データV’を試合映像蓄積装置6から取得し、新たなウェブブラウザ、あるいは、現在表示されているウェブブラウザの中央等に表示させる。これにより、ユーザは、ハイライトシーンが含まれる試合映像をゆっくり視聴することが可能となる。
FIG. 13 shows a display example on the
As shown in the figure, a program video such as sports news is displayed as a large video in the center of the web browser, and when the digest video is displayed here, the
なお、コンテンツ視聴装置1の検索要求部15は、ダイジェスト映像に含まれるハイライトシーンに対応した本編の試合映像のシーンの検索を要求するための試合特定情報を言語情報蓄積装置3に送信する代わりに、コンテンツ配信装置2へ検索要求を送信し、コンテンツ配信装置2は、検索要求を受信したときに配信していたダイジェスト映像データに対応した試合特定情報を言語情報蓄積装置3へ送信するようにしてもよい。
あるいは、コンテンツ配信装置2は、ダイジェスト映像データの配信を開始したときに、当該ダイジェスト映像データに対応した試合特定情報を言語情報蓄積装置3へ送信するようにしてもよい。
Note that the
Alternatively, the
これらの場合、コンテンツ配信装置2が試合特定情報に対応する言語情報データを言語情報蓄積装置3から読み出してシーン検索装置4に通知するようにしてもよい。
また、これらの場合、シーン検索装置4は検索結果シーンリストL2をコンテンツ配信装置2に通知し、コンテンツ配信装置2から検索結果シーンリストL2をコンテンツ視聴装置1へ返送するようにしてもよく、コンテンツ配信装置2がシーン検索装置4へコンテンツ視聴装置1のアドレスを通知することにより、シーン検索装置4から直接コンテンツ視聴装置1へ検索結果シーンリストL2を送信するようにしてもよい。
In these cases, the
In these cases, the
なお、上記においては、シーン検索装置4のシーン通知部47において、サムネイルHとして用いる画像データを試合映像蓄積装置6から読み出して検索結果シーンリストL2に設定し、コンテンツ視聴装置1へ送信しているが、シーン検索装置4において検索結果シーンリストL2にサムネイルHを設定せず、コンテンツ視聴装置1の検索要求部15が、検索結果シーンリストL2に設定されている試合特定情報と開始点の組み合わせを試合映像蓄積装置6に出力し、サムネイルMとして使用する画像データを読み出すようにしてもよい。
In the above, in the
次に、本発明の第2の実施形態による関連映像推薦システムについて説明する。第1の実施形態では、付随する言語情報データが予め蓄積されているダイジェスト映像をダウンロードして視聴している場合を想定しているが、第2の実施形態では、ユーザが、生でリアルタイムに配信されているコンテンツや、放送番組を視聴している場合を想定する。つまり、テレビシステムに、視聴中のダイジェスト映像に対応したシーンの試合映像を自動的に表示させる機能を実装する。この場合、事前に言語情報データを蓄積しておくことができないため、音声認識装置などを利用してダイジェスト映像からリアルタイムに言語情報データを生成し、言語情報蓄積装置3へ送信する。以下、第1の実施形態との差分について説明する。
Next, a related video recommendation system according to the second embodiment of the present invention will be described. In the first embodiment, it is assumed that the digest video in which the accompanying language information data is stored in advance is downloaded and viewed. However, in the second embodiment, the user is in real time in real time. Assume that the user is viewing a distributed content or a broadcast program. That is, a function for automatically displaying a game video of a scene corresponding to the digest video being viewed on the television system is implemented. In this case, since the language information data cannot be stored in advance, the language information data is generated from the digest video in real time using a voice recognition device and transmitted to the language
図15は、本発明の第2の実施形態による関連映像推薦システムの機能ブロック図である。同図において、第1の実施形態との差分は、コンテンツ視聴装置1に代えてコンテンツ視聴装置1aを、コンテンツ配信装置2に代えて放送局装置7を備えるとともに、ネットワーク9に音声認識装置8が接続されている点である。コンテンツ視聴装置1aは、テレビジョン受信機であり、第1の実施形態のコンテンツ視聴装置1の機能部に加えて、放送局装置7から放送された映像データを受信する放送受信部17を更に備える。音声認識装置8は、ダイジェスト映像の音声を認識し、認識した音声のテキストである言語情報データを生成する。
FIG. 15 is a functional block diagram of a related video recommendation system according to the second embodiment of the present invention. In the figure, the difference from the first embodiment is that the
図16は、第2の実施形態による関連映像推薦システムの処理概要を示す図である。なお、予め出場選手データ、スコアデータ、及び、試合映像データが蓄積されているものとする。同図において、ユーザUは、コンテンツ視聴装置1aによりスポーツニュースを視聴している。すなわち、コンテンツ視聴装置1aの出力制御部12は、放送受信部17が放送局装置7から受信したスポーツニュース番組の番組映像データに基づき、画像を表示部13に表示し、音声を音声出力部14に出力している。
FIG. 16 is a diagram showing an outline of processing of the related video recommendation system according to the second embodiment. It is assumed that the participating player data, score data, and game video data are accumulated in advance. In the figure, a user U views sports news with the
コンテンツ視聴装置1aの出力制御部12が、放送受信部17を介して放送局装置7から配信される映像データとして、スポーツニュース中のダイジェスト映像データDを受信し始めると(ステップS305)、検索要求部15は、音声認識装置8にダイジェスト映像データから得られる音声データと、ダイジェスト映像データのデータ名から取得した試合特定情報を送信する(ステップS310)。音声認識装置8は、コンテンツ視聴装置1aから受信した音声データにより示される音声を認識することにより、ダイジェスト映像に付加されたアナウンスコメントのテキストデータを生成する。音声認識装置8は、1文毎の音声のテキストデータ、あるいは、複数文をまとめた音声のテキストデータを言語情報データCとして言語情報蓄積装置3へ送信する(ステップS315)。この言語情報データCには、試合特定情報が含まれるデータ名が付与される。言語情報蓄積装置3の言語情報取得部32は、音声認識装置8から受信した言語情報データCを言語情報記憶部33に書き込むとともに、シーン検索装置4へ送信する(ステップS320)。
When the
ステップS325以降の処理は、図8に示す第1の実施形態のステップS120以降の処理と同様である。コンテンツ視聴装置1aの出力制御部12は、シーン検索装置4から受信した検索結果シーンリストL2内のサムネイルHを表示部13に表示させ、ユーザUは、表示部13に表示されている中から本編ハイライトシーンを表示させるサムネイルHをリモートコントローラ等により選択する。これにより、コンテンツ視聴装置1aの出力制御部12は、選択されたサムネイルHに対応する部分試合映像データを試合映像蓄積装置6から受信し、部分試合映像データに基づいた画像を表示部13に表示するとともに、音声を音声出力部14に出力する。これにより、ユーザUは、ハイライトシーンをゆっくり視聴することが可能となる。
The processing after step S325 is the same as the processing after step S120 of the first embodiment shown in FIG. The
なお、上記においては、野球における投球毎にスコアデータを生成しているが、他のスポーツの場合、そのスポーツにおけるアクション毎に試合経過データを生成することができる。アクションには、例えば、バスケットボールにおけるターンオーバー、アメリカンフットボールにおけるダウン等がある。これにより、図13のステップS285において、(1)のように、ダイジェスト映像のハイライトシーンの時刻よりも、分、秒などで表される所定時間だけ遡った時刻、経過した時刻を開始点及び終了点とするほか、(2)のように所定数だけ前のアクション、後のアクションを開始点及び終了点とすることができる。 In the above, score data is generated for each pitch in baseball, but in the case of other sports, game progress data can be generated for each action in the sport. Actions include, for example, turnover in basketball and down in American football. As a result, in step S285 of FIG. 13, as shown in (1), the time that has passed by a predetermined time represented by minutes, seconds, etc. from the time of the highlight scene of the digest video, and the elapsed time are set as the start point and In addition to the end point, as shown in (2), a predetermined number of actions before and after can be set as the start point and end point.
なお、音声認識装置8は、コンテンツ視聴装置1a内に備えられることでもよく、言語情報蓄積装置3内に備えられることでもよい。
また、音声認識装置8は、放送局装置7から放送されるダイジェスト映像データを受信し、コンテンツ視聴装置1aが送信した試合特定情報により特定されるダイジェスト映像データの音声を認識するようにしてもよい。
The
The
なお、上述のコンテンツ視聴装置1、1a、コンテンツ配信装置2、言語情報蓄積装置3、シーン検索装置4、試合データ蓄積装置5、試合映像蓄積装置6及び音声認識装置8は、内部にコンピュータシステムを有している。そして、コンテンツ視聴装置1、1aの出力制御部12及び検索要求部15、コンテンツ配信装置2のコンテンツ配信部22、言語情報蓄積装置3の言語情報取得部32、シーン検索装置4の言語情報受信部42、出場選手データ取得部43、シーン検索要求部44、関連シーン検索要求部45、部分映像特定部46及びシーン通知部47、試合データ蓄積装置5の試合データ検索部52、試合映像蓄積装置6の試合映像配信部62、ならびに、音声認識装置8の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、CPU及び各種メモリやOS、周辺機器等のハードウェアを含むものである。
Note that the
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
1、1a…コンテンツ視聴装置
11、21、31、41、51、61…通信部
12…出力制御部
13…表示部
14…音声出力部
15…検索要求部
16…入力部
17…放送受信部
2…コンテンツ配信装置
22…コンテンツ配信部
23…コンテンツ記憶部
3…言語情報蓄積装置
32…言語情報取得部
33…言語情報記憶部
4…シーン検索装置
42…言語情報受信部
43…出場選手データ取得部(キーワード候補データ取得部)
44…シーン検索要求部
45…関連シーン検索要求部
46…部分映像特定部
47…シーン通知部
5…試合データ蓄積装置
52…試合データ検索部
53…試合データ記憶部
6…試合映像蓄積装置
62…試合映像配信部
63…試合映像記憶部
7…放送局装置
8…音声認識装置
9…ネットワーク
DESCRIPTION OF
44 ... Scene
Claims (6)
前記試合映像に関するキーワード候補のリストを示すキーワード候補データを試合データ蓄積装置から読み出すキーワード候補データ取得部と、
前記言語情報受信部が受信した前記言語情報データに含まれる前記文から、前記キーワード候補データ取得部が取得した前記キーワード候補データに含まれる前記キーワードと、当該キーワードに対応する前記シーン特定情報とを検出し、検出された前記シーン特定情報及び前記キーワードをシーン検索条件として、前記試合映像中のシーンを特定するシーン特定情報と前記シーンにおけるキーワードと試合映像における前記シーンに対応する時刻情報とを関連付けた試合経過データの検索を前記試合データ蓄積装置に要求するシーン検索要求部と、
前記シーン検索要求部による検索の要求の結果検出された前記試合経過データの時刻情報が示すシーンを含む前記試合映像における開始点及び終了点を決定する部分映像特定部と、
前記部分映像特定部が決定した前記試合映像における前記開始点及び前記終了点を出力するシーン通知部と、
を備えることを特徴とするシーン検索装置。 A language information receiving unit for receiving language information data including a sentence relating to a game video;
A keyword candidate data acquisition unit that reads keyword candidate data indicating a list of keyword candidates related to the game video from the game data storage device;
From the sentence included in the language information data received by the language information receiving unit, the keyword included in the keyword candidate data acquired by the keyword candidate data acquiring unit, and the scene specifying information corresponding to the keyword Detecting and using the detected scene specifying information and the keyword as a scene search condition, associating scene specifying information for specifying a scene in the game video with a keyword in the scene and time information corresponding to the scene in the game video A scene search request unit for requesting the game data storage device to search for the game progress data,
A partial video specifying unit for determining a start point and an end point in the game video including a scene indicated by time information of the game progress data detected as a result of a search request by the scene search request unit;
A scene notification unit for outputting the start point and the end point in the game video determined by the partial video specifying unit;
A scene search apparatus comprising:
ことを特徴とする請求項1に記載のシーン検索装置。 The scene search requesting unit uses the detected scene specifying information and the keyword as a scene search condition for a sentence in which scene specifying information and a keyword are detected, and for a sentence in which only a keyword is detected before the sentence. The scene identification information detected closest in the sentence and the keyword as a scene search condition,
The scene search apparatus according to claim 1, wherein:
前記シーン検索要求部による検索の要求の結果検出された前記試合経過データに含まれる前記試合状況の情報を関連シーン検索条件として、前記関連シーン検索条件が含まれる前記試合経過データの検索を前記試合データ蓄積装置に要求する関連シーン検索要求部をさらに備え、
前記部分映像特定部は、前記関連シーン検索要求部による検索の要求の結果検出された前記試合経過データの時刻情報が示すシーンを含む前記試合映像における開始点及び終了点を決定する、
ことを特徴とする請求項1または請求項2に記載のシーン検索装置。 The game progress data includes information on the game situation in the scene,
Using the game situation information included in the game progress data detected as a result of the search request by the scene search request unit as a related scene search condition, the game progress data including the related scene search condition is searched for the game. A related scene search requesting unit for requesting the data storage device;
The partial video specifying unit determines a start point and an end point in the game video including a scene indicated by time information of the game progress data detected as a result of a search request by the related scene search request unit;
The scene search apparatus according to claim 1 or 2, characterized in that
ことを特徴とする請求項1から請求項3までのいずれかの項に記載のシーン検索装置。 The language information receiving unit receives the language information data corresponding to the digest video output to the content viewing device;
The scene search device according to any one of claims 1 to 3, wherein
前記シーン特定情報は、イニング情報であり、
前記試合経過データに含まれる前記キーワードは打者の情報である、
ことを特徴とする請求項1から請求項4までのいずれかの項に記載のシーン検索装置。 The game is a baseball game,
The scene specifying information is inning information,
The keyword included in the game progress data is batter information,
The scene search device according to any one of claims 1 to 4, wherein
試合映像に関する文を含む言語情報データを受信する言語情報受信部、
前記試合映像に関するキーワード候補のリストを示すキーワード候補データを試合データ蓄積装置から読み出すキーワード候補データ取得部、
前記言語情報受信部が受信した前記言語情報データに含まれる前記文から、前記キーワード候補データ取得部が取得した前記キーワード候補データに含まれる前記キーワードと、当該キーワードに対応する前記シーン特定情報とを検出し、検出された前記シーン特定情報及び前記キーワードをシーン検索条件として、前記試合映像中のシーンを特定するシーン特定情報と前記シーンにおけるキーワードと試合映像における前記シーンに対応する時刻情報とを関連付けた試合経過データの検索を前記試合データ蓄積装置に要求するシーン検索要求部、
前記シーン検索要求部による検索の要求の結果検出された前記試合経過データの時刻情報が示すシーンを含む前記試合映像における開始点及び終了点を決定する部分映像特定部、
前記部分映像特定部が決定した前記試合映像における前記開始点及び前記終了点を出力するシーン通知部、
として機能させることを特徴とするプログラム。 A computer used as a scene search device
A language information receiving unit for receiving language information data including a sentence relating to a game video;
A keyword candidate data acquisition unit that reads keyword candidate data indicating a list of keyword candidates related to the game video from the game data storage device;
From the sentence included in the language information data received by the language information receiving unit, the keyword included in the keyword candidate data acquired by the keyword candidate data acquiring unit, and the scene specifying information corresponding to the keyword Detecting and using the detected scene specifying information and the keyword as a scene search condition, associating scene specifying information for specifying a scene in the game video with a keyword in the scene and time information corresponding to the scene in the game video A scene search requesting unit for requesting the game data storage device to search the game progress data,
A partial video specifying unit for determining a start point and an end point in the game video including the scene indicated by the time information of the game progress data detected as a result of a search request by the scene search request unit;
A scene notification unit for outputting the start point and the end point in the game video determined by the partial video specifying unit;
A program characterized by functioning as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009188310A JP5367499B2 (en) | 2009-08-17 | 2009-08-17 | Scene search apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009188310A JP5367499B2 (en) | 2009-08-17 | 2009-08-17 | Scene search apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011039915A true JP2011039915A (en) | 2011-02-24 |
JP5367499B2 JP5367499B2 (en) | 2013-12-11 |
Family
ID=43767594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009188310A Active JP5367499B2 (en) | 2009-08-17 | 2009-08-17 | Scene search apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5367499B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012244193A (en) * | 2011-05-13 | 2012-12-10 | Pioneer Electronic Corp | Reproduction section extraction method, program and storage medium, and reproduction section extraction device and transport equipment mounting apparatus |
JP2015115873A (en) * | 2013-12-13 | 2015-06-22 | 株式会社東芝 | Electronic apparatus, scene list processing method and information recording medium |
JP2015233206A (en) * | 2014-06-09 | 2015-12-24 | 富士通株式会社 | Video extraction method, video reproduction method, program, and device |
JP2017011668A (en) * | 2015-06-24 | 2017-01-12 | 株式会社Jvcケンウッド | Scorebook creating apparatus, scorebook creating system, scorebook creating method, program, imaging device, and reproducing method |
JP2017157952A (en) * | 2016-02-29 | 2017-09-07 | 富士通株式会社 | Reproduction control program, method, and information processor |
JP2018182591A (en) * | 2017-04-17 | 2018-11-15 | 日本放送協会 | Information processing system, content distribution server, terminal, and program |
JP2021141434A (en) * | 2020-03-05 | 2021-09-16 | Kddi株式会社 | Scene extraction method, device, and program |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11331760A (en) * | 1998-05-15 | 1999-11-30 | Nippon Telegr & Teleph Corp <Ntt> | Method for summarizing image and storage medium |
JP2000261754A (en) * | 1999-03-05 | 2000-09-22 | Jisedai Joho Hoso System Kenkyusho:Kk | Digest generator, digest generating method, and recording medium recording program to allow computer to execute each process step of the method and read by the computer |
JP2004007371A (en) * | 2002-01-29 | 2004-01-08 | Ricoh Co Ltd | Personal digest downloading system and its method |
WO2007073347A1 (en) * | 2005-12-19 | 2007-06-28 | Agency For Science, Technology And Research | Annotation of video footage and personalised video generation |
JP2007519321A (en) * | 2003-12-18 | 2007-07-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and circuit for creating a multimedia summary of an audiovisual data stream |
JP2008141621A (en) * | 2006-12-04 | 2008-06-19 | Nippon Hoso Kyokai <Nhk> | Device and program for extracting video-image |
JP2008527835A (en) * | 2005-01-07 | 2008-07-24 | サムスン エレクトロニクス カンパニー リミテッド | Method and apparatus for reproducing a recording medium in which metadata for providing an extended search function is recorded |
JP2008227909A (en) * | 2007-03-13 | 2008-09-25 | Matsushita Electric Ind Co Ltd | Video retrieval apparatus |
US20080282287A1 (en) * | 2007-05-08 | 2008-11-13 | Ming-Jun Chen | Method for processing a sports video and apparatus thereof |
-
2009
- 2009-08-17 JP JP2009188310A patent/JP5367499B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11331760A (en) * | 1998-05-15 | 1999-11-30 | Nippon Telegr & Teleph Corp <Ntt> | Method for summarizing image and storage medium |
JP2000261754A (en) * | 1999-03-05 | 2000-09-22 | Jisedai Joho Hoso System Kenkyusho:Kk | Digest generator, digest generating method, and recording medium recording program to allow computer to execute each process step of the method and read by the computer |
JP2004007371A (en) * | 2002-01-29 | 2004-01-08 | Ricoh Co Ltd | Personal digest downloading system and its method |
JP2007519321A (en) * | 2003-12-18 | 2007-07-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and circuit for creating a multimedia summary of an audiovisual data stream |
JP2008527835A (en) * | 2005-01-07 | 2008-07-24 | サムスン エレクトロニクス カンパニー リミテッド | Method and apparatus for reproducing a recording medium in which metadata for providing an extended search function is recorded |
WO2007073347A1 (en) * | 2005-12-19 | 2007-06-28 | Agency For Science, Technology And Research | Annotation of video footage and personalised video generation |
JP2008141621A (en) * | 2006-12-04 | 2008-06-19 | Nippon Hoso Kyokai <Nhk> | Device and program for extracting video-image |
JP2008227909A (en) * | 2007-03-13 | 2008-09-25 | Matsushita Electric Ind Co Ltd | Video retrieval apparatus |
US20080282287A1 (en) * | 2007-05-08 | 2008-11-13 | Ming-Jun Chen | Method for processing a sports video and apparatus thereof |
Non-Patent Citations (4)
Title |
---|
CSNG200100159014; 白田由香利、外2名: 'ダイジェスト説明文生成方式についての検討' 情報処理学会研究報告(2000-DBS-120) 第2000巻,第10号, 20000125, p.107-112, 社団法人情報処理学会 * |
CSNG200200005001; 橋本隆子、外2名: 'パーソナルなダイジェスト試聴システム-伝送実験装置化-' 情報処理学会研究報告(2000-DBS-121) 第2000巻,第44号, 20000526, p.1-8, 社団法人情報処理学会 * |
JPN6013027823; 白田由香利、外2名: 'ダイジェスト説明文生成方式についての検討' 情報処理学会研究報告(2000-DBS-120) 第2000巻,第10号, 20000125, p.107-112, 社団法人情報処理学会 * |
JPN6013027824; 橋本隆子、外2名: 'パーソナルなダイジェスト試聴システム-伝送実験装置化-' 情報処理学会研究報告(2000-DBS-121) 第2000巻,第44号, 20000526, p.1-8, 社団法人情報処理学会 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012244193A (en) * | 2011-05-13 | 2012-12-10 | Pioneer Electronic Corp | Reproduction section extraction method, program and storage medium, and reproduction section extraction device and transport equipment mounting apparatus |
JP2015115873A (en) * | 2013-12-13 | 2015-06-22 | 株式会社東芝 | Electronic apparatus, scene list processing method and information recording medium |
JP2015233206A (en) * | 2014-06-09 | 2015-12-24 | 富士通株式会社 | Video extraction method, video reproduction method, program, and device |
JP2017011668A (en) * | 2015-06-24 | 2017-01-12 | 株式会社Jvcケンウッド | Scorebook creating apparatus, scorebook creating system, scorebook creating method, program, imaging device, and reproducing method |
JP2017157952A (en) * | 2016-02-29 | 2017-09-07 | 富士通株式会社 | Reproduction control program, method, and information processor |
JP2018182591A (en) * | 2017-04-17 | 2018-11-15 | 日本放送協会 | Information processing system, content distribution server, terminal, and program |
JP2021141434A (en) * | 2020-03-05 | 2021-09-16 | Kddi株式会社 | Scene extraction method, device, and program |
JP7295053B2 (en) | 2020-03-05 | 2023-06-20 | Kddi株式会社 | Scene extraction method, device and program |
Also Published As
Publication number | Publication date |
---|---|
JP5367499B2 (en) | 2013-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5367499B2 (en) | Scene search apparatus and program | |
US20180253173A1 (en) | Personalized content from indexed archives | |
US20210263901A1 (en) | Event-related media management system | |
US20180039627A1 (en) | Creating a content index using data on user actions | |
US11228555B2 (en) | Interactive content in a messaging platform | |
US20210181927A1 (en) | Fantasy sports contest highlight segments systems and methods | |
JP5853653B2 (en) | Server device, information terminal, and program | |
CN102263907B (en) | Play control method of competition video, and generation method and device for clip information of competition video | |
KR102119885B1 (en) | Aiding discovery of program content by providing deeplinks into most interesting moments via social media | |
CN104769957B (en) | Identification and the method and apparatus that internet accessible content is presented | |
US9008489B2 (en) | Keyword-tagging of scenes of interest within video content | |
US20120185482A1 (en) | Methods, systems, and computer readable media for dynamically searching and presenting factually tagged media clips | |
JP4922245B2 (en) | Server, method and program for providing advertisement information related to viewed content | |
JP2003032654A (en) | Method and device for generating and presenting program associated contents | |
JP2008131170A (en) | Knowledge metadata generating apparatus, digest generating apparatus, knowledge metadata generating program, and digest generating program | |
JP2019525627A (en) | System and method for performing adaptive scheduling of media asset recordings | |
CN111432234A (en) | Video generation method and device, electronic equipment and readable storage medium | |
JP4532037B2 (en) | Digest delivery system | |
JP7180519B2 (en) | VIDEO DATA PROCESSING DEVICE, VIDEO DATA PROCESSING SYSTEM, CHAT DISPLAY METHOD, AND VIDEO DATA PROCESSING PROGRAM | |
JP7147673B2 (en) | CHAT SERVER, CHAT SYSTEM, CHAT DISPLAY METHOD, AND VIDEO DATA PROCESSING PROGRAM | |
JP2012070175A (en) | Content recommendation apparatus | |
JP2002073459A (en) | Game specific situation notification mail system | |
JP2006350863A (en) | Method, device, system, and program for presenting subject, and a recording medium with program stored thereon | |
JP2008027258A (en) | Data display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130722 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130911 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5367499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |