JP2018081390A - Video recorder - Google Patents

Video recorder Download PDF

Info

Publication number
JP2018081390A
JP2018081390A JP2016221956A JP2016221956A JP2018081390A JP 2018081390 A JP2018081390 A JP 2018081390A JP 2016221956 A JP2016221956 A JP 2016221956A JP 2016221956 A JP2016221956 A JP 2016221956A JP 2018081390 A JP2018081390 A JP 2018081390A
Authority
JP
Japan
Prior art keywords
information
video
recording
metadata
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016221956A
Other languages
Japanese (ja)
Inventor
孝利 石井
Takatoshi Ishii
孝利 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JCC KK
Original Assignee
JCC KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JCC KK filed Critical JCC KK
Priority to JP2016221956A priority Critical patent/JP2018081390A/en
Publication of JP2018081390A publication Critical patent/JP2018081390A/en
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a video recorder with which it is possible to semi- permanently record a television broadcast or Internet delivered moving-image video and media information on the Internet and examine, analyze or pursue the economical effect or cultural value of these.SOLUTION: A video recorder 10 comprises: recording means 12 for semi-permanently recording a video broadcast by a plurality of television broadcasting stations 50 or a video delivered via a plurality of Internet moving-image delivery sites; video information storage means 14 for storing information relating to videos; metadata storage means 16 for storing the metadata of a recorded video; media information storage means 20 for semi-permanently storing the media information acquired from the websites 17; information extraction means 22 for searching a metadata storage file 15 and a media information storage file 19 using a search keyword and extracting video information or media information; and information classification means 23 for classifying the extracted video information or media information for each prescribed genre.SELECTED DRAWING: Figure 1

Description

本発明は、テレビ放送局のテレビ放送又はインターネット配信動画を録画する録画装置に関する。   The present invention relates to a recording apparatus for recording a television broadcast of a television broadcast station or an Internet distribution moving image.

現在、テレビにおいて、大量の番組放送及び広告放送が早朝から深夜に至るまで放送されている。これまで一般的には、テレビ放送映像は、視聴者にとって一時的なメディアとして機能し、一過性のものと考えられていた。
しかしながら、テレビ放送映像が視聴者に与える影響は大きく、例えば、ある製造会社が新製品発売をプレスリリースしたことをテレビのニュース、バラエティ等の番組で放送されたような場合には、当該企業や団体の株価に直接反映されることがある。
Currently, a large amount of program broadcasts and advertisement broadcasts are broadcast on television from early morning to late night. Until now, generally, TV broadcast images functioned as temporary media for viewers and were considered transient.
However, television broadcast images have a significant impact on viewers. For example, if a manufacturer press-releases a new product release that is broadcast on TV news, variety programs, etc., May be directly reflected in the group's stock price.

また、経済的に直接的な関連性がない場合であっても、例えば、東日本大震災の際の原発事故の場合においては、全テレビ放送局が福島原発の事故状況を長期間放送したことによる電力会社及び関連会社への経済的、社会的影響は非常に大きなものがあったと考えられる。
また、為替の大幅な変動、日本企業が進出している外国での重大な被災情報がニュース等により放送された場合には、輸出関連企業、団体の株価には大きな影響があることが容易に考えられる。
またさらに、一般的に番組映像や広告映像は、放送された時代の文化を反映するものとして認識されている。
Even if there is no direct economic relevance, for example, in the case of a nuclear accident in the event of the Great East Japan Earthquake, the power generated by all TV broadcasters broadcasting the Fukushima nuclear accident situation for a long time. The economic and social impact on the company and affiliated companies is considered to have been very large.
In addition, if there are significant fluctuations in exchange rates or information on serious damages in foreign countries where Japanese companies are operating, such as news, it is easy for the stock prices of export-related companies and organizations to be greatly affected. Conceivable.
Furthermore, generally, program images and advertisement images are recognized as reflecting the culture of the broadcast age.

このようなテレビ放送情報の経済的影響や文化的価値に関して、今まで検討、分析、追求されたことはなかった。
その理由として、テレビ放送映像を録画する従来の録画装置にあっては、記憶媒体の容量や寿命の観点から、長くて2年分までしか録画をすることができないため、テレビ番組映像を長期間に亘って分析することができないという不具合があるからであると考えられる。
また、テレビ放送映像に関するメタデータを保存した場合であっても、含まれる内容はあくまでテレビ放送映像の要約であって、元となる映像が失われてしまうとメタデータを修正できず、精度の良い分析を行うことはできないという不具合があった。
The economic impact and cultural value of such TV broadcast information has never been studied, analyzed and pursued.
The reason for this is that conventional recording devices that record TV broadcast video can only record up to two years from the viewpoint of the capacity and life of the storage medium. This is considered to be because there is a problem that analysis cannot be performed over a period of time.
Even if metadata related to TV broadcast video is saved, the content included is only a summary of the TV broadcast video, and if the original video is lost, the metadata cannot be corrected, There was a defect that good analysis could not be done.

このような不具合は、テレビ放送の映像に限らず、急速に実用化が進んだインターネット配信動画の映像に関しても存在するものである。すなわち、記憶媒体の容量や寿命の観点から、インターネット配信動画を長期間に亘って分析することができないからである。
従って、このようなインターネット配信動画の映像情報の経済的影響や文化的価値に関して、今まで検討、分析、追求されたことはなかったといえる。
Such inconveniences exist not only for television broadcast images but also for Internet-distributed moving image images that have been rapidly put into practical use. That is, from the viewpoint of the capacity and life of the storage medium, Internet distribution moving images cannot be analyzed over a long period of time.
Therefore, it can be said that the economic impact and cultural value of video information of such Internet-distributed moving images have not been studied, analyzed and pursued so far.

またさらに、テレビ放送やインターネット配信動画と同様に、大手新聞社、地方新聞社、ニュース配信会社、テレビ会社等により構成される報道機関のウェブサイトから得られるメディア情報は、インターネットに接続されたコンピューター、スマートフォン等からウェブサイトにアクセスして、容易に得ることができるようになっているが、毎秒単位で新しい情報に更新されていくため、過去の情報を追跡して分析することは困難である。
従って、このようなインターネット上のメディア情報についても、その経済的影響や文化的価値に関して、今まで検討、分析、追求されたことはなかった。
このような観点から、出願人は出願前調査を行い関連する出願情報を検索し、下記特許文献1を抽出したが、本願発明に関連する従来技術ではなかった。
Furthermore, as with television broadcasts and Internet distribution videos, media information obtained from the websites of news organizations composed of major newspaper companies, local newspaper companies, news distribution companies, TV companies, etc. is stored on computers connected to the Internet. It can be easily obtained by accessing the website from a smartphone etc., but since it is updated with new information every second, it is difficult to track and analyze past information .
Therefore, such media information on the Internet has never been studied, analyzed and pursued with regard to its economic impact and cultural value.
From such a viewpoint, the applicant conducted a pre-application search, searched for related application information, and extracted Patent Document 1 below, but it was not a prior art related to the present invention.

2007―264969号公報2007-264969

本発明は、以上のような従来の欠点を解決するためのものであって、その課題は、長期間に亘ってテレビ放送又はインターネット配信動画の映像情報及びインターネット上のメディア情報を半永久的に保存することができると共に、テレビ放送情報及びインターネット上のメディア情報の経済的影響や文化的価値に関して、検討、分析、又は、追求をすることができる録画装置を提供することにある。   The present invention is for solving the above-described conventional drawbacks, and the problem is to store video information of television broadcast or Internet distribution video and media information on the Internet semipermanently for a long period of time. Another object of the present invention is to provide a recording apparatus that can study, analyze, or pursue the economic impact and cultural value of television broadcast information and media information on the Internet.

前記課題を解決するために、請求項1に記載の発明にあっては、複数のテレビ放送局が放送するテレビ放送の映像又は複数のインターネット動画配信サイトが配信するインターネット配信動画の映像に関し、全ての映像を録画ファイルに半永久的に録画又は保存する録画手段と、前記映像に関する情報を映像情報として映像情報格納ファイルに格納する映像情報格納手段と、前記録画手段により録画又は保存された映像のメタデータをメタデータ格納ファイルに格納するメタデータ格納手段と、複数のウェブサイトにインターネットを介して接続可能であり、前記ウェブサイトから取得したメディア情報をメディア情報格納ファイルに格納して半永久的に保存するメディア情報格納手段と、検索キーワードが格納された検索キーワード格納ファイルを有し、前記検索キーワードを前記メタデータ格納ファイル及び前記メディア情報格納ファイルから検索し、前記検索キーワードに対応するメタデータに紐付けられた映像情報又は前記検索キーワードに対応するメディア情報を前記映像情報格納ファイル又は前記メディア情報格納ファイルから抽出する情報抽出手段と、前記情報抽出手段によって抽出された映像情報又はメディア情報を所定のジャンル毎に分類する情報分類手段とを有することを特徴とする。   In order to solve the above-mentioned problem, in the invention according to claim 1, all of the television broadcast video broadcasted by a plurality of television broadcast stations or the video of Internet distribution video distributed by a plurality of Internet video distribution sites are provided. A video recording means for recording or saving the video in a recording file semi-permanently, a video information storage means for storing information relating to the video as video information in a video information storage file, and a meta of video recorded or saved by the recording means. Metadata storage means for storing data in a metadata storage file, and connection to a plurality of websites via the Internet. Media information acquired from the website is stored in a media information storage file and stored semipermanently. Media information storage means to be used and a search keyword storage file storing search keywords. The search keyword is searched from the metadata storage file and the media information storage file, and the video information linked to the metadata corresponding to the search keyword or the media information corresponding to the search keyword is Information extraction means for extracting from the video information storage file or the media information storage file, and information classification means for classifying the video information or media information extracted by the information extraction means for each predetermined genre .

ここで、録画とは、テレビ放送の映像やインターネット配信動画の映像をビデオテープやDVDメディア、ハードディスクなどの映像記録媒体に記録、保存する行為を意味する。
また、所定のジャンルとは、政治、経済、行政、ビジネス、科学、流行、ファッション、スポーツ、芸能等を指す。
従って、前記録画手段によって、前記録画ファイルに全ての映像が半永久的に録画又は保存されると共に、前記録画ファイルに映像が録画又は保存された場合には、前記映像情報格納手段によって、前記映像に関する情報が映像情報として前記映像情報格納ファイルに格納されると共に、前記メタデータ格納手段によって、前記放送映像のメタデータが前記メタデータ格納ファイルに格納され、前記メディア情報格納手段によって、前記ウェブサイトから取得したメディア情報が前記メディア情報格納ファイルに格納され、半永久的に保存されると共に、前記情報抽出手段によって、前記検索キーワード格納ファイルに格納された検索キーワードが前記メタデータ格納ファイル及び前記メディア情報格納ファイルから検索され、前記検索キーワードに対応するメタデータに紐付けられた映像情報又は前記検索キーワードに対応するメディア情報が抽出され、前記情報分類手段によって、前記抽出された映像情報又はメディア情報が所定のジャンル毎に分類される。
Here, recording means an act of recording and storing a television broadcast video or an Internet distribution video on a video recording medium such as a video tape, a DVD medium, or a hard disk.
The predetermined genre refers to politics, economy, administration, business, science, fashion, fashion, sports, entertainment, and the like.
Therefore, when all the videos are recorded or stored semi-permanently in the recording file by the recording unit, and when the video is recorded or stored in the recording file, the video information storage unit relates to the video. Information is stored in the video information storage file as video information, and the metadata of the broadcast video is stored in the metadata storage file by the metadata storage means, and from the website by the media information storage means. The acquired media information is stored in the media information storage file and stored semi-permanently, and the search keyword stored in the search keyword storage file is stored in the metadata storage file and the media information storage by the information extraction means. Search key searched from file Video information associated with metadata corresponding to a mode or media information corresponding to the search keyword is extracted, and the extracted video information or media information is classified for each predetermined genre by the information classification unit. The

請求項2に記載の発明にあっては、前記情報抽出手段は、前記検索キーワードに対応するメタデータを前記メタデータ格納ファイルから抽出するメタデータ抽出手段と、前記検索キーワードに対応する情報を前記メディア情報格納ファイルから抽出するメディア情報抽出手段と、前記メタデータ抽出手段及び前記メディア情報抽出手段によって、夫々、抽出されたメタデータ及びメディア情報を互いに照合する情報照合手段とを有することを特徴とする。   In the invention according to claim 2, the information extraction means extracts metadata corresponding to the search keyword from the metadata storage file and information corresponding to the search keyword. Media information extracting means for extracting from a media information storage file, and information collating means for collating the metadata and media information extracted by the metadata extracting means and the media information extracting means, respectively. To do.

従って、前記メタデータ抽出手段によって、前記検索キーワードに対応するメタデータが前記メタデータ格納ファイルから抽出され、前記メディア情報抽出手段によって、前記検索キーワードに対応する情報が前記メディア情報格納ファイルから抽出され、前記情報照合手段によって、前記抽出されたメタデータ及びメディア情報が互いに照合される。   Therefore, metadata corresponding to the search keyword is extracted from the metadata storage file by the metadata extraction unit, and information corresponding to the search keyword is extracted from the media information storage file by the media information extraction unit. The extracted metadata and media information are collated with each other by the information collating means.

請求項3に記載の発明にあっては、前記メタデータ格納手段は、前記録画ファイルに録画又は保存された映像から文字情報を取得する文字情報取得手段と、前記文字情報取得手段によって取得された前記文字情報を集約して文章化する文字情報文章化手段とを有し、前記文字情報文章化手段によって文章化された前記文字情報を前記録画ファイルに録画又は保存された映像のメタデータとして前記メタデータ格納ファイルに格納することを特徴とする。   In the invention according to claim 3, the metadata storage means is acquired by the character information acquisition means for acquiring character information from the video recorded or stored in the recording file, and the character information acquisition means. Character information texting means that aggregates the text information into text, and the text information text-written by the text information text texting means is recorded as metadata of the video recorded or stored in the recording file. It is stored in a metadata storage file.

ここで、文字情報とは、映像に表示され、映像に関連する単語、文章の情報であって、例えば、映像に表示されたテロップの文字列を含む概念である。
従って、前記録画手段によって、前記録画ファイルに映像が録画又は保存された場合には、前記文字情報取得手段によって、前記録画ファイルに録画又は保存された前記映像に表示された文字情報が取得され、前記文字情報文章化手段によって、取得された前記文字情報が文章化され、前記メタデータ格納手段によって、文章化された前記文字情報が前記映像のメタデータとして前記メタデータ格納ファイルに格納される。
Here, the character information is information of words and sentences related to the video displayed on the video and is a concept including, for example, a character string of a telop displayed on the video.
Therefore, when the video is recorded or stored in the recording file by the recording unit, the character information displayed on the video recorded or stored in the recording file is acquired by the character information acquisition unit, The acquired character information is converted into text by the text information text conversion means, and the text information converted into text by the metadata storage means is stored in the metadata storage file as metadata of the video.

請求項4に記載の発明にあっては、前記文字情報取得手段は、前記録画ファイルに録画又は保存された映像に対して画像解析を行い、前記映像から文字情報を抽出する文字情報抽出手段と、前記画像解析の手法を更新する画像解析手法更新手段とを有し、前記画像解析手法更新手段が前記手法を更新した場合には、前記文字情報抽出手段が前記録画ファイルに録画又は保存された映像に対して更新された前記手法によって画像解析を再度行うことを特徴とする。   According to a fourth aspect of the present invention, the character information acquisition means performs character analysis on the video recorded or stored in the recording file and extracts character information from the video. An image analysis method updating unit that updates the image analysis method, and when the image analysis method update unit updates the method, the character information extraction unit is recorded or stored in the recording file. The image analysis is performed again by the method updated on the video.

従って、前記画像解析手法更新手段が前記手法を更新した場合には、前記文字情報抽出手段によって、前記録画ファイルに録画又は保存された映像に対して、更新された前記手法による画像解析が再度行われる。   Therefore, when the image analysis technique update unit updates the technique, the updated image analysis is performed again on the video recorded or stored in the recording file by the character information extraction unit. Is called.

請求項5に記載の発明にあっては、前記文字情報抽出手段は、画像解析済みの映像と、前記画像解析済みの映像から抽出された文字情報とを有する画像解析蓄積ファイルと照合して画像解析する画像照合解析手段を有することを特徴とする。   In the invention according to claim 5, the character information extracting means collates with an image analysis storage file having an image analyzed image and character information extracted from the image analyzed image. It has the image collation analysis means to analyze.

ここで、画像解析済みの映像とは、これまでに画像解析された映像を意味し、前記画像解析済みの映像から抽出された文字情報とは、画像解析された結果、正しく前記映像から抽出された文字情報を意味する。
従って、前記画像解析手段によって、前記録画ファイルに録画又は保存された前記映像が、画像解析済みの映像と、前記画像解析済みの映像から抽出された文字情報とを有する画像解析蓄積ファイルと照合されることにより、画像解析される。
Here, the image analyzed image means an image that has been analyzed so far, and the character information extracted from the image analyzed image is correctly extracted from the image as a result of the image analysis. Means character information.
Therefore, the image analysis unit compares the video recorded or stored in the recording file with an image analysis storage file having an image analyzed video and character information extracted from the video analyzed video. Thus, image analysis is performed.

請求項6に記載の発明にあっては、前記文字情報抽出手段は、前記画像照合解析手段によって画像解析された放送映像と、前記放送映像から抽出された文字情報とに基づいて、前記画像解析蓄積ファイルを修正する画像解析学習手段をさらに有することを特徴とする。   In the invention according to claim 6, the character information extraction unit is configured to perform the image analysis based on the broadcast video image-analyzed by the image collation analysis unit and the character information extracted from the broadcast video. The image processing apparatus further includes image analysis learning means for correcting the accumulated file.

ここで、修正は追加、削除を含む概念である。
従って、前記画像解析学習手段によって、前記画像解析蓄積ファイルが前記画像解析手段によって画像解析された映像と、前記映像から抽出された文字情報とに基づいて修正される。
Here, the correction is a concept including addition and deletion.
Therefore, the image analysis learning unit corrects the image analysis storage file based on the video image analyzed by the image analysis unit and the character information extracted from the video.

請求項7に記載の発明にあっては、前記文字情報取得手段は、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とを照合し、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情を文字情報として抽出する映像認識情報抽出手段を有することを特徴とする。   In the invention according to claim 7, the character information acquisition means includes a person, a logo, the personal belongings or the facial expression of the person, and personal information, logo information, physical information or facial expression information included in the video And image recognition information extracting means for extracting the person, logo, personal belongings of the person or the facial expression of the person as character information.

従って、前記映像認識情報抽出手段によって、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とが照合され、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情が文字情報として抽出される。   Therefore, the image recognition information extraction means collates the person, logo, personal belongings or facial expression of the person included in the video with the personal information, logo information, physical information or facial expression information, and is included in the video. Character, logo, personal belongings or facial expression of the person are extracted as character information.

請求項8に記載の発明にあっては、前記文字情報取得手段は、前記録画ファイルに録画又は保存された映像と共に録音又は保存された音声に対して音声解析を行い、前記音声から文字情報を抽出する音声情報抽出手段を有することを特徴とする。   In the invention according to claim 8, the character information acquisition means performs voice analysis on the voice recorded or saved together with the video recorded or saved in the recording file, and character information is obtained from the voice. It has a voice information extracting means for extracting.

従って、前記音声情報抽出手段によって、前記録画ファイルに録画又は保存された前記映像と共に録音又は保存された前記音声が音声解析されることにより前記音声から文字情報が抽出される。   Accordingly, the voice information extracting means extracts voice information from the voice by analyzing the voice recorded or saved together with the video recorded or saved in the recording file.

請求項9に記載の発明にあっては、前記録画手段は、録画対象キーワードを格納する録画対象キーワード格納ファイルを有し、前記録画対象キーワードが含まれるメタデータに対応する映像のみを前記録画ファイルから抽出して録画又は保存する対象抽出手段を有することを特徴とする。   In the invention according to claim 9, the recording means has a recording target keyword storage file for storing a recording target keyword, and only the video corresponding to the metadata including the recording target keyword is recorded in the recording file. It is characterized by having an object extracting means for recording from video and recording or saving.

従って、前記録画対象キーワード格納ファイルに録画対象キーワードが格納された場合には、前記対象抽出手段によって、前記録画対象キーワードが含まれるメタデータに対応する映像のみが前記録画ファイルから抽出して録画又は保存される。   Therefore, when a recording target keyword is stored in the recording target keyword storage file, only video corresponding to metadata including the recording target keyword is extracted from the recording file by the target extraction unit and recorded or recorded. Saved.

請求項10に記載の発明にあっては、前記情報抽出手段によって抽出された情報を統計処理する統計処理手段をさらに有することを特徴とする。
ここで、統計処理とは、相関分析、回帰分析、因子分析等の公知の統計処理を意味する。
従って、前記統計処理手段によって、前記情報抽出手段によって抽出された情報が統計処理される。
The invention described in claim 10 further includes statistical processing means for statistically processing the information extracted by the information extraction means.
Here, the statistical processing means known statistical processing such as correlation analysis, regression analysis, and factor analysis.
Therefore, the statistical processing means statistically processes the information extracted by the information extraction means.

請求項11に記載の発明にあっては、前記メディア情報格納手段は、前記複数のウェブサイトの中から予め選定した分野に適合したウェブサイトを検索対象サイトとして検索対象格納ファイルに格納する検索対象格納手段と、前記検索対象格納ファイルに格納された検索対象サイトについて、各検索対象サイトのサイト構造を解析するサイト構造解析手段と、前記各検索対象サイトを巡回し、前記解析したサイト構造に基づいて前記各検索対象サイトに記述されたサイト情報を取得するサイト情報取得手段と、前記各検索対象サイトから取得した前記サイト情報を、前記メディア情報として前記メディア情報格納ファイルに格納するサイト情報格納手段とを有することを特徴とする。   In the invention according to claim 11, the media information storage means stores a search site as a search target site in a search target storage file that is suitable for a field selected in advance from the plurality of websites. A storage means, a site structure analysis means for analyzing a site structure of each search target site for the search target sites stored in the search target storage file, and a search for each search target site, based on the analyzed site structure Site information acquisition means for acquiring site information described in each search target site, and site information storage means for storing the site information acquired from each search target site as the media information in the media information storage file It is characterized by having.

従って、前記検索対象格納手段によって、前記複数のウェブサイトの中から予め選定した分野に適合したウェブサイトを検索対象サイトとして前記検索対象格納ファイルに格納した場合には、前記検索サーバーは、前記サイト構造解析手段によって、前記検索対象格納ファイルに格納された検索対象サイトに基づいて、各検索対象サイトのサイト構造を解析し、前記サイト情報取得手段によって、前記各検索対象サイトを巡回し、前記解析したサイト構造に基づいて前記各検索対象サイトに記述されたサイト情報を取得し、前記サイト情報格納手段によって、前記各検索対象サイトから取得した前記サイト情報が、前記メディア情報として前記メディア情報格納ファイルに格納される。   Therefore, when the search target storage unit stores a website suitable for a field selected in advance from the plurality of websites as a search target site in the search target storage file, the search server stores the site. The structure analysis unit analyzes the site structure of each search target site based on the search target site stored in the search target storage file, the site information acquisition unit circulates each search target site, and the analysis The site information described in each search target site is acquired based on the site structure, and the site information acquired from each search target site by the site information storage means is the media information storage file as the media information. Stored in

請求項12に記載の発明にあっては、前記メタデータ格納ファイルには、前記番組コンテンツ要約テキストデータと、前記番組コンテンツが放送されたチャンネル名と、前記番組コンテンツのタイムコードとが記録されていることを特徴とする。   In the invention according to claim 12, the metadata storing file records the program content summary text data, a channel name on which the program content is broadcast, and a time code of the program content. It is characterized by being.

請求項1〜12に記載の録画装置にあっては、前記録画手段によって、前記録画ファイルに全ての映像が半永久的に録画又は保存されると共に、前記録画ファイルに映像が録画又は保存された場合には、前記映像情報格納手段によって、前記映像に関する情報が映像情報として前記映像情報格納ファイルに格納されると共に、前記メタデータ格納手段によって、前記映像のメタデータが前記メタデータ格納ファイルに格納され、前記メディア情報格納手段によって、前記ウェブサイトから取得したメディア情報が前記メディア情報格納ファイルに格納され、半永久的に保存されると共に、前記情報抽出手段によって、前記検索キーワード格納ファイルに格納された検索キーワードが前記メタデータ格納ファイル及び前記メディア情報格納ファイルから検索され、前記検索キーワードに対応するメタデータに紐付けられた映像情報又は前記検索キーワードに対応するメディア情報が抽出され、前記情報分類手段によって、前記抽出された映像情報又はメディア情報が所定のジャンル毎に分類される。
従って、検索キーワードを指定することによって、半永久的に録画又は保存された前記映像情報及び前記メディア情報を所定のジャンル毎に分類された状態で検索して抽出することができる。
その結果、長期間に亘ってテレビ放送又はインターネット配信動画の映像情報及びインターネット上のメディア情報を半永久的に録画又は保存することができると共に、テレビ放送又はインターネット配信動画の映像情報及びインターネット上のメディア情報の経済的影響や文化的価値に関して、検討、分析、又は、追求をすることができる録画装置を提供することができる。
その結果、現在、一過性のものとしてみなされ、取り扱われているテレビ放送又はインターネット配信動画の映像情報及びインターネット上のメディア情報を、網羅的にかつ半永久的に蓄積することにより、テレビ放送又はインターネット配信動画の映像情報及びインターネット上のメディア情報をアーカイブ化し、例えば、ある時代を振り返って文化として参照、検討、学習することが可能となる。
The recording apparatus according to any one of claims 1 to 12, wherein all video is recorded or stored in the recording file semipermanently by the recording unit, and video is recorded or stored in the recording file. The video information storage means stores information related to the video as video information in the video information storage file, and the metadata storage means stores the video metadata in the metadata storage file. The media information obtained from the website is stored in the media information storage file by the media information storage means and is semi-permanently stored, and the search is stored in the search keyword storage file by the information extraction means. The keyword is the metadata storage file and the media information storage file. Video information linked to the metadata corresponding to the search keyword or media information corresponding to the search keyword is extracted, and the extracted video information or media information is predetermined by the information classifying means. It is classified for each genre.
Accordingly, by designating a search keyword, the video information and the media information recorded or stored semipermanently can be searched and extracted in a state classified for each predetermined genre.
As a result, it is possible to record or store video information of television broadcast or Internet distribution video and media information on the Internet semi-permanently over a long period of time, and video information of television broadcast or Internet distribution video and media on the Internet. It is possible to provide a recording apparatus that can examine, analyze, or pursue the economic impact and cultural value of information.
As a result, the TV broadcast or Internet distribution video image information and the Internet media information that are currently regarded as transient and handled are comprehensively and semi-permanently stored. Video information of Internet-distributed moving images and media information on the Internet can be archived, and for example, it is possible to refer to, study, and learn as a culture by looking back at a certain era.

請求項2に記載の録画装置にあっては、前記メタデータ抽出手段によって、前記検索キーワードに対応するメタデータが前記メタデータ格納ファイルから抽出され、前記メディア情報抽出手段によって、前記検索キーワードに対応する情報が前記メディア情報格納ファイルから抽出され、前記情報照合手段によって、前記抽出されたメタデータ及びメディア情報が互いに照合されるので、前記検索キーワードによって抽出された映像情報及びメディア情報の検索精度を高めることができる。   3. The recording apparatus according to claim 2, wherein metadata corresponding to the search keyword is extracted from the metadata storage file by the metadata extraction means, and the search keyword is supported by the media information extraction means. Information is extracted from the media information storage file, and the extracted metadata and media information are collated with each other by the information collating unit, so that the search accuracy of the video information and media information extracted by the search keyword is increased. Can be increased.

請求項3に記載の録画装置にあっては、前記録画手段によって、前記録画ファイルに映像が録画又は保存された場合には、前記文字情報取得手段によって、前記録画ファイルに録画又は保存された前記映像に表示された文字情報が取得され、前記文字情報文章化手段によって、取得された前記文字情報が文章化され、前記メタデータ格納手段によって、文章化された前記文字情報が前記映像のメタデータとして前記メタデータ格納ファイルに格納される。
従って、前記映像に表示され、前記映像に関連する単語、文章の情報である前記文字情報から前記映像のメタデータを精度良く自動作成することができる。
その結果、テレビ放送の映像又はインターネット配信動画の映像に関するメタデータを短時間で作成し、人的コストを削減することができる。
In the recording device according to claim 3, when a video is recorded or stored in the recording file by the recording unit, the character information acquisition unit records or stores the video in the recording file. Character information displayed on the video is acquired, the acquired character information is converted into text by the text information texturing means, and the text information textified by the metadata storage means is converted to metadata of the video Is stored in the metadata storage file.
Therefore, the metadata of the video can be automatically generated with high accuracy from the character information which is displayed on the video and is related to words and sentences related to the video.
As a result, it is possible to create metadata relating to the video of the television broadcast or the video of the Internet distribution video in a short time, thereby reducing human costs.

請求項4に記載の録画装置にあっては、前記画像解析手法更新手段が前記手法を更新した場合には、前記文字情報抽出手段によって、前記録画ファイルに録画又は保存された映像に対して、更新された前記手法による画像解析が再度行われるので、技術の進歩によって精度の良い画像解析手法が開発された場合には、新たに解析された精度の良い映像情報に基づいて、経済的影響や文化的価値に関して、検討、分析、又は、追求をすることができる。   In the recording device according to claim 4, when the image analysis technique update unit updates the technique, the video information recorded or stored in the recording file by the character information extraction unit, Since the image analysis by the updated method is performed again, when an accurate image analysis method is developed due to the advancement of technology, the economic impact and the Consider, analyze, or pursue cultural values.

請求項5に記載の録画装置にあっては、前記画像解析手段によって、前記録画ファイルに録画又は保存された前記映像が、画像解析済みの映像と、前記画像解析済みの映像から抽出された文字情報とを有する画像解析蓄積ファイルと照合されることにより、画像解析される。
従って、過去から蓄積された画像解析結果を用いて効果的に画像解析を行うことができ、その結果、前記映像のメタデータを精度良く短時間で作成することができる。
6. The recording apparatus according to claim 5, wherein the video recorded or stored in the recording file by the image analysis means is a video extracted from the video that has undergone image analysis and the video that has been analyzed. The image is analyzed by collating it with an image analysis storage file having information.
Therefore, it is possible to effectively perform image analysis using the image analysis results accumulated from the past, and as a result, the video metadata can be created with high accuracy and in a short time.

請求項6に記載の録画装置にあっては、前記画像解析学習手段によって、前記画像解析蓄積ファイルが前記画像解析手段によって画像解析された映像と、前記映像から抽出された文字情報とに基づいて修正される。
従って、今回行った画像解析結果を前記画像解析蓄積ファイルに追加したり、前記画像解析蓄積ファイルに含まれる誤った情報を今回行った画像解析結果に基づいて削除したりすることができ、その結果、前記画像解析蓄積ファイルを更新して常に最新の状態で使用することができる。
7. The recording apparatus according to claim 6, wherein the image analysis learning unit performs image analysis of the image analysis storage file by the image analysis unit and character information extracted from the image. Will be corrected.
Therefore, it is possible to add the image analysis result performed this time to the image analysis accumulation file or to delete erroneous information included in the image analysis accumulation file based on the image analysis result performed this time. The image analysis storage file can be updated and always used in the latest state.

請求項7に記載の録画装置にあっては、前記映像認識情報抽出手段によって、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とが照合され、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情が文字情報として抽出されるので、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情から前記映像のメタデータを作成することができる。   In the recording device according to claim 7, by the video recognition information extraction unit, a person, a logo, the personal belongings or the facial expression of the person, and personal information, logo information, physical information or Since the facial expression information is collated, and the person, logo, personal belongings or facial expression of the person included in the video is extracted as character information, the person, logo, personal belongings or personality included in the video The video metadata can be created from the facial expression.

請求項8に記載の録画装置にあっては、前記音声情報抽出手段によって、前記録画ファイルに録画又は保存された前記映像と共に録音又は保存された前記音声が音声解析されることにより前記音声から文字情報が抽出される。
従って、音声解析によって効率よく前記映像と共に録音又は保存された前記音声から前記文字情報を抽出することができる。
9. The recording apparatus according to claim 8, wherein the voice information extraction unit analyzes the voice recorded or saved together with the video recorded or saved in the recording file, thereby analyzing characters from the voice. Information is extracted.
Accordingly, the character information can be efficiently extracted from the voice recorded or stored together with the video by voice analysis.

請求項9に記載の録画装置にあっては、前記録画対象キーワード格納ファイルに録画対象キーワードが格納された場合には、前記対象抽出手段によって、前記録画対象キーワードが含まれるメタデータに対応する映像のみが前記録画ファイルから抽出して録画又は保存されるので、収集・保存される映像及び映像情報を圧縮することができ、その結果、映像情報の経済的影響や文化的価値に関して、効率良く検討、分析、又は、追求をすることができる。   10. The recording device according to claim 9, wherein when a recording target keyword is stored in the recording target keyword storage file, video corresponding to metadata including the recording target keyword is recorded by the target extraction unit. Since only video is extracted from the recording file and recorded or stored, the video and video information collected and stored can be compressed, and as a result, the economic impact and cultural value of the video information can be efficiently examined. , Analysis or pursuit.

請求項10に記載の録画装置にあっては、前記統計処理手段によって、前記情報抽出手段によって抽出された情報が統計処理されるので、映像情報及びメディア情報に対して、検討、分析、又は、追求をすることができる。   In the recording apparatus according to claim 10, since the information extracted by the information extraction unit is statistically processed by the statistical processing unit, the video information and the media information are examined, analyzed, or You can pursue.

請求項11に記載の録画装置にあっては、前記検索対象格納手段によって、前記複数のウェブサイトの中から予め選定した分野に適合したウェブサイトが検索対象サイトとして前記検索対象格納ファイルに格納された場合には、前記サイト構造解析手段によって、前記検索対象格納ファイルに格納された検索対象サイトに基づいて、各検索対象サイトのサイト構造が解析され、前記サイト情報取得手段によって、前記各検索対象サイトが巡回され、前記解析したサイト構造に基づいて前記各検索対象サイトに記述されたサイト情報が取得され、前記サイト情報格納手段によって、前記各検索対象サイトから取得した前記サイト情報がメディア情報として前記メディア情報格納ファイルに格納されるので、前記各検索対象サイトに記述されたサイト情報を予め前記メディア情報格納ファイルに格納しておくことができる。
従って、従来の一般の検索エンジンにあっては、無関係なウェブサイトを大量に検索結果に表示してしまうため、ユーザーはその検索結果からさらに精査をして、必要な情報を選別しなければならないという事態を生じていたのに対し、請求項11に記載の録画装置にあっては、前記事態を生じることがなく、その結果、有益な情報を正確かつ迅速に得ることができる。
また、前記検索キーワードに関連する情報は、前記メディア情報格納ファイルに格納されたメディア情報から抽出されるので、検索する毎に前記各検索対象サイトを巡回する必要がなく、有益な情報をさらに迅速に得ることができる。
12. The recording apparatus according to claim 11, wherein a website suitable for a field selected in advance from among the plurality of websites is stored as a search target site in the search target storage file by the search target storage means. The site structure analysis unit analyzes the site structure of each search target site based on the search target site stored in the search target storage file, and the site information acquisition unit analyzes the search target site. Sites are visited, site information described in each search target site is acquired based on the analyzed site structure, and the site information acquired from each search target site by the site information storage means is used as media information. Since it is stored in the media information storage file, the service described in each search target site is stored. It can be stored bets information in advance the media information storage file.
Therefore, a conventional general search engine displays a large amount of irrelevant websites in the search results, and the user must further scrutinize the search results to select necessary information. However, in the recording apparatus according to the eleventh aspect, the situation does not occur, and as a result, useful information can be obtained accurately and quickly.
In addition, since the information related to the search keyword is extracted from the media information stored in the media information storage file, it is not necessary to visit each search target site every time the search is performed, and useful information can be more quickly collected. Can get to.

図1は、本発明に係る録画装置の一実施の形態を示すブロック図である。FIG. 1 is a block diagram showing an embodiment of a recording apparatus according to the present invention. 図2は、本発明に係る録画装置の一実施の形態において、録画装置における処理の流れを示すフローチャートである。FIG. 2 is a flowchart showing a flow of processing in the recording apparatus in the embodiment of the recording apparatus according to the present invention.

以下、添付図面に示す実施の形態に基づき、本発明を詳細に説明する。本実施の形態においては、録画対象をテレビ放送局が放送するテレビ放送の映像であるものとして説明する。
(1)本実施の形態に係る録画装置10の構成
図1に示すように、本発明の一実施の形態に係る録画装置10は、複数のテレビ放送局50、50・・・の放送チャンネルに関し、全ての放送映像を録画ファイル11に録画して半永久的に保存する録画手段12と、前記映像に関する情報を映像情報として映像情報格納ファイル13に格納する映像情報格納手段14と、録画手段12により録画された映像のメタデータをメタデータ格納ファイル15に格納するメタデータ格納手段16と、複数のウェブサイト17、17・・・にインターネット18を介して接続可能であり、ウェブサイト17、17・・・から取得したメディア情報をメディア情報格納ファイル19に格納して半永久的に保存するメディア情報格納手段20と、検索キーワードが格納された検索キーワード格納ファイル21を有し、前記検索キーワードをメタデータ格納ファイル15及びメディア情報格納ファイル19から検索し、前記検索キーワードに対応するメタデータに紐付けられた映像情報又は前記検索キーワードに対応するメディア情報を映像情報格納ファイル13又はメディア情報格納ファイル19から抽出する情報抽出手段22と、情報抽出手段22によって抽出された情報を所定のジャンル毎に分類する情報分類手段23とを有している。
Hereinafter, the present invention will be described in detail based on embodiments shown in the accompanying drawings. In the present embodiment, description will be made assuming that the recording target is an image of a television broadcast broadcast by a television broadcast station.
(1) Configuration of Recording Apparatus 10 According to the Present Embodiment As shown in FIG. 1, the recording apparatus 10 according to an embodiment of the present invention relates to broadcast channels of a plurality of television broadcast stations 50, 50. Recording means 12 for recording all broadcast videos in the recording file 11 and storing them semi-permanently, video information storage means 14 for storing information relating to the video in the video information storage file 13 as video information, and recording means 12 The metadata storage means 16 for storing the metadata of the recorded video in the metadata storage file 15 can be connected to a plurality of websites 17, 17... Via the Internet 18, and the websites 17, 17. Media information storage means 20 for storing the media information acquired from the media information storage file 19 and storing it semipermanently, and a search keyword A search keyword storage file 21 in which the search keyword is stored, the search keyword is searched from the metadata storage file 15 and the media information storage file 19, and the video information associated with the metadata corresponding to the search keyword or the Information extraction means 22 for extracting media information corresponding to the search keyword from the video information storage file 13 or the media information storage file 19, and information classification means 23 for classifying the information extracted by the information extraction means 22 for each predetermined genre; have.

また、図1に示すように、本実施の形態に係る情報抽出手段22は、前記検索キーワードに対応するメタデータをメタデータ格納ファイル15から抽出するメタデータ抽出手段24と、前記検索キーワードに対応するメディア情報をメディア情報格納ファイル19から抽出するメディア情報抽出手段25と、メタデータ抽出手段24及びメディア情報抽出手段25によって、夫々、抽出されたメタデータ及びメディア情報を互いに照合する情報照合手段26とを有している。
また、図1に示すように、本実施の形態に係る録画装置10は、情報抽出手段22によって抽出された情報を統計処理する統計処理手段27を有している。
また、図1に示すように、本実施の形態に係るメタデータ格納手段16は、録画ファイル11に録画された映像から文字情報を取得する文字情報取得手段28と、文字情報取得手段28によって取得された前記文字情報を集約して文章化する文字情報文章化手段29とを有し、文字情報文章化手段29によって文章化された前記文字情報を録画ファイル11に録画された映像のメタデータとしてメタデータ格納ファイル15に格納するように構成されている。
具体的には、メタデータ格納手段16が、番組コンテンツ42の映像のメタデータとして、例えば、「(03/01 12:00)[××ニュース]○×オープンに出場している日本のトップテニスプレーヤー○△選手が決勝に進出した」というメタデータをメタデータ格納ファイル15に格納することができる。
Also, as shown in FIG. 1, the information extraction unit 22 according to the present embodiment corresponds to the metadata extraction unit 24 that extracts metadata corresponding to the search keyword from the metadata storage file 15 and the search keyword. Media information extracting means 25 for extracting the media information to be extracted from the media information storage file 19, and information collating means 26 for collating the extracted metadata and media information with each other by the metadata extracting means 24 and the media information extracting means 25, respectively. And have.
As shown in FIG. 1, the recording apparatus 10 according to the present embodiment includes a statistical processing unit 27 that statistically processes the information extracted by the information extracting unit 22.
As shown in FIG. 1, the metadata storage unit 16 according to the present embodiment is acquired by the character information acquisition unit 28 that acquires character information from the video recorded in the recording file 11 and the character information acquisition unit 28. A text information writing means 29 for collecting the written text information into text, and writing the text information written by the text information text writing means 29 as metadata of a video recorded in the recording file 11. It is configured to store in the metadata storage file 15.
Specifically, the metadata storage means 16 has, for example, “(03/01 12:00) [XX News] ○ × Open top tennis in Japan as video content of the program content 42. The metadata “player △ player has advanced to the final” can be stored in the metadata storage file 15.

また、図1に示すように、本実施の形態に係る文字情報取得手段28は、録画ファイル11に録画された放送映像に対して画像解析を行い、映像から文字情報を抽出する文字情報抽出手段30と、前記画像解析の手法を更新する画像解析手法更新手段51とを有している。
本実施の形態にかかる文字情報抽出手段30は、録画ファイル11に録画された映像に対して画像解析を行うことによって文字列を抽出する画像解析手段31と、抽出した前記文字列に対して形態素解析を行うことによって前記文字列に含まれる単語を抽出する単語解析手段32とを有している。
ここで、形態素解析とは、文法的な情報の注記の無い自然言語のテキストデータ(文)から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素(おおまかにいえば、言語で意味を持つ最小単位)の列に分割し、それぞれの形態素の品詞等を判別する作業である。具体的には、例えば、「○×オープン決勝進出」という文字列から「○×」(大会名)、「○×オープン」、「決勝」、「進出」、「決勝進出」といった単語を抽出することができる。
As shown in FIG. 1, the character information acquisition unit 28 according to the present embodiment performs image analysis on the broadcast video recorded in the recording file 11 and extracts character information from the video. 30 and image analysis technique updating means 51 for updating the image analysis technique.
The character information extracting unit 30 according to the present embodiment includes an image analyzing unit 31 that extracts a character string by performing image analysis on the video recorded in the recording file 11, and a morpheme for the extracted character string. Word analysis means 32 for extracting words included in the character string by performing analysis.
Here, morpheme analysis refers to morphemes (roughly speaking, based on information such as grammar of the target language and parts of speech of words called dictionaries from text data (sentences) in natural language without notes of grammatical information. , The smallest unit having meaning in the language), and determining the part of speech of each morpheme. Specifically, for example, words such as “XX” (competition name), “XX Open”, “Final”, “Progress”, “Final advance” are extracted from the character string “XX Open final advance”. be able to.

図1に示すように、本実施の形態に係る画像解析手段31は、画像解析済みの映像と、前記画像解析済みの映像から抽出された文字情報とを有する画像解析蓄積ファイル33と照合して画像解析するように構成されている。
ここで、画像解析済みの映像とは、これまでに画像解析された映像を意味し、前記画像解析済みの映像から抽出された文字情報とは、画像解析された結果、正しく前記映像から抽出された文字情報を意味する。
As shown in FIG. 1, the image analysis means 31 according to the present embodiment collates with an image analysis storage file 33 having an image analyzed image and character information extracted from the image analyzed image. It is configured for image analysis.
Here, the image analyzed image means an image that has been analyzed so far, and the character information extracted from the image analyzed image is correctly extracted from the image as a result of the image analysis. Means character information.

また、図1に示すように、本実施の形態に係る文字情報抽出手段30は、画像解析手法更新手段51が前記画像解析の手法を更新した場合には、録画ファイル11に録画された放送映像に対して更新された前記手法によって画像解析を再度行うように構成されている。   As shown in FIG. 1, the character information extraction unit 30 according to the present embodiment is configured such that the broadcast video recorded in the recording file 11 when the image analysis method update unit 51 updates the image analysis method. The image analysis is performed again by the updated method.

また、図1に示すように、本実施の形態に係る文字情報抽出手段30は、画像解析手段31によって画像解析された放送映像と、前記放送映像から抽出された文字情報とに基づいて、画像解析蓄積ファイル33を修正する画像解析学習手段53をさらに有している。   Further, as shown in FIG. 1, the character information extraction means 30 according to the present embodiment is based on the broadcast video image analyzed by the image analysis means 31 and the character information extracted from the broadcast video. An image analysis learning unit 53 for correcting the analysis accumulation file 33 is further provided.

また、図1に示すように、本実施の形態に係る文字情報取得手段28は、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とを照合し、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情を文字情報として抽出する映像認識情報抽出手段34を有している。
具体的には、映像認識情報抽出手段34が番組コンテンツ42の映像に含まれる人物、ロゴ、人物の持ち物、人物の表情に対して、人物情報、ロゴ情報、物情報、表情情報を照合することによって、例えば、人物が「○△選手」、ロゴが「○×オープン」、人物の持ち物が「テニス(ラケット)」、人物の表情が「精一杯な表情」であることが照合され、夫々を文字情報として抽出することができる。
本実施の形態に係る人物情報、ロゴ情報、物情報又は表情情報は、画像解析済みの映像と、前記画像解析済みの映像から抽出された文字情報とにより構成されている。
Further, as shown in FIG. 1, the character information acquisition means 28 according to the present embodiment includes a person, a logo, the personal belongings or the facial expression of the person, and personal information, logo information, and physical information included in the video. Alternatively, it includes video recognition information extraction means 34 that collates facial expression information and extracts a person, a logo, the personal belongings included in the video, or the facial expression of the person as character information.
Specifically, the video recognition information extracting means 34 collates person information, logo information, object information, and facial expression information against a person, a logo, a personal belonging, and a human facial expression included in the video of the program content 42. For example, it is verified that the person is “○ △ player”, the logo is “○ × open”, the person's belongings are “tennis (racquet)”, and the person ’s facial expression is “perfect expression”. It can be extracted as character information.
The personal information, logo information, object information, or facial expression information according to the present embodiment is composed of video that has undergone image analysis and character information that has been extracted from the video that has undergone image analysis.

また、図1に示すように、本実施の形態に係る文字情報取得手段28は、録画ファイル11に録画された映像と共に録音された音声に対して音声解析を行い、前記音声から文字情報を抽出する音声情報抽出手段35を有している。   Further, as shown in FIG. 1, the character information acquisition means 28 according to the present embodiment performs voice analysis on the sound recorded together with the video recorded in the recording file 11, and extracts character information from the sound. Voice information extraction means 35 for performing

図1に示すように、本実施の形態に係る文字情報取得手段28にあっては、文字情報抽出手段30、映像認識情報抽出手段34、及び、音声情報抽出手段35によって、夫々、抽出された文字情報を互いに照合する複合情報照合手段36を備えている。   As shown in FIG. 1, in the character information acquisition unit 28 according to the present embodiment, the character information extraction unit 30, the video recognition information extraction unit 34, and the voice information extraction unit 35 respectively extract the character information. A composite information collating means 36 for collating character information with each other is provided.

また、図1に示すように、本実施の形態に係る録画手段12は、録画対象キーワードを格納する録画対象キーワード格納ファイル54を有し、前記録画対象キーワードが含まれるメタデータに対応する放送映像のみを録画ファイル11から抽出して保存する対象抽出手段55を有している。   Further, as shown in FIG. 1, the recording unit 12 according to the present embodiment has a recording target keyword storage file 54 for storing a recording target keyword, and broadcast video corresponding to metadata including the recording target keyword. Only the recording file 11 is extracted and stored.

図1に示すように、本実施の形態に係るメディア情報格納手段20は、複数のウェブサイト17、17・・・の中から予め選定した分野に適合したウェブサイトを検索対象サイト17a、17a・・・として検索対象格納ファイル37に格納する検索対象格納手段38と、検索対象格納ファイル37に格納された検索対象サイト17a、17a・・・について、各検索対象サイトのサイト構造を解析するサイト構造解析手段39と、前記各検索対象サイトを巡回し、前記解析したサイト構造に基づいて前記各検索対象サイトに記述されたサイト情報を取得するサイト情報取得手段40と、前記各検索対象サイトから取得した前記サイト情報を、前記メディア情報としてメディア情報格納ファイル19に格納するサイト情報格納手段41とを有している。   As shown in FIG. 1, the media information storage means 20 according to the present embodiment selects websites suitable for a field selected in advance from a plurality of websites 17, 17. As for the search target storage means 38 stored in the search target storage file 37 and the search target sites 17a, 17a... Stored in the search target storage file 37, the site structure for analyzing the site structure of each search target site An analysis unit 39, a site information acquisition unit 40 that circulates through each search target site and acquires site information described in each search target site based on the analyzed site structure, and is acquired from each search target site And site information storage means 41 for storing the site information as media information in the media information storage file 19. To have.

図1に示すように、本実施の形態に係る録画手段12は、全ての放送局、例えば、我が国における全ての地上局及び衛星放送の放送局から放送された全ての番組映像及び広告映像からなる放送映像を、所定期間、例えば50年に亘って録画して保存しうるように、所定の容量のハードディスク型の記憶装置を有している。
図示しないが、本実施の形態に係る録画手段12は、ハードディスクの耐用年数を考慮して、例えば、2年経過時にハードディスクを交換するように通知する通知手段を有し、定期的なメンテナンスが確実に行えるように構成することができる。その結果、半永久的に放送映像を保存することが可能となる。
As shown in FIG. 1, the recording means 12 according to the present embodiment is composed of all program videos and advertisement videos broadcast from all broadcast stations, for example, all ground stations and satellite broadcast stations in Japan. It has a hard disk storage device with a predetermined capacity so that the broadcast video can be recorded and stored for a predetermined period, for example, 50 years.
Although not shown, the recording unit 12 according to the present embodiment includes a notification unit for notifying that the hard disk is replaced when two years have elapsed, for example, in consideration of the useful life of the hard disk, and ensures regular maintenance. It can be configured to be able to be performed. As a result, the broadcast video can be stored semipermanently.

本実施の形態において、録画手段12内に装備されたハードディスク内の録画ファイル11は、テレビ放送局50により放送された映像からなる番組コンテンツ42と、番組コンテンツ42が放送されたチャンネル名43と、番組コンテンツ42のタイムコード44に関する情報を有している。
この場合、番組コンテンツ42は、放送番組単位、当該放送番組を構成するコーナー単位、又は当該放送番組を構成する記事単位からなる。
In the present embodiment, the recording file 11 in the hard disk equipped in the recording means 12 includes a program content 42 composed of a video broadcast by the TV broadcasting station 50, a channel name 43 on which the program content 42 is broadcast, It has information regarding the time code 44 of the program content 42.
In this case, the program content 42 consists of a broadcast program unit, a corner unit constituting the broadcast program, or an article unit constituting the broadcast program.

また、図1に示すように、本実施の形態において、メタデータ格納手段16のメタデータ格納ファイル15には、番組コンテンツ要約テキストデータ45と、番組コンテンツ42が放送されたチャンネル名43と、番組コンテンツ42のタイムコード44とが記録されており、いずれも本実施の形態におけるメタデータを構成するデータである。
番組コンテンツ要約テキストデータ45とは、テレビ放送局50により放送されたテレビ番組の内容を文字化して要約したものである。番組コンテンツ要約テキストデータ45は、番組コンテンツ42と同様に、放送番組単位、当該放送番組を構成するコーナー単位、又は当該放送番組を構成する記事単位からなる。
また、番組コンテンツ要約テキストデータ45には、ニュアンスパラメータを含めることができる。ここで、「ニュアンスパラメータ」とは、前記検索キーワードに対応する語句が出現する前記サイト情報のニュアンス(印象)を人工知能等のような自動システムや人間の判断により、数値化したものである。
例えば、番組コンテンツが良い内容(good)であれば高く(プラス評価)、悪い内容(bad)であれば低く(マイナス評価)、事実を述べただけの中立的な内容(neutral)であれば0(ゼロ評価)とすることができる。
As shown in FIG. 1, in the present embodiment, the metadata storage file 15 of the metadata storage means 16 includes the program content summary text data 45, the channel name 43 on which the program content 42 is broadcast, the program The time code 44 of the content 42 is recorded, and both are data constituting the metadata in the present embodiment.
The program content summary text data 45 is a summary of the contents of a television program broadcast by the television broadcast station 50 in text form. Similar to the program content 42, the program content summary text data 45 is composed of a broadcast program unit, a corner unit constituting the broadcast program, or an article unit constituting the broadcast program.
Further, the program content summary text data 45 can include nuance parameters. Here, the “nuance parameter” is obtained by quantifying the nuance (impression) of the site information in which a word corresponding to the search keyword appears by an automatic system such as artificial intelligence or human judgment.
For example, if the program content is good (good), it is high (plus evaluation), if it is bad (bad), it is low (minus evaluation), and if the program content is neutral (neutral), it is 0. (Zero evaluation).

本実施の形態に係る録画装置10は、コンピューターとして構成されている。図示しないが、録画装置10は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクドライブ(hard Disc Drive)、インターネット18に接続するための通信制御手段、キーボード、マウス等の入力手段、プリンタ、モニター等の出力手段をバスで接続して構成されている。
本実施の形態に係る録画ファイル11、映像情報格納ファイル13、メタデータ格納ファイル15、メディア情報格納ファイル19、検索キーワード格納ファイル21、画像解析蓄積ファイル33は、データベースとして構成され、ハードディスクドライブ内に構築してもよいし、外部の記憶媒体に構築することもできる。
また、前記したように、映像情報格納ファイル13は、全ての放送局、例えば、我が国における全ての地上局及び衛星放送の放送局から放送された全ての番組映像及び広告映像からなる放送映像に関する情報を、半永久的に保存できるように構成されていることから、映像情報格納ファイル13が構築されるハードディスクドライブ、又は、外部の記憶媒体は、ハードディスクの耐用年数を考慮して、例えば、2年経過時にハードディスクを交換するように通知する通知手段を有し、定期的なメンテナンスが確実に行えるように構成することができる。その結果、半永久的に全ての放送局から録画又は保存した映像情報を保存することが可能となる。
また、前記したように、メディア情報格納ファイル19は、インターネットから取得したメディア情報を半永久的に保存できるように構成されていることから、メディア情報格納ファイル19が構築されるハードディスクドライブ、又は、外部の記憶媒体は、ハードディスクの耐用年数を考慮して、例えば、2年経過時にハードディスクを交換するように通知する通知手段を有し、定期的なメンテナンスが確実に行えるように構成することができる。その結果、半永久的にインターネットから取得したメディア情報を保存することが可能となる。
また、本実施の形態に係る録画装置10を、分類検索サーバーとユーザー端末とにより構成してもよい。
The recording apparatus 10 according to the present embodiment is configured as a computer. Although not shown, the recording apparatus 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), a hard disk drive (hard Disc Drive), a communication control means for connecting to the Internet 18, and a keyboard. The input means such as a mouse and the output means such as a printer and a monitor are connected by a bus.
The recording file 11, the video information storage file 13, the metadata storage file 15, the media information storage file 19, the search keyword storage file 21, and the image analysis storage file 33 according to the present embodiment are configured as a database and are stored in the hard disk drive. It may be constructed, or it can be constructed on an external storage medium.
Further, as described above, the video information storage file 13 is information on broadcast video including all program videos and advertisement videos broadcast from all broadcast stations, for example, all ground stations and satellite broadcast stations in Japan. Since the hard disk drive or the external storage medium in which the video information storage file 13 is constructed is considered in consideration of the useful life of the hard disk, for example, two years have elapsed. It may be configured to have a notification means for notifying that the hard disk is to be replaced from time to time and to perform regular maintenance with certainty. As a result, it is possible to store video information recorded or stored from all broadcast stations semi-permanently.
In addition, as described above, the media information storage file 19 is configured to be able to store media information acquired from the Internet semi-permanently. Therefore, the hard disk drive in which the media information storage file 19 is constructed, or an external In consideration of the useful life of the hard disk, the storage medium has a notification means for notifying that the hard disk is to be replaced when, for example, two years have elapsed, and can be configured to ensure regular maintenance. As a result, media information acquired from the Internet semipermanently can be stored.
Further, the recording apparatus 10 according to the present embodiment may be configured by a classification search server and a user terminal.

(2)本実施の形態に係る録画装置10の処理の流れ
図2に示すように、本実施の形態に係る録画装置10は以下の工程に従って処理を行う。
まず、映像情報に関して説明する。図2に示すように、本実施の形態に係る録画手段12が、テレビ放送局50が放送するテレビ放送映像を録画ファイル11に録画する(St1)。
この際、録画手段12は、全ての放送局、例えば、我が国における全ての地上局及び衛星放送の放送局から放送された全ての番組映像及び広告映像からなる放送映像を、所定期間、例えば50年に亘って録画ファイル11に録画し、保存することもできる。
(2) Process Flow of Recording Apparatus 10 According to this Embodiment As shown in FIG. 2, the recording apparatus 10 according to this embodiment performs processing according to the following steps.
First, video information will be described. As shown in FIG. 2, the recording unit 12 according to the present embodiment records the TV broadcast video broadcast by the TV broadcast station 50 in the recording file 11 (St1).
At this time, the recording means 12 transmits broadcast videos composed of all program videos and advertisement videos broadcast from all broadcast stations, for example, all ground stations and satellite broadcast stations in Japan, for a predetermined period, for example, 50 years. It is also possible to record in the recording file 11 and store it.

次いで、図2に示すように、文字情報取得手段28が、録画ファイル11に録画された映像に表示された文字情報を取得する。
この際、文字情報抽出手段30が、録画ファイル11に録画された映像に対して画像解析を行い、映像から文字情報を抽出する(St2a)。
特に、図1に示すように、本実施の形態にかかる文字情報抽出手段30にあっては、画像解析手段31が録画ファイル11に録画された映像に対して画像解析を行うことによって文字列を抽出し、単語解析手段32が抽出した前記文字列に対して形態素解析を行うことによって前記文字列に含まれる単語を抽出する。
なお、図1に示すように、本実施の形態に係る文字情報抽出手段30にあっては、画像解析手段31が、録画ファイル11に録画された映像と、画像解析済みの映像及び前記画像解析済みの映像から抽出された文字情報を有する画像解析蓄積ファイル33とを照合することにより、画像解析する。
Next, as shown in FIG. 2, the character information acquisition unit 28 acquires the character information displayed on the video recorded in the recording file 11.
At this time, the character information extraction means 30 performs image analysis on the video recorded in the recording file 11 and extracts character information from the video (St2a).
In particular, as shown in FIG. 1, in the character information extraction unit 30 according to the present embodiment, the image analysis unit 31 performs image analysis on the video recorded in the recording file 11 to generate a character string. A word included in the character string is extracted by performing morphological analysis on the character string extracted and extracted by the word analysis unit 32.
As shown in FIG. 1, in the character information extraction unit 30 according to the present embodiment, the image analysis unit 31 includes a video recorded in the recording file 11, a video after image analysis, and the image analysis. The image analysis is performed by collating with the image analysis storage file 33 having the character information extracted from the completed video.

また、図2に示すように、映像認識情報抽出手段34が、映像に含まれる人物、ロゴ、人物の持ち物又は人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とを照合し、映像に含まれる人物、ロゴ、人物の持ち物又は人物の表情を文字情報として抽出する(St2b)。
なお、図1に示すように、本実施の形態にあっては、映像認識情報抽出手段34が、録画ファイル11に録画された映像と、画像解析済みの映像及び前記画像解析済みの映像から抽出された文字情報を有する人物情報、ロゴ情報、物情報又は表情情報とを照合することにより、映像に含まれる人物、ロゴ、人物の持ち物又は人物の表情を文字情報として抽出する。
In addition, as shown in FIG. 2, the video recognition information extraction means 34 collates the person, logo, personal belongings or facial expressions included in the video with the personal information, logo information, physical information or facial expression information, The person, logo, person's belongings or person's facial expression included in the video is extracted as character information (St2b).
As shown in FIG. 1, in the present embodiment, the video recognition information extraction unit 34 extracts the video recorded in the recording file 11, the video that has been analyzed, and the video that has been analyzed. The person information, the logo information, the object information, or the expression information included in the video is extracted as the character information by collating the person information, the logo information, the object information, or the expression information included in the character information.

また、図2に示すように、音声情報抽出手段35が、録画ファイル11に録画された映像と共に録音された音声に対して音声解析を行い、前記音声から文字情報を抽出する(St2c)。 Further, as shown in FIG. 2, the voice information extracting means 35 performs voice analysis on the voice recorded together with the video recorded in the recording file 11, and extracts character information from the voice (St2c).

続いて、図2に示すように、複合情報照合手段36が、文字情報抽出手段30、映像認識情報抽出手段34、及び、音声情報抽出手段35によって、夫々、抽出された文字情報を互いに照合する(St3)。
なお、処理速度を優先する場合には、複合情報照合手段36による照合工程St3を省略してもよい。
Subsequently, as shown in FIG. 2, the composite information collating unit 36 collates the extracted character information with each other by the character information extracting unit 30, the video recognition information extracting unit 34, and the voice information extracting unit 35. (St3).
In addition, when giving priority to the processing speed, the matching step St3 by the composite information matching unit 36 may be omitted.

次いで、図2に示すように、文字情報文章化手段29が、取得された文字情報を集約して文章化する(St4)。
この際、文字情報文章化手段29は、メタデータ格納ファイル15を参照し、作成済みメタデータの内、文字情報取得手段28によって取得された文字情報に関連するメタデータを文字情報の文章化に利用することができる。
Next, as shown in FIG. 2, the character information documenting means 29 aggregates the acquired character information into a document (St4).
At this time, the character information documenting means 29 refers to the metadata storage file 15 and converts the metadata related to the character information acquired by the character information acquiring means 28 from the created metadata into the text information. Can be used.

次いで、図2に示すように、メタデータ格納手段16が、文字情報文章化手段29によって文章化された文字情報を録画ファイル11に録画された映像のメタデータとしてメタデータ格納ファイル15に検索可能に格納する(St5)。
以上より、映像に表示され、映像に関連する単語、文章の情報である文字情報から映像のメタデータを作成することができる。
Next, as shown in FIG. 2, the metadata storage means 16 can search the metadata storage file 15 for the text information textified by the text information textification means 29 as video metadata recorded in the recording file 11. (St5).
As described above, video metadata can be created from character information that is displayed in the video and is related to words and sentences related to the video.

次に、メディア情報に関して説明する。図2に示すように、検索対象格納手段38がインターネット18に接続された複数のウェブサイト17、17・・・の中から予め選定した分野、例えばニュースに関する報道機関のウェブサイトを検索対象サイト17a、17a・・・として選定し、検索対象サイト17a、17a・・・のドキュメントルートのURLを、検索対象格納ファイル37に格納する(Sm1)。
これにより、巡回対象となる検索対象サイトが選択され、不必要な情報収集のために使用される無駄な時間や、ノイズ情報の収集がなくなり、高精度となる。
Next, media information will be described. As shown in FIG. 2, a search object storage means 38 selects a field selected in advance from a plurality of websites 17, 17... Connected to the Internet 18, for example, a news agency website related to news. , 17a... And the URL of the document root of the search target sites 17a, 17a... Is stored in the search target storage file 37 (Sm1).
As a result, a search target site to be visited is selected, and unnecessary time used for unnecessary information collection and noise information collection are eliminated, resulting in high accuracy.

次いで、サイト構造解析手段39が、選定した検索対象サイト17a、17a・・・のサイト構造を解析し、各検索対象サイト17a、17a・・・のサイト構造を把握する(Sm2)。   Next, the site structure analyzing means 39 analyzes the site structure of the selected search target sites 17a, 17a... And grasps the site structure of each search target site 17a, 17a.

次いで、サイト情報取得手段40が各検索対象サイト17a、17a・・・を定期的、あるいは順次巡回し、各検索対象サイト17a、17a・・・に記述されたサイト情報を取得する(Sm3)。
その後、サイト情報格納手段41が、取得されたサイト情報をメディア情報としてメディア情報格納ファイル19に検索可能に格納する(Sm4)。
この際、サイト情報格納手段41は、インターネット上から取得されたメディア情報を、所定期間、例えば50年に亘ってメディア情報格納ファイル19に格納し、保存することもできる。
以上より、インターネット上のウェブサイトからメディア情報を取得することができる。
Next, the site information acquisition means 40 periodically or sequentially visits each search target site 17a, 17a... To acquire site information described in each search target site 17a, 17a.
Thereafter, the site information storage means 41 stores the acquired site information as media information in a searchable manner in the media information storage file 19 (Sm4).
At this time, the site information storage means 41 can also store and save the media information acquired from the Internet in the media information storage file 19 for a predetermined period, for example, 50 years.
As described above, media information can be acquired from a website on the Internet.

最後に、情報分類に関して説明する。図2に示すように、検索キーワード格納ファイル21に検索キーワードが格納された場合には、情報抽出手段22に含まれるメタデータ抽出手段24が前記検索キーワードに対応するメタデータをメタデータ格納ファイル15から抽出する(Sc1)。
次いで、図2に示すように、情報抽出手段22に含まれるメディア情報抽出手段25が前記検索キーワードに対応するメディア情報をメディア情報格納ファイル19から抽出する(Sc2)。
次いで、図2に示すように、情報照合手段26がメタデータ抽出手段24及びメディア情報抽出手段25によって、夫々、抽出されたメタデータ及びメディア情報を互いに照合する(Sc3)。
最後に、図2に示すように、情報分類手段23が情報抽出手段22によって抽出された情報を、政治、経済、行政、ビジネス、科学、流行、ファッション、スポーツ、芸能等の所定のジャンル毎に分類する(Sc4)。
以上より、検索キーワードを指定することによって、映像情報及びインターネット上のメディア情報を所定のジャンル毎に分類された状態で検索して抽出することができる。
Finally, information classification will be described. As shown in FIG. 2, when a search keyword is stored in the search keyword storage file 21, the metadata extraction unit 24 included in the information extraction unit 22 converts the metadata corresponding to the search keyword into the metadata storage file 15. (Sc1).
Next, as shown in FIG. 2, the media information extraction unit 25 included in the information extraction unit 22 extracts the media information corresponding to the search keyword from the media information storage file 19 (Sc2).
Next, as shown in FIG. 2, the information collating unit 26 collates the extracted metadata and media information with each other by the metadata extracting unit 24 and the media information extracting unit 25 (Sc3).
Finally, as shown in FIG. 2, the information classification means 23 extracts the information extracted by the information extraction means 22 for each predetermined genre such as politics, economy, government, business, science, fashion, fashion, sports, entertainment, etc. Classify (Sc4).
As described above, by specifying a search keyword, it is possible to search and extract video information and Internet media information in a state classified for each predetermined genre.

(3)本実施の形態に係る録画装置10の効果
図1に示すように、本実施の形態に係る録画装置10にあっては、録画手段12によって、録画ファイル11に全ての放送映像が録画され、半永久的に保存されると共に、録画ファイル11に放送映像が録画された場合には、映像情報格納手段14によって、前記放送番組映像に関する情報が映像情報として映像情報格納ファイル13に格納されると共に、メタデータ格納手段16によって、前記放送番組映像のメタデータがメタデータ格納ファイル15に格納され、情報抽出手段22によって、検索キーワード格納ファイル21に格納された検索キーワードがメタデータ格納ファイル15から検索され、前記検索キーワードに対応するメタデータに紐付けられた映像情報が情報格納ファイル13から抽出され、情報分類手段23によって、前記抽出された映像情報が所定のジャンル毎に分類される。
従って、検索キーワードを指定することによって、半永久的に保存された前記映像情報を所定のジャンル毎に分類された状態で検索して抽出することができる。
その結果、長期間に亘ってテレビ放送の映像情報及びインターネット上のメディア情報を半永久的に保存することができると共に、テレビ放送の映像情報及びインターネット上のメディア情報の経済的影響や文化的価値に関して、検討、分析、又は、追求をすることができる録画装置を提供することができる。
その結果、現在、一過性のものとしてみなされ、取り扱われているテレビ放送の映像情報及びインターネット上のメディア情報を、網羅的にかつ半永久的に蓄積することにより、テレビ放送の映像情報及びインターネット上のメディア情報をアーカイブ化し、例えば、ある時代を振り返って文化として参照、検討、学習することが可能となる。
(3) Effects of Recording Apparatus 10 According to this Embodiment As shown in FIG. 1, in the recording apparatus 10 according to this embodiment, all broadcast videos are recorded in the recording file 11 by the recording means 12. When the broadcast video is recorded in the recording file 11, the video information storage means 14 stores information related to the broadcast program video in the video information storage file 13 as video information. At the same time, the metadata of the broadcast program video is stored in the metadata storage file 15 by the metadata storage means 16, and the search keyword stored in the search keyword storage file 21 by the information extraction means 22 is extracted from the metadata storage file 15. The video information searched and linked to the metadata corresponding to the search keyword is the information storage file 1. 3 and the information classification means 23 classifies the extracted video information for each predetermined genre.
Therefore, by designating a search keyword, the video information stored semipermanently can be searched and extracted in a state classified for each predetermined genre.
As a result, television broadcast video information and Internet media information can be stored semi-permanently over a long period of time, and the economic impact and cultural value of TV broadcast video information and Internet media information can be preserved. It is possible to provide a recording device that can be examined, analyzed, or pursued.
As a result, the television broadcast video information and the Internet are accumulated by comprehensively and semi-permanently accumulating the television broadcast video information and the Internet media information that are currently considered and treated as transient. The above media information can be archived, and for example, it is possible to look back on a certain era and refer to, study, and learn as a culture.

また、図1に示すように、本実施の形態に係る録画装置10にあっては、メタデータ抽出手段24によって、前記検索キーワードに対応するメタデータがメタデータ格納ファイル15から抽出され、メディア情報抽出手段25によって、前記検索キーワードに対応するメディア情報がメディア情報格納ファイル19から抽出され、情報照合手段26によって、前記抽出されたメタデータ及びメディア情報が互いに照合されるので、前記検索キーワードによって抽出されたテレビ映像情報及びメディア情報の検索精度を高めることができる。   Also, as shown in FIG. 1, in the recording apparatus 10 according to the present embodiment, metadata corresponding to the search keyword is extracted from the metadata storage file 15 by the metadata extraction means 24, and the media information Media information corresponding to the search keyword is extracted from the media information storage file 19 by the extraction unit 25, and the extracted metadata and media information are collated with each other by the information collation unit 26. It is possible to improve the retrieval accuracy of the television image information and media information that has been made.

図1に示すように、本実施の形態に係る録画装置10にあっては、録画手段12によって、録画ファイル11に映像が録画された場合には、文字情報取得手段28によって、録画ファイル11に録画された前記映像に表示された文字情報が取得され、文字情報文章化手段29によって、取得された前記文字情報が文章化され、メタデータ格納手段16によって、文章化された前記文字情報が前記映像のメタデータとしてメタデータ格納ファイル15に格納される。
従って、前記映像に表示され、前記映像に関連する単語、文章の情報である前記文字情報から前記映像のメタデータを精度良く自動作成することができる。
その結果、テレビ放送番組に関するメタデータを短時間で作成し、人的コストを削減することができる。
As shown in FIG. 1, in the recording apparatus 10 according to the present embodiment, when video is recorded in the recording file 11 by the recording unit 12, the character information acquisition unit 28 stores the video in the recording file 11. Character information displayed in the recorded video is acquired, the acquired character information is converted into text by the character information writing unit 29, and the text information converted into text by the metadata storage unit 16 is converted into the text information. It is stored in the metadata storage file 15 as video metadata.
Therefore, the metadata of the video can be automatically generated with high accuracy from the character information which is displayed on the video and is related to words and sentences related to the video.
As a result, metadata relating to a television broadcast program can be created in a short time, and human costs can be reduced.

図1に示すように、本実施の形態に係る録画装置10にあっては、画像解析手法更新手段51が前記手法を更新した場合には、文字情報抽出手段30によって、録画ファイル11に録画された放送映像に対して、更新された前記手法による画像解析が再度行われるので、技術の進歩によって精度の良い画像解析手法が開発された場合には、新たに解析された精度の良いテレビ放送情報に基づいて、経済的影響や文化的価値に関して、検討、分析、又は、追求をすることができる。   As shown in FIG. 1, in the recording apparatus 10 according to the present embodiment, when the image analysis technique updating means 51 updates the technique, it is recorded in the recording file 11 by the character information extracting means 30. Since the image analysis using the updated method is performed again on the broadcast video, if a highly accurate image analysis method is developed due to technological progress, the newly analyzed highly accurate television broadcast information Based on the above, it is possible to examine, analyze or pursue economic impacts and cultural values.

図1に示すように、本実施の形態に係る録画装置10にあっては、画像解析手段31によって、録画ファイル11に録画された前記映像が、画像解析済みの映像と、前記画像解析済みの映像から抽出された文字情報とを有する画像解析蓄積ファイル33と照合されることにより、画像解析される。
従って、過去から蓄積された画像解析結果を用いて効果的に画像解析を行うことができ、その結果、前記映像のメタデータを精度良く短時間で作成することができる。
As shown in FIG. 1, in the recording apparatus 10 according to the present embodiment, the video recorded in the recording file 11 by the image analysis unit 31 includes the video that has been analyzed and the video that has been analyzed. The image is analyzed by collating with the image analysis storage file 33 having the character information extracted from the video.
Therefore, it is possible to effectively perform image analysis using the image analysis results accumulated from the past, and as a result, the video metadata can be created with high accuracy and in a short time.

図1に示すように、本実施の形態に係る録画装置10にあっては、画像解析学習手段53によって、画像解析蓄積ファイル33が画像解析手段31によって画像解析された映像と、前記映像から抽出された文字情報とに基づいて修正される。
従って、今回行った画像解析結果を画像解析蓄積ファイル33に追加したり、画像解析蓄積ファイル33に含まれる誤った情報を今回行った画像解析結果に基づいて削除したりすることができ、その結果、画像解析蓄積ファイル33を更新して常に最新の状態で使用することができる。
As shown in FIG. 1, in the recording apparatus 10 according to the present embodiment, the image analysis learning unit 53 extracts the image analysis storage file 33 from the image analyzed by the image analysis unit 31 and the image. Is corrected based on the character information.
Therefore, the image analysis result performed this time can be added to the image analysis accumulation file 33, or erroneous information included in the image analysis accumulation file 33 can be deleted based on the image analysis result performed this time. The image analysis storage file 33 can be updated and always used in the latest state.

図1に示すように、本実施の形態に係る録画装置10にあっては、映像認識情報抽出手段34によって、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とが照合され、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情が文字情報として抽出されるので、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情から前記映像のメタデータを作成することができる。   As shown in FIG. 1, in the recording apparatus 10 according to the present embodiment, the video recognition information extraction unit 34 causes a person, a logo, the personal belongings or the facial expression of the person, Information, logo information, object information or facial expression information is collated, and the person, logo, the personal belongings of the person or the facial expression of the person are extracted as character information, so the person, logo included in the video The metadata of the video can be created from the personal belongings or the facial expressions of the person.

図1に示すように、本実施の形態に係る録画装置10にあっては、音声情報抽出手段35によって、録画ファイル11に録画された前記映像と共に録音された前記音声が音声解析されることにより前記音声から文字情報が抽出される。
従って、音声解析によって効率よく前記映像と共に録音された前記音声から前記文字情報を抽出することができる。
As shown in FIG. 1, in the recording apparatus 10 according to the present embodiment, the audio information extracting means 35 analyzes the audio recorded together with the video recorded in the recording file 11 by performing audio analysis. Character information is extracted from the voice.
Therefore, the character information can be efficiently extracted from the voice recorded together with the video by voice analysis.

図1に示すように、本実施の形態に係る録画装置10にあっては、録画対象キーワード格納ファイル54に録画対象キーワードが格納された場合には、対象抽出手段55によって、前記録画対象キーワードが含まれるメタデータに対応する放送映像のみが録画ファイル11から抽出して保存されるので、収集・保存される放送映像及びテレビ放送情報を圧縮することができ、その結果、テレビ放送情報の経済的影響や文化的価値に関して、効率良く検討、分析、又は、追求をすることができる。   As shown in FIG. 1, in the recording apparatus 10 according to the present embodiment, when a recording target keyword is stored in the recording target keyword storage file 54, the recording target keyword is stored by the target extraction unit 55. Since only the broadcast video corresponding to the included metadata is extracted from the recording file 11 and stored, the broadcast video and TV broadcast information collected and stored can be compressed, and as a result, the economics of the TV broadcast information can be reduced. Effectively consider, analyze, or pursue impacts and cultural values.

図1に示すように、本実施の形態に係る録画装置10にあっては、統計処理手段27によって、情報抽出手段22によって抽出された情報が統計処理されるので、テレビ映像情報及びメディア情報に対して、検討、分析、又は、追求をすることができる。   As shown in FIG. 1, in the recording apparatus 10 according to the present embodiment, the information extracted by the information extracting means 22 is statistically processed by the statistical processing means 27, so that the TV video information and the media information are included. On the other hand, you can study, analyze, or pursue.

また、図1に示すように、本実施の形態に係る録画装置10にあっては、検索対象格納手段38によって、複数のウェブサイト17、17・・・の中から予め選定した分野に適合したウェブサイトが検索対象サイト17a、17a・・・として検索対象格納ファイル37に格納された場合には、サイト構造解析手段39によって、検索対象格納ファイル37に格納された検索対象サイトに基づいて、各検索対象サイトのサイト構造が解析され、サイト情報取得手段40によって、前記各検索対象サイトが巡回され、前記解析したサイト構造に基づいて前記各検索対象サイトに記述されたサイト情報が取得され、サイト情報格納手段41によって、前記各検索対象サイトから取得した前記サイト情報がメディア情報としてメディア情報格納ファイル19に格納されるので、前記各検索対象サイトに記述されたサイト情報を予めメディア情報格納ファイル19に格納しておくことができる。
従って、従来の一般の検索エンジンにあっては、無関係なウェブサイトを大量に検索結果に表示してしまうため、ユーザーはその検索結果からさらに精査をして、必要な情報を選別しなければならないという事態を生じていたのに対し、本実施の形態に係る録画装置10にあっては、前記事態を生じることがなく、その結果、有益な情報を正確かつ迅速に得ることができる。
また、前記検索キーワードに関連する情報は、メディア情報格納ファイル19に格納されたメディア情報から抽出されるので、検索する毎に前記各検索対象サイトを巡回する必要がなく、有益な情報をさらに迅速に得ることができる。
Further, as shown in FIG. 1, in the recording apparatus 10 according to the present embodiment, the search target storage means 38 is adapted to a field selected in advance from a plurality of websites 17, 17. When the website is stored in the search target storage file 37 as the search target sites 17a, 17a..., Each site structure analyzing unit 39 determines each site based on the search target sites stored in the search target storage file 37. The site structure of the search target site is analyzed, the site information acquisition means 40 circulates each search target site, and the site information described in each search target site is acquired based on the analyzed site structure. The site information acquired from each search target site by the information storage means 41 is converted into media information as a media information storage file. Since it is stored in the Le 19, it can be stored to the each search target site advance media information storage file 19 site information described in.
Therefore, a conventional general search engine displays a large amount of irrelevant websites in the search results, and the user must further scrutinize the search results to select necessary information. In the recording apparatus 10 according to the present embodiment, the above situation does not occur, and as a result, useful information can be obtained accurately and quickly.
In addition, since the information related to the search keyword is extracted from the media information stored in the media information storage file 19, it is not necessary to visit each search target site every time the search is performed, and useful information can be more quickly obtained. Can get to.

本考案は、放送映像を録画する録画装置に広く適用可能であり、産業上利用可能性を有している。   The present invention is widely applicable to recording devices that record broadcast video, and has industrial applicability.

10:録画装置
11:録画ファイル
12:録画手段
13:映像情報格納ファイル
14:映像情報格納手段
15:メタデータ格納ファイル
16:メタデータ格納手段
17:ウェブサイト
17a:検索対象サイト
18:インターネット
19:メディア情報格納ファイル
20:メディア情報格納手段
21:検索キーワード格納ファイル
22:情報抽出手段
23:情報分類手段
24:メタデータ抽出手段
25:メディア情報抽出手段
26:情報照合手段
27:統計処理手段
28:文字情報取得手段
29:文字情報文章化手段
30:文字情報抽出手段
31:画像解析手段
32:単語解析手段
33:画像解析蓄積ファイル
34:映像認識情報抽出手段
35:音声情報抽出手段
36:複合情報照合手段
37:検索対象格納ファイル
38:検索対象格納手段
39:サイト構造解析手段
40:サイト情報取得手段
41:サイト情報格納手段
42:番組コンテンツ
43:チャンネル名
44:タイムコード
45:番組コンテンツ要約テキストデータ
50:テレビ放送局
51:画像解析手法更新手段
53:画像解析学習手段
54:録画対象キーワード格納ファイル
55:対象抽出手段
10: Recording device 11: Recording file 12: Recording means 13: Video information storage file 14: Video information storage means 15: Metadata storage file 16: Metadata storage means 17: Website 17a: Search target site 18: Internet 19: Media information storage file 20: Media information storage means 21: Search keyword storage file 22: Information extraction means 23: Information classification means 24: Metadata extraction means 25: Media information extraction means 26: Information matching means 27: Statistical processing means 28: Character information acquisition means 29: Character information textification means 30: Character information extraction means 31: Image analysis means 32: Word analysis means 33: Image analysis storage file 34: Video recognition information extraction means 35: Audio information extraction means 36: Composite information Verification means 37: Search target storage file 38: Search target storage means 3 : Site structure analysis means 40: Site information acquisition means 41: Site information storage means 42: Program content 43: Channel name 44: Time code 45: Program content summary text data 50: Television broadcast station 51: Image analysis technique update means 53: Image analysis learning means 54: recording target keyword storage file 55: target extraction means

Claims (12)

複数のテレビ放送局が放送するテレビ放送の映像又は複数のインターネット動画配信サイトが配信するインターネット配信動画の映像に関し、全ての映像を録画ファイルに半永久的に録画又は保存する録画手段と、前記映像に関する情報を映像情報として映像情報格納ファイルに格納する映像情報格納手段と、
前記録画手段により録画又は保存された映像のメタデータをメタデータ格納ファイルに格納するメタデータ格納手段と、
複数のウェブサイトにインターネットを介して接続可能であり、前記ウェブサイトから取得したメディア情報をメディア情報格納ファイルに格納して半永久的に保存するメディア情報格納手段と、
検索キーワードが格納された検索キーワード格納ファイルを有し、前記検索キーワードを前記メタデータ格納ファイル及び前記メディア情報格納ファイルから検索し、前記検索キーワードに対応するメタデータに紐付けられた映像情報又は前記検索キーワードに対応するメディア情報を前記映像情報格納ファイル又は前記メディア情報格納ファイルから抽出する情報抽出手段と、
前記情報抽出手段によって抽出された映像情報又はメディア情報を所定のジャンル毎に分類する情報分類手段とを有することを特徴とする録画装置。
Recording means for semi-permanently recording or storing all videos in a recording file for video broadcast videos broadcast by a plurality of TV broadcasting stations or video distribution of Internet distribution videos distributed by a plurality of Internet video distribution sites, and the video Video information storage means for storing information as video information in a video information storage file;
Metadata storage means for storing metadata of the video recorded or saved by the recording means in a metadata storage file;
Media information storage means that is connectable to a plurality of websites via the Internet, stores the media information acquired from the websites in a media information storage file, and stores it semipermanently;
A search keyword storage file in which a search keyword is stored, the search keyword is searched from the metadata storage file and the media information storage file, and the video information associated with the metadata corresponding to the search keyword or the Information extraction means for extracting media information corresponding to a search keyword from the video information storage file or the media information storage file;
A recording apparatus comprising: information classification means for classifying the video information or the media information extracted by the information extraction means for each predetermined genre.
前記情報抽出手段は、前記検索キーワードに対応するメタデータを前記メタデータ格納ファイルから抽出するメタデータ抽出手段と、前記検索キーワードに対応する情報を前記メディア情報格納ファイルから抽出するメディア情報抽出手段と、前記メタデータ抽出手段及び前記メディア情報抽出手段によって、夫々、抽出されたメタデータ及びメディア情報を互いに照合する情報照合手段とを有することを特徴とする請求項1記載の録画装置。   The information extraction means includes metadata extraction means for extracting metadata corresponding to the search keyword from the metadata storage file, and media information extraction means for extracting information corresponding to the search keyword from the media information storage file. 2. A recording apparatus according to claim 1, further comprising information collating means for collating the metadata and media information extracted by said metadata extracting means and said media information extracting means, respectively. 前記メタデータ格納手段は、前記録画ファイルに録画又は保存された映像から文字情報を取得する文字情報取得手段と、前記文字情報取得手段によって取得された前記文字情報を集約して文章化する文字情報文章化手段とを有し、前記文字情報文章化手段によって文章化された前記文字情報を前記録画ファイルに録画又は保存された映像のメタデータとして前記メタデータ格納ファイルに格納することを特徴とする請求項1又は2に記載の録画装置。   The metadata storage means includes: character information acquisition means for acquiring character information from video recorded or stored in the recording file; and character information for integrating the character information acquired by the character information acquisition means into a sentence. And writing means, and storing the character information written by the character information writing means in the metadata storage file as metadata of video recorded or stored in the recording file. The recording device according to claim 1. 前記文字情報取得手段は、前記録画ファイルに録画又は保存された映像に対して画像解析を行い、前記映像から文字情報を抽出する文字情報抽出手段と、前記画像解析の手法を更新する画像解析手法更新手段とを有し、前記画像解析手法更新手段が前記手法を更新した場合には、前記文字情報抽出手段が前記録画ファイルに録画又は保存された映像に対して更新された前記手法によって画像解析を再度行うことを特徴とする請求項3記載の録画装置。   The character information acquisition means performs image analysis on a video recorded or stored in the recording file, extracts character information from the video, and an image analysis technique for updating the image analysis technique. Update means, and when the image analysis technique update means updates the technique, the character information extraction means performs image analysis using the technique updated for the video recorded or stored in the recording file. 4. The recording apparatus according to claim 3, wherein the recording is performed again. 前記文字情報抽出手段は、画像解析済みの映像と、前記画像解析済みの映像から抽出された文字情報とを有する画像解析蓄積ファイルと照合して画像解析する画像照合解析手段を有することを特徴とする請求項4記載の録画装置。   The character information extraction means includes image collation analysis means for collating with an image analysis storage file having image analyzed video and character information extracted from the image analyzed video. The recording apparatus according to claim 4. 前記文字情報抽出手段は、前記画像照合解析手段によって画像解析された映像と、前記映像から抽出された文字情報とに基づいて、前記画像解析蓄積ファイルを修正する画像解析学習手段をさらに有することを特徴とする請求項5記載の録画装置。   The character information extraction means further comprises image analysis learning means for correcting the image analysis storage file based on the video image analyzed by the image collation analysis means and the character information extracted from the video. 6. A recording apparatus according to claim 5, wherein: 前記文字情報取得手段は、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とを照合し、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情を文字情報として抽出する映像認識情報抽出手段を有することを特徴とする請求項3に記載の録画装置。   The character information acquisition means collates a person, logo, personal belongings or facial expression of the person included in the video with personal information, logo information, physical information or facial expression information, and a person included in the video, 4. The recording apparatus according to claim 3, further comprising video recognition information extraction means for extracting a logo, the personal belongings or the facial expression of the person as character information. 前記文字情報取得手段は、前記録画ファイルに録画又は保存された映像と共に録音又は保存された音声に対して音声解析を行い、前記音声から文字情報を抽出する音声情報抽出手段を有することを特徴とする請求項3に記載の録画装置。   The character information acquisition means includes voice information extraction means for performing voice analysis on voice recorded or saved together with video recorded or saved in the recording file and extracting character information from the voice. The recording apparatus according to claim 3. 前記録画手段は、録画対象キーワードを格納する録画対象キーワード格納ファイルを有し、前記録画対象キーワードが含まれるメタデータに対応する映像のみを前記録画ファイルから抽出して録画又は保存する対象抽出手段を有することを特徴とする請求項1〜8のいずれか1項に記載の録画装置。   The recording means has a recording target keyword storage file for storing a recording target keyword, and includes a target extracting means for extracting only the video corresponding to the metadata including the recording target keyword from the recording file and recording or saving it. The recording apparatus according to claim 1, further comprising: a recording apparatus according to claim 1. 前記情報抽出手段によって抽出された情報を統計処理する統計処理手段をさらに有することを特徴とする請求項1〜9のいずれか1項に記載の録画装置。   The recording apparatus according to claim 1, further comprising a statistical processing unit that statistically processes the information extracted by the information extraction unit. 前記メディア情報格納手段は、前記複数のウェブサイトの中から予め選定した分野に適合したウェブサイトを検索対象サイトとして検索対象格納ファイルに格納する検索対象格納手段と、
前記検索対象格納ファイルに格納された検索対象サイトについて、各検索対象サイトのサイト構造を解析するサイト構造解析手段と、
前記各検索対象サイトを巡回し、前記解析したサイト構造に基づいて前記各検索対象サイトに記述されたサイト情報を取得するサイト情報取得手段と、
前記各検索対象サイトから取得した前記サイト情報を、前記メディア情報として前記メディア情報格納ファイルに格納するサイト情報格納手段とを有することを特徴とする請求項1に記載の録画装置。
The media information storage means is a search target storage means for storing a website suitable for a field selected in advance from the plurality of websites as a search target site in a search target storage file;
Site structure analysis means for analyzing the site structure of each search target site for the search target sites stored in the search target storage file;
A site information acquisition unit that circulates each search target site and acquires site information described in each search target site based on the analyzed site structure;
The recording apparatus according to claim 1, further comprising site information storage means for storing the site information acquired from each search target site as the media information in the media information storage file.
前記メタデータ格納ファイルには、前記番組コンテンツ要約テキストデータと、前記番組コンテンツが放送されたチャンネル名と、前記番組コンテンツのタイムコードとが記録されていることを特徴とする請求項1〜11のいずれか1項に記載の録画装置。
12. The metadata storage file stores the program content summary text data, a channel name on which the program content is broadcast, and a time code of the program content. The recording device according to any one of claims.
JP2016221956A 2016-11-14 2016-11-14 Video recorder Pending JP2018081390A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016221956A JP2018081390A (en) 2016-11-14 2016-11-14 Video recorder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016221956A JP2018081390A (en) 2016-11-14 2016-11-14 Video recorder

Publications (1)

Publication Number Publication Date
JP2018081390A true JP2018081390A (en) 2018-05-24

Family

ID=62197174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016221956A Pending JP2018081390A (en) 2016-11-14 2016-11-14 Video recorder

Country Status (1)

Country Link
JP (1) JP2018081390A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019213038A (en) * 2018-06-04 2019-12-12 Jcc株式会社 Video information providing system
JP2020106988A (en) * 2018-12-26 2020-07-09 Jcc株式会社 Method for notifying of distribution of public information, server device, and system for notifying of distribution of public information

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056462A (en) * 2002-07-19 2004-02-19 Sony Corp Video image search assist method, video image search support device, and broadcast receiver
US20050038814A1 (en) * 2003-08-13 2005-02-17 International Business Machines Corporation Method, apparatus, and program for cross-linking information sources using multiple modalities
JP2007328675A (en) * 2006-06-09 2007-12-20 Sony Corp Information processor, information processing method, and computer program
JP2008252322A (en) * 2007-03-29 2008-10-16 Toshiba Corp Apparatus and method for summary presentation
US20100169095A1 (en) * 2008-12-26 2010-07-01 Yasuharu Asano Data processing apparatus, data processing method, and program
JP2016081096A (en) * 2014-10-10 2016-05-16 Jcc株式会社 Information acquisition server, information acquisition method, and information acquisition distribution system
JP2016096412A (en) * 2014-11-13 2016-05-26 Jcc株式会社 Portable terminal video display system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056462A (en) * 2002-07-19 2004-02-19 Sony Corp Video image search assist method, video image search support device, and broadcast receiver
US20050038814A1 (en) * 2003-08-13 2005-02-17 International Business Machines Corporation Method, apparatus, and program for cross-linking information sources using multiple modalities
JP2007328675A (en) * 2006-06-09 2007-12-20 Sony Corp Information processor, information processing method, and computer program
JP2008252322A (en) * 2007-03-29 2008-10-16 Toshiba Corp Apparatus and method for summary presentation
US20100169095A1 (en) * 2008-12-26 2010-07-01 Yasuharu Asano Data processing apparatus, data processing method, and program
JP2010154397A (en) * 2008-12-26 2010-07-08 Sony Corp Data processor, data processing method, and program
JP2016081096A (en) * 2014-10-10 2016-05-16 Jcc株式会社 Information acquisition server, information acquisition method, and information acquisition distribution system
JP2016096412A (en) * 2014-11-13 2016-05-26 Jcc株式会社 Portable terminal video display system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019213038A (en) * 2018-06-04 2019-12-12 Jcc株式会社 Video information providing system
JP7137825B2 (en) 2018-06-04 2022-09-15 Jcc株式会社 Video information provision system
JP2020106988A (en) * 2018-12-26 2020-07-09 Jcc株式会社 Method for notifying of distribution of public information, server device, and system for notifying of distribution of public information

Similar Documents

Publication Publication Date Title
US11978439B2 (en) Generating topic-specific language models
CN106331778B (en) Video recommendation method and device
US10394887B2 (en) Audio and/or video scene detection and retrieval
JP5781601B2 (en) Enhanced online video through content detection, search, and information aggregation
KR101252670B1 (en) Apparatus, method and computer readable recording medium for providing related contents
US8965916B2 (en) Method and apparatus for providing media content
WO2019136841A1 (en) Method for extracting content tag of live stream rooms, storage medium, electronic device, and system
CN109558513B (en) Content recommendation method, device, terminal and storage medium
CN111274442B (en) Method for determining video tag, server and storage medium
JP6429382B2 (en) Content recommendation device and program
KR101916874B1 (en) Apparatus, method for auto generating a title of video contents, and computer readable recording medium
JP6857983B2 (en) Metadata generation system
US9015172B2 (en) Method and subsystem for searching media content within a content-search service system
US20140188834A1 (en) Electronic device and video content search method
US20180352280A1 (en) Apparatus and method for programming advertisement
CN108108353A (en) A kind of video semantic annotation method, apparatus and electronic equipment based on barrage
US20200257724A1 (en) Methods, devices, and storage media for content retrieval
CN102227723A (en) Device and method for supporting detection of mistranslation
Coats A corpus of regional American language from YouTube
JP2018081390A (en) Video recorder
Elsawy et al. Tweetmogaz v2: Identifying news stories in social media
WO2012070182A1 (en) Estimation apparatus, estimation method, and program
CN110555202A (en) method and device for generating abstract broadcast
JP6858003B2 (en) Classification search system
CN114302227A (en) Method and system for collecting and analyzing network video based on container collection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210629