JP2014241016A - Index creation device, index creation system, index creation method and index creation program - Google Patents

Index creation device, index creation system, index creation method and index creation program Download PDF

Info

Publication number
JP2014241016A
JP2014241016A JP2013122632A JP2013122632A JP2014241016A JP 2014241016 A JP2014241016 A JP 2014241016A JP 2013122632 A JP2013122632 A JP 2013122632A JP 2013122632 A JP2013122632 A JP 2013122632A JP 2014241016 A JP2014241016 A JP 2014241016A
Authority
JP
Japan
Prior art keywords
data
keyword
video file
index
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013122632A
Other languages
Japanese (ja)
Inventor
俊宏 村下
Toshihiro Murashita
俊宏 村下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2013122632A priority Critical patent/JP2014241016A/en
Publication of JP2014241016A publication Critical patent/JP2014241016A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an index creation device, an index creation system, an index creation method and an index creation program capable of easily integrating a video into a learning material for compensating for the experience of fault handling.SOLUTION: An index creation device includes: a voice recognition part; a keyword extraction part; a time data extraction part; and an index creation part. A voice recognition part generates character string data by voice recognition from a video file including video data, voice data and time data. The keyword extraction part extracts a keyword from the character string data. A time data extraction part extracts the time data associated with the voice data being the base of the character string data from which the keyword has been extracted from the video file. An index creation part registers the keyword extracted as an index for searching the video data and the extracted time data in association in a database device.

Description

本発明の実施形態は、インデックス作成装置、インデックス作成システム、インデックス作成方法、及び、インデックス作成プログラムに関する。   Embodiments described herein relate generally to an index creation device, an index creation system, an index creation method, and an index creation program.

設備に障害が発生した際、障害対応作業者は、自身が保有する知識及びノウハウを活かしながら、その発生した障害に対応する場合がある。しかし、障害対応作業者は、障害対応の作業から引退する場合がある。また、これまで安定的に稼働していた設備でも、老朽化に伴って故障する頻度が高くなる場合もある。このような背景から、障害対応の経験が少ない障害対応作業者でも、障害対応を適切かつ迅速に実施できるように、障害対応の経験を補完する仕組みが求められている。   When a failure occurs in the facility, the failure handling worker may take advantage of the knowledge and know-how he possesses and respond to the failure that has occurred. However, the failure handling worker may retire from the failure handling work. In addition, even facilities that have been operating stably up to now may have a higher frequency of failure as they age. Against this background, there is a need for a mechanism that complements the experience in handling failures so that even failure handling workers with little experience in handling failures can implement the failure handling appropriately and quickly.

障害対応の実際の作業を撮影した映像を学習教材として活用できれば、障害対応の経験が少ない障害対応作業者でも、障害対応の経験を効果的に補完することができる(例えば、特許文献1参照)。   If a video obtained by photographing an actual work for handling a failure can be used as a learning material, a failure handling worker who has little experience for handling a failure can effectively supplement the experience for handling a failure (see, for example, Patent Document 1). .

特開2008−84068号公報JP 2008-84068 A

しかしながら、映像を学習教材として整備するには、撮影した映像を編集する必要があり、そのための多くのコスト(時間及び費用)がかかる。このため、これまでの装置は、障害対応の経験を補完するための学習教材に、映像を容易には組み込むことができないという問題がある。   However, in order to prepare a video as a learning material, it is necessary to edit the shot video, which requires a lot of costs (time and expense). For this reason, there is a problem that conventional devices cannot easily incorporate video into a learning material for supplementing the experience of handling a failure.

本発明が解決しようとする課題は、障害対応の経験を補完するための学習教材に、映像を容易に組み込むことができるインデックス作成装置、インデックス作成システム、インデックス作成方法、及び、インデックス作成プログラムを提供することである。   The problem to be solved by the present invention is to provide an index creation device, an index creation system, an index creation method, and an index creation program capable of easily incorporating video into a learning material for supplementing the experience of dealing with a failure. It is to be.

実施形態のインデックス作成装置は、音声認識部と、キーワード抽出部と、時刻データ抽出部と、インデックス作成部と、を備える。音声認識部は、時刻データに基づいて対応付けられた映像データ及び音声データと、時刻データと、を含む映像ファイルから、音声データを取得し、取得した音声データから音声認識により文字列データを生成する。キーワード抽出部は、文字列データからキーワードを抽出する。時刻データ抽出部は、キーワードが抽出された文字列データの基になった音声データに対応づいた時刻データを、映像ファイルから抽出する。インデックス作成部は、映像データを検索するためのインデックスとして抽出されたキーワードと、抽出された時刻データと、を対応付けて、データベース装置に登録する。   The index creation device of the embodiment includes a voice recognition unit, a keyword extraction unit, a time data extraction unit, and an index creation unit. The voice recognition unit acquires voice data from a video file including the video data and voice data associated with the time data and the time data, and generates character string data by voice recognition from the acquired voice data. To do. The keyword extraction unit extracts keywords from the character string data. The time data extraction unit extracts time data corresponding to the audio data that is the basis of the character string data from which the keyword is extracted from the video file. The index creation unit associates the keyword extracted as an index for searching the video data with the extracted time data and registers them in the database device.

実施形態のインデックス作成システムは、音声認識部と、キーワード抽出部と、時刻データ抽出部と、インデックス作成部と、を備える。音声認識部は、時刻データに基づいて対応付けられた映像データ及び音声データと、時刻データと、を含む映像ファイルから、音声データを取得し、取得した音声データから音声認識により文字列データを生成する。キーワード抽出部は、文字列データからキーワードを抽出する。時刻データ抽出部は、キーワードが抽出された文字列データの基になった音声データに対応づいた時刻データを、映像ファイルから抽出する。インデックス作成部は、映像データを検索するためのインデックスとして抽出されたキーワードと、抽出された時刻データと、を対応付けて、データベース装置に登録する。   The index creation system of the embodiment includes a voice recognition unit, a keyword extraction unit, a time data extraction unit, and an index creation unit. The voice recognition unit acquires voice data from a video file including the video data and voice data associated with the time data and the time data, and generates character string data by voice recognition from the acquired voice data. To do. The keyword extraction unit extracts keywords from the character string data. The time data extraction unit extracts time data corresponding to the audio data that is the basis of the character string data from which the keyword is extracted from the video file. The index creation unit associates the keyword extracted as an index for searching the video data with the extracted time data and registers them in the database device.

実施形態のインデックス作成方法は、文字列データを生成するステップと、キーワードを抽出するステップと、時刻データを抽出するステップと、データベース装置に登録するステップと、を有する。文字列データを生成するステップは、音声認識部が、時刻データに基づいて対応付けられた映像データ及び音声データと、時刻データと、を含む映像ファイルから、音声データを取得し、取得した音声データから音声認識により文字列データを生成する。キーワードを抽出するステップは、キーワード抽出部が、文字列データからキーワードを抽出する。時刻データを抽出するステップは、時刻データ抽出部が、キーワードが抽出された文字列データの基になった音声データに対応づいた時刻データを、映像ファイルから抽出する。データベース装置に登録するステップは、インデックス作成部が、映像データを検索するためのインデックスとして抽出されたキーワードと、抽出された時刻データと、を対応付けて、データベース装置に登録する。   The index creation method of the embodiment includes a step of generating character string data, a step of extracting a keyword, a step of extracting time data, and a step of registering in a database device. In the step of generating character string data, the voice recognition unit acquires voice data from a video file including the video data and voice data associated with the time data, and the time data. Character string data is generated by voice recognition. In the step of extracting keywords, the keyword extraction unit extracts keywords from character string data. In the step of extracting time data, the time data extraction unit extracts time data corresponding to the audio data that is the basis of the character string data from which the keyword is extracted from the video file. In the step of registering in the database device, the index creating unit registers the keyword extracted as an index for searching the video data and the extracted time data in association with each other in the database device.

実施形態のインデックス作成プログラムは、コンピュータに、文字列データを生成する手順と、キーワードを抽出する手順と、時刻データを抽出する手順と、データベース装置に登録する手順と、を実行させる。文字列データを生成する手順は、コンピュータが、時刻データに基づいて対応付けられた映像データ及び音声データと、時刻データと、を含む映像ファイルから、音声データを取得し、取得した音声データから音声認識により文字列データを生成する。キーワードを抽出する手順は、コンピュータが、文字列データからキーワードを抽出する。時刻データを抽出する手順は、コンピュータが、キーワードが抽出された文字列データの基になった音声データに対応づいた時刻データを、映像ファイルから抽出する。データベース装置に登録する手順は、コンピュータが、映像データを検索するためのインデックスとして抽出されたキーワードと、抽出された時刻データと、を対応付けて、データベース装置に登録する。   The index creation program of the embodiment causes a computer to execute a procedure for generating character string data, a procedure for extracting a keyword, a procedure for extracting time data, and a procedure for registering in a database device. The procedure for generating character string data is as follows. The computer acquires audio data from a video file including video data and audio data associated with the time data, and time data, and the audio data is acquired from the acquired audio data. Character string data is generated by recognition. In the procedure for extracting keywords, the computer extracts keywords from character string data. In the procedure for extracting the time data, the computer extracts time data corresponding to the audio data that is the basis of the character string data from which the keyword is extracted from the video file. In the procedure of registering in the database device, the computer registers the keyword extracted as an index for searching the video data and the extracted time data in association with each other in the database device.

本実施形態における、インデックス作成システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the index creation system in this embodiment. 本実施形態における、キーワード・データベース装置に登録されるキーワードの例を表により示す図である。It is a figure which shows the example of the keyword registered into the keyword database apparatus in this embodiment with a table | surface. 本実施形態における、映像ファイル・データベース装置に登録される映像ファイルの例を表により示す図である。It is a figure which shows the example of the video file registered into the video file database apparatus in this embodiment with a table | surface. 本実施形態における、映像ファイル識別データ・キーワード記憶部に登録されるキーワードの例を表により示す図である。It is a figure which shows the example of the keyword registered into the video file identification data and keyword memory | storage part in this embodiment by a table | surface. 本実施形態における、インデックス・データベース装置に登録されるインデックスデータの例を表により示す図である。It is a figure which shows the example of the index data registered into the index database apparatus in this embodiment with a table | surface. 本実施形態における、インデックス作成装置の動作手順例を示すフローチャートである。It is a flowchart which shows the example of an operation | movement procedure of the index production apparatus in this embodiment.

本実施形態について図面を参照して詳細に説明する。インデックス作成システムは、障害対応などの映像データを検索するためのインデックスと、映像ファイル(映像データ)と、時刻データとを対応付けて、データベースとして記憶する。これにより、インデックス作成システムは、障害対応の経験を補完するための学習教材に、映像を容易に組み込むことができる。   This embodiment will be described in detail with reference to the drawings. The index creation system associates an index for searching video data for failure handling, a video file (video data), and time data in association with each other and stores them as a database. Thereby, the index creation system can easily incorporate the video into the learning material for supplementing the experience of dealing with the failure.

図1には、インデックス作成システムの構成例が、ブロック図により示されている。インデックス作成システムは、キーワード・映像ファイル入力装置100と、キーワード登録装置200と、キーワード・データベース装置300と、映像ファイル登録装置400と、映像ファイル・データベース装置500と、インデックス作成装置600と、インデックス・データベース装置700と、検索キーワード入力装置1000とを備える。また、インデックス作成システムは、映像ファイル検索装置800(映像ファイル検索部)、及び、タイムチャート作成装置900(タイムチャート作成部)の少なくとも一方を備えるようにしてもよい。   FIG. 1 is a block diagram showing a configuration example of an index creation system. The index creation system includes a keyword / video file input device 100, a keyword registration device 200, a keyword / database device 300, a video file registration device 400, a video file / database device 500, an index creation device 600, an index A database device 700 and a search keyword input device 1000 are provided. The index creation system may include at least one of a video file search device 800 (video file search unit) and a time chart creation device 900 (time chart creation unit).

キーワード・映像ファイル入力装置100は、インデックスとしてのキーワードと、映像ファイルとを、インデックス作成システムに入力するための装置である。キーワード・映像ファイル入力装置100は、インデックスとしてのキーワードを入力するための操作入力を受け付ける。インデックスとしてのキーワードは、映像ファイルに含まれる映像データを検索するための時刻データに対応づけられたキーワードでもよい。例えば、キーワードは、障害対応作業者により計画された作業項目を示す情報(例えば、作業項目名)でもよい。キーワード・映像ファイル入力装置100は、キーワードを示す情報を、キーワード登録装置200に出力する。   The keyword / video file input device 100 is a device for inputting a keyword as an index and a video file to the index creation system. The keyword / video file input apparatus 100 accepts an operation input for inputting a keyword as an index. The keyword as an index may be a keyword associated with time data for searching for video data included in the video file. For example, the keyword may be information (for example, a work item name) indicating a work item planned by the failure handling worker. The keyword / video file input device 100 outputs information indicating the keyword to the keyword registration device 200.

キーワード・映像ファイル入力装置100は、映像ファイルを受け付ける。映像ファイルには、映像データと、音声データと、時刻データとが含まれている。この映像データは、障害対応をした際の作業が撮影された映像データでもよい。また、この音声データは、障害対応をする障害対応作業者の声が録音された音声データでもよい。この声には、作業項目名が発音された声が含まれていてもよい。また、映像データ及び音声データは、時刻データにより対応付けられている。キーワード・映像ファイル入力装置100は、映像ファイルを、映像ファイル登録装置400に出力する。   The keyword / video file input device 100 receives a video file. The video file includes video data, audio data, and time data. This video data may be video data of a work taken when dealing with a failure. The voice data may be voice data in which a voice of a failure handling worker who handles a failure is recorded. This voice may include a voice in which the work item name is pronounced. The video data and audio data are associated with each other by time data. The keyword / video file input device 100 outputs the video file to the video file registration device 400.

なお、映像ファイルには、時刻データ群、映像データ群、及び、音声データ群が含まれていてもよい。つまり、映像ファイルは、複数のチャプターで区分されることにより、チャプター毎に、時刻データ、映像データ及び音声データが定められていてもよい。   Note that the video file may include a time data group, a video data group, and an audio data group. That is, time data, video data, and audio data may be defined for each chapter by dividing the video file into a plurality of chapters.

キーワード登録装置200には、キーワードを示す情報が、キーワード・映像ファイル入力装置100から入力される。キーワード登録装置200は、キーワードを示す情報を、キーワード・データベース装置300に転送して登録する。   Information indicating a keyword is input to the keyword registration device 200 from the keyword / video file input device 100. The keyword registration device 200 transfers information indicating the keyword to the keyword / database device 300 for registration.

キーワード・データベース装置300には、キーワードを示す情報が、キーワード登録装置200から入力される。キーワード・データベース装置300は、キーワードを示す情報を記憶する。   The keyword database apparatus 300 receives information indicating a keyword from the keyword registration apparatus 200. The keyword database apparatus 300 stores information indicating keywords.

図2には、キーワード・データベース装置に登録されるキーワードの例が、表により示されている。キーワード・データベース装置300は、キーワードを示す情報を、テーブル形式(表形式)により記憶してもよい。図2では、キーワードAと、キーワードBと、キーワードCとが、テーブルデータに登録されている。ここで、登録されているキーワードは、作業項目名、障害対応作業者名でもよい。   FIG. 2 is a table showing examples of keywords registered in the keyword database device. The keyword database apparatus 300 may store information indicating keywords in a table format (table format). In FIG. 2, keyword A, keyword B, and keyword C are registered in the table data. Here, the registered keyword may be a work item name or a trouble handling worker name.

図1に戻り、インデックス作成システムの構成例の説明を続ける。映像ファイル登録装置400には、映像ファイルが、キーワード・映像ファイル入力装置100から入力される。映像ファイル登録装置400は、映像ファイル識別データ(例えば、映像情報名)を、映像ファイルに付与する。映像ファイル登録装置400は、映像ファイル識別データと、映像ファイルとを、映像ファイル・データベース装置500に転送して登録する。映像ファイル登録装置400は、映像ファイル識別データを、インデックス作成装置600に出力する。   Returning to FIG. 1, the description of the configuration example of the index creation system will be continued. A video file is input to the video file registration device 400 from the keyword / video file input device 100. The video file registration apparatus 400 adds video file identification data (for example, video information name) to the video file. The video file registration device 400 transfers the video file identification data and the video file to the video file / database device 500 for registration. The video file registration device 400 outputs the video file identification data to the index creation device 600.

映像ファイル・データベース装置500には、映像ファイル識別データと、映像ファイルとが、映像ファイル登録装置400から入力される。映像ファイル・データベース装置500は、映像ファイル識別データと、映像ファイルとを、対応づけて記憶する。   Video file identification data and a video file are input from the video file registration apparatus 400 to the video file database apparatus 500. The video file database apparatus 500 stores video file identification data and video files in association with each other.

図3には、映像ファイル・データベース装置に登録される映像ファイルの例が、表により示されている。映像ファイル・データベース装置500は、映像ファイル識別データと、映像ファイルとを対応づけて、テーブル形式(表形式)により記憶してもよい。   FIG. 3 shows a table of examples of video files registered in the video file database apparatus. The video file database apparatus 500 may store the video file identification data and the video file in association with each other in a table format (table format).

図3では、映像ファイル識別データF1には、映像データ群V1と、音声データ群S1と、時刻データ群T1とが対応付けられている。また、映像ファイル識別データF2には、映像データ群V2と、音声データ群S2と、時刻データ群T2とが対応付けられている。また、映像ファイル識別データF3には、映像データ群V3と、音声データ群S3と、時刻データ群T3とが対応付けられている。   In FIG. 3, a video data group V1, an audio data group S1, and a time data group T1 are associated with the video file identification data F1. The video file identification data F2 is associated with a video data group V2, an audio data group S2, and a time data group T2. The video file identification data F3 is associated with a video data group V3, an audio data group S3, and a time data group T3.

図1に戻り、インデックス作成システムの構成例の説明を続ける。インデックス作成装置600は、映像ファイルに含まれる映像データに対応付けられた音声データから、音声認識により文字列データを生成し、生成した文字列データから、映像データを検索するためのインデックスとしてのキーワードを抽出する。インデックス作成装置600は、インデックスとしてのキーワードと、映像ファイル識別データと、時刻データとを対応付けて、インデックス・データベース装置700に登録する。   Returning to FIG. 1, the description of the configuration example of the index creation system will be continued. The index creation device 600 generates character string data by voice recognition from audio data associated with video data included in the video file, and a keyword as an index for searching video data from the generated character string data To extract. The index creation device 600 associates the keyword as an index, video file identification data, and time data with each other and registers them in the index database device 700.

インデックス作成装置600は、音声認識部610と、文字列データ記憶部620と、キーワード抽出部630と、映像ファイル識別データ・キーワード記憶部640と、時刻データ抽出部650と、インデックス作成部660とを有する。   The index creation device 600 includes a voice recognition unit 610, a character string data storage unit 620, a keyword extraction unit 630, a video file identification data / keyword storage unit 640, a time data extraction unit 650, and an index creation unit 660. Have.

音声認識部610には、映像ファイル識別データが、映像ファイル登録装置400から入力される。音声認識部610は、映像ファイル識別データが示す映像ファイルに含まれる音声データ(図3を参照)を、映像ファイル・データベース装置500から取得する。音声認識部610は、取得した音声データから、音声認識により文字列を抽出する。音声認識部610は、抽出した文字列に基づいて、文字列データ(例えば、単語、文節)を生成する。音声認識部610は、生成した文字列データを、文字列データ記憶部620に記憶させる。   Video file identification data is input from the video file registration device 400 to the voice recognition unit 610. The audio recognition unit 610 acquires audio data (see FIG. 3) included in the video file indicated by the video file identification data from the video file / database device 500. The voice recognition unit 610 extracts a character string from the acquired voice data by voice recognition. The voice recognition unit 610 generates character string data (for example, a word or a phrase) based on the extracted character string. The voice recognition unit 610 stores the generated character string data in the character string data storage unit 620.

文字列データ記憶部620には、音声認識部610が生成した文字列データが、音声認識部610から入力される。文字列データ記憶部620は、音声認識部610が生成した文字列データを記憶する。   The character string data generated by the voice recognition unit 610 is input from the voice recognition unit 610 to the character string data storage unit 620. The character string data storage unit 620 stores the character string data generated by the voice recognition unit 610.

キーワード抽出部630は、音声認識部610が取得した音声データを含む映像ファイルを示す映像ファイル識別データを、映像ファイル・データベース装置500から取得する。また、キーワード抽出部630は、音声認識部610が生成した文字列データを、文字列データ記憶部620から取得する。また、キーワード抽出部630は、キーワードを示す情報を、キーワード・データベース装置300から取得する。   The keyword extraction unit 630 acquires video file identification data indicating a video file including the audio data acquired by the audio recognition unit 610 from the video file / database device 500. In addition, the keyword extraction unit 630 acquires the character string data generated by the voice recognition unit 610 from the character string data storage unit 620. Also, the keyword extraction unit 630 acquires information indicating the keyword from the keyword / database apparatus 300.

キーワード抽出部630は、文字列データ記憶部620に登録された文字列データから、キーワード・データベース装置300に登録されたキーワードを、映像データを検索するためのインデックスとして抽出する。キーワード抽出部630は、映像ファイル識別データと、インデックスとして抽出されたキーワードとを対応付けて、映像ファイル識別データ・キーワード記憶部640に登録する。   The keyword extraction unit 630 extracts the keyword registered in the keyword / database device 300 from the character string data registered in the character string data storage unit 620 as an index for searching video data. The keyword extraction unit 630 associates the video file identification data with the keyword extracted as an index and registers them in the video file identification data / keyword storage unit 640.

映像ファイル識別データ・キーワード記憶部640には、映像ファイル識別データと、抽出されたキーワードとが、キーワード抽出部630から入力される。映像ファイル識別データ・キーワード記憶部640は、映像ファイル識別データと、抽出されたキーワードとを対応付けて記憶する。   Video file identification data and the extracted keyword are input from the keyword extraction unit 630 to the video file identification data / keyword storage unit 640. The video file identification data / keyword storage unit 640 stores the video file identification data and the extracted keyword in association with each other.

図4には、映像ファイル識別データ・キーワード記憶部に登録されるキーワードの例が、表により示されている。映像ファイル識別データ・キーワード記憶部640は、映像ファイル識別データと、抽出されたキーワードとを対応付けて、テーブル形式(表形式)により記憶してもよい。ここで、映像ファイル識別データには、複数のキーワードが対応付けられてもよい。   FIG. 4 shows a table showing examples of keywords registered in the video file identification data / keyword storage unit. The video file identification data / keyword storage unit 640 may store the video file identification data and the extracted keyword in association with each other in a table format (table format). Here, a plurality of keywords may be associated with the video file identification data.

図4では、映像ファイル識別データF1には、キーワードAと、キーワードBとが対応付けられている。これは、映像ファイル識別データF1が示す映像ファイルに含まれる映像データには、キーワードA及びキーワードBに対応する映像が含まれていることを示す。また、映像ファイル識別データF2には、キーワードCが対応付けられている。これは、映像ファイル識別データF2が示す映像ファイルに含まれる映像データには、キーワードCに対応する映像が含まれていることを示す。   In FIG. 4, the keyword A and the keyword B are associated with the video file identification data F1. This indicates that the video data included in the video file indicated by the video file identification data F1 includes videos corresponding to the keyword A and the keyword B. Further, the keyword C is associated with the video file identification data F2. This indicates that the video data included in the video file indicated by the video file identification data F2 includes a video corresponding to the keyword C.

図1に戻り、インデックス作成システムの構成例の説明を続ける。時刻データ抽出部650は、映像ファイル識別データと、インデックスとして抽出されたキーワードとを、映像ファイル識別データ・キーワード記憶部640から取得する。時刻データ抽出部650は、映像ファイル識別データが示す映像ファイルに含まれる音声データ群のうち、抽出されたキーワードを含む音声データを特定する。また、時刻データ抽出部650は、特定した音声データに対応付けられた時刻データ、すなわち、キーワードが抽出された文字列データの基になった音声データに対応づいた時刻データを抽出する。時刻データ抽出部650は、映像ファイル識別データと、インデックスとして抽出されたキーワードと、抽出した時刻データとを、インデックス作成部660に出力する。   Returning to FIG. 1, the description of the configuration example of the index creation system will be continued. The time data extraction unit 650 acquires the video file identification data and the keyword extracted as an index from the video file identification data / keyword storage unit 640. The time data extraction unit 650 specifies audio data including the extracted keyword from the audio data group included in the video file indicated by the video file identification data. Further, the time data extraction unit 650 extracts time data associated with the specified voice data, that is, time data corresponding to the voice data that is the basis of the character string data from which the keyword is extracted. The time data extraction unit 650 outputs the video file identification data, the keyword extracted as an index, and the extracted time data to the index creation unit 660.

インデックス作成部660には、映像ファイル識別データと、インデックスとして抽出されたキーワードと、抽出した時刻データとが、時刻データ抽出部650から入力される。インデックス作成部660は、映像ファイル識別データと、インデックスとして抽出されたキーワードと、抽出された時刻データとを対応付けて、インデックス・データベース装置700に登録する。   The index creation unit 660 receives video file identification data, a keyword extracted as an index, and extracted time data from the time data extraction unit 650. The index creating unit 660 associates the video file identification data, the keyword extracted as an index, and the extracted time data with each other and registers them in the index database apparatus 700.

なお、映像ファイル識別データは、映像ファイルが識別される必要がない場合(例えば、映像ファイルが一つである場合)、インデックス・データベース装置700に登録されなくてもよい。   Note that the video file identification data may not be registered in the index database device 700 when the video file does not need to be identified (for example, when there is one video file).

インデックス・データベース装置700には、映像ファイル識別データと、インデックスとして抽出されたキーワードと、抽出された時刻データとが、インデックス作成装置600におけるインデックス作成部660から入力される。インデックス・データベース装置700は、映像ファイル識別データと、インデックスとして抽出されたキーワードと、抽出された時刻データとを対応付けて、インデックスデータとして記憶する。   The index database device 700 receives video file identification data, keywords extracted as indexes, and extracted time data from the index creation unit 660 of the index creation device 600. The index database device 700 associates the video file identification data, the keyword extracted as an index, and the extracted time data, and stores them as index data.

図5には、インデックス・データベース装置に登録されるインデックスデータの例が、表により示されている。インデックス・データベース装置700は、映像ファイル識別データと、インデックスとして抽出されたキーワードと、抽出された時刻データとを対応付けて、テーブル形式(表形式)により記憶してもよい。   FIG. 5 is a table showing an example of index data registered in the index database device. The index database apparatus 700 may store the video file identification data, the keyword extracted as an index, and the extracted time data in association with each other in a table format (table format).

図5では、キーワードAと、映像ファイル識別データF1と、抽出された時刻データt11とが対応付けられている。これは、キーワードAに対応する映像が、映像ファイル識別データF1が示す映像ファイルに含まれる映像データ群V1(図3を参照)のうち、時刻データt11に対応するチャプターに含まれていることを示す。   In FIG. 5, the keyword A, the video file identification data F1, and the extracted time data t11 are associated with each other. This means that the video corresponding to the keyword A is included in the chapter corresponding to the time data t11 in the video data group V1 (see FIG. 3) included in the video file indicated by the video file identification data F1. Show.

また、図5では、キーワードBと、映像ファイル識別データF1と、抽出された時刻データt12とが対応付けられている。これは、キーワードBに対応する映像が、映像ファイル識別データF1が示す映像ファイルに含まれる映像データ群V1(図3を参照)のうち、時刻データt12に対応するチャプターに含まれていることを示す。   In FIG. 5, the keyword B, the video file identification data F1, and the extracted time data t12 are associated with each other. This means that the video corresponding to the keyword B is included in the chapter corresponding to the time data t12 in the video data group V1 (see FIG. 3) included in the video file indicated by the video file identification data F1. Show.

また、図5では、キーワードCと、映像ファイル識別データF2と、抽出された時刻データt21とが対応付けられている。これは、キーワードCに対応する映像が、映像ファイル識別データF2が示す映像ファイルに含まれる映像データ群V2(図3を参照)のうち、時刻データt21に対応するチャプターに含まれていることを示す。   In FIG. 5, the keyword C, the video file identification data F2, and the extracted time data t21 are associated with each other. This means that the video corresponding to the keyword C is included in the chapter corresponding to the time data t21 in the video data group V2 (see FIG. 3) included in the video file indicated by the video file identification data F2. Show.

図1に戻り、インデックス作成システムの構成例の説明を続ける。検索キーワード入力装置1000は、インデックスとしてのキーワード(検索キーワード)を入力するための操作入力を受け付ける。インデックスとしてのキーワードは、映像ファイルに含まれる映像データを検索するための時刻データに対応づけられたキーワードでもよい。例えば、キーワードは、障害対応作業者により計画された作業項目を示す情報(例えば、作業項目名)でもよい。検索キーワード入力装置1000は、インデックスとしてのキーワードを示す情報を、映像ファイル検索装置800及びタイムチャート作成装置900に出力する。   Returning to FIG. 1, the description of the configuration example of the index creation system will be continued. The search keyword input device 1000 accepts an operation input for inputting a keyword (search keyword) as an index. The keyword as an index may be a keyword associated with time data for searching for video data included in the video file. For example, the keyword may be information (for example, a work item name) indicating a work item planned by the failure handling worker. The search keyword input device 1000 outputs information indicating the keyword as an index to the video file search device 800 and the time chart creation device 900.

映像ファイル検索装置800は、映像ファイル識別データ時刻抽出部810と、映像ファイル検索部820とを有する。
映像ファイル識別データ時刻抽出部810には、インデックスとしてのキーワードを示す情報が、検索キーワード入力装置1000から入力される。映像ファイル識別データ時刻抽出部810は、インデックスとしてのキーワードに対応付けられた映像ファイル識別データ及び時刻データ(図5を参照)を、インデックス・データベース装置700から取得する。映像ファイル識別データ時刻抽出部810は、取得した映像ファイル識別データ及び時刻データを、映像ファイル検索部820に出力する。
The video file search apparatus 800 includes a video file identification data time extraction unit 810 and a video file search unit 820.
Information indicating a keyword as an index is input to the video file identification data time extraction unit 810 from the search keyword input device 1000. The video file identification data time extraction unit 810 acquires the video file identification data and time data (see FIG. 5) associated with the keyword as an index from the index database device 700. The video file identification data time extraction unit 810 outputs the acquired video file identification data and time data to the video file search unit 820.

映像ファイル検索部820には、映像ファイル識別データと、時刻データとが、映像ファイル識別データ時刻抽出部810から入力される。映像ファイル検索部820は、映像ファイル識別データと、時刻データとに基づいて、映像ファイルを検索する。例えば、映像ファイル検索部820は、キーワードAがインデックス(検索キーワード)とされた場合、時刻データt11(図5を参照)に対応付けられた映像ファイルを検索する。   Video file identification data and time data are input from the video file identification data time extraction unit 810 to the video file search unit 820. The video file search unit 820 searches for video files based on the video file identification data and the time data. For example, when the keyword A is an index (search keyword), the video file search unit 820 searches for a video file associated with the time data t11 (see FIG. 5).

映像ファイル検索部820は、検索した映像ファイルに含まれる映像データを、時刻データに基づいて表示する。これにより、映像ファイル検索部820は、障害対応の作業が撮影された映像を、障害対応作業者に短時間で閲覧させることができる。ここで、映像ファイル検索部820は、時刻データに基づいて、チャプター毎に映像をスキップ再生してもよい。   The video file search unit 820 displays the video data included in the searched video file based on the time data. As a result, the video file search unit 820 can allow the failure handling worker to view the video in which the failure handling work is taken in a short time. Here, the video file search unit 820 may skip and playback the video for each chapter based on the time data.

なお、映像ファイル検索部820は、映像の再生時間が所定時間未満である場合には、映像ファイル識別データ(例えば、映像情報名)のみに基づいて、映像データの全チャプターを表示してもよい。   Note that the video file search unit 820 may display all the chapters of the video data based only on the video file identification data (for example, video information name) when the playback time of the video is less than the predetermined time. .

タイムチャート作成装置900は、映像ファイル識別データ抽出部910と、キーワード・時刻抽出部920と、タイムチャート作成部930とを有する。
映像ファイル識別データ抽出部910には、インデックスとしてのキーワードを示す情報が、検索キーワード入力装置1000から入力される。映像ファイル識別データ抽出部910は、インデックスとしてのキーワードに対応付けられた映像ファイル識別データ(図5を参照)を、インデックス・データベース装置700から取得する。映像ファイル識別データ抽出部910は、取得した映像ファイル識別データを、キーワード・時刻抽出部920に出力する。
The time chart creation device 900 includes a video file identification data extraction unit 910, a keyword / time extraction unit 920, and a time chart creation unit 930.
Information indicating a keyword as an index is input to the video file identification data extraction unit 910 from the search keyword input device 1000. The video file identification data extraction unit 910 acquires the video file identification data (see FIG. 5) associated with the keyword as an index from the index database device 700. The video file identification data extraction unit 910 outputs the acquired video file identification data to the keyword / time extraction unit 920.

キーワード・時刻抽出部920には、映像ファイル識別データが、映像ファイル識別データ抽出部910から入力される。キーワード・時刻抽出部920は、映像ファイル識別データに対応付けられたキーワードの一覧を、抽出されたキーワードが登録されているインデックス・データベース装置700から取得する。例えば、キーワード・時刻抽出部920は、映像ファイル識別データF1に対応付けられたキーワードA及びキーワードB(図5を参照)を、インデックス・データベース装置700から取得する。   The keyword / time extraction unit 920 receives the video file identification data from the video file identification data extraction unit 910. The keyword / time extraction unit 920 acquires a list of keywords associated with the video file identification data from the index database device 700 in which the extracted keywords are registered. For example, the keyword / time extraction unit 920 acquires the keyword A and the keyword B (see FIG. 5) associated with the video file identification data F1 from the index database device 700.

キーワード・時刻抽出部920は、映像ファイル識別データに対応付けられた時刻データの一覧を、抽出された時刻データが登録されているインデックス・データベース装置700から、キーワード毎に取得する。例えば、キーワード・時刻抽出部920は、映像ファイル識別データF1に対応付けられた時刻データt11(図5を参照)を、キーワードAに対応付けて、インデックス・データベース装置700から取得する。また、キーワード・時刻抽出部920は、映像ファイル識別データF1に対応付けられた時刻データt12(図5を参照)を、キーワードBに対応付けて、インデックス・データベース装置700から取得する。キーワード・時刻抽出部920は、取得したキーワードの一覧を示す情報と、取得した時刻データの一覧とを、タイムチャート作成部930に出力する。   The keyword / time extraction unit 920 acquires a list of time data associated with the video file identification data for each keyword from the index / database apparatus 700 in which the extracted time data is registered. For example, the keyword / time extraction unit 920 acquires time data t11 (see FIG. 5) associated with the video file identification data F1 from the index database apparatus 700 in association with the keyword A. Further, the keyword / time extraction unit 920 acquires time data t12 (see FIG. 5) associated with the video file identification data F1 from the index database apparatus 700 in association with the keyword B. The keyword / time extracting unit 920 outputs information indicating the acquired keyword list and the acquired time data list to the time chart creating unit 930.

タイムチャート作成部930には、取得したキーワードの一覧を示す情報と、取得した時刻データの一覧とが、キーワード・時刻抽出部920から入力される。タイムチャート作成部930は、取得したキーワードを示す情報と、取得した時刻データとに基づいて、タイムチャートを作成する。このタイムチャートは、例えば、障害対応の作業順を時間軸で示すチャートでもよい。つまり、タイムチャート作成部930は、取得したキーワード(例えば、作業項目名)の一覧を、取得した時刻データの時刻順に並べて、整列表示させてもよい。   Information indicating a list of acquired keywords and a list of acquired time data are input from the keyword / time extraction unit 920 to the time chart creation unit 930. The time chart creation unit 930 creates a time chart based on the information indicating the acquired keyword and the acquired time data. This time chart may be, for example, a chart showing the order of work corresponding to failures on a time axis. That is, the time chart creation unit 930 may arrange and display a list of acquired keywords (for example, work item names) in order of time of the acquired time data.

次に、インデックス作成装置の動作手順例を説明する。
図6は、インデックス作成装置の動作手順例を示すフローチャートである。
(ステップS1)インデックス作成装置600の音声認識部610は、映像ファイル識別データを、映像ファイル・データベース装置500から取得する。音声認識部610は、映像ファイル・データベース装置500にアクセスし、映像ファイル識別データが示す映像ファイルから、音声データを取得する。
Next, an example of the operation procedure of the index creation device will be described.
FIG. 6 is a flowchart illustrating an example of an operation procedure of the index creating apparatus.
(Step S <b> 1) The voice recognition unit 610 of the index creation device 600 acquires video file identification data from the video file database device 500. The voice recognition unit 610 accesses the video file / database apparatus 500 and acquires voice data from the video file indicated by the video file identification data.

(ステップS2)音声認識部610は、取得した音声データから、音声認識により文字列データを生成する。
(ステップS3)音声認識部610は、生成した文字列データを、文字列データ記憶部620に登録する。
(Step S2) The voice recognition unit 610 generates character string data from the acquired voice data by voice recognition.
(Step S <b> 3) The voice recognition unit 610 registers the generated character string data in the character string data storage unit 620.

(ステップS4)キーワード抽出部630は、文字列データ記憶部620に登録された文字列データから、キーワード・データベース装置300に登録されたキーワードを抽出する。   (Step S <b> 4) The keyword extraction unit 630 extracts a keyword registered in the keyword / database device 300 from the character string data registered in the character string data storage unit 620.

(ステップS5)キーワード抽出部630は、映像ファイル・データベース装置500に登録された映像ファイル識別データと、抽出されたキーワードとを対応付けて、映像ファイル識別データ・キーワード記憶部640に登録する。   (Step S <b> 5) The keyword extraction unit 630 registers the video file identification data registered in the video file / database device 500 and the extracted keyword in the video file identification data / keyword storage unit 640 in association with each other.

(ステップS6)時刻データ抽出部650は、映像ファイル識別データ・キーワード記憶部640に登録された映像ファイル識別データ(図4を参照)が示す映像ファイル(図3を参照)から、キーワードが抽出された音声データに対応付けられた時刻データを抽出する。   (Step S6) The time data extraction unit 650 extracts keywords from the video file (see FIG. 3) indicated by the video file identification data (see FIG. 4) registered in the video file identification data / keyword storage unit 640. The time data associated with the voice data is extracted.

(ステップS7)インデックス作成装置600は、抽出されたキーワードと、抽出された時刻データと、を対応付けて(図5を参照)、インデックス・データベース装置700に登録する。   (Step S7) The index creation device 600 associates the extracted keyword with the extracted time data (see FIG. 5), and registers them in the index database device 700.

以上のように、実施形態のインデックス作成装置600は、時刻データ(例えば、撮影時刻データ)に基づいて対応付けられた映像データ及び音声データと、時刻データと、を含む映像ファイル(例えば、図3を参照)から、音声データを取得し、取得した音声データから音声認識により文字列データを生成する音声認識部610と、文字列データからキーワード(例えば、図4を参照)を抽出するキーワード抽出部630と、キーワードが抽出された文字列データの基になった音声データに対応づいた時刻データを、映像ファイルから抽出する時刻データ抽出部650と、映像データを検索するためのインデックスとして抽出されたキーワードと、抽出された時刻データと、を対応付けて(例えば、図5を参照)、インデックス・データベース装置700に登録するインデックス作成部660と、を備える。   As described above, the index creating apparatus 600 according to the embodiment has a video file (for example, FIG. 3) including video data and audio data associated with time data (for example, shooting time data) and time data. A voice recognition unit 610 that acquires voice data from the acquired voice data and generates character string data by voice recognition from the acquired voice data, and a keyword extraction unit that extracts a keyword (for example, see FIG. 4) from the character string data 630, the time data corresponding to the voice data that is the basis of the character string data from which the keyword was extracted, and extracted from the video file as a time data extraction unit 650 and an index for searching the video data The keywords are associated with the extracted time data (see, for example, FIG. 5), and the index database It provided with indexing unit 660 to register the scan unit 700, a.

また、実施形態のインデックス作成システムは、時刻データに基づいて対応付けられた映像データ及び音声データと、時刻データと、を含む映像ファイルから、音声データを取得し、取得した音声データから音声認識により文字列データを生成する音声認識部610と、文字列データからキーワードを抽出するキーワード抽出部630と、キーワードが抽出された文字列データの基になった音声データに対応づいた時刻データを、映像ファイルから抽出する時刻データ抽出部650と、映像データを検索するためのインデックスとして抽出されたキーワードと、抽出された時刻データと、を対応付けて、インデックス・データベース装置700に登録するインデックス作成部660と、を備える。   In addition, the index creation system of the embodiment acquires audio data from a video file including video data and audio data associated with time data, and time data, and performs audio recognition from the acquired audio data. A voice recognition unit 610 that generates character string data, a keyword extraction unit 630 that extracts a keyword from character string data, and time data corresponding to the voice data that is the basis of the character string data from which the keyword is extracted, A time data extraction unit 650 that extracts from a file, a keyword extracted as an index for searching video data, and an extracted time data are associated with each other, and an index creation unit 660 that registers them in the index database device 700. And comprising.

また、実施形態のインデックス作成方法は、インデックス作成装置600(図1を参照)におけるインデックス作成方法であって、音声認識部610が、時刻データに基づいて対応付けられた映像データ及び音声データと、時刻データと、を含む映像ファイルから、音声データを取得し、取得した音声データから音声認識により文字列データを生成するステップと、キーワード抽出部630が、文字列データからキーワードを抽出するステップと、時刻データ抽出部650が、キーワードが抽出された文字列データの基になった音声データに対応づいた時刻データを、映像ファイルから抽出するステップと、インデックス作成部660が、映像データを検索するためのインデックスとして抽出されたキーワードと、抽出された時刻データと、を対応付けて、インデックス・データベース装置700に登録するステップと、を有する。   Further, the index creation method of the embodiment is an index creation method in the index creation device 600 (see FIG. 1), in which the voice recognition unit 610 includes video data and voice data associated with each other based on time data, Audio data is acquired from a video file including time data, character string data is generated from the acquired audio data by voice recognition, and a keyword extraction unit 630 extracts keywords from the character string data; A step in which the time data extraction unit 650 extracts time data corresponding to the audio data that is the basis of the character string data from which the keyword has been extracted from the video file; and the index creation unit 660 searches for the video data. Keywords extracted as an index of, extracted time data, Association, and a step of indexing database device 700.

また、実施形態のインデックス作成プログラムは、インデックス作成装置600(図1を参照)のコンピュータに、時刻データに基づいて対応付けられた映像データ及び音声データと、時刻データと、を含む映像ファイルから、音声データを取得し、取得した音声データから音声認識により文字列データを生成する手順と、文字列データからキーワードを抽出する手順と、キーワードが抽出された文字列データの基になった音声データに対応づいた時刻データを、映像ファイルから抽出する手順と、映像データを検索するためのインデックスとして抽出されたキーワードと、抽出された時刻データと、を対応付けて、インデックス・データベース装置700に登録する手順と、を実行させる。   Further, the index creation program of the embodiment includes a video file including video data and audio data associated with the computer of the index creation device 600 (see FIG. 1) based on time data, and time data. Acquire voice data, generate character string data by voice recognition from the acquired voice data, extract a keyword from the character string data, and voice data that is the basis of the character string data from which the keyword was extracted The procedure for extracting the corresponding time data from the video file, the keyword extracted as an index for searching the video data, and the extracted time data are associated with each other and registered in the index database apparatus 700. And execute the procedure.

この構成により、音声認識部610は、取得した音声データから音声認識により文字列データを生成する。キーワード抽出部630は、文字列データからキーワードを抽出する。つまり、キーワード抽出部630は、データ量の多い映像ファイルを映像解析によりキーワードを抽出する場合と比較して、少ない処理量及び費用で、インデックスとしてのキーワードを抽出することが可能となる。また、キーワード抽出部630は、障害対応作業者が映像ファイルを始めから終わりまで閲覧する場合と比較して、少ない時間で、インデックスとしてのキーワードを抽出することが可能となる。   With this configuration, the voice recognition unit 610 generates character string data from the acquired voice data by voice recognition. The keyword extraction unit 630 extracts keywords from character string data. That is, the keyword extraction unit 630 can extract keywords as indexes with a small amount of processing and cost compared to a case where keywords are extracted by video analysis from a video file with a large amount of data. In addition, the keyword extraction unit 630 can extract a keyword as an index in a short time compared to the case where the failure handling worker browses the video file from the beginning to the end.

これにより、実施形態のインデックス作成装置、インデックス作成システム、インデックス作成方法、及び、インデックス作成プログラムは、障害対応の経験を補完するための学習教材に、映像を容易に組み込むことができる。ここで、実施形態のインデックス作成装置、インデックス作成システム、インデックス作成方法、及び、インデックス作成プログラムは、撮影した映像を編集する必要がない。   As a result, the index creation apparatus, index creation system, index creation method, and index creation program of the embodiment can easily incorporate the video into the learning material for supplementing the failure handling experience. Here, the index creation apparatus, index creation system, index creation method, and index creation program of the embodiment do not need to edit the captured video.

また、キーワード抽出部630は、予め定められたキーワード(例えば、図2を参照)を、文字列データから抽出してもよい。
これにより、実施形態のインデックス作成装置、インデックス作成システム、インデックス作成方法、及び、インデックス作成プログラムは、学習教材には不要であるキーワード(余計なキーワード)を、抽出することがない。
The keyword extraction unit 630 may extract a predetermined keyword (for example, see FIG. 2) from the character string data.
Thereby, the index creation apparatus, index creation system, index creation method, and index creation program of the embodiment do not extract keywords (extra keywords) that are not necessary for the learning material.

また、キーワード抽出部630は、作業項目名に対応する作業が撮影された映像データに対応づけられた音声データから生成された文字列データから、キーワードとしての作業項目名を抽出してもよい。
これにより、実施形態のインデックス作成装置、インデックス作成システム、インデックス作成方法、及び、インデックス作成プログラムは、障害対応の経験を補完するための学習教材に、作業が撮影された映像を容易に組み込むことができる。
The keyword extraction unit 630 may extract a work item name as a keyword from character string data generated from audio data associated with video data in which a work corresponding to the work item name is captured.
As a result, the index creation apparatus, index creation system, index creation method, and index creation program of the embodiment can easily incorporate the video of the work taken into the learning material for supplementing the experience of handling the failure. it can.

実施形態のインデックス作成システムは、抽出されたキーワードと、抽出された時刻データと、に基づいて、映像データを検索する映像ファイル検索部820を、更に備える。
この構成により、映像ファイル検索部820は、抽出されたキーワードと、抽出された時刻データとに基づいて、映像データを検索する。
これにより、実施形態のインデックス作成システムは、検索した映像データに基づく映像を、表示することができる。また、実施形態のインデックス作成システムは、過去に行われた障害対応の作業の状況を、障害対応作業者に容易に把握させることができる。また、実施形態のインデックス作成システムは、キーワード(例えば、作業項目名)を音声認識により抽出して文字列データ(テキストデータ)に変換するので、データベース管理者が映像ファイルを始めから終わりまで閲覧しなくても、障害対応の作業を記録したデータベースを、短時間で作成することができる。
The index creation system of the embodiment further includes a video file search unit 820 that searches for video data based on the extracted keyword and the extracted time data.
With this configuration, the video file search unit 820 searches for video data based on the extracted keyword and the extracted time data.
Thereby, the index creation system of an embodiment can display a picture based on searched picture data. Further, the index creation system according to the embodiment allows the failure handling worker to easily grasp the status of the failure handling work performed in the past. In addition, since the index creation system of the embodiment extracts keywords (for example, work item names) by voice recognition and converts them into character string data (text data), the database administrator browses the video file from the beginning to the end. Even without this, it is possible to create a database that records work for handling failures in a short time.

実施形態のインデックス作成システムは、抽出されたキーワードと、抽出された時刻データと、に基づいて、タイムチャートを作成するタイムチャート作成部930を、更に備える。
この構成により、タイムチャート作成部930は、抽出されたキーワードと、抽出された時刻データとに基づいて、タイムチャートを作成する。
これにより、実施形態のインデックス作成システムは、障害対策の作業がどのような手順で行われたかを、タイムチャートにより障害対応作業者に容易に把握させることができる。また、実施形態のインデックス作成システムは、障害対応作業者が映像ファイルを始めから終わりまで閲覧しなくても、障害対応作業者に作業の経過を把握させることができる。
The index creation system of the embodiment further includes a time chart creation unit 930 that creates a time chart based on the extracted keywords and the extracted time data.
With this configuration, the time chart creation unit 930 creates a time chart based on the extracted keywords and the extracted time data.
As a result, the index creation system of the embodiment can make it possible for the failure handling worker to easily grasp the procedure of the failure countermeasure work by the time chart. Further, the index creation system according to the embodiment can allow the failure handling worker to grasp the progress of the work even if the failure handling worker does not browse the video file from the beginning to the end.

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。   As mentioned above, although some embodiment of this invention was described, these embodiment is shown as an example and is not intending limiting the range of invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.

例えば、上記に説明したインデックス作成処理は、クラウドシステムにより実行されてもよい。上記の実施形態のインデックス作成システムが備える各装置の少なくとも一部は、クラウドシステムを構成してもよい。   For example, the index creation process described above may be executed by a cloud system. At least a part of each device included in the index creation system of the above embodiment may constitute a cloud system.

なお、上記に説明した装置及びシステムを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。   The program for realizing the apparatus and system described above is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into the computer system and executed, thereby executing the execution process. You may go. Here, the “computer system” may include an OS and hardware such as peripheral devices.

また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。   Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Further, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

100…キーワード・映像ファイル入力装置、200…キーワード登録装置、300…キーワード・データベース装置、400…映像ファイル登録装置、500…映像ファイル・データベース装置、600…インデックス作成装置、610…音声認識部、620…文字列データ記憶部、630…キーワード抽出部、640…映像ファイル識別データ・キーワード記憶部、650…時刻データ抽出部、660…インデックス作成部、700…インデックス・データベース装置、800…映像ファイル検索装置、810…映像ファイル識別データ時刻抽出部、820…映像ファイル検索部、900…タイムチャート作成装置、910…映像ファイル識別データ抽出部、920…キーワード・時刻抽出部、930…タイムチャート作成部、1000…検索キーワード入力装置 DESCRIPTION OF SYMBOLS 100 ... Keyword / video file input device, 200 ... Keyword registration device, 300 ... Keyword / database device, 400 ... Video file registration device, 500 ... Video file / database device, 600 ... Index creation device, 610 ... Voice recognition part, 620 ... Character string data storage unit, 630 ... Keyword extraction unit, 640 ... Video file identification data / keyword storage unit, 650 ... Time data extraction unit, 660 ... Index creation unit, 700 ... Index database unit, 800 ... Video file search device 810 ... Video file identification data time extraction unit, 820 ... Video file search unit, 900 ... Time chart creation device, 910 ... Video file identification data extraction unit, 920 ... Keyword / time extraction unit, 930 ... Time chart creation unit, 1000 Search keyword input device

Claims (8)

時刻データに基づいて対応付けられた映像データ及び音声データと、前記時刻データと、を含む映像ファイルから、前記音声データを取得し、取得した前記音声データから音声認識により文字列データを生成する音声認識部と、
前記文字列データからキーワードを抽出するキーワード抽出部と、
前記キーワードが抽出された前記文字列データの基になった前記音声データに対応づいた前記時刻データを、前記映像ファイルから抽出する時刻データ抽出部と、
前記映像データを検索するためのインデックスとして抽出された前記キーワードと、抽出された前記時刻データと、を対応付けて、データベース装置に登録するインデックス作成部と、
を備えることを特徴とするインデックス作成装置。
Audio that acquires the audio data from a video file including video data and audio data associated with the time data and the time data, and generates character string data from the acquired audio data by audio recognition A recognition unit;
A keyword extraction unit for extracting a keyword from the character string data;
A time data extraction unit that extracts the time data corresponding to the audio data that is the basis of the character string data from which the keyword has been extracted from the video file;
An index creating unit that registers the keyword extracted as an index for searching the video data and the extracted time data in association with each other in a database device;
An index creation device comprising:
前記キーワード抽出部は、予め定められた前記キーワードを、前記文字列データから抽出することを特徴とする請求項1に記載のインデックス作成装置。   The index creating apparatus according to claim 1, wherein the keyword extracting unit extracts the predetermined keyword from the character string data. 前記キーワード抽出部は、作業項目名に対応する作業が撮影された前記映像データに対応づけられた前記音声データから生成された前記文字列データから、前記キーワードとしての前記作業項目名を抽出することを特徴とする請求項1又は請求項2に記載のインデックス作成装置。   The keyword extraction unit extracts the work item name as the keyword from the character string data generated from the audio data associated with the video data in which the work corresponding to the work item name is photographed. The index creation device according to claim 1 or 2. 時刻データに基づいて対応付けられた映像データ及び音声データと、前記時刻データと、を含む映像ファイルから、前記音声データを取得し、取得した前記音声データから音声認識により文字列データを生成する音声認識部と、
前記文字列データからキーワードを抽出するキーワード抽出部と、
前記キーワードが抽出された前記文字列データの基になった前記音声データに対応づいた前記時刻データを、前記映像ファイルから抽出する時刻データ抽出部と、
前記映像データを検索するためのインデックスとして抽出された前記キーワードと、抽出された前記時刻データと、を対応付けて、データベース装置に登録するインデックス作成部と、
を備えることを特徴とするインデックス作成システム。
Audio that acquires the audio data from a video file including video data and audio data associated with the time data and the time data, and generates character string data from the acquired audio data by audio recognition A recognition unit;
A keyword extraction unit for extracting a keyword from the character string data;
A time data extraction unit that extracts the time data corresponding to the audio data that is the basis of the character string data from which the keyword has been extracted from the video file;
An index creating unit that registers the keyword extracted as an index for searching the video data and the extracted time data in association with each other in a database device;
An index creation system comprising:
抽出された前記キーワードと、抽出された前記時刻データと、に基づいて、前記映像データを検索する映像ファイル検索部
を備えることを特徴とする請求項4に記載のインデックス作成システム。
The index creation system according to claim 4, further comprising: a video file search unit that searches the video data based on the extracted keyword and the extracted time data.
抽出された前記キーワードと、抽出された前記時刻データと、に基づいて、タイムチャートを作成するタイムチャート作成部
を備えることを特徴とする請求項4又は請求項5に記載のインデックス作成システム。
The index creation system according to claim 4 or 5, further comprising: a time chart creation unit that creates a time chart based on the extracted keyword and the extracted time data.
インデックス作成装置におけるインデックス作成方法であって、
音声認識部が、時刻データに基づいて対応付けられた映像データ及び音声データと、前記時刻データと、を含む映像ファイルから、前記音声データを取得し、取得した前記音声データから音声認識により文字列データを生成するステップと、
キーワード抽出部が、前記文字列データからキーワードを抽出するステップと、
時刻データ抽出部が、前記キーワードが抽出された前記文字列データの基になった前記音声データに対応づいた前記時刻データを、前記映像ファイルから抽出するステップと、
インデックス作成部が、前記映像データを検索するためのインデックスとして抽出された前記キーワードと、抽出された前記時刻データと、を対応付けて、データベース装置に登録するステップと、
を有することを特徴とするインデックス作成方法。
An index creation method in an index creation device,
A voice recognition unit acquires the voice data from a video file including video data and voice data associated with each other based on time data, and the time data, and performs character recognition by voice recognition from the acquired voice data. Generating data; and
A keyword extracting unit extracting a keyword from the character string data;
A time data extraction unit that extracts the time data corresponding to the audio data that is the basis of the character string data from which the keyword has been extracted from the video file;
An index creation unit associating the keyword extracted as an index for searching the video data with the extracted time data and registering the same in a database device;
An index creation method characterized by comprising:
コンピュータに、
時刻データに基づいて対応付けられた映像データ及び音声データと、前記時刻データと、を含む映像ファイルから、前記音声データを取得し、取得した前記音声データから音声認識により文字列データを生成する手順と、
前記文字列データからキーワードを抽出する手順と、
前記キーワードが抽出された前記文字列データの基になった前記音声データに対応づいた前記時刻データを、前記映像ファイルから抽出する手順と、
前記映像データを検索するためのインデックスとして抽出された前記キーワードと、抽出された前記時刻データと、を対応付けて、データベース装置に登録する手順と、
を実行させるためのインデックス作成プログラム。
On the computer,
A procedure for acquiring the audio data from a video file including the video data and audio data associated with the time data and the time data, and generating character string data by audio recognition from the acquired audio data When,
A procedure for extracting a keyword from the character string data;
A procedure for extracting the time data corresponding to the audio data that is the basis of the character string data from which the keyword has been extracted from the video file;
A procedure for registering the keyword extracted as an index for searching the video data and the extracted time data in association with each other in a database device;
Indexing program for running.
JP2013122632A 2013-06-11 2013-06-11 Index creation device, index creation system, index creation method and index creation program Pending JP2014241016A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013122632A JP2014241016A (en) 2013-06-11 2013-06-11 Index creation device, index creation system, index creation method and index creation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013122632A JP2014241016A (en) 2013-06-11 2013-06-11 Index creation device, index creation system, index creation method and index creation program

Publications (1)

Publication Number Publication Date
JP2014241016A true JP2014241016A (en) 2014-12-25

Family

ID=52140246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013122632A Pending JP2014241016A (en) 2013-06-11 2013-06-11 Index creation device, index creation system, index creation method and index creation program

Country Status (1)

Country Link
JP (1) JP2014241016A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017038794A1 (en) * 2015-08-31 2017-03-09 株式会社 東芝 Voice recognition result display device, voice recognition result display method and voice recognition result display program
JP2018041183A (en) * 2016-09-06 2018-03-15 株式会社日立ビルシステム Maintenance work management system and maintenance work management device
WO2020235120A1 (en) * 2019-05-20 2020-11-26 株式会社日立システムズ Work assistance system and work assistance method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017038794A1 (en) * 2015-08-31 2017-03-09 株式会社 東芝 Voice recognition result display device, voice recognition result display method and voice recognition result display program
JPWO2017038794A1 (en) * 2015-08-31 2018-01-25 株式会社東芝 Speech recognition result display device, speech recognition result display method, speech recognition result display program
JP2018041183A (en) * 2016-09-06 2018-03-15 株式会社日立ビルシステム Maintenance work management system and maintenance work management device
CN107808197A (en) * 2016-09-06 2018-03-16 株式会社日立大厦系统 Upkeep operation management system and upkeep operation managing device
CN107808197B (en) * 2016-09-06 2021-07-30 株式会社日立大厦系统 Maintenance work management system and maintenance work management device
WO2020235120A1 (en) * 2019-05-20 2020-11-26 株式会社日立システムズ Work assistance system and work assistance method
JPWO2020235120A1 (en) * 2019-05-20 2021-06-10 株式会社日立システムズ Work support system and work support method
JP7077415B2 (en) 2019-05-20 2022-05-30 株式会社日立システムズ Work support system and work support method
JP2022103336A (en) * 2019-05-20 2022-07-07 株式会社日立システムズ Work support system and work support method
JP7265667B2 (en) 2019-05-20 2023-04-26 株式会社日立システムズ Work support system and work support method

Similar Documents

Publication Publication Date Title
US20230334044A1 (en) Retrieving context from previous sessions
JP7028858B2 (en) Systems and methods for contextual search of electronic records
US20210406320A1 (en) Document processing and response generation system
US11580181B1 (en) Query modification based on non-textual resource context
JP2019507417A (en) User interface for multivariable search
US10366154B2 (en) Information processing device, information processing method, and computer program product
CN106462640B (en) Contextual search of multimedia content
CN110969022B (en) Semantic determining method and related equipment
US20180217986A1 (en) Automated extraction tools and their use in social content tagging systems
CN104599692A (en) Recording method and device and recording content searching method and device
CN103678560A (en) Multimedia resource error correction searching method and system and multimedia resource server
US9811592B1 (en) Query modification based on textual resource context
US9836530B2 (en) Determining preferred communication explanations using record-relevancy tiers
US20140229488A1 (en) Apparatus, Method, and Computer Program Product For Ranking Data Objects
JP2014241016A (en) Index creation device, index creation system, index creation method and index creation program
NL2016846B1 (en) Computer implemented and computer controlled method, computer program product and platform for arranging data for processing and storage at a data storage engine.
JP2016126788A (en) Cross column-searching relational database table
CN113254665A (en) Knowledge graph expansion method and device, electronic equipment and storage medium
JP6829740B2 (en) Data search method and its data search system
US9886497B2 (en) Indexing presentation slides
JP2018005633A (en) Related content extraction device, related content extraction method, and related content extraction program
JP6751675B2 (en) Information processing equipment, information processing methods, and computer programs
JP2009043029A (en) Related database creating device
Raimond et al. Using the past to explain the present: interlinking current affairs with archives via the semantic web
JP6107003B2 (en) Dictionary updating apparatus, speech recognition system, dictionary updating method, speech recognition method, and computer program