JP2020005014A - 情報処理装置、映像テキスト変換方法、および映像データ生成方法 - Google Patents

情報処理装置、映像テキスト変換方法、および映像データ生成方法 Download PDF

Info

Publication number
JP2020005014A
JP2020005014A JP2018119668A JP2018119668A JP2020005014A JP 2020005014 A JP2020005014 A JP 2020005014A JP 2018119668 A JP2018119668 A JP 2018119668A JP 2018119668 A JP2018119668 A JP 2018119668A JP 2020005014 A JP2020005014 A JP 2020005014A
Authority
JP
Japan
Prior art keywords
video
file
server
terminal device
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018119668A
Other languages
English (en)
Inventor
稔 萩尾
Minoru Hagio
稔 萩尾
桂一 宮崎
Keiichi Miyazaki
桂一 宮崎
隆恵 小口
Takae Oguchi
隆恵 小口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2018119668A priority Critical patent/JP2020005014A/ja
Priority to US16/250,653 priority patent/US10936873B2/en
Priority to US16/250,661 priority patent/US11042744B2/en
Publication of JP2020005014A publication Critical patent/JP2020005014A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】警察での事件に関連する文書の作成を容易にする情報処理装置、映像テキスト変換方法、および映像データ生成方法を提供すること。
【解決手段】情報処理装置は、警察官に装着または所持されたウェアラブルカメラまたは警察車両に搭載された車載カメラが撮影した映像の映像データを記憶した記憶装置から、端末装置において指定された映像データを取得する取得部と、取得された映像データに含まれる音声データを抽出し、抽出した音声データをテキストデータに変換する変換部と、変換されたテキストデータを端末装置に送信する送信部と、を有する。
【選択図】図１

Description

本開示は、情報処理装置、映像テキスト変換方法、および映像データ生成方法に関する。
近年、警察官の業務を効率的に支援するために、例えば、パトロール時の警察官にウェアラブルカメラを装着または所持させて撮像映像を録画するなどの運用の検討が進められている。また、警察車両に車載カメラを搭載し、撮像映像を録画するなどの運用が進められている。
従来、音声情報をテキスト情報にテキスト変換する音声認識手段を用いて議事録情報を生成する議事録情報生成システムが提案されている（例えば、特許文献１を参照）。
特開２００９−８６２０７号公報
警察官は、例えば、事件についてのレポート等の文書を作成することがある。警察官は、例えば、キーボード等の装置に文字を入力して文書を作成し、作業が大変である。また、文書は、事件内容について正確性が求められ、作成作業に時間がかかる。
また、警察官は、例えば、カメラが撮影した事件の映像を視聴し、レポート等の文書を作成することがある。カメラが撮影した映像には、レポート等の内容と関係のない映像も含まれ、そのような映像を視聴して文書を作成すると、作成作業に時間がかかる。
本開示の非限定的な実施例は、警察での事件に関連する文書の作成を容易にする情報処理装置、映像テキスト変換方法、および映像データ生成方法の提供に資する。
本開示の一態様に係る情報処理装置は、警察官に装着または所持されたウェアラブルカメラまたは警察車両に搭載された車載カメラが撮影した映像の映像データを記憶した記憶装置から、端末装置において指定された映像データを取得する取得部と、前記取得された映像データに含まれる音声データを抽出し、抽出した前記音声データをテキストデータに変換する変換部と、前記テキストデータを前記端末装置に送信する送信部と、を有する。
本開示の一態様に係る映像テキスト変換方法は、警察官に装着または所持されたウェアラブルカメラまたは警察車両に搭載された車載カメラが撮影した映像の映像データを記憶した記憶装置から、端末装置において指定された映像データを取得し、前記取得した映像データに含まれる音声データを抽出し、前記音声データをテキストデータに変換し、前記テキストデータを前記端末装置に送信する。
本開示の一態様に係る情報処理装置は、警察官に装着または所持されたウェアラブルカメラまたは警察車両に搭載された車載カメラが撮影した映像の映像データを記憶した記憶装置から、端末装置において指定された映像データを取得する取得部と、前記取得された映像データの映像を解析して事件に関連する情報を生成し、生成した前記情報に基づいて、前記映像データから事件のレポート対象となる映像部分を抽出したサマリ映像データを生成する生成部と、前記サマリ映像データを前記端末装置に送信する送信部と、を有する。
本開示の一態様に係る映像データ生成方法は、警察官に装着または所持されたウェアラブルカメラまたは警察車両に搭載された車載カメラが撮影した映像の映像データを記憶した記憶装置から、端末装置において指定された映像データを取得し、前記取得した映像データの映像を解析して事件に関連する情報を生成し、前記情報に基づいて、前記映像データから事件のレポート対象となる映像部分を抽出したサマリ映像データを生成し、前記サマリ映像データを前記端末装置に送信する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の一態様によれば、警察での事件に関連する文書の作成を容易にする。
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
第１の実施の形態に係る文書作成システムの一例を示した図 メタデータの一例を説明する図 メタデータが付加されたビデオデータの概念の一例を説明する図 サーバによって生成されたＡＴファイルの一例を示した図 ＡＴファイルから動画を再生する動作の一例を説明する図 ＡＴファイルから動画を再生する動作の一例を説明する図 端末装置のブロック構成例を示した図 サーバのブロック構成例を示した図 サーバのブロック構成例を示した図 ＡＴファイルの生成動作における端末装置の画面例を示した図 ＡＴファイルの生成動作における端末装置の画面例を示した図 ＡＴファイルの生成動作における端末装置の画面例を示した図 文書作成システムのＡＴファイル生成動作例を示したシーケンス図 レポート生成動作における端末装置の画面例を示した図 レポート生成動作における端末装置の画面例を示した図 レポート生成動作における端末装置の画面例を示した図 レポート生成動作における端末装置の画面例を示した図 文書作成システムのレポート生成動作例を示したシーケンス図 エクスポート動作における端末装置の画面例を示した図 エクスポート動作における端末装置の画面例を示した図 エクスポート動作における端末装置の画面例を示した図 エクスポート動作における端末装置の画面例を示した図 文書作成システムのエクスポート動作例を示したシーケンス図 第２の実施の形態に係るサマリビデオ生成システムの一例を示した図 インテリメタデータの一例を説明する図 インテリメタファイルの生成例を説明する図 サマリビデオファイルの生成例を説明する図 サーバのブロック構成例を示した図 サーバのブロック構成例を示した図 サマリビデオファイルの生成動作における端末装置の画面例を示した図 サマリビデオファイルの生成動作における端末装置の画面例を示した図 サマリビデオファイルの生成動作における端末装置の画面例を示した図 サマリビデオファイルの生成動作における端末装置の画面例を示した図 サマリビデオ生成システムのサマリビデオファイル生成動作例を示したシーケンス図 サマリビデオファイルの閲覧動作における端末装置の画面例を示した図 サマリビデオファイルの閲覧動作における端末装置の画面例を示した図 サマリビデオファイルの閲覧動作における端末装置の画面例を示した図 サマリビデオファイルの閲覧動作における端末装置の画面例を示した図 サマリビデオ生成システムのサマリビデオファイル再生動作例を示したシーケンス図 エクスポート動作における端末装置の画面例を示した図 文書作成システムのエクスポート動作例を示したシーケンス図 ＡＴファイルの生成動作における端末装置の画面例を示した図 サマリビデオ生成システムのＡＴファイル生成動作例を示したシーケンス図
以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（第１の実施の形態）
図１は、第１の実施の形態に係る文書作成システムの一例を示した図である。図１に示すように、文書作成システムは、端末装置１と、サーバ２，３と、を有している。端末装置１、サーバ２、およびサーバ３は、例えば、ＬＡＮ（Local Area Network）またはインターネット等のネットワークを介して互いに通信できる。
サーバ２，３の機能は、１台のサーバで実現されてもよい。また、サーバ２，３の機能は、３台以上のサーバで実現されてもよい。サーバ２，３は、１つの情報処理装置と捉えてもよい。すなわち、情報処理装置は、サーバ２，３で構成されると捉えてもよい。情報処理装置は、１台以上のサーバで構成されてもよい。
端末装置１は、例えば、パーソナルコンピュータ等の端末装置である。端末装置１は、例えば、警察署内に配置されている。端末装置１は、例えば、事件のレポート等の文書作成に用いられ、また、事件映像の視聴に用いられる。
サーバ２には、事件に関する情報が記憶されている。例えば、サーバ２には、警察官に装着または所持されたウェアラブルカメラによって撮影された事件映像のビデオファイル（ビデオデータ）が記憶されている。また、サーバ２には、警察車両に搭載されている車載カメラによって撮影された事件映像のビデオファイルが記憶されている。
以下では、ウェアラブルカメラおよび車載カメラを特に区別しないときは、単にカメラと呼ぶことがある。なお、カメラは、例えば、撮影中にビデオデータをサーバ２に送信してもよい。また、カメラは、例えば、撮影終了後にビデオファイルをサーバ２に送信してもよい。これにより、カメラが撮影した事件映像のビデオファイルがサーバ２に記憶される。
サーバ３は、音声をテキストに変換するサーバである。サーバ３には、サーバ２からビデオファイルが送られる。サーバ３は、サーバ２から送られたビデオファイルに含まれる音声データをテキストデータに変換する。サーバ３は、変換したテキストデータを含む音声テキスト化ファイル（以下、ＡＴファイルと呼ぶことがある）を、サーバ２に送信する。ＡＴファイルは、例えば、バイナリファイルである。
サーバ２は、例えば、事件をフォルダで分類し、管理している。例えば、ビデオファイルおよびＡＴファイルは、事件ごとに分類され、対応するフォルダに格納されている。サーバ２は、事件に関するコンテンツを管理するサーバと言ってもよい。
なお、サーバ２に記憶されているビデオファイルは、例えば、事件の証拠等として用いられることがあり、削除および編集ができない。ただし、複製されたビデオファイルは、編集できる。サーバ２，３は、例えば、警察署内に配置されてもよいし、別の場所に配置されてもよい。
図１の文書作成システムの概略動作例について説明する。例えば、警察官であるユーザは、端末装置１を用いて、事件のレポートを作成する事件を選択（検索）する。ここでは、ユーザは、レポートを作成する事件として、事件Ａを選択したとする。端末装置１は、ユーザが選択した事件Ａの情報を、サーバ２に送信する（ステップＳ１）。
サーバ２は、端末装置１から送信された事件Ａの情報を受信すると、事件Ａに対応するフォルダからビデオファイルを取得する。サーバ２は、取得したビデオファイルのコピーを、サーバ３に送信する（ステップＳ２）。後述するが、ビデオファイルには、メタデータ（例えば、図２または図３を参照）が含まれている。メタデータは、カメラによって付加される。
サーバ３は、サーバ２から送信されたビデオファイルに含まれている音声データを抽出し、テキストデータに変換する。サーバ３は、変換したテキストデータを含むＡＴファイル（例えば、図４を参照）を生成する。後述するが、ＡＴファイルには、例えば、ビデオファイル内の音声が発せられた日時（タイムスタンプ）と、その日時における静止画像とが含まれる。言い換えれば、ＡＴファイルには、ビデオファイルの映像内に登場する人物の発話時刻と、そのときの静止画像と、人物が発した音声のテキストとが含まれる。
サーバ３は、生成したＡＴファイルを、サーバ２に送信する（ステップＳ３）。
サーバ２は、サーバ３から送信された事件ＡのＡＴファイルを、事件Ａのフォルダに格納する。これにより、事件Ａのフォルダには、事件Ａのビデオファイルと、事件ＡのＡＴファイルとが格納（保存）される。
サーバ２は、例えば、フォルダに格納した事件ＡのＡＴファイルを、端末装置１からのアクセスに応じて、端末装置１に表示する（ステップＳ４）。これにより、ユーザは、端末装置１を用いて、ＡＴファイルを見ることができる。つまり、ユーザは、ビデオファイルの映像に含まれている音声を、テキストとして見ることができる。
後述するが、ユーザは、端末装置１を用いて、ＡＴファイルを、ワード（登録商標）やエクセル（登録商標）等の汎用アプリケーションで閲覧できるファイル（以下、汎用ファイルと呼ぶことがある）に変換できる。ユーザは、例えば、変換した汎用ファイルを、事件Ａのレポートとしてもよいし、変換した汎用ファイルを編集して、事件Ａのレポートとしてもよい。
このように、文書作成システムは、レポートを作成する事件のビデオファイルから、音声データを抽出してテキストデータに変換する。そして、文書作成システムは、変換したテキストデータを含むＡＴファイルを生成する。これにより、ユーザは、警察での事件に関連する文書の作成を容易にできる。
なお、事件Ａのフォルダには、事件ＡのＡＴファイルが保存されている。従って、ユーザは、いつでも事件ＡのＡＴファイルにアクセスできる。
図２は、メタデータの一例を説明する図である。メタデータには、例えば、図２に示すデータがある。メタデータは、カメラによってビデオデータに付加される。
メタデータの「パトライト（登録商標）ＯＮ」は、警察車両のパトライトがＯＮされたときに、ビデオデータに付加される。例えば、警察車両は、ユーザによってパトライトがＯＮされると、パトライトがＯＮされたことをカメラに通知する。カメラは、警察車両のパトライトＯＮの通知に応じて、ビデオデータに「パトライトＯＮ」のメタデータを付加する。
メタデータの「急発進検知」は、警察車両が急発進されたときに、ビデオデータに付加される。例えば、警察車両は、ユーザによって急発進されると、急発進されたことをカメラに通知する。カメラは、警察車両の急発進の通知に応じて、ビデオデータに「急発進検知」のメタデータを付加する。
メタデータの「衝突検知」は、警察車両が何かに衝突されたときに（または衝突したときに）、ビデオデータに付加される。例えば、警察車両は、何かに衝突されたとき、衝突されたことをカメラに通知する。カメラは、警察車両の衝突の通知に応じて、ビデオデータに「衝突検知」のメタデータを付加する。
メタデータの「バックドアオープン」は、警察車両のバックドアがオープンされたときに、ビデオデータに付加される。例えば、警察車両は、バックドアがオープンされると、バックドアがオープンされたことをカメラに通知する。カメラは、警察車両のバックドアのオープンの通知に応じて、ビデオデータに「バックドアオープン」のメタデータを付加する。
メタデータの「銃の取り出し」は、銃フォルダから銃が取り出されたときに、ビデオデータに付加される。例えば、銃フォルダは、銃の取り出しを検知するセンサを備え、センサは、銃フォルダから銃が取り出されると、銃が取り出されたことをカメラに通知する。カメラは、センサの銃の取り出しの通知に応じて、ビデオデータに「銃の取り出し」のメタデータを付加する。
メタデータの「速度超過検出」は、警察車両が速度超過したときに、ビデオデータに付加される。例えば、警察車両は、速度センサを備え、速度超過したときに、速度超過したことをカメラに通知する。カメラは、警察車両の速度超過の通知に応じて、ビデオデータに「速度超過検出」のメタデータを付加する。
メタデータの「手動記録ＯＮ／ＯＦＦ」は、カメラがユーザによってＯＮおよびＯＦＦされたときに、ビデオデータに付加される。
メタデータの「ダッシュ検知」は、ユーザに装着されているウェアラブルカメラが、ユーザの急な走り出しを検知したときに、ビデオデータに付加される。なお、ウェアラブルカメラは、例えば、加速度センサまたは角速度センサを備え、ユーザの急な走り出しを検知できる。
メタデータの「転倒検知」は、ユーザに装着されているウェアラブルカメラが、ユーザの転倒を検知したときに、ビデオデータに付加される。なお、ウェアラブルカメラは、例えば、加速度センサまたは角速度センサを備え、ユーザの転倒を検知できる。
メタデータの「格闘検知」は、カメラがユーザの格闘を検知したときに、ビデオデータに付加される。なお、ユーザは、例えば、カメラと無線通信する生体センサを装着している。生体センサは、例えば、ユーザの心拍数、発汗、および体温の少なくとも１つを生体情報として取得する。生体センサは、取得したユーザの生体情報を、無線通信によってカメラに送信する。カメラは、生体センサから受信したユーザの生体情報から、ユーザの格闘を検知する。例えば、カメラは、生体センサから受信したユーザの生体情報の心拍数、発汗、および体温の上昇から、ユーザの格闘を検知する。
メタデータの「興奮状態検知」は、カメラがユーザの興奮状態を検知したときに、ビデオデータに付加される。なお、ユーザは、上記した生体センサを装着している。カメラは、生体センサから送信されるユーザの生体情報から、ユーザの興奮状態を検知できる。
メタデータの「ＧＰＳ（Global Positioning System）情報」は、カメラが音声を検知したときに、ビデオデータに付加される。ＧＰＳ情報は、ユーザの位置を示している。なお、カメラは、ＧＰＳ装置を搭載している。
図２に示すメタデータは、事件に関連して発生した出来事に関する情報と言える。例えば、パトライトは、事件が発生したときにＯＮされる。従って、メタデータの「パトライトＯＮ」は、事件に関連して発生した出来事と言える。また、ユーザは、犯人が突然逃走したとき、犯人を追いかけるため走り出す。従って、メタデータの「ダッシュ検知」は、事件に関連して発生した出来事と言える。
なお、メタデータは、図２の例に限られない。その他の事件に関連して発生した出来事に関する情報が含まれてもよい。
図３は、メタデータが付加されたビデオデータの概念の一例を説明する図である。図３には、ウェアラブルカメラが撮影した映像の一部フレームが示してある。図３の横軸は、時間を示している。
時刻ｔ１において、ウェアラブルカメラは、警察車両のパトライトＯＮを検知したとする。この場合、時刻ｔ１におけるビデオデータには、パトライトＯＮのメタデータ（タグ）が付加される。
時刻ｔ２において、ウェアラブルカメラは、警察車両の急発進を検知したとする。この場合、時刻ｔ２におけるビデオデータには、急発進検知のメタデータが付加される。
時刻ｔ３において、ウェアラブルカメラは、ユーザのダッシュを検知したとする。この場合、時刻ｔ３におけるビデオデータには、ダッシュ検知のメタデータが付加される。
図４は、サーバ３によって生成されたＡＴファイルの一例を示した図である。図４に示すように、ＡＴファイル１０には、タイムスタンプ１１ａ，１１ｂと、識別子１２ａ，１２ｂと、テキスト１３ａ，１３ｂと、メタデータ１４ａ，１４ｂと、画像１５ａ，１５ｂと、が含まれている。
サーバ３は、図１で説明したように、サーバ２から、メタデータを含むビデオファイルを受信する。サーバ３は、受信したビデオファイルに含まれる音声データを抽出する。ビデオファイルには、撮影日時の情報も含まれている。ここでは、ビデオファイルは、ウェアラブルカメラによって撮影されたビデオファイルとする。
ＡＴファイル１０に含まれるタイムスタンプ１１ａ，１１ｂは、サーバ３が抽出した音声の発せられた日時を示している。すなわち、タイムスタンプ１１ａ，１１ｂは、ビデオファイルの映像に登場する人物が発話した日時を示している。
識別子１２ａ，１２ｂは、音声を発した話者を識別する識別子である。サーバ３は、例えば、抽出した音声の声色を解析し、音声を発した話者を識別する。図４の例では、Ｓｐｅａｋｅｒ Ａ，Ｂが登場している。
テキスト１３ａ，１３ｂは、サーバ３が抽出した音声のテキストを示している。サーバ３は、ビデオファイルから抽出した音声をテキスト１３ａ，１３ｂに変換し、ＡＴファイル１０に含める。なお、図４に示す例では、Ｓｐｅａｋｅｒ Ａは「Ｆｒｅｅｚｅ」と発し、Ｓｐｅａｋｅｒ Ｂは「Ｎｏ」と発していることが分かる。
メタデータ１４ａ，１４ｂは、タイムスタンプ１１ａ，１１ｂが示す時刻またはその時刻の前後（例えば、１分前後）で付加されたメタデータを示している。サーバ３は、例えば、タイムスタンプ１１ａ，１１ｂが示す時刻またはその時刻の前後に付加されたメタデータ１４ａ，１４ｂを抽出し、ＡＴファイル１０に含める。
例えば、図４のメタデータ１４ａに示す例では、２０１８年４月１０日の１２時５０分３０秒またはその時刻の前後に、ＧＰＳ情報が取得されたことが分かる。つまり、２０１８年４月１０日の１２時５０分３０秒またはその時刻の前後のウェアラブルカメラの位置が分かる。また、２０１８年４月１０日の１２時５０分３０秒またはその時刻の前後に、パトライトがＯＮされたことが分かる。
画像１５ａ，１５ｂは、タイムスタンプ１１ａ，１１ｂが示す日時におけるビデオファイルの静止画像を示している。サーバ３は、例えば、タイムスタンプ１１ａ，１１ｂが示す時刻のビデオファイルの画像１５ａ，１５ｂを抽出し、ＡＴファイル１０に含める。
なお、サーバ３は、図１で説明したように、ビデオファイルのＡＴファイル１０を生成すると、サーバ２に送信する。サーバ２は、サーバ３から送信されたＡＴファイル１０をフォルダに格納する。
ユーザは、端末装置１を用いて、サーバ２に格納されたＡＴファイル１０を閲覧できる。また、ユーザは、端末装置１のディスプレイに表示されたＡＴファイル１０のタイムスタンプ１１ａ，１１ｂをクリックすることにより、タイムスタンプ１１ａ，１１ｂが示す時刻からの映像を再生できる。
図５Ａおよび図５Ｂは、ＡＴファイル１０から動画を再生する動作の一例を説明する図である。図５Ａにおいて、図４と同じものには同じ符号が付してある。
ＡＴファイル１０は、端末装置１のディスプレイに表示される。端末装置１のディスプレイに表示されたＡＴファイル１０のタイムスタンプ１１ａ，１１ｂは、ＡＴファイル１０と同じフォルダに格納されているビデオファイルにリンクされている。タイムスタンプ１１ａ，１１ｂは、タイムスタンプ１１ａ，１１ｂが示す時刻から、ビデオファイルの映像が再生されるようにリンクされている。
例えば、サーバ２は、端末装置１のディスプレイに表示されたタイムスタンプ１１ａがクリックされると、タイムスタンプ１１ａに示す時刻から、端末装置１のディスプレイにビデオファイルの映像をストリーム再生する。例えば、端末装置１のディスプレイには、図５Ｂに示す動画像が表示される。
ユーザは、ＡＴファイル１０のテキスト１３ａ，１３ｂ、メタデータ１４ａ，１４ｂ、および画像１５ａ，１５ｂを参照し、映像を見たい箇所から、ビデオファイルを再生できる。例えば、ユーザは、犯人が逃げる箇所から映像を見たい場合、「ダッシュ検知」のメタデータ１４ｂまたは犯人がダッシュする様子を示した画像１５ｂを見て、タイムスタンプ１１ｂをクリックすればよい。
なお、サーバ２は、タイムスタンプ１１ａに示す時刻より少し前から（例えば、１０秒前から）、ビデオファイルを端末装置１のディスプレイにストリーム再生してもよい。これにより、ユーザは、タイムスタンプ１１ａ，１１ｂの時刻の状況に至った経緯等も、見ることができる。
図６は、端末装置１のブロック構成例を示した図である。図６に示すように、端末装置１は、ＣＰＵ（Central Processing Unit）２１と、ＲＡＭ（Random access memory）２２と、ＨＤＤ（Hard Disk Drive）２３と、通信インターフェース２４と、ユーザインターフェース２５と、バス２６と、を有している。
端末装置１は、ＣＰＵ２１によって装置全体が制御されている。ＣＰＵ２１は、プログラムの実行によって、制御部２１ａとして機能する。ＣＰＵ２１には、バス２６を介して、ＲＡＭ２２、ＨＤＤ２３、通信インターフェース２４、およびユーザインターフェース２５が接続されている。
ＲＡＭ２２には、ＣＰＵ２１に実行させるＯＳ（Operating System）のプログラムおよびアプリケーションプログラムが一時的に格納される。また、ＲＡＭ２２には、ＣＰＵ２１による処理に必要な各種データが一時的に格納される。
ＨＤＤ２３には、ＯＳおよびアプリケーションプログラムなどが格納される。
通信インターフェース２４は、ネットワークを介して、サーバ２，３と通信を行う。
ユーザインターフェース２５には、例えば、キーボード装置およびディスプレイ等が接続される。ＣＰＵ２１は、ユーザインターフェース２５を介して、キーボード装置およびディスプレイ等とデータのやり取りを行う。
図７は、サーバ２のブロック構成例を示した図である。図７に示すように、サーバ２は、ＣＰＵ３１と、ＲＡＭ３２と、ＨＤＤ３３と、通信インターフェース３４と、バス３５と、を有している。
サーバ２は、ＣＰＵ３１によって装置全体が制御されている。ＣＰＵ３１は、プログラムの実行によって、制御部３１ａとして機能する。ＣＰＵ３１には、バス３５を介して、ＲＡＭ３２、ＨＤＤ３３、および通信インターフェース３４が接続されている。
ＲＡＭ３２には、ＣＰＵ３１に実行させるＯＳのプログラムおよびアプリケーションプログラムが一時的に格納される。また、ＲＡＭ３２には、ＣＰＵ３１による処理に必要な各種データが一時的に格納される。
ＨＤＤ３３には、ＯＳおよびアプリケーションプログラムなどが格納される。また、ＨＤＤ３３には、ユーザが装着するウェアラブルカメラおよび警察車両に搭載される車載カメラが撮影した映像のビデオファイルが記憶される。また、ＨＤＤ３３には、サーバ３が生成したＡＴファイルが記憶される。また、ＨＤＤ３３には、ＡＴファイルに基づいて作成された汎用ファイルが記憶される。
通信インターフェース３４は、ネットワークを介して、端末装置１およびサーバ３と通信を行う。また、通信インターフェース３４は、ネットワークを介して、ユーザが装着するウェアラブルカメラおよび警察車両に搭載される車載カメラと通信を行う。
なお、サーバ２は、ユーザインターフェースを備えてもよい。ユーザインターフェースには、例えば、キーボード装置およびディスプレイ等が接続されてもよい。
図８は、サーバ３のブロック構成例を示した図である。図８に示すように、サーバ３は、ＣＰＵ４１と、ＲＡＭ４２と、ＨＤＤ４３と、通信インターフェース４４と、バス４５と、を有している。
サーバ３は、ＣＰＵ４１によって装置全体が制御されている。ＣＰＵ４１は、プログラムの実行によって、制御部４１ａとして機能する。ＣＰＵ４１には、バス４５を介して、ＲＡＭ４２、ＨＤＤ４３、および通信インターフェース４４が接続されている。
ＲＡＭ４２には、ＣＰＵ４１に実行させるＯＳのプログラムおよびアプリケーションプログラムが一時的に格納される。また、ＲＡＭ４２には、ＣＰＵ４１による処理に必要な各種データが一時的に格納される。
ＨＤＤ４３には、ＣＰＵ４１に実行させるＯＳのプログラムおよびアプリケーションプログラムなどが格納される。
通信インターフェース４４は、ネットワークを介して、端末装置１およびサーバ２と通信を行う。
なお、サーバ３は、ユーザインターフェースを備えてもよい。ユーザインターフェースには、例えば、キーボード装置およびディスプレイ等が接続されてもよい。
以下、端末装置１のディスプレイに表示される画面例および文書作成システムのシーケンス図を用いて、文書作成システムの動作例について説明する。
文書作成システムの動作は、大きく２つに分けられる。第１の動作は、例えば、図４に示したＡＴファイルを生成する動作である。第２の動作は、第１の動作で生成したＡＴファイルに基づいて、所定のファイル（データ）を生成する動作であり、２つの動作に分けられる。
第２の動作の１つ目の動作（第２−１の動作）は、汎用アプリケーションで閲覧できるレポートを生成する動作である。２つ目の動作（第２−２の動作）は、ＡＴファイルから一部範囲を抽出したＡＴファイルを生成する動作である。抽出するＡＴファイルの範囲は、ユーザが指定できる。
以下では、第２−１の動作をレポート生成動作と呼ぶことがある。第２−２の動作をエクスポート動作と呼ぶことがある。ＡＴファイルから一部範囲を抽出したＡＴファイルを、エクスポートファイルと呼ぶことがある。
＜第１の動作：ＡＴファイルの生成動作＞
図９Ａ、図９Ｂ、および図９Ｃは、ＡＴファイルの生成動作における端末装置１の画面例を示した図である。なお、以下で説明する画面例は、ブラウザで表示されてもよい。また、以下で説明する画面例において表示される「戻る」ボタンは、各画面例で共通の機能を有し、クリックされると１つ前の画面に戻る。
図９Ａに示す画面５１ａは、事件を検索する画面である。サーバ２の制御部３１ａは、端末装置１からのアクセスに応じて、端末装置１のディスプレイに、画面５１ａを表示する。ユーザは、画面５１ａに表示されているテキストボックスに、ＡＴファイルを生成したい事件の情報を入力する。
画面５１ａの例では、事件番号のテキストボックスに、ＡＴファイルを生成したい事件の事件番号「NJ180425000011003」が入力されている。なお、ユーザは、例えば、ＡＴファイルを生成したい事件の事件番号が分からなければ、事件が起きた日付、事件種別、警察官名、および分署名の少なくとも１つをテキストボックスに入力することによって、ＡＴファイルを生成したい事件を検索できる。
図９Ｂに示す画面５１ｂは、検索結果の画面例を示している。画面５１ｂは、図９Ａの画面５１ａのテキストボックスに検索情報が入力され、「検索」ボタンがクリックされると、端末装置１のディスプレイに表示される。
例えば、端末装置１の制御部２１ａは、図９Ａに示す画面５１ａの「検索」ボタンがクリックされると、テキストボックスに入力された情報を、サーバ２に送信する。サーバ２の制御部３１ａは、端末装置１から送信されたテキストボックスに入力された情報に基づいて、事件を検索する。サーバ２の制御部３１ａは、事件を検索すると、端末装置１のディスプレイに、図９Ｂに示す画面５１ｂを表示する。
画面５１ｂには、検索された事件の事件番号「NJ180425000011003」が表示されている。また、画面５１ｂには、検索された事件のフォルダに格納されているファイルの情報（種別一覧）が表示されている。
例えば、画面５１ｂの「ＩＣＶビデオ」、「ＢＷＣビデオ」、「手書きメモ」、および「現場写真」は、検索された事件のフォルダに格納されているファイルの種別を示している。例えば、「ＩＣＶビデオ」は、警察車両に搭載されている車載カメラによって撮影されたビデオファイルを意味している。「ＢＷＣビデオ」は、ユーザに装着されたウェアラブルカメラによって撮影されたビデオファイルを意味している。
画面５１ｂには、ラジオボタンが表示されている。ユーザは、ＡＴファイルを生成したいファイルに対応するラジオボタンを選択する。例えば、ユーザは、「ＩＣＶビデオ」のビデオファイルのＡＴファイルを生成したい場合、「ＩＣＶビデオ」に対応するラジオボタンを選択する。また、ユーザは、「ＢＷＣビデオ」のビデオファイルのＡＴファイルを生成したい場合、「ＢＷＣビデオ」に対応するラジオボタンを選択する。
図９Ｃに示す画面５１ｃは、ＡＴファイルを生成したいファイルが選択された後の画面例を示している。画面５１ｃでは、「ＢＷＣビデオ」が選択されている。
端末装置１の制御部２１ａは、画面５１ｃに示す「音声テキスト化」ボタンがクリックされると、ユーザがラジオボタンで選択したファイルの情報（画面５１ｃの例では、「ＢＷＣビデオ」の情報）をサーバ２に送信する。
サーバ２の制御部３１ａは、端末装置１から、ユーザがラジオボタンで選択したファイルの情報を受信すると、受信した情報に対応するファイルのコピーを、サーバ３に送信する。画面５１ｃの例では、「ＢＷＣビデオ」が選択されているので、サーバ２の制御部３１ａは、ウェアラブルカメラのビデオファイルのコピーを、サーバ３に送信する。
サーバ３の制御部４１ａは、サーバ２から送信されたビデオファイルを受信すると、音声データを抽出し、テキストデータに変換する。そして、サーバ３の制御部４１ａは、例えば、図４に示したようなＡＴファイルを生成する。サーバ３の制御部４１ａは、ＡＴファイルを生成すると、生成したＡＴファイルをサーバ２に送信する。
サーバ２の制御部３１ａは、サーバ３からＡＴファイルを受信すると、サーバ３に送信したビデオファイルが格納されていたフォルダに格納する。これにより、ビデオファイルと、そのビデオファイルのＡＴファイルは紐付けられて（同じ事件のフォルダに格納されて）管理される。
これにより、ユーザは、例えば、サーバ２で管理されている事件のフォルダにアクセスすることにより、ＡＴファイルを閲覧できる。
図１０は、文書作成システムのＡＴファイル生成動作例を示したシーケンス図である。端末装置１の制御部２１ａは、ユーザの操作に応じて、サーバ２にアクセスする。サーバ２の制御部３１ａは、端末装置１からのアクセスに応じて、事件を検索する画面を、端末装置１のディスプレイに表示する（例えば、図９Ａの画面５１ａを参照）。ユーザは、端末装置１のディスプレイの検索画面において、ＡＴファイルを作成したい事件の検索情報を入力する。
端末装置１の制御部２１ａは、ユーザが入力した検索情報を、サーバ２に送信する（ステップＳ１１）。
サーバ２の制御部３１ａは、ＨＤＤ３３を参照し、ステップＳ１１にて受信した検索情報に基づいて、事件を検索する（ステップＳ１２）。
サーバ２の制御部３１ａは、ステップＳ１２にて検索した事件のフォルダに格納されているファイル（例えば、ビデオファイル、音声ファイル、およびメモの画像ファイル等）の種別情報（例えば、図９Ｂの画面５１ｂを参照）を、端末装置１のディスプレイに表示する（ステップＳ１３）。
なお、ユーザは、ステップＳ１３の画面において、ＡＴファイルを生成するファイルを選択する（例えば、図９Ｂの画面５１ｂのラジオボタンを選択する）。
端末装置１の制御部２１ａは、ユーザが選択（指定）した、ＡＴファイルを生成するファイルの情報（例えば、図９Ｃの画面５１ｃのラジオボタンで選択されたＢＷＣビデオの情報）を、サーバ２に送信する（ステップＳ１４）。
サーバ２の制御部３１ａは、ステップＳ１４にて送信されたファイルの情報に対応するファイル（ビデオファイル）をＨＤＤ３３から取得し、取得したビデオファイルのコピーを、サーバ３に送信する（ステップＳ１５）。
サーバ３の制御部４１ａは、ステップＳ１５にて送信されたビデオファイルに含まれる音声をテキスト化する（ステップＳ１６）。
サーバ３の制御部４１ａは、テキスト化されたデータを含むＡＴファイルをサーバ２に送信する（ステップＳ１７）。
サーバ２の制御部３１ａは、ステップＳ１７にて送信されたＡＴファイルを、ＡＴファイルの生成元となったビデオファイル（ステップＳ１５で送信されたビデオファイル）と紐付けてＨＤＤ３３に記憶する（ステップＳ１８）。例えば、サーバ２の制御部３１ａは、ＡＴファイルの生成元となったビデオファイルが格納されているフォルダに、ＡＴファイルを格納する。
これにより、ユーザは、例えば、サーバ２で管理されている事件のフォルダにアクセスすることにより、ＡＴファイルを閲覧できる。
＜第２−１の動作：レポート生成動作＞
図１１Ａ、図１１Ｂ、図１１Ｃ、および図１１Ｄは、レポート生成動作における端末装置１の画面例を示した図である。
図１１Ａに示す画面５２ａは、事件の検索後の画面例を示している。例えば、図９Ａで説明したように、テキストボックスに検索情報を入力し、「検索」ボタンがクリックされると、画面５２ａが表示される。
画面５２ａには、検索された事件の事件番号「NJ180425000011003」が表示されている。また、画面５２ａには、検索された事件のフォルダに格納されているファイルの種別一覧が表示されている。
画面５２ａは、図９Ｂに示した検索結果の画面５１ｂと異なり、「音声テキスト化データ」のファイル情報が追加されている。すなわち、事件番号「NJ180425000011003」の事件は、ＡＴファイルが生成されたため、画面５２ａには「音声テキスト化データ」のファイル情報が追加されている。
画面５２ａには、ラジオボタンが表示されている。ユーザは、閲覧または視聴したいファイルに対応するラジオボタンを選択する。
例えば、ユーザは、「音声テキスト化データ」を閲覧したい場合（すなわち、サーバ３で生成されたＡＴファイルを閲覧したい場合）、「音声テキスト化データ」に対応するラジオボタンを選択する。
図１１Ｂに示す画面５２ｂは、閲覧または視聴したいファイルが選択された後の画面例を示している。画面５２ｂでは、「音声テキスト化データ」が選択されている。
端末装置１の制御部２１ａは、画面５２ｂに示す「閲覧」ボタンがクリックされると、ユーザがラジオボタンで選択したファイルの情報（画面５２ｂの例では、「音声テキスト化データ」の情報）をサーバ２に送信する。
サーバ２の制御部３１ａは、端末装置１から、ユーザがラジオボタンで選択したファイルの情報を受信すると、受信した情報に対応するファイルのデータを、端末装置１に送信する。画面５２ｂの例では、「音声テキスト化データ」が選択されているので、サーバ２の制御部３１ａは、検索した事件のフォルダに格納されているＡＴファイルを取得し、端末装置１に送信する。端末装置１の制御部２１ａは、サーバ２から送信されたＡＴファイルをディスプレイに表示する。
図１１Ｃに示す画面５２ｃは、ＡＴファイルが表示された画面例を示している。画面５２ｃには、例えば、図４で説明したＡＴファイルの内容が表示される。
ユーザは、例えば、画面５２ｃに表示されているＡＴファイルの内容を確認し、確認したＡＴファイルの内容に基づくレポートを作成したい場合、「レポート作成」ボタンをクリックする。
端末装置１の制御部２１ａは、「レポート作成」ボタンがクリックされた情報を、サーバ２に送信する。サーバ２の制御部３１ａは、端末装置１から、「レポート作成」ボタンのクリック情報を受信すると、生成するレポートの出力形式および出力内容をユーザに選択させるための画面を端末装置１に送信する。端末装置１の制御部２１ａは、サーバ２から送信された画面の情報をディスプレイに表示する。
図１１Ｄに示す画面５２ｄは、レポートの出力形式および出力内容を選択する画面例を示している。画面５２ｄには、例えば、レポートの出力フォーマットを選択するプルダウンメニューが表示される。ユーザは、画面５２ｄのプルダウンメニューから、レポートの出力フォーマットを選択できる。
また、画面５２ｄには、レポートに含める情報（出力内容）を選択するためのチェックボックスが表示される。画面５２ｄの例では、メタデータ、静止画、およびタイムスタンプリンクが含まれている。
メタデータが選択された場合、レポートには、メタデータのテキストが含まれる（例えば、図４のメタデータ１４ａ，１４ｂが含まれる）。静止画が選択された場合、レポートには、発話者が音声を発したときの静止画が含まれる（例えば、図４の画像１５ａ，１５ｂが含まれる）。タイムスタンプリンクが選択された場合、レポートには、タイムスタンプのリンクが含まれる（例えば、図４のタイムスタンプ１１ａ，１１ｂを参照）。
レポートに含める情報は、プルダウンメニューで選択するレポートの出力フォーマットに応じて、複数選択できる。例えば、ワードやエクセルの出力フォーマット（例えば、プルダウンメニューで「＊．ｄｏｃ」や「＊．ｘｌｓ」）を選択すると、メタデータ、静止画、およびタイムスタンプリンクを選択できる。レポートの出力フォーマットとして、テキスト（プルダウンメニューで「＊．ｔｘｔ」）を選択すると、静止画およびタイムスタンプリンクを選択できない。
端末装置１の制御部２１ａは、画面５２ｄの「スタート」ボタンがクリックされると、画面５２ｄにおいて入力された情報を、サーバ２に送信する。サーバ２の制御部３１ａは、端末装置１から送信された情報に基づいて、レポートを生成する。
例えば、サーバ２の制御部３１ａは、レポートの出力内容として、静止画とタイムスタンプとが選択された場合、ＡＴファイルのデータから、メタデータを削除し、レポートを生成する。また、サーバ２の制御部３１ａは、レポート出力形式として「＊．ｄｏｃ」が選択された場合、「ｄｏｃ」ファイルとしてレポートを生成する。
図１２は、文書作成システムのレポート生成動作例を示したシーケンス図である。ユーザは、端末装置１を用いて、レポートを作成したい事件を検索するため、検索情報を入力する。
端末装置１の制御部２１ａは、ユーザが入力した検索情報を、サーバ２に送信する（ステップＳ２１）。
サーバ２の制御部３１ａは、ＨＤＤ３３を参照し、ステップＳ２１にて受信した検索情報に基づいて、事件を検索する（ステップＳ２２）。
サーバ２の制御部３１ａは、ステップＳ２２にて検索した事件のフォルダに格納されているファイル（例えば、ビデオファイル、音声ファイル、メモの画像ファイル、およびＡＴファイル等）の種別情報（例えば、図１１Ａの画面５２ａを参照）を、端末装置１のディスプレイに表示する（ステップＳ２３）。
なお、ユーザは、ステップＳ２３の画面において、レポートを生成するファイルを選択する。ユーザは、レポートを生成するファイルとして、ＡＴファイルを選択する（例えば、図１１Ｂの画面５２ｂの「音声テキスト化データ」に対応するラジオボタンを選択する）。
端末装置１の制御部２１ａは、ユーザが選択した情報（音声テキスト化データを選択した情報）を、サーバ２に送信する（ステップＳ２４）。
サーバ２の制御部３１ａは、ステップＳ２４にて送信された、ユーザが選択した情報のファイル（ＡＴファイル）の画像（例えば、図１１Ｃの画面５２ｃを参照）を、端末装置１のディスプレイに表示する（ステップＳ２５）。
なお、端末装置１のディスプレイには、ＡＴファイルの表示とともに、レポート作成のボタンが表示される（例えば、図１１Ｃの画面５２ｃの「レポート作成」ボタンを参照）。サーバ２の制御部３１ａは、「レポート作成」ボタンがクリックされると、レポートの出力形式および出力内容を選択する画面を端末装置１のディスプレイに表示する（例えば、図１１Ｄの画面５２ｄを参照）。ユーザは、端末装置１のディスプレイの画面に従って、レポートの出力形式および出力内容を選択する。
端末装置１の制御部２１ａは、ユーザが選択したレポートの出力形式および出力内容を、サーバ２に送信する（ステップＳ２６）。
サーバ２の制御部３１ａは、ステップＳ２６にて送信されたレポートの出力形式および出力内容に基づいて、ＡＴファイルのデータを編集し、レポートを生成する（ステップＳ２７）。例えば、サーバ２の制御部３１ａは、レポートの出力内容として、静止画とタイムスタンプとが選択された場合、ＡＴファイルのデータから、メタデータを削除し、レポートを生成する。また、サーバ２の制御部３１ａは、レポート出力形式として「＊．ｄｏｃ」が選択された場合、「ｄｏｃ」ファイルとしてレポートを生成する。
サーバ２の制御部３１ａは、ステップＳ２７にて生成されたレポートを、ＡＴファイル（ステップＳ２４で送信されたＡＴファイル）と紐付けてＨＤＤ３３に記憶する（ステップＳ２８）。例えば、サーバ２の制御部３１ａは、レポート生成の元となったＡＴファイルが格納されていたフォルダに、レポートを格納する。
これにより、ユーザは、例えば、サーバ２で管理されている事件のフォルダにアクセスすることにより、レポートを閲覧できる。また、ユーザは、生成されたレポートを編集できる。
＜第２−２の動作：エクスポート動作＞
図１３Ａ、図１３Ｂ、図１３Ｃ、および図１３Ｄは、エクスポート動作における端末装置１の画面例を示した図である。
図１３Ａに示す画面５３ａは、閲覧または視聴したいファイルが選択された後の画面例を示している。画面５３ａは、例えば、図１１Ｃで説明した画面５２ｃに対応している。
例えば、画面５３ａは、サーバ２によって事件が検索された後、検索された事件のフォルダ内のファイルの情報が端末装置１のディスプレイに表示され、閲覧または視聴したいファイルがユーザによって選択された後の画面例を示している。画面５３ａには、例えば、図４で説明したＡＴファイルの内容が表示される。
画面５２ａには、タイムスタンプ５３ａａ，５３ａｂが表示されている。タイムスタンプ５３ａａ，５３ａｂは、ＡＴファイルの元となったビデオファイルにリンクされている。サーバ２の制御部３１ａは、画面５２ａのタイムスタンプ５３ａａ，５３ａｂがクリックされると、ビデオ再生画面を端末装置１のディスプレイに表示する。サーバ２の制御部３１ａは、タイムスタンプ５３ａａ，５３ａｂが示す時刻またはそれよりも少し前の時刻（この時刻は、ユーザによって設定されてもよい）から、ビデオ再生できるビデオ再生画面を表示する。
図１３Ｂに示す画面５３ｂは、画面５３ａのタイムスタンプ５３ａａがクリックされた場合の画面例を示している。端末装置１の制御部２１ａは、タイムスタンプ５３ａａがクリックされると、タイムスタンプ５３ａａに紐付けられたリンク情報をサーバ２に送信する。
サーバ２の制御部３１ａは、端末装置１からリンク情報を受信すると、リンク情報に基づいて、ビデオ再生画面を端末装置１のディスプレイに表示する。ユーザは、端末装置１のディスプレイにおいて、ビデオの再生、一時停止、停止、早送り、および早戻し等の操作ができる。
ユーザは、例えば、１つまたは２以上のタイムスタンプをクリックし、ビデオを視聴する。ユーザは、ビデオを視聴した結果、ビデオファイルからエクスポートしたい映像の範囲を、端末装置１のディスプレイで指定する。
例えば、ユーザは、エクスポートしたいビデオの開始時間を、端末装置１のディスプレイで指定する。また、ユーザは、エクスポートしたいビデオの終了時間を、端末装置１のディスプレイで指定する。
図１３Ｃに示す画面５３ｃは、エクスポート範囲が入力された画面例を示している。画面５３ｃの例では、エクスポートを開始する「開始時間」のテキストボックスに「１２：２５」が入力されている。また、画面５３ｃの例では、エクスポートを終了する「終了時間」のテキストボックスに「１２：３２」が入力されている。
ユーザは、例えば、ビデオの閲覧中に、エクスポートを開始したい映像が表示されると、画面５３ｃの「選択」ボタンをクリックしてもよい。端末装置１の制御部２１ａは、「選択」ボタンのクリックに応じて、再生しているビデオ内での時刻を、「開始時間」のテキストボックスに入力してもよい。また、端末装置１の制御部２１ａは、「選択」ボタンが次にクリックされると、再生しているビデオ内での時刻を、「終了時間」のテキストボックスに入力してもよい。
端末装置１の制御部２１ａは、ビデオファイルのエクスポート範囲が指定され、「エクスポート」ボタンがクリックされると、エクスポート内容を選択する画面を、ディスプレイに表示する。
図１３Ｄに示す画面５３ｄは、エクスポート内容（対象）を選択する画面例を示している。ユーザは、エクスポートする内容を、端末装置１のディスプレイにおいて指定する。エクスポートする内容には、例えば、メタデータ、静止画、およびタイムスタンプリンクがある。
エクスポートする内容は、全て選択されてもよいし、一部選択されてもよい。例えば、メタデータと静止画とをエクスポートし、タイムスタンプリンクをエクスポートしない場合、ユーザは、メタデータに対応するチェックボックスと、静止画に対応するチェックボックスとにチェックを入力する。
端末装置１の制御部２１ａは、ビデオファイルのエクスポート範囲が指定され、「スタート」ボタンがクリックされると、図１３Ｃの画面５３ｃで入力されたエクスポート範囲の情報と、図１３Ｄの画面５３ｄで選択されたエクスポート内容の情報とを、サーバ２に送信する。
サーバ２の制御部３１ａは、端末装置１から送信されたエクスポート範囲の情報と、エクスポート内容の情報とに基づいて、ＡＴファイルを編集する。例えば、サーバ２の制御部３１ａは、エクスポート範囲外のビデオ内容を削除し、エクスポート内容で指示された情報以外の情報を削除したＡＴファイルを生成する。
図１４は、文書作成システムのエクスポート動作例を示したシーケンス図である。ユーザは、端末装置１を用いて、エクスポートファイルを作成したい事件を検索するため、検索情報を入力する。
端末装置１の制御部２１ａは、ユーザが入力した検索情報を、サーバ２に送信する（ステップＳ３１）。
サーバ２の制御部３１ａは、ＨＤＤ３３を参照し、ステップＳ３１にて受信した検索情報に基づいて、事件を検索する（ステップＳ３２）。
サーバ２の制御部３１ａは、ステップＳ３２にて検索した事件のフォルダに記憶されているファイル（例えば、ビデオファイル、音声ファイル、メモの画像ファイル、およびＡＴファイル等）の種別情報（例えば、図１１Ａの画面５２ａを参照）を、端末装置１のディスプレイに表示する（ステップＳ３３）。
なお、ユーザは、ステップＳ３３の画面において、エクスポートファイルを生成するＡＴファイル（音声テキスト化データ）を選択する（例えば、図１１Ｂの画面５２ｂの「音声テキスト化データ」に対応するラジオボタンを選択する）。
端末装置１の制御部２１ａは、ユーザが選択した情報（ＡＴファイルを選択した情報）を、サーバ２に送信する（ステップＳ３４）。
サーバ２の制御部３１ａは、ステップＳ３４にて送信された、ユーザが選択した情報のファイル（ＡＴファイル）の内容（例えば、図１３Ａの画面５３ａを参照）を、端末装置１のディスプレイに表示する（ステップＳ３５）。
なお、端末装置１のディスプレイに表示されるＡＴファイルには、タイムスタンプが表示される（例えば、図１３Ａの画面５３ａのタイムスタンプ５３ａａ，５３ａｂ）。
サーバ２の制御部３１ａは、タイムスタンプがクリックされると、クリックされたタイムスタンプの情報をサーバ２に送信する（ステップＳ３６）。
サーバ２の制御部３１ａは、タイムスタンプの情報を受信すると、タイムスタンプの時刻に紐付けられた箇所から、ビデオファイルを再生し、端末装置１のディスプレイに表示（例えば、図１３Ｂの画面５３ｂを参照）する（ステップＳ３７）。
なお、ユーザは、端末装置１のディスプレイに表示されるビデオを視聴し、エクスポートファイルを作成したい範囲を指定できる。例えば、ユーザは、映像内における時刻によって、エクスポートファイルを作成したい範囲を指定できる（例えば、図１３Ｃの画面５３ｃの開始時間および終了時間を参照）。ユーザは、ビデオを再生および早戻し等の操作を行って、繰り返しビデオを視聴し、エクスポートファイルを作成したい範囲を指定できる。また、ユーザは、別のタイムスタンプをクリックして、別の時刻の映像を再生し、視聴できる。
また、ユーザは、端末装置１のディスプレイにおいて、エクスポート内容を選択する。例えば、ユーザは、エクスポートファイルに含める内容として、メタデータ、静止画、およびタイムスタンプリンクを選択する（図１３Ｄの画面５３ｄのチェックボックスを参照）。
端末装置１の制御部２１ａは、ユーザが指定したエクスポート範囲およびエクスポート内容をサーバ２に送信する（ステップＳ３８）。
サーバ２の制御部３１ａは、ステップＳ３８にて送信されたエクスポート範囲およびエクスポート内容に基づいて、エクスポートファイルを生成する（ステップＳ３９）。
サーバ２の制御部３１ａは、ステップＳ３９にて生成したエクスポートファイルを、ＡＴファイルと紐付けてＨＤＤ３３に記憶する（ステップＳ４０）。例えば、サーバ２の制御部３１ａは、エクスポートファイルの元となったＡＴファイルが格納されているフォルダに、エクスポートファイルを格納する。
以上説明したように、情報処理装置を構成するサーバ２の制御部３１ａは、警察官に装着または所持されたウェアラブルカメラまたは警察車両に搭載された車載カメラが撮影した映像のビデオファイルを記憶したＨＤＤ３３から、端末装置１において指定されたビデオファイルを取得する。情報処理装置を構成するサーバ３の制御部４１ａは、サーバ２によって取得されたビデオファイルに含まれる音声データを抽出し、抽出した音声データをテキストデータに変換する。情報処理装置を構成するサーバ２の通信インターフェース３４は、サーバ３で変換されたテキストデータを含むＡＴファイルを端末装置１に送信する。このように、情報処理装置は、警察官に装着されたウェアラブルカメラまたは警察車両に搭載された車載カメラが撮影した映像のビデオファイルから、テキストデータを生成するので、ユーザの事件に関連するレポートの作成が容易になる。
なお、上記では、サーバ３の制御部４１ａは、ビデオファイルの音声データをテキストデータに変換するとしたが、これに限られない。例えば、サーバ３の制御部４１ａは、音声ファイルの音声データをテキストデータに変換してもよい。例えば、サーバ２のＨＤＤ３３には、ＩＣレコーダ等で録音した音声ファイルが記憶されてもよい。サーバ２の制御部３１ａは、ユーザがＡＴファイルを作成するデータとして、音声ファイルを指定した場合、指定された音声ファイルをサーバ３に送信する。サーバ３の制御部４１ａは、サーバ２から送信された音声データをテキストデータに変換し、変換したテキストデータを含むＡＴファイルをサーバ２に送信してもよい。
また、上記では、ビデオファイルのビデオデータにメタデータが付加されるとしたが、これに限られない。メタデータは、ビデオファイルとは別のファイルで管理されてもよい。この場合、サーバ２の制御部３１ａは、ビデオファイル（メタデータが付加されていない）と、メタデータのファイルとをサーバ３に送信する。サーバ３の制御部４１ａは、サーバ２から送信されたビデオファイルと、メタデータのファイルとに基づいて、ＡＴファイルを生成する。
また、上記では、サーバ２の制御部３１ａは、ＡＴファイルからレポートを生成したが、エクスポートファイルからレポートを生成してもよい。例えば、エクスポートファイルが生成された場合、図１１Ａの画面５２ａには、エクスポートファイルを示すファイル種別と、エクスポートファイルを選択できるラジオボタンとが表示される。サーバ２の制御部３１ａは、エクスポートファイルのラジオボタンが選択された場合、エクスポートファイルからレポートを生成する。
また、サーバ２の制御部３１ａは、図１１Ｃの画面５２ｃにおいて、タイムスタンプがクリックされた場合、図１３Ｃの画面５３ｃと同様に、ビデオファイルの再生画面を、端末装置１のディスプレイに表示してもよい。
（第２の実施の形態）
第２の実施の形態では、カメラが撮影した映像のビデオファイルから、サマリビデオファイルを生成する。例えば、カメラが撮影した映像のうち、事件として重要となる部分（例えば、レポート対象となる部分）は、一部の場合がある。そこで、第２の実施の形態では、カメラが撮影した映像のうち、レポート対象として重要となる部分を抽出し、抽出した映像を含むサマリビデオファイルを生成する。
図１５は、第２の実施の形態に係るサマリビデオ生成システムの一例を示した図である。図１５において、図１と同じものには同じ符号が付してある。サマリビデオ生成システムは、端末装置１と、サーバ２，６１，６２と、を有している。
以下では、図１と異なる部分について説明する。図１５には、図１に示した端末装置１と、サーバ２との他に、サーバ６１，６２が示してある。端末装置１、サーバ２、サーバ６１、およびサーバ６２は、例えば、ＬＡＮまたはインターネット等のネットワークを介して互いに通信できる。
サーバ２，６１，６２の機能は、１台または２台のサーバで実現されてもよい。また、サーバ２，６１，６２の機能は、４台以上のサーバで実現されてもよい。サーバ２，６１，６２は、１つの情報処理装置と捉えてもよい。すなわち、情報処理装置は、サーバ２，６１，６２で構成されると捉えてもよい。情報処理装置は、１台以上のサーバで構成されてもよい。
サーバ６１は、インテリジェントメタファイルを生成する。インテリメタファイルには、インテリジェントメタデータが含まれている。以下では、インテリジェントメタファイルをインテリメタファイルと呼ぶことがある。また、インテリジェントメタデータをインテリメタデータと呼ぶことがある。サーバ６１は、ＡＩ（Artificial Intelligence）の機能を備えてもよい。
インテリメタデータは、図２で説明したメタデータと同様に、事件に関連して発生した出来事に関する情報である。ただし、メタデータは、カメラによって生成され、ビデオファイルに付加されるのに対し、インテリメタデータは、サーバ６１によって生成される。
サーバ２は、インテリメタファイルの生成元となるビデオファイルをサーバ６１に送信する。サーバ６１は、サーバ２から送信されたビデオファイルの映像（音声を含む）を解析して、インテリメタデータを生成し、インテリメタファイルを生成する。
ウェアラブルカメラまたは車載カメラは、サーバに比べ処理能力が限られる。そのため、ビデオファイルに付加されるメタデータは、例えば、図２に示した情報等に限られる。そこで、サーバ６１は、サーバ２から、カメラが撮影した映像のビデオファイルを受信し、映像を解析して、インテリメタデータ（例えば、図１６を参照）を生成する。つまり、サーバ６１は、カメラが生成できないメタデータ（インテリメタデータ）を生成する。サーバ６１は、生成したインテリメタデータを含むインテリメタファイルをサーバ２に送信する。
サーバ２は、図１でも説明したように、例えば、事件ごとに分かれたフォルダを管理している。サーバ２は、サーバ６１から送信されたインテリメタファイルを、事件ごとに分かれたフォルダに格納する。例えば、サーバ２は、インテリメタファイルの生成元となったビデオファイルと同じフォルダに、インテリメタファイルを格納する。
サーバ６２は、ビデオファイルの映像を要約したサマリビデオファイルを生成する。例えば、サーバ６２は、サマリビデオファイルの元となるビデオファイルのコピーと、そのビデオファイルのインテリメタファイルとをサーバ２から受信する。サーバ６２は、サーバ２から受信したインテリメタファイルを参照し、サーバ２から受信したビデオファイルから、レポート対象となる映像を抽出し、サマリビデオファイルを生成する。
サーバ６２は、生成したサマリビデオファイルを、サーバ２に送信する。サーバ２は、サーバ６２から送信されたサマリビデオファイルを、サマリビデオファイルの元となったビデオファイルと同じフォルダに格納する。
図１５のサマリビデオ生成システムの概略動作例について説明する。例えば、警察官であるユーザは、端末装置１を用いて、サマリビデオを生成したい事件を選択（検索）する。ここでは、ユーザは、サマリビデオを作成したい事件として、事件Ａを選択したとする。端末装置１は、選択された事件Ａの情報を、サーバ２に送信する（ステップＳ５１）。
サーバ２は、端末装置１から送信された事件Ａの情報を受信すると、事件Ａに対応するフォルダから、ビデオファイルを取得する。サーバ２は、取得したビデオファイルのコピーを、サーバ６１に送信する（ステップＳ５２）。なお、ビデオファイルには、カメラによって付加されたメタデータ（例えば、図２を参照）が付加されている。
サーバ６１は、サーバ２から送信されたビデオファイルの映像を解析してインテリメタデータを生成し、生成したインテリメタデータを含むインテリメタファイルを生成する。サーバ６１は、生成したインテリメタファイルを、サーバ２に送信する（ステップＳ５３）。
サーバ２は、サーバ６１から送信された事件Ａのインテリメタファイルを、事件Ａのフォルダに格納する。これにより、事件Ａのフォルダには、事件Ａのビデオファイルと、インテリメタファイルとが格納（保存）される。
サーバ２は、サーバ６１から送信されたインテリメタファイルと、インテリメタファイルの生成元となったビデオファイルのコピー（事件Ａのビデオファイルのコピー）とをサーバ６２に送信する（ステップＳ５４）。
サーバ６２は、サーバ２から送信されたインテリメタファイルを参照し、サーバ２から送信されたビデオファイルから、レポート対象となる部分の映像を抽出して、サマリビデオファイルを生成する。
サーバ６２は、生成したサマリビデオファイルをサーバ２に送信する（ステップＳ５５）。
サーバ２は、サーバ６２から送信されたサマリビデオファイルを、事件Ａのフォルダに格納する。これにより、サーバ２の事件Ａのフォルダには、事件Ａのビデオファイルと、インテリメタファイルと、サマリビデオファイルとが格納（保存）される。
サーバ２は、サーバ６２から送信されたサマリビデオファイルの映像を、端末装置１のディスプレイに表示する（ステップＳ５６）。これにより、ユーザは、レポート対象となる部分が抽出された映像を閲覧できる。
このように、サマリビデオ生成システムは、ビデオファイルの映像を解析し、インテリメタファイルを生成する。そして、サマリビデオ生成システムは、生成したインテリメタファイルに基づいて、ビデオファイルから、レポート対象となる部分の映像を抽出し、サマリビデオファイルを生成する。
これにより、ユーザは、容易にレポート対象となる部分の映像を閲覧できる。例えば、ユーザは、長時間の映像から、レポート対象となる部分の映像を探す手間が省け、容易にレポート対象となる部分の映像を閲覧できる。また、ユーザは、サマリビデオファイルから、第１の実施の形態で説明したレポートを作成できる。すなわち、ユーザは、容易に事件の重要な部分のレポートを作成できる。
図１６は、インテリメタデータの一例を説明する図である。インテリメタデータには、例えば、図１６に示すデータがある。インテリメタデータは、図１５で説明したように、サーバ６１によって生成される。
インテリメタデータの「人物検知／非検知」は、ビデオファイルの映像内において、サーバ６１が人物を検知したときおよび人物を一定時間検知しなくなったときに生成される。
インテリメタデータの「車両検知／非検知」は、ビデオファイルの映像内において、サーバ６１が車両を検知したときおよび車両を一定時間検知しなくなったときに生成される。
インテリメタデータの「異常行動検知／非検知」は、ビデオファイルの映像内において、サーバ６１が人物の異常行動を検知したときおよび人物の異常行動を一定時間検知しなくなったときに生成される。
インテリメタデータの「群衆検知／非検知」は、ビデオファイルの映像内において、サーバ６１が群衆を検知したときおよび群衆を一定時間検知しなくなったときに生成される。
インテリメタデータの「会話検知／非検知」は、ビデオファイルの映像内において、サーバ６１が会話を検知したときおよび会話を一定時間検知しなくなったときに生成される。
インテリメタデータの「銃声検知／非検知」は、ビデオファイルの映像内において、サーバ６１が銃声を検知したときおよび銃声を一定時間検知しなくなったときに生成される。
インテリメタデータの「爆発音検知／非検知」は、ビデオファイルの映像内において、サーバ６１が爆発音を検知したときおよび爆発音を一定時間検知しなくなったときに生成される。
なお、上記の「一定時間検知しなくなったとき」の「一定時間」は、ユーザによって設定されてもよい。
図１７は、インテリメタファイルの生成例を説明する図である。図１７には、ウェアラブルカメラが撮影した映像の一部フレームが示してある。図１７の横軸は、時間を示している。
サーバ６１は、ビデオファイルの映像を解析し、インテリメタデータを生成する。サーバ６１は、生成したインテリメタデータと、インテリメタデータの生成元となった映像の時刻とを関連付け、インテリメタファイルを生成する。
例えば、時刻ｔ２において、サーバ６１は、ビデオファイルの映像から人物がいなくなったことを検知したとする。この場合、サーバ６１は、「人物非検知」のインテリメタデータ（タグ）を生成し、時刻ｔ２と関連付ける。また、時刻ｔ２において、サーバ６１は、ビデオファイルの映像からな会話がなくなったことを検知したとする。この場合、サーバ６１は、「会話非検知」のインテリメタデータを生成し、時刻ｔ２と関連付ける。サーバ６１は、ビデオファイルの映像内における時刻と関連付けたインテリメタデータを含むインテリメタファイルを生成する。
なお、図１７に示すパトライトＯＮ、ダッシュ開始、および手動記録ＯＦＦは、ウェアラブルカメラが付加したメタデータである。
図１８は、サマリビデオファイルの生成例を説明する図である。図１８に示すビデオデータ、タグ、メタデータ、およびインテリメタデータは、図１７に示したビデオデータ、タグ、メタデータ、およびインテリメタデータと同じである。図１８には、図１７に対し、サマリビデオデータが示してある。
サーバ６２は、ビデオファイルに含まれるメタデータと、インテリメタファイルのインテリメタデータとに基づいて、ビデオファイルからレポート対象となる部分の映像を抽出し、サマリビデオファイルを生成する。
例えば、パトライトがＯＮしたとき、事件が発生したと考えられる。一方、パトライトＯＮ後、映像に人物が一定時間含まれなかった場合および会話が一定時間含まれなかった場合、その後の映像には、事件のレポート対象として重要な映像が含まれていないと考えられる。また、ユーザ（ウェアラブルカメラを装着したユーザ）が走り出したとき、事件のレポート対象として重要な映像が含まれていると考えられる。
そこで、サーバ６２は、例えば、図１８の矢印Ａ１〜Ａ３に示すように、パトライトＯＮのタグ（メタデータ）の後、人物非検知のタグおよび会話非検知のタグ（インテリメタデータ）までの映像データ（フレーム）をサマリビデオファイルのデータ（フレーム）とする。また、サーバ６２は、例えば、図１８の矢印Ａ４〜Ａ６に示すように、人物非検知のタグおよび会話非検知のタグの後の映像データを削除する。また、サーバ６２は、例えば、図１８の矢印Ａ７，Ａ８に示すように、ダッシュ開始のタグ（メタデータ）の後の映像データをサマリビデオファイルのデータとする。
図１９は、サーバ６１のブロック構成例を示した図である。図１９に示すように、サーバ６１は、ＣＰＵ７１と、ＲＡＭ７２と、ＨＤＤ７３と、通信インターフェース７４と、バス７５と、を有している。
サーバ６１は、ＣＰＵ７１によって装置全体が制御されている。ＣＰＵ７１は、プログラムの実行によって、制御部７１ａとして機能する。ＣＰＵ７１には、バス７５を介して、ＲＡＭ７２、ＨＤＤ７３、および通信インターフェース７４が接続されている。
ＲＡＭ７２には、ＣＰＵ７１に実行させるＯＳのプログラムおよびアプリケーションプログラムが一時的に格納される。また、ＲＡＭ７２には、ＣＰＵ７１による処理に必要な各種データが一時的に格納される。
ＨＤＤ７３には、ＣＰＵ７１に実行させるＯＳのプログラムおよびアプリケーションプログラムなどが格納される。
通信インターフェース７４は、ネットワークを介して、サーバ２と通信を行う。
なお、サーバ６１は、ユーザインターフェースを備えてもよい。ユーザインターフェースには、例えば、キーボード装置およびディスプレイ等が接続されてもよい。
図２０は、サーバ６２のブロック構成例を示した図である。図２０に示すように、サーバ６２は、ＣＰＵ８１と、ＲＡＭ８２と、ＨＤＤ８３と、通信インターフェース８４と、バス８５と、を有している。
サーバ６２は、ＣＰＵ８１によって装置全体が制御されている。ＣＰＵ８１は、プログラムの実行によって、制御部８１ａとして機能する。ＣＰＵ８１には、バス８５を介して、ＲＡＭ８２、ＨＤＤ８３、および通信インターフェース８４が接続されている。
ＲＡＭ８２には、ＣＰＵ８１に実行させるＯＳのプログラムおよびアプリケーションプログラムが一時的に格納される。また、ＲＡＭ８２には、ＣＰＵ８１による処理に必要な各種データが一時的に格納される。
ＨＤＤ８３には、ＣＰＵ８１に実行させるＯＳのプログラムおよびアプリケーションプログラムなどが格納される。
通信インターフェース８４は、ネットワークを介して、サーバ２と通信を行う。
なお、サーバ６２は、ユーザインターフェースを備えてもよい。ユーザインターフェースには、例えば、キーボード装置およびディスプレイ等が接続されてもよい。
以下、端末装置１のディスプレイに表示される画面例およびサマリビデオ生成システムのシーケンス図を用いて、サマリビデオ生成システムの動作例について説明する。
サマリビデオ生成システムの動作は、大きく２つに分けられる。第１の動作は、インテリメタデータを含むインテリメタファイルを生成し、図１８に示したサマリビデオファイル（サマリビデオデータ）を生成する動作である。第２の動作は、第１の動作で生成したサマリビデオファイルを利用する動作であり、３つの動作に分けられる。
第２の動作の１つ目の動作（第２−１の動作）は、サマリビデオファイルを閲覧する動作である。２つ目の動作（第２−２の動作）は、サマリビデオファイルから一部範囲を抽出したサマリビデオファイルを生成する動作である。３つ目の動作（第２−３の動作）は、サマリビデオファイルからＡＴファイルを生成する動作である。
以下では、第２−２の動作をエクスポート動作と呼ぶことがある。サマリビデオファイルから一部範囲を抽出したサマリビデオファイルを、エクスポートファイルと呼ぶことがある。
＜第１の動作：サマリビデオファイルの生成動作＞
図２１Ａ、図２１Ｂ、図２１Ｃ、および図２１Ｄは、サマリビデオファイルの生成動作における端末装置１の画面例を示した図である
図２１Ａに示す画面９１ａは、例えば、端末装置１がサーバ２にアクセスすると表示される。サーバ２の制御部３１ａは、端末装置１からのアクセスに応じて、端末装置１のディスプレイに、画面９１ａを表示する。
画面９１ａは、事件を検索する画面である。ユーザは、画面９１ａに表示されているテキストボックスに、サマリビデオファイルを生成したい事件の情報を入力することにより、サマリビデオファイルを生成したい事件を検索できる。
画面９１ａの例では、事件番号のテキストボックスに、サマリビデオファイルを生成したい事件の事件番号「NJ180425000011003」が入力されている。なお、ユーザは、例えば、サマリビデオファイルを生成したい事件の事件番号が分からなければ、事件が起きた日付、事件種別、警察官名、および分署名の少なくとも１つをテキストボックスに入力することによって、サマリビデオファイルを生成したい事件を検索できる。
図２１Ｂに示す画面９１ｂは、検索結果の画面例を示している。画面９１ｂは、図２１Ａの画面９１ａのテキストボックスに検索情報が入力され、「検索」ボタンがクリックされると、端末装置１のディスプレイに表示される。
例えば、端末装置１の制御部２１ａは、図２１Ａに示す画面９１ａの「検索」ボタンがクリックされると、テキストボックスに入力された情報を、サーバ２に送信する。サーバ２の制御部３１ａは、端末装置１から送信されたテキストボックスに入力された情報に基づいて、ユーザがサマリビデオファイルを生成したい事件を検索する。サーバ２の制御部３１ａは、事件を検索すると、端末装置１のディスプレイに、図２１Ｂに示す画面９１ｂを表示する。
画面９１ｂには、検索された事件の事件番号「NJ180425000011003」が表示されている。また、画面９１ｂには、検索された事件のフォルダに格納されているファイルの種別一覧が表示されている。
例えば、画面９１ｂの「ＩＣＶビデオ」、「ＢＷＣビデオ」、「手書きメモ」、および「現場写真」は、検索された事件のフォルダに格納されているファイルの種別を示している。例えば、「ＩＣＶビデオ」は、警察車両に搭載されている車載カメラによって撮影されたビデオファイルを意味する。「ＢＷＣビデオ」は、ユーザに装着されたウェアラブルカメラによって撮影されたビデオファイルを意味する。
画面９１ｂには、ラジオボタンが表示されている。ユーザは、サマリビデオファイルを生成したいファイルに対応するラジオボタンを選択する。例えば、ユーザは、「ＩＣＶビデオ」のビデオファイルのサマリビデオファイルを生成したい場合、「ＩＣＶビデオ」に対応するラジオボタンを選択する。また、ユーザは、「ＢＷＣビデオ」のビデオファイルのサマリビデオファイルを生成したい場合、「ＢＷＣビデオ」に対応するラジオボタンを選択する。
図２１Ｃに示す画面９１ｃは、サマリビデオファイルを生成したいファイルが選択された後の画面例を示している。画面９１ｃでは、「ＢＷＣビデオ」が選択されている。
端末装置１の制御部２１ａは、画面９１ｃに示す「ビデオサマリ」ボタンがクリックされると、ユーザがラジオボタンで選択したファイルの情報（画面９１ｃの例では、「ＢＷＣビデオ」の情報）をサーバ２に送信する。
サーバ２の制御部３１ａは、端末装置１から、ユーザがラジオボタンで選択したファイルの情報を受信すると、受信した情報に対応するファイルのコピーを、サーバ６１に送信する。画面９１ｃの例では、「ＢＷＣビデオ」が選択されているので、サーバ２の制御部３１ａは、ウェアラブルカメラのビデオファイルのコピーを、サーバ６１に送信する。
サーバ６１の制御部７１ａは、サーバ２から送信されたビデオファイルを受信すると、受信したビデオファイルの映像を解析してインテリメタデータを生成し、インテリメタファイルを生成する。サーバ６１の制御部７１ａは、インテリメタファイルを生成すると、生成したインテリメタファイルをサーバ２に送信する。
サーバ２は、サーバ６１からインテリメタファイルを受信すると、サーバ６１に送信したビデオファイルが格納されていたフォルダに格納する。これにより、ビデオファイルと、そのビデオファイルのインテリメタファイルは紐付けられて（同じ事件のフォルダに格納されて）管理される。サーバ２の制御部３１ａは、サーバ６１から受信したインテリメタファイルをフォルダに格納すると、生成するサマリビデオファイルの映像に、メタデータおよびインテリメタデータを表示するか否かを問う画面を、端末装置１のディスプレイに表示する。
図２１Ｄに示す画面９１ｄは、インテリメタファイルがサーバ２のＨＤＤ３３に格納された後の画面例を示している。画面９１ｄに示すように、端末装置１のディスプレイには、生成するサマリビデオファイルの映像に、メタデータを表示させるか、またインテリメタデータを表示させるかを選択するチェックボックスが表示される。
ユーザは、例えば、生成されるサマリビデオファイルの映像に、メタデータのテキストを表示させたい場合、メタデータに対応するチェックボックスを選択する。また、ユーザは、例えば、生成されるサマリビデオファイルの映像に、インテリメタデータのテキストを表示させたい場合、インテリメタデータに対応するチェックボックスを選択する。ユーザは、メタデータおよびインテリメタデータの２つを選択でき、またいずれか一方を選択できる。また、ユーザは、メタデータおよびインテリメタデータの両方を選択しなくてもよい。
なお、メタデータが選択された場合、サマリビデオファイルの映像には、例えば、メタデータが付加された時刻に、メタデータがテキストで表示される。例えば、ある時刻において、パトライトがＯＮされた場合、サマリビデオファイルの映像のある時刻において、「パトライトＯＮ」というテキストが表示される。
また、インテリメタデータが選択された場合、サマリビデオファイルの映像には、例えば、インテリメタデータが関連付けされた時刻に、インテリメタデータがテキストで表示される。例えば、ある時刻において、一定時間、映像に人物が含まれなかった場合、サマリビデオファイルの映像のある時刻において、「人物非検知」というテキストが表示される。
端末装置１の制御部２１ａは、画面９１ｄの「スタート」ボタンがクリックされると、ユーザが選択したビデオ表示情報（サマリビデオファイルの映像に、メタデータおよびインテリメタデータのテキストを表示させるかの情報）を、サーバ２に送信する。
サーバ２の制御部３１ａは、端末装置１から、ビデオ表示情報を受信すると、フォルダに格納されているビデオファイルと、インテリメタファイルと、端末装置１から受信したビデオ表示情報とを、サーバ６２に送信する
サーバ６２の制御部８１ａは、サーバ２から受信した情報に基づいて、サマリビデオファイルを生成する。例えば、サーバ６２の制御部８１ａは、インテリメタファイルのインテリメタデータと、ビデオファイルに付加されているメタデータとに基づいて、ビデオファイルの映像から、所定の映像を抽出し、サマリビデオファイルを生成する。サーバ６２の制御部８１ａは、サマリビデオファイルを生成するとき、サーバ２から受信したビデオ表示情報に基づいて、メタデータまたはインテリメタデータのテキストを、サマリビデオファイルの映像に含める。
サーバ６２の制御部８１ａは、生成したサマリビデオファイルをサーバ２に送信する。サーバ２の制御部３１ａは、サマリビデオファイルの元となったビデオファイルが格納されているフォルダに、サマリビデオファイルを格納する。
これにより、ユーザは、例えば、サーバ２で管理されている事件のフォルダにアクセスすることにより、サマリビデオファイルを閲覧できる。
図２２は、サマリビデオ生成システムのサマリビデオファイル生成動作例を示したシーケンス図である。端末装置１の制御部２１ａは、ユーザの操作に応じて、サーバ２にアクセスする。サーバ２の制御部３１ａは、端末装置１からのアクセスに応じて、事件の検索画面を、端末装置１のディスプレイに表示する（例えば、図２１Ａの画面９１ａを参照）。ユーザは、端末装置１のディスプレイの検索画面において、サマリビデオファイルを作成したい事件の検索情報を入力する。
端末装置１の制御部２１ａは、ユーザが入力した、サマリビデオファイルを生成する事件の検索情報を、サーバ２に送信する（ステップＳ６１）。
サーバ２の制御部３１ａは、ＨＤＤ３３を参照し、ステップＳ６１にて受信した検索情報に基づいて、事件を検索する（ステップＳ６２）。
サーバ２の制御部３１ａは、ステップＳ６２にて検索した事件のフォルダに記憶されているファイル（例えば、ビデオファイル、音声ファイル、およびメモの画像ファイル等）の種別情報（例えば、図２１Ｂの画面９１ｂを参照）を、端末装置１のディスプレイに表示する（ステップＳ６３）。
なお、ユーザは、ステップＳ６３の画面において、サマリビデオファイルを生成するファイルを選択する（例えば、図９Ｂの画面５１ｂのラジオボタンを選択する）。
端末装置１の制御部２１ａは、ユーザが選択（指定）した、サマリビデオファイルを生成するファイルの情報（例えば、図２１Ｃの画面９１ｃのラジオボタンで選択されたＢＷＣビデオの情報）を、サーバ２に送信する（ステップＳ６４）。
サーバ２の制御部３１ａは、ステップＳ６４にて受信したファイルの情報に対応するファイル（例えば、ウェアラブルカメラが撮影した映像のビデオファイル）をＨＤＤ３３から取得し、取得したファイルのコピーを、サーバ６１に送信する（ステップＳ６５）。
サーバ６１の制御部７１ａは、ステップＳ６５にて送信されたビデオファイルの映像を解析し、インテリメタファイルを生成する（ステップＳ６６）。
サーバ６１の制御部７１ａは、生成したインテリメタファイルをサーバ２に送信する（ステップＳ６７）。
サーバ２の制御部３１ａは、ステップＳ６７にて送信されたインテリメタファイルを、インテリメタファイルの生成元となったビデオファイル（ステップＳ６５で送信されたビデオファイル）と紐付けてＨＤＤ３３に記憶する（ステップＳ６８）。例えば、サーバ２の制御部３１ａは、インテリメタファイルの生成元となったビデオファイルが格納されているフォルダに、インテリメタファイルを格納する。
サーバ２の制御部３１ａは、インテリメタファイルをフォルダに格納すると、端末装置１のディスプレイに、メタデータおよびインテリメタデータの選択画面（例えば、図２１Ｄの画面９１ｄ）を表示する（ステップＳ６９）。
なお、ユーザは、例えば、生成されるサマリビデオファイルの映像に、メタデータのテキストを表示させたい場合、メタデータに対応するチェックボックスを選択する。また、ユーザは、例えば、生成されるサマリビデオファイルの映像に、インテリメタデータのテキストを表示させたい場合、インテリメタデータに対応するチェックボックスを選択する。
端末装置１の制御部２１ａは、ユーザが選択したメタデータおよびインテリメタデータの選択情報（ビデオ表示情報）を、サーバ２に送信する（ステップＳ７０）。
サーバ２の制御部３１ａは、ステップＳ７０にて受信したビデオ表示情報と、ステップＳ６８にてフォルダに格納したインテリメタファイルと、インテリメタファイルの生成元となったビデオファイルとをサーバ６２に送信する（ステップＳ７１）。
サーバ６２の制御部８１ａは、ステップＳ７１にて送信されたビデオ表示情報と、インテリメタファイルと、ビデオファイルとから、サマリビデオファイルを生成する（ステップＳ７２）。
サーバ６２の制御部８１ａは、ステップＳ７２にて生成したサマリビデオファイルをサーバ２に送信する（ステップＳ７３）。
サーバ２の制御部３１ａは、ステップＳ７２にて送信されたサマリビデオファイルを、サマリビデオファイルの元となったビデオファイルと紐付けてＨＤＤ３３に記憶する（ステップＳ７４）。例えば、サーバ２の制御部３１ａは、サマリビデオファイルの元となったビデオファイルが格納されているフォルダに、サマリビデオファイルを格納する。
これにより、ユーザは、例えば、サーバ２で管理されている事件のフォルダにアクセスすることにより、サマリビデオファイルを閲覧できる。
＜第２−１の動作：サマリビデオファイルを閲覧する動作＞
図２３Ａ、図２３Ｂ、図２３Ｃ、図２３Ｄ、および図２３Ｅは、サマリビデオファイルの閲覧動作における端末装置１の画面例を示した図である。
図２３Ａに示す画面９２ａは、例えば、端末装置１がサーバ２にアクセスすると表示される。サーバ２の制御部３１ａは、端末装置１からのアクセスに応じて、端末装置１のディスプレイに、画面９２ａを表示する。
画面９２ａは、事件を検索する画面である。ユーザは、画面９２ａに表示されているテキストボックスに、サマリビデオファイルを閲覧したい事件の情報を入力することにより、サマリビデオファイルを閲覧したい事件を検索できる。
画面９２ａの例では、事件番号のテキストボックスに、サマリビデオファイルを閲覧したい事件の事件番号「NJ180425000011003」が入力されている。なお、ユーザは、例えば、サマリビデオファイルを閲覧したい事件の事件番号が分からなければ、事件が起きた日付、事件種別、警察官名、および分署名の少なくとも１つをテキストボックスに入力することによって、サマリビデオファイルを閲覧したい事件を検索できる。
図２３Ｂに示す画面９２ｂは、事件の検索後の画面例を示している。画面９２ｂは、例えば、図２３Ａの「検索」ボタンがクリックされると、端末装置１のディスプレイに表示される。
画面９２ｂには、検索された事件の事件番号「NJ180425000011003」が表示されている。また、画面９２ｂには、検索された事件のフォルダに格納されているファイルの種別一覧が表示されている。
画面９２ｂは、図２１Ｂに示した検索結果の画面９１ｂと異なり、「サマリビデオ」のファイル情報が追加されている。すなわち、事件番号「NJ180425000011003」の事件は、サマリビデオファイルが生成されたため、画面９２ｂには「サマリビデオ」のファイル情報が追加されている。
画面９２ｂには、ラジオボタンが表示されている。ユーザは、閲覧または視聴したいファイルに対応するラジオボタンを選択する。
例えば、ユーザは、「サマリビデオ」を視聴したい場合（すなわち、サーバ６２で生成されたサマリビデオファイルを視聴したい場合）、「サマリビデオ」に対応するラジオボタンを選択する。
図２３Ｃに示す画面９２ｃは、閲覧または視聴したいファイルが選択された後の画面例を示している。画面９２ｃでは、「サマリビデオ」が選択されている。
端末装置１の制御部２１ａは、画面９２ｃに示す「閲覧」ボタンがクリックされると、ユーザがラジオボタンで選択したファイルの情報（画面９２ｃの例では、「サマリビデオ」の情報）をサーバ２に送信する。
サーバ２の制御部３１ａは、端末装置１から、ユーザがラジオボタンで選択したファイルの情報を受信すると、受信した情報に対応するファイルの映像を、端末装置１に表示する。画面９２ｃの例では、「サマリビデオ」が選択されているので、サーバ２の制御部３１ａは、検索した事件のフォルダに格納されているサマリビデオファイルを抽出し、サマリビデオファイルの映像を端末装置１のディスプレイに表示する。
図２３Ｄに示す画面９２ｄは、サマリビデオファイルの映像が表示された画面例を示している。ユーザは、端末装置１のディスプレイにおいて、ビデオの再生、一時停止、停止、早送り、および早戻し等の操作をし、サマリビデオファイルを視聴できる。
図２４は、サマリビデオ生成システムのサマリビデオファイル再生動作例を示したシーケンス図である。ユーザは、端末装置１を用いて、サマリビデオファイルを視聴したい事件を検索するため、検索情報を入力する。
端末装置１の制御部２１ａは、ユーザが入力した検索情報を、サーバ２に送信する（ステップＳ８１）。
サーバ２の制御部３１ａは、ＨＤＤ３３を参照し、ステップＳ８１にて受信した検索情報に基づいて、事件を検索する（ステップＳ８２）。
サーバ２の制御部３１ａは、ステップＳ８２にて検索した事件のフォルダに記憶されているファイル（例えば、ビデオファイル、音声ファイル、メモの画像ファイル、およびサマリビデオファイル等）の種別情報（例えば、図２３Ｂの画面９２ｂを参照）を、端末装置１のディスプレイに表示する（ステップＳ８３）。
なお、ユーザは、ステップＳ８３の画面において、サマリビデオファイルを選択する（例えば、図２３Ｃの画面９２ｃの「サマリビデオ」に対応するラジオボタンを選択する）。
端末装置１の制御部２１ａは、ユーザが選択した情報（サマリビデオファイルを選択した情報）を、サーバ２に送信する（ステップＳ８４）。
サーバ２の制御部３１ａは、ステップＳ８４にて送信された、ユーザが選択した情報のファイル（サマリビデオファイル）の映像（例えば、図２３Ｄの画面９２ｄを参照）を、端末装置１のディスプレイに表示する（ステップＳ８５）。
なお、端末装置１のディスプレイには、再生、一時停止、停止、早送り、および早戻し等のボタンが表示されている（例えば、図２３Ｄの画面９２ｄを参照）。ユーザは、これらのボタンをクリックすることにより、ビデオの再生、一時停止、停止、早送り、および早戻し等の操作ができる。
＜第２−２の動作：エクスポート動作＞
図２５は、エクスポート動作における端末装置１の画面例を示した図である。
図２５に示す画面１０１は、閲覧または視聴したいファイルが選択された後の画面例を示している。画面１０１は、例えば、図２３Ｄで説明した画面９２ｄに対応している。例えば、画面１０１は、サーバ２によって事件が検索された後、検索された事件のフォルダ内のファイルの情報が端末装置１のディスプレイに表示され、視聴したいサマリビデオファイルがユーザによって選択された後の画面例を示している。画面１０１には、サマリビデオファイルの映像が表示される。
ユーザは、例えば、端末装置１のディスプレイに表示されている再生、一時停止、停止、早送り、および早戻し等のボタンをクリックし、サマリビデオファイルを閲覧する。ユーザは、サマリビデオを視聴した結果、サマリビデオファイルの映像からエクスポートしたい範囲を、端末装置１のディスプレイで指定する。
例えば、ユーザは、エクスポートしたいサマリビデオの開始時間を、端末装置１のディスプレイで指定する。また、ユーザは、エクスポートしたいサマリビデオの終了時間を、端末装置１のディスプレイで指定する。
画面１０１の例では、エクスポートを開始する「開始時間」のテキストボックスに「１２：２５」が入力されている。また、画面１０１の例では、エクスポートを終了する「終了時間」のテキストボックスに「１２：３２」が入力されている。
ユーザは、例えば、ビデオの閲覧中に、エクスポートを開始したい映像が表示されると、画面１０１の「選択」ボタンをクリックしてもよい。端末装置１の制御部２１ａは、「選択」ボタンのクリックに応じて、再生しているビデオ内での時刻を、「開始時間」のテキストボックスに入力してもよい。端末装置１の制御部２１ａは、「選択」ボタンが次にクリックされると、再生しているビデオ内での時刻を、「終了時間」のテキストボックスに入力してもよい。
端末装置１の制御部２１ａは、サマリビデオファイルのエクスポート範囲が指定され、「エクスポート」ボタンがクリックされると、画面１０１で入力されたエクスポート範囲の情報を、サーバ２に送信する。
サーバ２の制御部３１ａは、端末装置１から送信されたエクスポート範囲の情報に基づいて、サマリビデオファイルのコピーファイルを編集する。例えば、サーバ２の制御部３１ａは、コピーファイルのエクスポート範囲外の映像を削除してエクスポートファイルを生成する。これにより、ユーザは、サマリビデオファイルから、ユーザが範囲指定した映像のビデオファイルを取得できる。
図２６は、文書作成システムのエクスポート動作例を示したシーケンス図である。ユーザは、端末装置１を用いて、エクスポートファイルを作成したい事件を検索するため、検索情報を入力する。
端末装置１の制御部２１ａは、ユーザが入力した検索情報を、サーバ２に送信する（ステップＳ９１）。
サーバ２の制御部３１ａは、ＨＤＤ３３を参照し、ステップＳ９１にて受信した検索情報に基づいて、事件を検索する（ステップＳ９２）。
サーバ２の制御部３１ａは、ステップＳ９２にて検索した事件のフォルダに記憶されているファイル（例えば、ビデオファイル、音声ファイル、メモの画像ファイル、およびサマリビデオファイル等）の種別情報（例えば、図２３Ｂの画面９２ｂを参照）を、端末装置１のディスプレイに表示する（ステップＳ９３）。
なお、ユーザは、ステップＳ９３にて端末装置１のディスプレイに表示された画面において、サマリビデオファイルを選択する（例えば、図２３Ｃの画面９２ｃの「サマリビデオ」に対応するラジオボタンを選択する）。
端末装置１の制御部２１ａは、ユーザが選択した情報（サマリビデオファイルを選択した情報）を、サーバ２に送信する（ステップＳ９４）。
サーバ２の制御部３１ａは、ステップＳ９４にて送信された、ユーザが選択した情報のファイル（サマリビデオファイル）の映像（例えば、図２５の画面１０１を参照）を、端末装置１のディスプレイに表示する（ステップＳ９５）。
ユーザは、端末装置１のディスプレイに表示されるビデオを視聴し、エクスポートファイルを作成したい範囲を指定できる。例えば、ユーザは、映像内における時刻によって、エクスポートファイルを作成したい範囲を指定できる（例えば、図２５の画面１０１の開始時間および終了時間を参照）。ユーザは、ビデオを再生および早戻し等の操作を行って、繰り返しビデオを視聴し、エクスポートファイルを作成したい範囲を指定できる。
端末装置１の制御部２１ａは、ユーザが指定したエクスポート範囲をサーバ２に送信する（ステップＳ９６）。
サーバ２の制御部３１ａは、ステップＳ９６にて送信されたエクスポート範囲に基づいて、サマリビデオファイルのコピーファイルの映像を編集し（例えば、エクスポート範囲外の映像を削除し）、エクスポートファイルを生成する（ステップＳ９７）。
サーバ２の制御部３１ａは、ステップＳ９７にて生成したエクスポートファイルを、サマリビデオファイルと紐付けてＨＤＤ３３に記憶する（ステップＳ９８）。例えば、サーバ２の制御部３１ａは、エクスポートファイルの元となったサマリビデオファイルが格納されているフォルダに、エクスポートファイルを格納する。これにより、ユーザは、サマリビデオファイルから、ユーザが範囲指定した映像のビデオファイルを取得できる。
＜第２−３の動作：サマリビデオファイルからＡＴファイルを生成する動作＞
図２７は、ＡＴファイルの生成動作における端末装置１の画面例を示した図である。
図２７に示す画面１０２は、ＡＴファイルを生成したいファイルが選択された後の画面例を示している。画面１０２は、例えば、図２３Ｃで説明した画面９２ｃに対応している。画面１０２では、「サマリビデオ」が選択されている。
ユーザは、サマリビデオファイルの映像のＡＴファイルを生成したい場合、画面１０１の「音声テキスト化」ボタンをクリックする。
端末装置１の制御部２１ａは、画面１０２に示す「音声テキスト化」ボタンがクリックされると、ユーザがラジオボタンで選択したファイルの情報（画面１０２の例では、「サマリビデオ」の情報）をサーバ２に送信する。
サーバ２の制御部３１ａは、端末装置１から、ユーザがラジオボタンで選択したファイルの情報を受信すると、受信した情報に対応するファイルのコピーを、第１の実施の形態で説明したサーバ３に送信する。画面１０１の例では、「サマリビデオ」が選択されているので、サーバ２の制御部３１ａは、サマリビデオファイルのコピーを、サーバ３に送信する。
サーバ３の制御部４１ａは、サーバ２から送信されたサマリビデオファイルを受信すると、音声データを抽出し、テキストデータに変換する。そして、サーバ３の制御部４１ａは、例えば、図４に示したようなＡＴファイルを生成する。サーバ３の制御部４１ａは、ＡＴファイルを生成すると、生成したＡＴファイルをサーバ２に送信する。
サーバ２の制御部３１ａは、サーバ３からＡＴファイルを受信すると、サーバ３に送信したサマリビデオファイルが格納されていたフォルダに格納する。これにより、サマリビデオファイルと、そのサマリビデオファイルのＡＴファイルは紐付けられて（同じ事件のフォルダに格納されて）管理される。
これにより、ユーザは、例えば、サーバ２で管理されている事件のフォルダにアクセスすることにより、サマリビデオファイルのＡＴファイルを閲覧できる。
図２８は、サマリビデオ生成システムのＡＴファイル生成動作例を示したシーケンス図である。ユーザは、端末装置１を用いて、ＡＴファイルを作成したい事件を検索するため、検索情報を入力する。
端末装置１の制御部２１ａは、ユーザが入力した検索情報を、サーバ２に送信する（ステップＳ１０１）。
サーバ２の制御部３１ａは、ＨＤＤ３３を参照し、ステップＳ１０１にて送信された検索情報に基づいて、事件を検索する（ステップＳ１０２）。
サーバ２の制御部３１ａは、ステップＳ１０２にて検索した事件のフォルダに記憶されているファイル（例えば、ビデオファイル、音声ファイル、メモの画像ファイル、およびサマリビデオファイル等）の種別情報（例えば、図２３Ｂの画面９２ｂを参照）を、端末装置１のディスプレイに表示する（ステップＳ１０３）。
なお、ユーザは、ステップＳ１０３の画面において、サマリビデオファイルを選択する（例えば、図２７の画面１０２の「サマリビデオ」に対応するラジオボタンを選択する）。
端末装置１の制御部２１ａは、ユーザが選択した情報（サマリビデオファイルを選択した情報）を、サーバ２に送信する（ステップＳ１０４）。
サーバ２の制御部３１ａは、ステップＳ１０４にて送信された、ユーザが選択した情報のファイル（サマリビデオファイル）の映像を、端末装置１のディスプレイに表示する（ステップＳ１０５）。
ユーザは、端末装置１のディスプレイに表示されるビデオを視聴し、ＡＴファイルを作成したい範囲を指定できる。例えば、ユーザは、映像内における時刻によって、ＡＴファイルを作成したい範囲を指定できる。ユーザは、ビデオを再生および早戻し等の操作を行って、繰り返しビデオを視聴し、エクスポートファイルを作成したい範囲を指定できる。
サーバ２の制御部３１ａは、ユーザが指定したＡＴファイルの範囲と、ＡＴファイルの生成指示とをサーバ２に送信する（ステップＳ１０６）。
サーバ２の制御部３１ａは、ステップＳ１０６にて送信されたＡＴファイルの生成指示を受信すると、ステップＳ１０５にて再生したサマリビデオファイルをコピーし、サーバ３に送信する（ステップＳ１０７）。また、サーバ２の制御部３１ａは、ステップＳ１０６にて送信されたＡＴファイルの範囲をサーバ３に送信する。
サーバ３の制御部４１ａは、ステップＳ１０７にて送信されたＡＴファイルの範囲において、ステップＳ１０７にて送信されたサマリビデオファイルに含まれる音声をテキスト化する（ステップＳ１０８）。
サーバ３の制御部４１ａは、テキスト化されたデータを含むＡＴファイルをサーバ２に送信する（ステップＳ１０９）。
サーバ２の制御部３１ａは、ステップＳ１０９にて送信されたＡＴファイルを、テキスト化されたビデオファイル（ステップＳ１０７で送信されたサマリビデオファイル）と紐付けてＨＤＤ３３に記憶する（ステップＳ１１０）。例えば、サーバ２の制御部３１ａは、テキスト化されたサマリビデオファイルが格納されているフォルダに、ＡＴファイルを格納する。
これにより、ユーザは、例えば、サーバ２で管理されている事件のフォルダにアクセスすることにより、ＡＴファイルを閲覧できる。
以上説明したように、情報処理装置を構成するサーバ２の制御部３１ａは、警察官に装着または所持されたウェアラブルカメラまたは警察車両に搭載された車載カメラが撮影した映像のビデオファイルを記憶したＨＤＤ３３から、端末装置１において指定されたビデオファイルを取得する。情報処理装置を構成するサーバ６１の制御部７１ａは、サーバ２によって取得されたビデオファイルの映像を解析して事件に関するインテリメタデータを生成する。情報処理装置を構成するサーバ６２の制御部８１ａは、サーバ６１が生成したインテリメタデータに基づいて、ビデオファイルから、事件のレポート対象となる映像部分を抽出したサマリビデオファイルを生成する。情報処理装置を構成するサーバ２の通信インターフェース３４は、サーバ６２によって生成されたサマリビデオファイルのデータを端末装置１に送信する。このように、情報処理装置は、カメラが撮影した映像のビデオファイルから、レポート対象となる部分の映像を含むサマリビデオファイルを生成するので、ユーザの事件に関するレポートの作成が容易になる。
なお、上記では、インテリメタデータは、ビデオファイルとは別のファイルで管理されるとしたが、これに限られない。インテリメタデータは、ビデオファイルのビデオデータに付加されてもよい。
上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
上記で説明したサーバ２の制御部３１ａは、カメラが撮影した事件に関する映像のビデオファイルを記憶したＨＤＤ３３から、端末装置１において指定されたビデオファイルを取得する取得部として機能してもよい。また、サーバ３の制御部４１ａは、ビデオファイルに含まれる音声データを抽出し、抽出した音声データをテキストデータに変換する変換部として機能してもよい。また、サーバ２の通信インターフェース３４は、テキストデータ（ＡＴファイル）を端末装置１に送信する送信部として機能してもよい。また、サーバ３の制御部４１ａは、端末装置１から指定されたファイル形式において、ＡＴファイルを生成する生成部として機能してもよい。
また、サーバ２の制御部３１ａは、カメラが撮影した事件に関する映像のビデオファイルを記憶したＨＤＤ３３から、端末装置１において指定されたビデオファイルを取得する取得部として機能してもよい。また、サーバ６１の制御部７１ａは、ビデオファイルの映像を解析してインテリメタデータを生成する生成部として機能してもよい。また、サーバ６２の制御部８１ａは、サーバ６１が生成したインテリメタデータに基づいて、ビデオファイルの映像の一部を削除したサマリビデオファイルを生成する生成部として機能してもよい。また、サーバ２の通信インターフェース３４は、サーバ６２によって生成されたサマリビデオファイルの映像データを端末装置１に送信する送信部として機能してもよい。
本開示は、警察署の事件に関する文書作成システムおよびサマリビデオ生成システムに有用である。
１ 端末装置
２，３，６１，６２ サーバ
１０ ＡＴファイル
１１ａ，１１ｂ タイムスタンプ
１２ａ，１２ｂ 識別子
１３ａ，１３ｂ テキスト
１４ａ，１４ｂ メタデータ
１５ａ，１５ｂ 画像
２１，３１，４１，７１，８１ ＣＰＵ
２１ａ，３１ａ，４１ａ，７１ａ，８１ａ 制御部
２２，３２，４２，７２，８２ ＲＡＭ
２３，３３，４３，７３，８３ ＨＤＤ
２４，３４，４４，７４，８４ 通信インターフェース
２５ ユーザインターフェース

Claims (13)

  1. 警察官に装着または所持されたウェアラブルカメラまたは警察車両に搭載された車載カメラが撮影した映像の映像データを記憶した記憶装置から、端末装置において指定された映像データを取得する取得部と、
    前記取得された映像データに含まれる音声データを抽出し、抽出した前記音声データをテキストデータに変換する変換部と、
    前記テキストデータを前記端末装置に送信する送信部と、
    を有する情報処理装置。
  2. 前記変換部は、前記音声データが抽出されたときの映像内における時刻を、前記テキストデータに含める、
    請求項１に記載の情報処理装置。
  3. 前記変換部は、前記音声データが抽出されたときの映像の画像データを、前記テキストデータに含める、
    請求項１または２に記載の情報処理装置。
  4. 前記変換部は、前記映像データに付加されている事件に関連する情報を、前記テキストデータに含める、
    請求項１から３のいずれか一項に記載の情報処理装置。
  5. 前記端末装置から指定されたファイル形式において、前記テキストデータを含むファイルを生成する生成部、をさらに有する、
    請求項１から４のいずれか一項に記載の情報処理装置。
  6. 前記生成部は、前記端末装置からの指示に応じて、前記音声データが抽出されたときの映像内における時刻、前記音声データが抽出されたときの映像の画像データ、または前記映像データに付加されている事件に関する情報を、前記ファイルに含める、
    請求項５に記載の情報処理装置。
  7. 前記変換部は、前記端末装置から指定された映像範囲において、前記音声データを前記テキストデータに変換する、
    請求項１から６のいずれか一項に記載の情報処理装置。
  8. 警察官に装着または所持されたウェアラブルカメラまたは警察車両に搭載された車載カメラが撮影した映像の映像データを記憶した記憶装置から、端末装置において指定された映像データを取得し、
    前記取得した映像データに含まれる音声データを抽出し、
    前記音声データをテキストデータに変換し、
    前記テキストデータを前記端末装置に送信する、
    映像テキスト変換方法。
  9. 警察官に装着または所持されたウェアラブルカメラまたは警察車両に搭載された車載カメラが撮影した映像の映像データを記憶した記憶装置から、端末装置において指定された映像データを取得する取得部と、
    前記取得された映像データの映像を解析して事件に関連する情報を生成し、生成した前記情報に基づいて、前記映像データから事件のレポート対象となる映像部分を抽出したサマリ映像データを生成する生成部と、
    前記サマリ映像データを前記端末装置に送信する送信部と、
    を有する情報処理装置。
  10. 前記生成部は、前記情報をテキストデータとして前記サマリ映像データに含め、
    前記情報は、前記端末装置のディスプレイにテキストで表示される、
    請求項９に記載の情報処理装置。
  11. 前記生成部は、前記端末装置から指定された映像範囲において、前記サマリ映像データを抽出した抽出サマリ映像データを生成する、
    請求項９または１０に記載の情報処理装置。
  12. 前記サマリ映像データに含まれる音声データを抽出し、抽出した前記音声データをテキストデータに変換する変換部、をさらに有し、
    前記送信部は、変換された前記テキストデータを前記端末装置に送信する、
    請求項９から１１のいずれか一項に記載の情報処理装置。
  13. 警察官に装着または所持されたウェアラブルカメラまたは警察車両に搭載された車載カメラが撮影した映像の映像データを記憶した記憶装置から、端末装置において指定された映像データを取得し、
    前記取得した映像データの映像を解析して事件に関連する情報を生成し、
    前記情報に基づいて、前記映像データから事件のレポート対象となる映像部分を抽出したサマリ映像データを生成し、
    前記サマリ映像データを前記端末装置に送信する、
    映像データ生成方法。
JP2018119668A 2018-06-25 2018-06-25 情報処理装置、映像テキスト変換方法、および映像データ生成方法 Pending JP2020005014A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018119668A JP2020005014A (ja) 2018-06-25 2018-06-25 情報処理装置、映像テキスト変換方法、および映像データ生成方法
US16/250,653 US10936873B2 (en) 2018-06-25 2019-01-17 Information processing apparatus and method for generating video picture data
US16/250,661 US11042744B2 (en) 2018-06-25 2019-01-17 Information processing apparatus and method for conversion of video picture into text

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018119668A JP2020005014A (ja) 2018-06-25 2018-06-25 情報処理装置、映像テキスト変換方法、および映像データ生成方法

Publications (1)

Publication Number Publication Date
JP2020005014A true JP2020005014A (ja) 2020-01-09

Family

ID=68980772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018119668A Pending JP2020005014A (ja) 2018-06-25 2018-06-25 情報処理装置、映像テキスト変換方法、および映像データ生成方法

Country Status (2)

Country Link
US (2) US10936873B2 (ja)
JP (1) JP2020005014A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021128323A (ja) * 2020-02-10 2021-09-02 株式会社時空テクノロジーズ 情報処理装置、情報処理システム、および、プログラム
JP2021150901A (ja) * 2020-03-23 2021-09-27 株式会社デンソーテン 運転情報記録装置、運転情報再生システム、及び運転情報記録方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190332899A1 (en) * 2018-04-26 2019-10-31 Sorenson Ip Holdings, Llc Analysis of image media corresponding to a communication session
CN113841417B (zh) * 2020-09-27 2023-07-28 深圳市大疆创新科技有限公司 影片生成方法、终端设备、拍摄设备及影片生成系统
US20230010320A1 (en) * 2021-07-12 2023-01-12 Getac Technology Corporation Classification and indicating of events on an edge device
CN114241392A (zh) * 2021-12-23 2022-03-25 苏州企智信息科技有限公司 一种基于视频行为识别的工厂规范自动巡检方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664006A (en) 1995-06-07 1997-09-02 Globalstar L.P. Method for accounting for user terminal connection to a satellite communications system
WO2006016437A1 (ja) 2004-08-11 2006-02-16 Ginganet Corporation テレビ電話交番システム
JP2009086207A (ja) 2007-09-28 2009-04-23 Toppan Printing Co Ltd 議事録情報生成システム、議事録情報生成方法、及び議事録情報生成プログラム
US8542981B2 (en) * 2008-05-20 2013-09-24 Honeywell International Inc. Manual voice annotations for CCTV reporting and investigation
US20110287787A1 (en) 2009-11-25 2011-11-24 Qualcomm Incorporated Location-based service based on access point identifiers
WO2014208575A1 (ja) 2013-06-28 2014-12-31 日本電気株式会社 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
US20150264296A1 (en) * 2014-03-12 2015-09-17 videoNEXT Federal, Inc. System and method for selection and viewing of processed video
US9661283B2 (en) * 2014-12-24 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Wearable camera
JP6202283B2 (ja) * 2015-04-16 2017-09-27 パナソニックＩｐマネジメント株式会社 事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム
US20160366327A1 (en) * 2015-06-09 2016-12-15 Collateral Opportunities, Llc Method and system for determining whether a law enforcement instrument has been removed and concurrently activating a body camera
CN105704570B (zh) * 2016-03-08 2019-05-07 上海小蚁科技有限公司 用于产生视频的一个或多个预览帧的方法和装置
US10218943B2 (en) 2017-03-02 2019-02-26 L3 Technologies, Inc. Method and apparatus for triggering multiple data recording devices
WO2019084890A1 (en) * 2017-11-03 2019-05-09 Tencent Technology (Shenzhen) Company Limited Method and system for processing audio communications over a network
US11036979B2 (en) 2018-03-15 2021-06-15 Motorola Solutions, Inc. Device, system and method for generating an alert and an automatic search for a candidate subject
US11030913B2 (en) * 2018-06-07 2021-06-08 Thinkster Learning, Inc. Intelligent and contextual system for knowledge progression and quiz management

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021128323A (ja) * 2020-02-10 2021-09-02 株式会社時空テクノロジーズ 情報処理装置、情報処理システム、および、プログラム
JP2021150901A (ja) * 2020-03-23 2021-09-27 株式会社デンソーテン 運転情報記録装置、運転情報再生システム、及び運転情報記録方法
JP7417447B2 (ja) 2020-03-23 2024-01-18 株式会社デンソーテン 運転情報再生システム及び運転情報再生方法

Also Published As

Publication number Publication date
US11042744B2 (en) 2021-06-22
US20190392214A1 (en) 2019-12-26
US20190392215A1 (en) 2019-12-26
US10936873B2 (en) 2021-03-02

Similar Documents

Publication Publication Date Title
JP2020005014A (ja) 情報処理装置、映像テキスト変換方法、および映像データ生成方法
JP4791288B2 (ja) デジタル写真を電子ドキュメントにリンクするための方法およびシステム
US10728502B2 (en) Multiple communications channel file transfer
JP5866728B2 (ja) 画像認識システムを備えた知識情報処理サーバシステム
US9214191B2 (en) Capture and transmission of media files and associated metadata
US8977958B2 (en) Community-based software application help system
US11100066B2 (en) Extended memory system
US9270950B2 (en) Identifying a locale for controlling capture of data by a digital life recorder based on location
US20080201299A1 (en) Method and System for Managing Metadata
US20090150425A1 (en) Systems,methods and computer products for content-derived metadata
KR20170084745A (ko) 다중-모달리티 특징 융합을 통한 퍼스널 미디어 자동 재창작 시스템 및 그 동작 방법
WO2006011900A2 (en) Method and system for managing metadata
WO2004002144A1 (ja) メタデータ作成装置、その作成方法および検索装置
KR100733095B1 (ko) 정보 처리 장치 및 정보 처리 방법
JP4354441B2 (ja) 映像データ管理装置及び方法及びプログラム
CN109614482A (zh) 标签的处理方法、装置、电子设备及存储介质
JP2004334782A (ja) 端末装置、業務指示方法、コンテンツ提供装置、コンテンツ提供方法、記録媒体、プログラム、業務管理システム、および業務管理方法
JP2007047959A (ja) 情報編集表示装置、情報編集表示方法、サーバ、情報処理システムおよび情報編集表示プログラム
JPWO2008136466A1 (ja) 動画編集装置
WO2021111872A1 (ja) コンテンツ提供システム、コンテンツ提供方法、及び記憶媒体
US20130204414A1 (en) Digital audio communication system
US20140078331A1 (en) Method and system for associating sound data with an image
JP2007207057A (ja) タイトル作成装置、タイトル作成方法およびタイトル作成プログラム
US20230350549A1 (en) Automatic incident compilation system
JP2008017050A (ja) 会議システム及び会議方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190731

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190902

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190910

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191205

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20201224