JP2017169181A - 再生装置 - Google Patents

Abstract

【課題】ユーザによる動画像データ等の時系列データからの有益情報の検出を支援する再生装置を提供する。【解決手段】再生装置１は、タイムスタンプを有する動画像データ２００を再生する再生装置であり、発生時刻情報を有するイベント情報３００を取得する再生フレーム判断部１４３と、動画像データ２００のうち、再生フレーム判断部１４３が取得したイベント情報３００の発生時刻情報と同一又は最も近いタイムスタンプが示す時刻を含む時間帯をジャンプ再生する表示部１２を備えるようにした。【選択図】図２

Description

本発明は、動画像データ等の時系列データを再生する再生装置に関する。

工場やオフィス等においては、各種の設備が稼働しており、それら設備を監視するデータ発生装置が観測値、エラー情報及びステータス情報等の設備に対する観測結果を示す現場データを出力する。データ発生装置は、設備のセンサ、ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）を制御するプログラマブルロジックコントローラ、製品をカウントするコンピュータ、ユーザが情報入力可能なモバイル端末等である。

現場データは、コード化された、若しくは観測結果である数値として出力され、発生場所や日時情報が付加されたイベント情報として、固定資産管理者によりモニタリングされる。固定資産管理者は、例えば、工場では設備の保守管理者であり、オフィスではサーバ等の設備管理者である。

このイベント情報は、工場やオフィスの稼働管理、製品の品質管理、経営管理等の操業に寄与する貴重な情報である。しかしながら、設備から直接出力されるイベント情報は、コード若しくは単なる観測数値、及び発生場所や発生日時等の直接的な意味以外には、２次的、３次的な意味を有していない。従来は、現場レベルで得られた情報を管理や経営レベルに至るまでの間に各層で順次解釈し直し、イベント情報を２次的、３次的な意味を持つ情報に変化させていくことで、各レベルにおいてイベント情報を活用していた。そのため、現場レベルと管理や経営レベルとでは、情報の伝わり方にタイムラグが発生しがちとなり、現場レベルと経営管理レベルが遊離しがちとなっている。

そこで、各レベルにおいてリアルタイムにイベント情報を共有することのできる情報収集システムが提唱されている（例えば特許文献１参照）。この情報収集システムは、現場データに付加する各補足情報の種類を定義するモデルが収容された辞書を記憶しておく。また、各種各内容の補足情報が記憶されたデータベースを用意しておく。そして、辞書に従って、データベースから各補足情報を検索し、検索された各補足情報を現場データに追加してイベント情報を生成する。

これにより、イベント情報は、現場データに対する単なる背景情報のみならず、現場データの内容に対する解釈や評価等の説明情報も加わることになり、情報伝達に即時性を有することになる。つまり、利用者側からは、必要とする内容が直接的かつ分かりやすく記述されたイベント情報が発生しているように見え、解釈の作業を要することなく、そのイベント情報の到達の時点で、イベント情報の持つ２次的、３次的な意味内容を理解することができる。従って、現場レベルから経営管理レベルに至るまで、イベント情報の到達のタイムラグを解消するのみならず、イベント情報に対する理解のタイムラグをも解消することができる。

但し、特に情報収集システムの立ち上げ初期段階においては、辞書の作成において、現場データに付加する各補足情報の種類をモデルに過不足なく定義しておくことは容易ではない。そこで、監視カメラが出力した動画像データの観察を併用する場合も多い。イベント情報に未だ含有していない有益な情報が、動画像データには存在する可能性があるためである。

ユーザは、イベント情報と動画像データの両方を閲覧端末に表示させ、イベント情報に注目したり、動画像データを注目したり、両データを行きつ戻りつしたり、注目するイベント情報を変えたり、注目する動画像データを変えたりすることで、有益な情報の気づきを得ようとしていた。

特開２０１２−２３４４９６号公報

動画像データは、イベント情報の内容を補強する有益情報を記録するのみならず、不要な情報も大量に記録したバルキーデータである。しかも、その有益情報の存在はあくまで可能性であり、撮影視野内の何れに存在するか不明であり、時系列上の何れに存在するか不明であり、更に他の不要情報と明瞭な区別なく渾然一体となって散在している。

そのため、監視者は、動画像データが示す映像の各所各時間を手がかりなく観察するしかなかった。観察により有益情報を検出できても、その有益情報を確認するには、ユーザが望む位置にキューポイントを設けることができるまでは、ユーザは手動にて所望位置まで何度も映像を戻さねばならず、この煩雑作業がユーザの有益情報への気づきの機会を低下させる一因でもあった。

本発明は、上記のような従来技術の問題点を解決するため、ユーザによる動画像データ等の時系列データからの有益情報の検出を支援する再生装置を提供することを目的とする。

上記目的を達成するために、本発明に係る再生装置は、タイムスタンプを有する時系列データを再生する再生装置であって、発生時刻情報を有するイベント情報を取得する第１の取得部と、前記時系列データのうち、前記第１の取得部が取得した前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻を含む所定時間範囲を再生する表示部と、を備えること、を特徴とする。

前記第１の取得部が取得した前記イベント情報と関連する単数又は複数の他のイベント情報を取得する第２の取得部を更に備え、前記表示部は、前記時系列データのうち、前記第２の取得部が取得した前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す各時刻を含む所定時間範囲へ順次ジャンプして再生するようにしてもよい。

前記表示部は、前記時系列データの再生中、前記イベント情報が発生した時刻を含む所定時間範囲へジャンプ再生し、前記ジャンプ再生が終了すると、最新時刻の再生に戻すようにしてもよい。

前記表示部は、前記時系列データの再生中、前記イベント情報が発生した時刻を含む所定時間範囲へジャンプ再生し、前記ジャンプ再生が終了すると、前記ジャンプ再生の直前に再生していた時刻又は其の前後の再生に戻すようにしてもよい。

前記表示部は、取得された前記イベント情報を前記時系列データの画像に合成表示するようにしてもよい。

前記イベント情報は、各種各内容の補足情報を含み、前記第２の取得部は、前記第１の取得部が取得した前記イベント情報に含まれる単数又は複数の前記補足情報と同一の前記補足情報を有する前記イベント情報を取得するようにしてもよい。

前記補足情報には、イベントの種類を示すイベント種類情報が含まれるようにしてもよい。

複数の前記イベント情報を関連付けるデータベースを更に備え、前記第２の取得部は、前記第１の取得部が取得した前記イベント情報と前記データベースで関連付けられている前記イベント情報を取得するようにしてもよい。

前記時系列データは、動画像データ、動線軌跡データ又は音声データであるようにしてもよい。

前記所定時間範囲は、前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻を始端とするようにしてもよい。

前記所定時間範囲は、前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻よりも過去時刻を始端とし、前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻よりも将来時刻を終端とするようにしてもよい。

前記所定時間範囲は、前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻のみを含み、前記表示部は、前記時系列データを静止表示するようにしてもよい。

前記時系列データのうち、前記第１の取得部が取得した前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻を含む所定時間範囲の時系列データを抜き出す生成部と、前記データ生成部が抜き出した時系列データを記憶する記憶部と、を更に備え、前記表示部は、前記記憶部に記憶された時系列データを表示するようにしてもよい。

前記第１の取得部は、複数の前記イベント情報を取得し、前記生成部は、前記時系列データのうち、前記第１の取得部が取得した前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す全ての時刻を含む、連続した所定時間範囲の時系列データを抜き出すようにしてもよい。

前記生成部は、前記時系列データのうち、前記第１の取得部及び前記第２の取得部が取得した前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す全ての時刻を含む、連続した所定時間範囲の時系列データを抜き出すようにしてもよい。

ユーザの操作を受け付ける操作部を更に備え、前記データ生成部は、前記抜き出した時系列データと前記第１の取得部が取得した前記イベント情報とを関連付ける関連付けデータを更に生成し、前記記憶部は、前記関連付けデータを更に記憶し、前記表示部は、前記操作部を用いてユーザが選択した前記イベント情報と前記関連付けデータにより関連付けられた時系列データを表示するようにしてもよい。

本発明によれば、イベント情報が発生した時刻を含む時間範囲を簡便に再生できるので、時系列データを観察すべき時間範囲を絞り込むことができ、煩雑な作業を要することなく、ユーザに時系列データから有益情報の気づきを与えることができる。

再生装置の設置環境を示す模式図である。 第１の実施形態に係る再生装置の構成を示すブロック図である。 第１の実施形態に係る再生装置によるジャンプ再生の動作を示すフローチャート前半である。 第１の実施形態に係る再生装置によるジャンプ再生の動作を示すフローチャート後半である。 再生装置の表示画面を示す模式図であり、リアルタイム再生中のジャンプ再生イベントを示す。 第１の実施形態に係る動画像データの再生を示す遷移図である。 第１の実施形態の変形例に係る動画像データの再生を示す遷移図である。 第１の実施形態の変形例に係る動画像データの再生を示す遷移図である。 イベント情報のデータ構造を示す模式図である。 第２の実施形態に係る再生装置の構成を示すブロック図である。 第２の実施形態に係る再生装置によるジャンプ再生の動作例を示すフローチャートである。 第２の実施形態に係る再生装置によるジャンプ再生の他の動作例を示すフローチャートである。 第２の実施形態に係る動画像データの再生を示す遷移図である。 変形例４に係る再生装置の構成を示すブロック図である。 変形例４に係るデータベースを示す模式図である。 変形例５に係る再生装置１の表示画面を示す模式図であり、リアルタイム再生中のジャンプ再生イベントを示す。 第３の実施形態に係る再生装置の構成を示すブロック図である。 第３の実施形態に係る再生装置による合成表示の動作を示すフローチャートである。 第３の実施形態に係る再生装置による合成表の表示画面を示す模式図であり、リアルタイム再生中を示す。 第４の実施形態に係る再生装置の構成を示すブロック図である。 第４の実施形態に係る再生装置の動画像データの作成動作を示すフローチャートである。 第４の実施形態に係る再生装置の動画像データの再生動作を示すフローチャートである。 変形例６に係る再生装置が生成する動画像データの模式図である。 変形例６に係る再生装置の動画像データの生成動作を示すフローチャートである。

（第１の実施形態）
（構成）
以下、本発明に係る再生装置の第１の実施形態について図面を参照して詳細に説明する。図１は、再生装置１の設置環境を示す模式図である。図１に示す再生装置１は、動画像データ２００とイベント情報３００が発生するネットワーク１００に接続される。この再生装置１は、イベント情報３００の発生日時を利用して動画像データ２００の再生開始フレームを決定し、ネットワーク１００上の動画像データ２００を再生する。

動画像データ２００は、撮影中の監視カメラを出発点としてリアルタイムに配信される。この動画像データ２００は、ネットワーク１００にてエンコーダを通され、各フレームデータにタイムスタンプが付されている。タイムスタンプは、各フレームデータの発生日時を直接的又は間接的に示す。イベント情報３００は、エラー情報やステータス情報等であり、測定又は観測機器が出力する測定又は観測結果である。イベント情報３００には、測定又は観測結果の他、少なくとも発生時刻情報が付加される。

図２は、再生装置１の構成を示すブロック図である。この再生装置１は、ネットワーク１００との通信インターフェースとマンマシン入出力インターフェースを有する所謂コンピュータであり、例えばデスクトップコンピュータ、ラップトップコンピュータ、スマートフォン又はタブレット端末である。この再生装置１は、再生処理部１１と表示部１２と操作部１３と再生制御部１４を備える。

再生処理部１１は、所謂グラフィックエンジンであり、ＣＰＵやＧＰＵ等の演算制御装置とフレームメモリを含み構成される。再生処理部１１は、動画像データ２００をデコードし、時系列順にフレームデータを生成し、ＶＲＡＭやＲＡＭＤＡＣ等の表示部１２に読み取られるフレームメモリを、新しく生成したフレームデータで順次更新する。この再生処理部１１は、表示画面に規定された再生エリアに動画像データをオーバーレイ表示させる。

表示部１２は、フレームメモリ内のフレームデータを映像化するスクリーンであり、液晶ディスプレイや有機ＥＬディスプレイ等である。この表示部１２は、フレームメモリから所定のフレッシュレートでフレームデータを読み込んで順次映像化する。操作部１３は、ユーザの操作を受け付ける入力インターフェースであり、キーボード、マウス、タッチパネル、マイク又はカメラである。操作部１３は、動画像データ２００の再生中、ユーザによるイベント情報３００の選択に利用される。

再生制御部１４は、主にＣＰＵを含み構成され、動画像データ２００が撮影された時間範囲内で、再生位置の変更を再生処理部１１に指示する。この再生制御部１４は、ユーザ操作に応じて、動画像データ２００のリアルタイム再生中に、一時的にジャンプ再生を挿入する。その他、ユーザによる任意の選択時点から再生、または頭出し再生を制御してもよい。

リアルタイム再生では、再生制御部１４は、監視カメラが生成する動画像データ２００の最新フレームデータを再生させる。ジャンプ再生では、再生制御部１４は、動画像データ２００の再生中、ユーザが操作部１３を用いて選択したイベント情報３００の発生時刻を含む所定時間範囲を一時的に再生させる。再生制御部１４は、所定時間範囲の再生が終了すると、動画像データ２００のうちの最新のフレームデータの再生に戻す。再生制御部１４は、リアルタイム再生であれば、最新フレームデータのリアルタイム再生に戻す。

所定時間範囲は、例えば３秒間であるが、操作部１３を用いてユーザにより変更可能とする。所定時間範囲を示すパラメータの値を変更すればよい。また、所定時間範囲は、イベント情報３００の発生時刻を開始時点とする範囲であっても、イベント情報３００の発生時刻前後を含む範囲であってもよい。イベント情報３００の発生時刻を起点にした所定時間範囲の位置は、操作部１３を用いてユーザにより変更可能とする。例えば、イベント情報３００の発生時刻にパラメータの値を加減算して、所定時間範囲の始端を決定するようにし、そのパラメータの値を変更すればよく、パラメータの値をゼロとすれば、イベント情報３００の発生時刻が開始時点となる。

このような再生制御部１４は、データ収集部１４１と画面生成部１４２と再生フレーム判断部１４３を備える。データ収集部１４１は、ネットワーク１００との入出力インターフェースを含み構成される。このデータ収集部１４１は、ネットワーク１００から動画像データ２００の配信を受ける。また、データ収集部１４１は、ネットワーク１００内のイベント情報３００を収集する。

画面生成部１４２は、ＣＰＵを含み構成され、表示画面をレイアウトする。表示画面は、動画像データ２００の再生エリアと、イベント情報３００のリスト表示エリアを有する。画面生成部１４２は、イベント情報３００の中身を展開し、リスト表示エリアに並べる。イベント情報３００の中身が大きい場合、表示画面にイベント詳細エリアを設け、ユーザが選択したイベント情報３００の中身をイベント詳細エリアに表示するようにしてもよい。

再生フレーム判断部１４３は、ＣＰＵとマンマシン入力インターフェースを含み構成される。この再生フレーム判断部１４３は、再生位置をジャンプさせるタイミングを判断し、またジャンプ先の再生位置の始端となるフレームデータを動画像データ２００から決定する。

ジャンプ再生の第１のタイミングは、ジャンプ発生イベントの発生である。ジャンプ発生イベントは、例えば、マウス操作の場合、リスト表示エリア又はイベント詳細エリアから再生エリアへのイベント情報３００のドラッグアンドドロップである。再生フレーム判断部１４３は、操作部１３を用いたユーザの操作を監視し、ジャンプ再生イベントの発生を判断する。

ジャンプ再生の第２のタイミングは、ジャンプ再生の終了である。詳細には、第２のタイミングは、ジャンプ再生後、所定時間範囲の再生の終了である。再生フレーム判断部１４３は、ジャンプ再生を開始させてから、フレームメモリへの書き込み対象となったフレームデータのタイムスタンプを監視し、タイムスタンプが所定時間範囲の終端に相当するか判断する。

第１のジャンプ先のフレームデータは、ジャンプ再生する所定時間範囲の始端に相当するフレームデータである。始端に相当するフレームデータは、所定時間範囲の始端を示すタイムスタンプが付加されたフレームデータである。再生フレーム判断部１４３は、ユーザ操作がジャンプ再生イベントと判断すると、そのユーザ操作で選択されたイベント情報３００から発生時刻情報を抽出する。この発生時刻情報から所定時間範囲の始端が演算される。

イベント情報３００の発生時刻からジャンプ再生する場合、所定時間範囲の始端は発生時刻情報が示す時刻そのものである。イベント情報３００の発生時刻から特定の時間遡ってジャンプ再生する場合には、再生フレーム判断部１４３は、発生時刻情報が示す時刻から予め記憶している特定時間を差分することで、所定時間範囲の始端を取得する。

再生フレーム判断部１４３は、所定時間範囲の始端を取得すると、所定時間範囲の始端と同一時刻のタイムスタンプを有するフレームデータを探索する。同一時刻のタイムスタンプがない場合、再生フレーム判断部１４３は、同一時刻に最も近い時刻を示すタイムスタンプを有するフレームデータを探索する。探索結果は、再生処理部１１に引き継がれ、再生処理部１１は、探索結果が示すフレームデータから時系列順にフレームメモリに描画していく。

第２のジャンプ先のフレームデータは、動画像データ２００のうちの最新フレームデータである。再生フレーム判断部１４３は、ジャンプ再生の終了を判断すると、最新に配信されたフレームデータの再生を再生処理部１１に指示する。再生処理部１１は、最新に配信されたフレームデータから時系列順にフレームメモリに描画していく。

典型的には、再生装置１は、ジャンプ再生イベントが発生すると、配信されている動画像データ２００をリアルタイムに再生するルーチンから、ジャンプ再生するルーチンに処理を移し、ジャンプ再生の終了を判断すると、リアルタイムに再生するルーチンの処理に戻せば良い。

（動作）
このような再生装置１の動作例を図３及び図４に示す。図３及び図４は、再生装置１によるジャンプ再生の動作を示すフローチャートである。まず、データ収集部１４１はネットワーク１００から動画像データ２００を受信し（ステップＳ０１）、再生処理部１１はフレームメモリ内を動画像データ２００の最新フレームデータで順次更新していき（ステップＳ０２）、表示部１２はフレームメモリ内の最新フレームを表示する（ステップＳ０３）。

監視カメラが複数存在する等の理由により、動画像データ２００が複数種類存在する場合、再生制御部１４は、表示画面にカメラアイコンやサムネイルを表示させる等して、動画像データ２００を選択させるようにしてもよい。

データ収集部１４１は、動画像データ２００の再生処理と並行して、ネットワーク１００からイベント情報３００を収集し（ステップＳ０４）、画面生成部１４２は、表示画面のリスト表示エリアにイベント情報３００の一覧及び中身を表示させる（ステップＳ０５）。

ユーザが操作部１３を用いてイベント情報３００を選択し、ジャンプ再生イベントとなる操作を行うと（ステップＳ０６）、再生フレーム判断部１４３は、選択されたイベント情報３００に含まれる発生時刻情報を抽出する（ステップＳ０７）。そして、再生フレーム判断部１４３は、発生時刻情報と動画像データ２００のタイムスタンプを参照して、発生時刻情報と同一又は最も近い時刻に撮影されたフレームデータを検索する（ステップＳ０８）。

典型的には、タイムスタンプは、所属のフレームデータの発生日時を示す。または、動画像データ２００のメタデータに、例えば先頭のフレームデータ等の代表の発生日時情報が付され、各タイムスタンプは、例えば代表を基準に各フレームデータが再生される順番を時間で示す。発生日時情報にタイムスタンプが示す時間を加算することで、そのタイムスタンプが所属するフレームデータの発生日時情報となる。

再生処理部１１は、検索により該当のフレームデータから時系列順にフレームメモリを更新する（ステップＳ０９）。そのため、表示部１２は、選択されたイベント情報３００が発生した時刻から動画像データ２００を再生表示する（ステップＳ１０）。尚、フレームデータがネットワーク１００上に存在する場合は、データ収集部１４１を通じて配信を受ける。

再生フレーム判断部１４３は、発生時刻情報が示す時刻に所定時間範囲を加算することで、ジャンプ再生の終了時刻を取得する（ステップＳ１１）。そして、ジャンプ再生が始まると、次に表示するフレームデータのタイムスタンプとジャンプ再生の終了時刻とを比較する（ステップＳ１２）。再生フレーム判断部１４３により、タイムスタンプがジャンプ再生の終了時刻に達したと判断されると（ステップＳ１３）、データ収集部１４１は動画像データ２００のうちの最新のフレームデータを配信を受ける（ステップＳ１４）。

再生処理部１１は、ジャンプ再生の終了時刻に達したタイムスタンプが付加されるフレームデータの次に、最新のフレームデータから時系列順にフレームメモリを更新する（ステップＳ１５）。そのため、表示部１２は、ジャンプ再生が終了すると（ステップＳ１６）、動画像データ２００のリアルタイム再生に戻る（ステップＳ１７）。

（作用）
図５は、再生装置１の第１の適用例に係る表示画面を示す模式図であり、リアルタイム再生中のジャンプ再生イベントを示す。また、図６は、第１の適用例に係る動画像データ２００の再生を示す模式図である。

本適用例では、生産組立ラインに監視カメラが設置されている。この生産組立ラインでは、作業員による製品の締め付け作業が指定工具にて行われ、締め付け作業の下流で寸法計測器が製品の良否を判定している。監視カメラは、締め付け作業場所に撮影光軸を向けて設置されている。

寸法計測器は、製品の寸法が許容範囲内に収まっていると、良品を示すイベント情報３００を生成してネットワーク１００へ送出する。一方、寸法計測器は、製品の寸法が許容範囲外であると、製品不良を示すイベント情報３００を生成してネットワーク１００へ送出する。

図５に示すように、表示画面には、寸法計測器から続々と発生するイベント情報３００がリスト表示される。また、表示画面上では、監視カメラが捉えた生産組立ラインの動画像データ２００もリアルタイム再生されている。動画像データ２００には、締め付け作業場所で締め付け作業をしている作業員が手元まで映っている。

寸法計測器が「ＮＧ」とのコードが記された製品不良のイベント情報３００をネットワーク１００に送出すると、その製品不良のイベント情報３００はデータ収集部１４１により収集されて、表示画面に表示される。再生装置１を用いて現場を監視する監視員は、動画像データ２００をリアルタイムで監視しつつ、製品不良のイベント情報３００がリストに載ると、「ＮＧ」とのコードが記された製品不良のイベント情報３００を動画像データ２００の再生エリアへドラッグアンドドロップする。

図５及び６に示すように、ジャンプ再生イベントで操作されたイベント情報３００は、例えば時刻Ｔｎ−ａ−４を示す発生時刻情報を有している。再生装置１には、所定時間範囲を３秒とし、イベント情報３００の発生からジャンプ再生するようにパラメータが設定されている。そのため、再生装置１は、最新時刻Ｔｎのフレームデータを再生していた状態から、締付作業場所を監視する動画像データ２００のうち、時刻Ｔｎ−ａ−４のタイムスタンプが付加されているフレームデータからのジャンプ再生に移行する。

そして、再び最新時刻Ｔｎ＋５のフレームデータからリアルタイム再生に戻る。ジャンプ再生中の３秒間の映像には、製品不良のイベント情報３００が発生する直前において、作業員が指定工具と異なる別の工具を保持しているシーンが映っていた。そのため、ジャンプ再生された３秒間の映像を観察した監視員は、製品不良のイベント情報３００が発生したことの認識と相俟って、指定工具と異なる別の工具で製品を締め付けていたために寸法異常が生じたと、製品不良の原因を推測した。

このように動画像データ２００は、作業員が別工具を使用しているという、イベント情報３００の内容を補強する情報を記録するのみならず、不要な情報も大量に記録されたバルキーデータである。しかも、その特定情報は、撮影視野内に空間的にも時間的にも散在し、更に他の不要な情報と明瞭な区別なく渾然一体となっている。

しかしながら、この再生装置１は、製品不良発生のイベント情報３００に含まれる発生時刻情報を基に、動画像データ２００の再生範囲を別工具が使用されている状況が映っている可能性の高い時間範囲に絞るようにユーザを支援し、ユーザはイベント情報３００の選択から間を置かずに、イベント情報３００に無い有益情報を得られる。

また、製品不良のイベント情報３００の選択に伴い、別工具を使用している状況が映っている可能性の高い時間範囲が再生されるので、ユーザには、イベント情報３００の中身と、別工具を使用している状況が映っている可能性の高い時間範囲の映像とが一体的に飛び込み、イベント情報３００の中身に当該映像が含有しているように見える。

そのため、ユーザにとってイベント情報３００の情報価値が向上する。更に、イベント情報３００に含めるべき情報の気づきをユーザに与えることになるため、イベント情報３００の情報価値も真に向上する。例えば、工具の取り出しを検出するセンサを工具置き場に設置し、寸法測定器のイベント情報３００に当該センサが検出した取り出し済み工具の種類情報を含めることができる。

（効果）
このように、再生装置１は、タイムスタンプを有する動画像データ２００を再生する再生装置であり、発生時刻情報を有するイベント情報３００を取得する第１の取得部と、動画像データ２００のうち、第１の取得部が取得したイベント情報３００の発生時刻情報と同一又は最も近いタイムスタンプが示す時刻を含む時間帯をジャンプ再生する表示部１２を備えるようにした。

第１の取得部は、本実施形態において再生フレーム判断部１４３である。再生フレーム判断部１４３は、ジャンプ再生イベントで選択されたイベント情報３００を、ジャンプ再生イベントの発生を契機に取得する。その他、ネットワーク１００にイベント情報３００が発生すると、そのイベント情報３００を取得し、ジャンプ再生するようにしてもよい。すなわち、再生装置１にイベント情報３００を取り込むデータ収集部１４１も第１の取得部の一例である。

これにより、この再生装置１は、動画像データ２００から有益情報を容易に抽出できるようにユーザを支援でき、動画像データ２００を監視する者に対するユーザーフレンドリーに優れる。

また、ユーザには、イベント情報３００の中身と、有益情報が映っている可能性の高い時間範囲の映像とが一体的に飛び込み、イベント情報３００の中身に当該映像が含有しているように見えるため、イベント情報３００の情報価値が向上する。更に、イベント情報３００に含めるべき情報の気づきをユーザに与えることになるため、イベント情報３００の情報価値も真に向上する。

（変形例１）
動画像データ２００は、時間とともに変動する現象に対して時間の順序で測定又は観測した結果であり、タイムスタンプを有する時系列データの一例である。時系列データとしては、動画像データ２００の他、動線軌跡画像データ、心電図データ、音声データ、ボイスレコーダのデータ等を挙げることができる。再生装置１は、時系列順にデータが並び、各データにタイムスタンプが付加されているものであれば、イベント情報３００の選択に伴うジャンプ再生が可能であり、時系列データであれば適用可能である。

動線軌跡画像データは、一定範囲の空間内に時系列順に物や人の存在位置を更新するようにプロットしたデータである。この動線軌跡画像データは、マップ画像データと、複数の存在位置情報とから成る。各存在位置情報にはタイムスタンプが付加されている。再生処理部１１は、存在位置情報が示す存在位置をマップ画像データ上にプロットしたフレームデータを生成し、フレームメモリを更新していく。

この再生装置１の第２の適用例を説明する。本適用例において、看護師はＲＦＩＤタグ等の存在位置を報知する機器を携帯し、病院内にはＲＦＩＤタグから看護師の識別情報を読み取るリーダが各箇所に設置されている。各リーダからの出力を収集するサーバは、予め記憶している病院内のマップ画像データに、識別情報を読み取った各リーダの各存在位置情報を付加して動線軌跡画像データを生成している。

また、病院内には各種の医療機器が設置され、各種医療機器はイベント情報３００を生成してネットワーク１００へ出力している。ネットワーク１００へ送出するイベント情報３００には、医療機器が検出した患者の異常を示す患者異常のイベント情報３００が含まれる。

まず、朝の申し合わせの際、昨夜において医療機器が患者異常を警報していたにも関わらず、規則時間内に看護師が駆けつけなかったことが報告された。そこで、再生装置１の監視者は、表示画面上のリスト表示エリアから、昨晩発生した患者異常のイベント情報３００を選択してジャンプ再生イベントの操作を実行した。

データ収集部１４１は、動線軌跡画像データが再生されていなければ、ネットワーク１００から動線軌跡画像データを取得する。再生フレーム判断部１４３は、選択された患者異常のイベント情報３００から発生時刻情報を抽出し、動線軌跡画像データに含まれるタイムスタンプを参照して、発生時刻情報と同一時刻の存在位置情報を探索する。

再生処理部１１は、探索された存在位置情報が示す存在位置を病院のマップ画像データが示す院内マップにプロットしたフレームデータを生成し、フレームメモリに格納する。再生処理部１１は、駆け付け規則時間を超える所定時間範囲に収まるタイムスタンプが付加された存在位置情報を時系列順にプロットし直すことで、所定時間範囲のフレームデータを時系列順に生成していき、フレームメモリを更新していく。

これにより、再生エリアには、患者異常のイベント情報３００が発生した時刻から所定時間範囲の各看護師の動線軌跡がオーバーレイ表示されていく。既に動線軌跡画像データが再生中の場合はジャンプ再生となり、動線軌跡画像データが再生されていなかった場合は、患者異常のイベント情報３００が発生した時刻から再生が始まる。

この再生を観察した監視者は、患者異常を警告した医療機器から離れた別棟病棟に担当の看護師が存在し、担当の看護師は直ちに駆け付けを開始したが、その別棟病棟から駆け付けたため、規則時間を超えていたことがわかった。また、患者異常のイベント情報３００が発生した当時、院内に看護師が不足していることがわかった。すなわち、看護師不足のために、担当の看護師は担当外業務も遂行する必要が生じ、そのために駆け付けが遅れたことがわかった。

このように、動画像データ２００以外の時系列データであっても再生装置１は、時系列データから有益情報を容易に抽出できるようにユーザを支援でき、時系列データを分析する者に対するユーザーフレンドリーに優れる。また、イベント情報３００の中身と、有益情報が映っている可能性の高い時間範囲とが一体的に飛び込むため、イベント情報３００の情報価値が向上する。更に、イベント情報３００に含めるべき情報の気づきをユーザに与えることになるため、イベント情報３００の情報価値も真に向上する。

（変形例２）
動画像データ２００等の時系列データは、リアルタイムに生成されてネットワーク配信される他、撮影等の生成が終了してネットワーク１００内に保管されていてもよい。リアルタイムに生成されてネットワーク配信される時系列データについては、リアルタイムでの監視用途に使われることが多く、ジャンプ再生の後は時系列データの最新のフレームデータを再生することが望ましい。

一方、既に生成終了の時系列データに関しては、図７に示すように、ジャンプ再生の終了後、ジャンプ再生した所定時間範囲に続く時刻のフレームデータを時系列順に再生してもよい。所定時間範囲に引き続き時系列順に再生を実行する場合、再生フレーム判断部１４３は、所定時間範囲の終端の判断をする必要はない。

また、既に生成終了の時系列データに関しては、図８に示すように、ジャンプ再生の終了後、ジャンプ再生の直前に再生していたフレームデータ又はその前後に戻して再生してもよい。

すなわち、この再生フレーム判断部１４３は、ジャンプ再生が終了すると、ジャンプ再生の直前に再生していた時点に時系列データの再生を戻す。再生フレーム判断部１４３は、ジャンプ再生する直前に再生されたフレームデータのタイムスタンプ、又はその前後の時刻を有するタイムスタンプを記憶し、ジャンプ再生終了後、記憶のタイムスタンプが付加されたフレームデータから再生させる。

（変形例３）
所定時間範囲は、例えばゼロ秒間とすることができる。換言すると、イベント情報３００の発生時刻情報と同一又は最も近いタイムスタンプが示す時刻のみをジャンプ再生するようにしてもよい。この場合、静止画表示となる。

再生フレーム判断部１４３は、ジャンプ再生先のフレームデータを指定すると、所定時間の計時を開始する。計時中は次のフレームデータの指示を待機し、所定時間が経過すると次のフレームデータを指示する。これにより、所定時間の静止画表示の後、リアルタイム再生やジャンプ再生の直前に再生されていた箇所の再生に戻る。

（第２の実施形態）
（構成）
次に第２の実施形態に係る再生装置１につき図面を参照して詳細に説明する。第１の実施形態、変形例１乃至３と同一機能及び同一構成については同一符号を付して詳細な説明を省略する。

まず、イベント情報３００について詳述する。イベント情報３００を発生させる測定又は観測機器は、例えば温度センサや寸法測定器や医療機器等である。測定又は観測機器は、工場やオフィス等で稼働する各種設備や患者の稼働状況を監視し、各種設備や患者にイベントが発生すると、イベント情報３００を出力する。イベントは、定期的な状況報告、監視対象の内部的外部的な状況の所定条件成就、または監視対象の内部的外部的な状況の所定条件未成就である。

図９は、イベント情報３００のデータ構造を示す模式図である。図９に示すように、イベント情報３００には、測定又は観測結果と発生時刻情報の他、イベントの種類を示すイベント種類情報、測定又は観測結果を説明する説明情報、監視の目的及び設備や患者の状況や性状に応じた情報、その他の補足情報を付加することができる。

具体的には、製品の組み立て作業現場において、製品の良否を示すイベント情報に、製品を組み立てた作業員の識別情報が補足情報として付される場合もある。これら補足情報は、典型的には、ネットワーク１００内の情報収集システムがイベント情報３００を再構築する結果として付加される。

情報収集システムは、測定又は観測機器が出力するイベント情報３００毎に再構築後のモデルを有している。モデルには、イベント情報３００に付加されるべき補足情報の種類が列記されている。情報収集システムは、モデルを参照して補足情報の種類を決定する。

情報収集システムは、ネットワーク１００に存在する各種各内容のデータから、決定された種類の補足情報の群に絞り、イベント情報３００の内容を検索キーとして、絞り込んだ補足情報の群から、イベント情報３００の内容に沿った補足情報を検索する。そして、情報収集システムは、測定又は観測機器から出力されたイベント情報３００に該当の補足情報を付加することで、イベント情報３００を再構成する。

図１０は、この再生装置１の構成を示すブロック図である。図１０に示すように、この再生装置１の再生制御部１４は、検索部１４４を更に備える。検索部１４４は、ＣＰＵを含み構成され、ジャンプ再生イベントで選択されたイベント情報３００と一定範囲で同一の部類に属するイベント情報３００を検索する。

イベント情報３００に含まれる測定又は観測結果及び補足情報の一部又は全部が同一である場合、それらのイベント情報３００は、一定範囲で同一の部類に属する。検索部１４４は、予め指定された一定範囲又はユーザの操作部１３を用いた操作により指定された一定範囲で同一の部類に属するイベント情報３００を検索する。

例えば、予め指定された一定範囲で同一の部類に属するイベント情報３００は、補足情報として付加されたイベントの種類を示すイベント種類情報が同一であるイベント情報３００である。検索部１４４は、ジャンプ再生イベントで選択されたイベント情報３００のイベント種類情報を検索キーとし、同一のイベント種類情報が付加されたイベント情報３００を検索する。検索先は、データ収集部１４１が各イベント情報３００を収集済みの場合は、再生装置１内であり、データ収集部１４１がイベント情報３００を収集していない場合はネットワーク１００である。

また、検索部１４４は、ジャンプ再生イベントの内容を監視する。そして、リスト表示エリアやイベント詳細エリアで操作部１３を用い、単一のイベント情報３００から単一又は複数の補足情報が選択され、その選択が有効となっている最中、イベント再生イベントが発生すれば、検索部１４４は、その選択された補足情報を検索キーとし、同一の補足情報が付加されたイベント情報３００を検索する。

換言すれば、単一のイベント情報３００から単一又は複数の補足情報が選択されなければ、検索部１４４は、イベント種類情報を検索キーとし、同一の補足情報が付加されたイベント情報３００を検索する。

再生フレーム判断部１４３は、ジャンプ再生イベントで選択されたイベント情報３００と検索部１４４が検索したイベント情報３００を同列に扱う。すなわち、選択及び検索により該当したイベント情報３００が発生した各時刻を順次ジャンプ再生する。各ジャンプ再生のタイミングは、ジャンプ再生中の所定時間範囲の終了であり、前のジャンプ再生が終了すると、続けて次のジャンプ再生を行う。

ジャンプ再生順序は、選択されたイベント情報３００の発生時刻を最初とし、検索により該当した順であっても、検索されたイベント情報３００の昇順または降順の発生時刻順であってもよい。

（動作）
このような再生装置１の動作例を図１１に示す。図１１は、再生装置１によるジャンプ再生の動作を示すフローチャートである。動画像データ２００の再生中（ステップＳ２１）、ユーザが操作部１３を用いてイベント情報３００を選択し、ジャンプ再生イベントとなる操作を行うと（ステップＳ２２）、検索部１４４は、選択されたイベント情報３００に含まれるイベント種類情報を抽出する（ステップＳ２３）。

検索部１４４は、抽出したイベント種類情報を検索キーとして他のイベント情報３００を検索する（ステップＳ２４）。他のイベント情報３００が収集済みの場合、検索先を再生装置１内とし、他のイベント情報３００が未収集或いは収集途上の場合、検索先はネットワーク１００である。

再生フレーム判断部１４３は、選択及び検索により該当したイベント情報３００に含まれる各発生時刻情報を抽出する（ステップＳ２５）。そして、再生フレーム判断部１４３は、発生時刻情報と動画像データ２００のタイムスタンプを参照して、各発生時刻情報と同一又は最も近い時刻に撮影された各フレームデータを検索する（ステップＳ２６）。

そして、再生処理部１１は、検索により該当したフレームデータのジャンプ再生順Ｎ番目からジャンプ再生を開始する（ステップＳ２７）。当初、Ｎは初期化され、Ｎ＝１である。再生フレーム判断部１４３は、現在のジャンプ再生の終了時刻を取得する（ステップＳ２８）。ジャンプ再生順は、検索により該当のフレームデータの発生時刻を基準に昇順又は降順とすればよいが、最初はユーザにより選択されたイベント情報３００と同一時刻のフレームデータが望ましい。

ジャンプ再生が始まると、再生フレーム判断部１４３は、次に表示するフレームデータのタイムスタンプとジャンプ再生の終了時刻とを比較する（ステップＳ２９）。再生フレーム判断部１４３により、タイムスタンプがジャンプ再生の終了時刻に達したと判断されると（ステップＳ３０，Ｙｅｓ）、再生フレーム判断部１４３は、ジャンプ再生順Ｎを１カウントアップし（ステップＳ３１）、ジャンプ再生順Ｎが選択数と検索該当数との加算値超か判断する（ステップＳ３２）。

ジャンプ再生数Ｎが比較値を上回ってなければ（ステップＳ３２，Ｎｏ）、再生処理部１１は、次のジャンプ再生順Ｎ番目のフレームデータのジャンプ再生に移る（ステップＳ２７）。ジャンプ再生数Ｎが選択数と検索該当数との加算値超であれば（ステップＳ３２，Ｙｅｓ）、ジャンプ再生を終了する（ステップＳ３３）。

このような再生装置１の他の動作例を図１２に示す。図１２は、再生装置１によるジャンプ再生の動作を示すフローチャートである。動画像データ２００の再生中（ステップＳ４１）、ユーザが操作部１３を用いてイベント情報３００を選択し（ステップＳ４２）、更に選択したイベント情報３００から単数又は複数の補足情報を選択し（ステップＳ４３）、ジャンプ再生イベントとなる操作を行うと（ステップＳ４４）、検索部１４４は、選択されたイベント情報３００からユーザにより選択された補足情報を抽出する（ステップＳ４５）。検索部１４４は、抽出した補足情報を検索キーとして他のイベント情報３００を検索する（ステップＳ４６）。補足情報が複数の場合、検索方法はアンド検索である。

再生フレーム判断部１４３は、選択及び検索により該当したイベント情報３００に含まれる各発生時刻情報を抽出する（ステップＳ４７）。そして、再生フレーム判断部１４３は、発生時刻情報と動画像データ２００のタイムスタンプを参照して、各発生時刻情報と同一又は最も近い時刻に撮影された各フレームデータを検索する（ステップＳ４８）。

そして、再生処理部１１は、検索により該当したフレームデータのジャンプ再生順Ｎ番目からジャンプ再生を開始する（ステップＳ４９）。当初、Ｎは初期化され、Ｎ＝１である。再生フレーム判断部１４３は、現在のジャンプ再生の終了時刻を取得する（ステップＳ５０）。ジャンプ再生順は、検索により該当のフレームデータの発生時刻を基準に昇順又は降順とすればよいが、最初はユーザにより選択されたイベント情報３００と同一時刻のフレームデータが望ましい。

ジャンプ再生が始まると、再生フレーム判断部１４３は、次に表示するフレームデータのタイムスタンプとジャンプ再生の終了時刻とを比較する（ステップＳ５１）。再生フレーム判断部１４３により、タイムスタンプがジャンプ再生の終了時刻に達したと判断されると（ステップＳ５２，Ｙｅｓ）、再生フレーム判断部１４３は、ジャンプ再生順Ｎを１カウントアップし（ステップＳ５３）、ジャンプ再生順Ｎが選択数と検索該当数との加算値を上回ったか判断する（ステップＳ５４）。

ジャンプ再生数Ｎが選択数と検索該当数との加算値以下であれば（ステップＳ５４，Ｎｏ）、再生処理部１１は、次のジャンプ再生順Ｎ番目のフレームデータのジャンプ再生に移る（ステップＳ４９）。ジャンプ再生数Ｎが選択数と検索該当数との加算値超であれば（ステップＳ５４，Ｙｅｓ）、ジャンプ再生を終了する（ステップＳ５５）。

（作用）
再生装置１の第３の適用例を説明する。本適用例において、生産組立ラインに監視カメラが設置されている。この生産組立ラインでは、作業員による製品の締め付け作業が指定工具にて行われ、締め付け作業の下流で寸法計測器が製品の良否を判定している。監視カメラは、締め付け作業場所に撮影光軸を向けて設置されている。

寸法計測器は、製品の寸法が許容範囲内に収まっていると、良品を示すイベント情報３００を生成してネットワーク１００へ送出する。一方、寸法計測器は、製品の寸法が許容範囲外であると、製品不良を示すイベント情報３００を生成してネットワーク１００へ送出する。

表示画面には、寸法計測器から続々と発生するイベント情報３００がリスト表示される。また、表示画面上では、監視カメラが捉えた生産組立ラインの動画像データ２００もリアルタイム再生されている。動画像データ２００には、締め付け作業場所で締め付け作業をしている作業員が手元まで映っている。

寸法計測器が製品不良のイベント情報３００をネットワーク１００に送出すると、その製品不良のイベント情報３００はデータ収集部１４１により収集されて、表示画面に表示される。再生装置１を用いて現場を監視する監視員は、動画像データ２００をリアルタイムで監視しつつ、製品不良のイベント情報３００がリストに載ると、製品不良のイベント情報３００を動画像データ２００の再生エリアへドラッグアンドドロップする。

再生装置１は、ドラッグアンドドロップされたイベント情報３００と同じく製品不良のイベント種類情報を有するイベント情報３００を検索する。そして、図１３に示すように、選択されたイベント情報３００の発生時刻Ｔｎ−ａ−４と、検索により該当した全てのイベント情報３００の発生時刻Ｔｎ−ｂ−４及びＴｎ−ｃ−３を含む各所定時間範囲を順番にジャンプ再生する。全てのジャンプ再生された映像において、特定の作業員が指定工具と異なる別の工具を保持している点が共通していた。そのため、監視員は、特定作業員の技量不足と別工具の使用の何れか又は両方が相俟って、寸法異常が生じたと推測した。

そこで、監視員は、その製品の組み立て作業員が製品不良を引き起こした特定作業員を識別する補足情報を含み、製品が良品であることを示すイベント情報３００から、作業員を識別する補足情報を選択しつつ、当該イベント情報３００を再生エリアへドラッグアンドドロップした。

そうすると、全てのジャンプ再生された映像においては、この特定作業員は指定工具を使用している点で共通していた。そのため、監視員は、特定作業員の技量不足ではなく、別工具が使用されたことにより寸法異常が生じたと確信し、専用工具の使用を徹底した。

（効果）
このように、再生装置１は、第１の取得部で取得したイベント情報３００と関連する単数又は複数の他のイベント情報を取得する第２の取得部を更に備え、時系列データのうち、第２の取得部が取得した他のイベント情報３００の発生時刻情報と同一又は最も近いタイムスタンプが示す各時刻を含む時間帯へ順次ジャンプして再生するようにした。本実施形態では、検索部１４４が第２の取得部に相当する。

これにより、再生装置１は、選択されたイベント情報３００と一定範囲で同一の部類に属するイベント情報３００についても検索し、同一部類に属するイベント情報３００と同一時刻を含む所定時間範囲も順次ジャンプ再生する。従って、選択されたイベント情報３００だけでは的を絞り難かった情報も明瞭に浮き上がり、ユーザの気づきの機会を飛躍的に増やすことになる。

（変形例４）
図１４は、この変形例に係る再生装置１の構成を示すブロック図である。図１４に示すように、再生装置１は、データベース１６を備えている。このデータベース１６は、表示部１２を備えるコンピュータが備えていてもよいし、表示部１２を備えるコンピュータとは別のコンピュータが備えていてもよい。別のコンピュータは、例えば情報収集システムの構成要素であり、ネットワーク１００に設置されていてよい。

このデータベース１６は、主にＨＤＤ等の外部記憶装置を含んで構成され、図１５に示すように、ネットワーク１００内のイベント情報３００の関連付けを記憶している。関連付けは、例えば、同一製品の各製造プロセスで発生した各イベント情報３００を結び付けている。また、関連付けは、例えば、同一設備や同一工場内等の所定範囲で発生した各イベント情報３００を結び付けている。

検索部１４４は、データベース１６を参照し、ジャンプ再生イベントで選択されたイベント情報３００と関連付けられているイベント情報３００を検索する。再生フレーム判断部１４３は、ジャンプ再生イベントで選択されたイベント情報３００と検索部１４４がデータベース１６を参照して取得したイベント情報３００を同列に扱い、これらイベント情報３００が発生した各時刻を順次ジャンプ再生する。

（変形例５）
図１６は、変形例５に係る再生装置１の表示画面を示す模式図であり、リアルタイム再生中のジャンプ再生イベントを示す。ジャンプ再生イベントの際にユーザにより選択されるイベント情報３００は一個に限らず、ユーザは複数選択することもできる。

再生フレーム判断部１４３は、選択された全てのイベント情報３００から発生時刻情報を抽出する。そして、再生処理部１１は、各発生時刻情報と同一又は最も近いタイムスタンプが付加されたフレームデータからの所定時間範囲のジャンプ再生を順番に行う。この変形例では、第１の取得部たる再生フレーム判断部１４３が複数のイベント情報３００を取得し、表示部１２が順次ジャンプ再生を行うため、検索部１４４は必須ではない。

（第３の実施形態）
（構成）
次に第３の実施形態に係る再生装置１につき図面を参照して詳細に説明する。第１及び２の実施形態、変形例１乃至５と同一機能及び同一構成については同一符号を付して詳細な説明を省略する。

図１７は、再生装置１の構成を示すブロック図である。再生装置１は、合成部１５を更に備える。合成部１５は、ＣＰＵを含み構成される。この合成部１５は、ジャンプ再生の際、イベント情報３００を動画像データ２００の映像上に重ねて表示する。

すなわち、合成部１５は、ジャンプ再生イベントで選択されたイベント情報３００の内容をフレームメモリに書き込む。書き込みのタイミングは、イベント情報３００と同一又は最も近い時刻を含む所定時間範囲の再生中である。また、合成部１５は、ジャンプ再生イベントで選択されたイベント情報３００と一定範囲で同一の部類に属するイベント情報３００の内容をフレームに書き込む。この書き込みのタイミングは、一定範囲で同一の部類に属するイベント情報３００と同一又は最も近い時刻を含む所定時間範囲の再生中である。

（動作）
この再生装置１の動作例を図１８に示す。図１８は、再生装置１による合成表示の動作を示すフローチャートである。動画像データ２００の再生中（ステップＳ７１）、ユーザが操作部１３を用いてイベント情報３００を選択し、ジャンプ再生イベントとなる操作を行うと（ステップＳ７２）、検索部１４４は、選択されたイベント情報３００と関連するイベント情報３００を検索する（ステップＳ７３）。

再生処理部１１は、選択及び検索により該当したイベント情報３００と同一時間帯の映像をジャンプ再生する（ステップＳ７４）。合成部１５は、ジャンプ再生されている映像上に、当該映像と同一時間帯に発生し、選択及び検索により該当したイベント情報３００を合成表示する（ステップＳ７５）。

（作用効果）
図１９は、この再生装置１の表示画面を示す模式図であり、ジャンプ再生中を示す。図１９に示すように、ジャンプ再生されている映像中には、右端にジャンプ再生される時間範囲に含まれる発生時刻情報を有し、選択及び検索により該当したイベント情報３００の内容がオーバーレイ表示される。

特に、複数のジャンプ再生を順番に行う場合、イベント情報３００の合成表示があると、どのイベント情報３００が発生したタイミングの映像かが監視者にとって認識容易となる。尚、合成部１５は、動画像データ２００の再生エリアではなく、他のエリア、例えば詳細表示エリアにイベント情報３００を表示するようにしてもよい。

（第４の実施形態）
（構成）
次に第４の実施形態に係る再生装置１につき図面を参照して詳細に説明する。第１乃至３の実施形態、変形例１乃至５と同一機能及び同一構成については同一符号を付して詳細な説明を省略する。

ジャンプ再生イベントは、ユーザが要求したタイミングで、ユーザが要求する所定時間範囲の動画像を提供するためのトリガとしての性質を有する。一方、ユーザによる要求がなくとも、イベント情報３００の発生時刻を含む所定時間範囲の動画像を予め用意しておくようにしてもよい。図２０は、この再生装置１の構成を示すブロック図である。再生装置１は、再生候補生成部１７と動画記憶部１８を更に備えている。再生候補生成部１７は、ＣＰＵを主に含み構成される。動画記憶部１８は、ＨＤＤ等の外部記憶装置を含み構成される。

再生候補生成部１７は、動画像データ２００からイベント情報３００の発生時刻を含む所定時間範囲の動画像データ２０１をトリミングし、動画記憶部１８にストックさせておく。一方、再生候補生成部１７は、動画像データ２０１をトリミングした後、元の動画像データ２００を再生装置１又はネットワーク１００等の記憶エリアから削除する。

再生候補生成部１７は、ユーザによる選択に依らず、イベント情報３００が発生すると、その発生したイベント情報３００の全てを対象に動画像データ２０１をトリミングする。尚、特定のイベント種類情報を有するイベント情報３００のみを用いて動画像データ２０１をトリミングしてもよい。再生候補生成部１７がトリミングする所定時間範囲は、例えば、第１の実施形態のようにジャンプ再生する時間範囲が３秒であれば、５分程度のように長めに設定されることが望ましい。元の動画像データ２００を削除するため、ユーザが閲覧したい範囲に余裕を持たせるためである。

また、再生候補生成部１７は、動画像データ２０１の生成に用いたイベント情報３００と、このイベント情報３００を用いて生成された動画像データ２０１との関連付けデータ４００を生成する。関連付けデータ４００は、動画像データ２０１とイベント情報３００の各々の識別情報を対にしたデータ、又は動画像データ２０１とイベント情報３００の両方を格納したフォルダを示すディレクトリデータである。

画面生成部１４２は、関連付けデータ４００を参照し、関連付けデータ４００で特定されるイベント情報３００をリスト表示エリアに表示させる。再生フレーム判断部１４３は、リスト表示エリアからイベント情報３００が選択されると、関連付けデータ４００を参照して、選択されたイベント情報３００に関連付けられた動画像データ２０１を特定する。再生処理部１１は、再生フレーム判断部１４３から引き継いで、特定された動画像データ２０１を再生させるように、この動画像データ２０１の先頭フレームデータから順番にフレームメモリを更新していく。

図２１は、この再生装置１における動画像データ２０１の生成動作を示すフローチャートである。データ収集部１４１は、ネットワーク１００を監視し、イベント情報３００が発生すると（ステップＳ８１）、動画像データ２０１の生成を開始する。その他、定期的に動画像データ２０１を生成するようにしてもよいし、表示画面に動画像データ２０１の生成ボタンを用意しておき、この生成ボタンが押下されることで、動画像データ２０１の生成を開始してもよい。

イベント情報３００の発生等により動画像データ２０１の生成が開始されると、再生候補生成部１７は、イベント情報３００に対応する動画像データ２０１の始期を演算する（ステップＳ８２）。再生候補生成部１７は、イベント情報３００の時刻から遡って動画像データ２０１の始期までの時間パラメータを予め記憶している。再生候補生成部１７は、始期までの時間パラメータをイベント情報３００の発生時刻情報から減算して、動画像データ２０１の始期となる時刻を導く。

更に、再生候補生成部１７は、動画像データ２０１の終期を演算する（ステップＳ８３）。再生候補生成部１７は、イベント情報３００の時刻から動画像データ２０１の終期までの時間パラメータとを予め記憶している。再生候補生成部１７は、終期までの時間パラメータをイベント情報３００の発生時刻情報に加算して、動画像データ２０１の終期となる時刻を導く。

動画像データ２０１の始期と終期を演算すると、再生候補生成部１７は、動画像データ２０１の始期となるフレームデータから終期となるフレームデータまでの全フレームデータを動画像データ２００から複製し（ステップＳ８４）、動画記憶部１８に記憶させる（ステップＳ８５）。

また、再生候補生成部１７は、この動画像データ２０１の始期及び終期の演算に用いたイベント情報３００の識別情報と、動画像データ２０１の識別情報とを関連付けて、関連付けデータ４００を生成し（ステップＳ８６）、動画記憶部１８に記憶させる（ステップＳ８７）。そして、動画像データ２０１及び関連付けデータ４００の生成が終了すると（ステップＳ８８）、再生候補生成部１７は、動画像データ２００を再生装置１又はネットワーク１００から削除する（ステップＳ８９）。

図２２は、この再生装置１における動画像データ２０１の再生動作を示すフローチャートである。画面生成部１４２は、動画記憶部１８の関連付けデータ４００を参照し（ステップＳ９１）、関連付けデータ４００で特定されるイベント情報３００をリスト表示エリアに表示する（ステップＳ９２）。

ユーザが操作部１３を用いてイベント情報３００を選択すると（ステップＳ９３）、再生フレーム判断部１４３は、動画記憶部１８の関連付けデータ４００を参照し（ステップＳ９４）、選択されたイベント情報３００と関連付けられた動画像データ２０１を特定する（ステップＳ９５）。

再生処理部１１は、再生フレーム判断部１４３により特定された動画像データ２０１を動画記憶部１８から読み出し（ステップＳ９６）、表示部１２は、選択されたイベント情報３００に関連付けられ、選択されたイベント情報の発生時刻を含む動画像データ２０１を表示する（ステップＳ９７）。

このように、この再生装置１において、再生候補生成部１７を一例とする第１の取得部がイベント情報３００取得すると、この再生候補生成部１７は、動画像データ２００のうち、取得したイベント情報３００の発生時刻情報と同一又は最も近いタイムスタンプが示す時刻を含む所定時間範囲の動画像データ２０１を抜き出し、抜き出した動画像データ２０１を動画記憶部１８に記憶するようにした。そして、ユーザの操作に応じて、表示部１２は、動画記憶部１８に記憶された動画像データ２０１を表示する。

これにより、動画像データ２００のうち、稼働管理、製品の品質管理、経営管理等の操業に寄与する貴重な情報のみを動画像データ２０１として記憶しておくことができるので、データ量の削減に寄与する。

また、再生候補生成部１７は、抜き出した動画像データ２０１と、取得したイベント情報３００とを関連付ける関連付けデータ４００を更に生成し、動画記憶部１８は、この関連付けデータ４００を更に記憶するようにした。そして、表示部１２は、操作部１３を用いてユーザが選択したイベント情報３００と関連付けデータ４００により関連付けられた動画像データ４００を表示するようにした。

これにより、関連付けデータ４００を介してイベント情報３００と動画像データ２０１とが一体的となり、イベント情報３００と動画像データ２０１とが有機的に繋がって相乗的に情報の価値が向上する。

（変形例６）
図２３は、第４の実施形態に係る変形例６の再生装置１が生成する動画像データ２０１の模式図である。再生装置１では、一つのイベント情報３００ごとに一つの動画像データ２０１を作成するようにしてもよいし、変形例６に係る再生装置１のように、複数のイベント情報３００に対して一つの動画像データ２０１を生成するようにしてもよい。

すなわち、図２３に示すように、再生候補生成部１７は、複数のイベント情報３００の発生時刻を全て含む時間範囲で一つの動画像データ２０１をトリミングする。関連付けデータ４００には、これらイベント情報３００の全ての識別情報と一つの動画像データ２０１の識別情報とを関連付けておく。

複数のイベント情報３００は、ユーザにより選択された群、動画像データ２０１の生成タイミングまでに発生していた群、又はユーザにより選択されたイベント情報３００と一定範囲で同一の部類に属するイベント情報３００を合わせた群の何れでも良い。

再生候補生成部１７は、これらイベント情報３００のうち最も過去の発生時刻から遡って動画像データ２０１の始期までの時間パラメータを予め記憶している。再生候補生成部１７は、始期までの時間パラメータをイベント情報３００の発生時刻情報から減算して、動画像データ２０１の始期となる時刻を導く。

また、再生候補生成部１７は、これらイベント情報３００のうち最も新しいの発生時刻から動画像データ２０１の終期までの時間パラメータを予め記憶している。再生候補生成部１７は、終期までの時間パラメータを最も新しい発生時刻情報に加算して、動画像データ２０１の終期となる時刻を導く。

図２４は、この再生装置１の動画像データ２０１の生成動作の一例を示すフローチャートである。動画像データ２０１の定期的な生成タイミングが到達すると（ステップＳ１０１）、データ取得部１４１は、ネットワーク１００に存在する動画像データ２００とイベント情報３００を収集する（ステップＳ１０２）。

動画像データ２０１の定期的な生成タイミングで存在していた複数のイベント情報３００を取得する以外の方法としては、例えば、複数のイベント情報３００は、リスト表示エリアから選択される。また、例えば、ユーザが選択した補足情報を有する他のイベント情報３００を取得する。また、例えば、データベース１６を参照して、ユーザが選択したイベント情報３００とデータベース１６上で関連する複数のイベント情報３００を取得する。

複数のイベント情報３００が収集されると、再生フレーム判断部１４３は、これらイベント情報３００を取得し（ステップＳ１０３）、これらイベント情報３００に含まれる各発生時刻情報を抽出する（ステップＳ１０４）。このとき、再生候補生成部１７は、各発生時刻情報から最も過去の発生時刻情報を探索し（ステップＳ１０５）、また各発生時刻情報から最も新しい発生時刻情報を探索する（ステップＳ１０６）。

そして、再生候補生成部１７は、最も過去の発生時刻情報から動画像データ２０１の始期を演算する（ステップＳ１０７）。更に、再生候補生成部１７は、最も新しい発生時刻情報から動画像データ２０１の終期を演算する（ステップＳ１０８）。

動画像データ２０１の始期と終期を演算すると、再生候補生成部１７は、動画像データ２０１の始期となるフレームデータから終期となるフレームデータまで全フレームデータを複製し（ステップＳ１０９）、動画記憶部１８に記憶させる（ステップＳ１１０）。

また、再生候補生成部１７は、複数のイベント情報３００の全ての識別情報と、動画像データ２０１の識別情報とを関連付けて、関連付けデータ４００を生成し（ステップＳ１１１）、動画記憶部１８に記憶させる（ステップＳ１１２）。動画像データ２０１及び関連付けデータ４００の生成が終了すると（ステップＳ１１３）、再生候補生成部１７は、動画像データ２００を再生装置１又はネットワーク１００から削除する（ステップＳ１１４）。

このように、この再生装置１では、再生フレーム判断部１４３を一例とする第１の取得部が複数のイベント情報３００を取得し、再生候補生成部１７により、動画像データ２００のうち、これらイベント情報３００の発生時刻が全て含まれる動画像データ２０１を抜き出し、抜き出した動画像データ２０１を動画記憶部１８に記憶するようにした。

または、再生フレーム判断部１４３を一例とする第１の取得部と、検索部１４４を一例とする第２の取得部がイベント情報３００を取得すると、再生候補生成部１７により、動画像データ２００のうち、これらイベント情報３００の発生時刻が全て含まれる動画像データ２０１を抜き出し、抜き出した動画像データ２０１を動画記憶部１８に記憶するようにした。

これにより、データ量の削減に寄与するとともに、各イベント情報３００と一つの動画像データ２０１とが有機的に繋がって相乗的に情報の価値が向上する。

１ 再生装置
１１ 再生処理部
１２ 表示部
１３ 操作部
１４ 再生制御部
１４１ データ収集部
１４２ 画面生成部
１４３ 再生フレーム判断部
１４４ 検索部
１５ 合成部
１６ データベース
１７ 再生候補生成部
１８ 動画記憶部
１００ ネットワーク
２００ 動画像データ
２０１ 動画像データ
３００ イベント情報
４００ 関連付けデータ

上記目的を達成するために、本発明に係る再生装置は、タイムスタンプを有する時系列データを再生する再生装置であって、発生時刻情報を有するイベント情報を取得する第１の取得部と、前記時系列データのうち、前記第１の取得部が取得した前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻を含む所定時間範囲を再生する表示部と、前記第１の取得部が取得した前記イベント情報と関連する単数又は複数の他のイベント情報を取得する第２の取得部と、を備え、前記イベント情報は、各種各内容の補足情報を含み、前記第２の取得部は、前記第１の取得部が取得した前記イベント情報と関連する前記イベント情報として、前記第１の取得部が取得した前記イベント情報に含まれる単数又は複数の前記補足情報と同一の前記補足情報を有する前記イベント情報を取得し、前記表示部は、前記時系列データのうち、前記第２の取得部が取得した前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す各時刻を含む所定時間範囲へ順次ジャンプして再生すること、を特徴とする。

Claims (16)

1. タイムスタンプを有する時系列データを再生する再生装置であって、
   発生時刻情報を有するイベント情報を取得する第１の取得部と、
   前記時系列データのうち、前記第１の取得部が取得した前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻を含む所定時間範囲を再生する表示部と、
   を備えること、
   を特徴とする再生装置。
2. 前記第１の取得部が取得した前記イベント情報と関連する単数又は複数の他のイベント情報を取得する第２の取得部を更に備え、
   前記表示部は、
   前記時系列データのうち、前記第２の取得部が取得した前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す各時刻を含む所定時間範囲へ順次ジャンプして再生すること、
   を特徴とする請求項１記載の再生装置。
3. 前記表示部は、
   前記時系列データの再生中、前記イベント情報が発生した時刻を含む所定時間範囲へジャンプ再生し、
   前記ジャンプ再生が終了すると、最新時刻の再生に戻すこと、
   を特徴とする請求項１又は２記載の再生装置。
4. 前記表示部は、
   前記時系列データの再生中、前記イベント情報が発生した時刻を含む所定時間範囲へジャンプ再生し、
   前記ジャンプ再生が終了すると、前記ジャンプ再生の直前に再生していた時刻又は其の前後の再生に戻すこと、
   を特徴とする請求項１又は２記載の再生装置。
5. 前記表示部は、
   取得された前記イベント情報を前記時系列データの画像に合成表示すること、
   を特徴とする請求項１乃至４の何れかに記載の再生装置。
6. 前記イベント情報は、各種各内容の補足情報を含み、
   前記第２の取得部は、前記第１の取得部が取得した前記イベント情報に含まれる単数又は複数の前記補足情報と同一の前記補足情報を有する前記イベント情報を取得すること、
   を特徴とする請求項２記載の再生装置。
7. 前記補足情報には、イベントの種類を示すイベント種類情報が含まれること、
   を特徴とする請求項６記載の再生装置。
8. 複数の前記イベント情報を関連付けるデータベースを更に備え、
   前記第２の取得部は、前記第１の取得部が取得した前記イベント情報と前記データベースで関連付けられている前記イベント情報を取得すること、
   を特徴とする請求項２記載の再生装置。
9. 前記時系列データは、動画像データ、動線軌跡データ又は音声データであること、
   を特徴とする請求項１乃至８の何れかに記載の再生装置。
10. 前記所定時間範囲は、前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻を始端とすること、
    を特徴とする請求項１乃至９の何れかに記載の再生装置。
11. 前記所定時間範囲は、前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻よりも過去時刻を始端とし、前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻よりも将来時刻を終端とすること、
    を特徴とする請求項１乃至９の何れかに記載の再生装置。
12. 前記所定時間範囲は、前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻のみを含み、
    前記表示部は、前記時系列データを静止表示すること、
    を特徴とする請求項１乃至９の何れかに記載の再生装置。
13. 前記時系列データのうち、前記第１の取得部が取得した前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す時刻を含む所定時間範囲の時系列データを抜き出す生成部と、
    前記データ生成部が抜き出した時系列データを記憶する記憶部と、
    を更に備え、
    前記表示部は、前記記憶部に記憶された時系列データを表示すること、
    を特徴とする請求項１記載の再生装置。
14. 前記第１の取得部は、複数の前記イベント情報を取得し、
    前記生成部は、前記時系列データのうち、前記第１の取得部が取得した前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す全ての時刻を含む、連続した所定時間範囲の時系列データを抜き出すこと、
    を特徴とする請求項１３記載の再生装置。
15. 前記生成部は、前記時系列データのうち、前記第１の取得部及び前記第２の取得部が取得した前記イベント情報の前記発生時刻情報と同一又は最も近いタイムスタンプが示す全ての時刻を含む、連続した所定時間範囲の時系列データを抜き出すこと、
    を特徴とする請求項２記載の再生装置。
16. ユーザの操作を受け付ける操作部を更に備え、
    前記データ生成部は、前記抜き出した時系列データと前記第１の取得部が取得した前記イベント情報とを関連付ける関連付けデータを更に生成し、
    前記記憶部は、前記関連付けデータを更に記憶し、
    前記表示部は、前記操作部を用いてユーザが選択した前記イベント情報と前記関連付けデータにより関連付けられた時系列データを表示すること、
    を特徴とする請求項１３乃至１５の何れかに記載の再生装置。

Images