JP2021002698A - 表示制御装置、表示制御方法およびプログラム - Google Patents

Abstract

【課題】過去映像とライブ映像とを表示する場合に過去映像をライブ映像に同期して表示することを目的とする。【解決手段】本発明は、過去映像を撮影したときの撮影条件を再現したライブ映像を過去映像と共に表示する映像記録表示装置１００である。映像記録表示装置１００は、撮影されているライブ映像のうち同期の基準となるフレームを検出し、該同期の基準となるフレームに対応する、過去映像のフレームを頭出しして再生することにより、過去映像をライブ映像に同期して表示する。したがって、過去映像をライブ映像に同期して表示することができ、過去映像とライブ映像とで異なるフレームの映像が表示されてしまうことを抑制する。【選択図】図１

Description

本発明は、表示制御装置、表示制御方法、プログラムおよび記録媒体に関する。

従来から生産設備等をカメラで撮影して遠隔で監視する技術が知られている。このような場合に、過去に撮影された過去映像と現在のライブ映像をモニタ等に同時に表示し、監視者が両映像を比較することがある。しかしながら、過去映像とライブ映像とで撮影条件（例えば、カメラのパン・チルト・ズーム等）が異なると、監視者が両映像を比較することが困難である。

特許文献１には、監視対象を撮影する際の撮影条件を映像に付加して記録しておき、過去映像を再生する際に、記録された撮影条件を再現しながらライブ映像を撮影する映像監視方法が開示されている。

特開２００２−７７８７９号公報

しかしながら、特許文献１に開示されている技術では、以下のような問題がある。
一般的に、カメラを制御するシステムとカメラとの間で信号を伝達する際に、遅延が発生する。この遅延の量は、ネットワークの状態等に応じて変化する。したがって、撮影条件を映像に付加して記録する際、そのときの固有の遅延量に基づいて撮影条件が記録される。すなわち、記録された撮影条件を再現しながらライブ映像を得たとしても、過去映像を記録したときと現在とでは遅延量が異なることにより、過去映像とライブ映像とでは撮影条件が切り替わるタイミングに差異が生じるという問題がある。

本発明は、上述した問題点に鑑みてなされたものであり、過去映像とライブ映像とを表示する場合に過去映像をライブ映像に同期して表示することを目的とする。

本発明は、過去映像を撮影したときの撮影条件を再現したライブ映像を前記過去映像と共に表示する表示制御装置であって、撮影されているライブ映像のうち同期の基準となるフレームを検出する検出手段と、前記検出手段により検出された同期の基準となるフレームに対応する、過去映像のフレームを頭出しして再生することにより、前記過去映像を前記ライブ映像に同期して表示する表示制御手段と、を有することを特徴とする。

本発明によれば、過去映像とライブ映像とを表示する場合に過去映像をライブ映像に同期して表示することができる。

映像記録表示システムの概略構成の一例を示す図である。 第１実施形態の映像記録表示システムの構成の一例を示す図である。 映像記録表示装置のハードウェア構成の一例を示す図である。 第１実施形態の映像記録表示装置の処理を示すフローチャートである。 同期基準情報の内容の一例を示す図である。 撮影条件情報の内容の一例を示す図である。 ライブ映像を記録する処理の一例を示すフローチャートである。 同期の基準を検出する処理の一例を示すフローチャートである。 初期映像記録の処理の一例を示すフローチャートである。 同期して表示する処理の一例を示すフローチャートである。 第２実施形態の映像記録表示システムの構成の一例を示す図である。 同期の基準を検出する処理の一例を示すフローチャートである。 過去映像を選択するための表示画面一例を示す図である。 同期の基準を検出する設定をするための表示画面の一例を示す図である。

以下、本発明を実施するための実施形態について図面を参照して詳細に説明する。
（第１実施形態）
図１は、映像記録表示システムの概略構成の一例を示す図である。
映像記録表示システムは、映像記録表示装置１００、撮影装置１１０を有する。
撮影装置１１０は、生産設備等の監視対象１６０を撮影可能に配置される。映像記録表示装置１００は、表示制御装置および記録制御装置として機能する。具体的に、映像記録表示装置１００は、撮影装置１１０により監視対象１６０が撮影されたライブ映像を過去映像と共に表示部に表示したり、撮影装置１１０により撮影されたライブ映像を記録部に記録したりする。ここで、過去映像とは、監視対象１６０が過去に撮影された映像である。映像記録表示装置１００と撮影装置１１０は、通信ケーブル等によってデータを送受信可能に接続される。

図２は、第１実施形態の映像記録表示システムの構成の一例を示す図である。
撮影装置１１０は、撮影部１２０、駆動部１３０、通信部１４０を有する。
撮影装置１１０は、映像記録表示装置１００から送信され、通信部１４０を介して受信する命令に応じて駆動部１３０を制御し、パン・チルト・ズーム等の撮影条件を変更する。撮影装置１１０は、例えばネットワークカメラのように撮影部１２０と駆動部１３０が一体であってもよく、自動ステージとカメラを組み合わせたような撮影部１２０と駆動部１３０が別体であってもよい。

映像記録表示装置１００は、接続部２１０、表示部２２０、入力部２３０、演算部２４０、記録部２５０を有する。
接続部２１０は撮影装置１１０と有線または無線で通信するためのインターフェースである。表示部２２０はユーザインターフェースを表示する。入力部２３０はユーザの入力を受け付ける。

演算部２４０は各データを演算する。演算部２４０は、過去映像選択受付部２４１、撮影条件制御部２４２、記録制御部２４３、同期基準検出部２４４、映像表示制御部２４５を有する。演算部２４０の上述した構成部は、後述するＣＰＵがプログラムを実行することにより実現される。ただし、演算部２４０の各構成部は、専用のハードウェアで構成してもよい。
記録部２５０は各データを記録する。記録部２５０は、映像記録部２５１、撮影条件記録部２５２、同期基準記録部２５３を有する。

図３は、映像記録表示装置１００のハードウェア構成の一例を示す図である。
映像記録表示装置１００は、ＣＰＵ３１０、メモリ３２０、記録部２５０として例えばハードディスク等の内部記録装置３３０、表示部２２０としてのモニタ３４０、入力部２３０としてのキーボード３５０、接続部２１０としての外部通信ポート３６０を有する。映像記録表示装置１００の上述したハードウェアの各構成部は、内部バス３００を介して接続される。また、映像記録表示装置１００は、外部通信ポート３６０を通して撮影装置１１０と接続される。
ＣＰＵ３１０が内部記録装置３３０に記録したプログラムを実行したり、必要に応じてメモリ３２０にプログラムや各種データをロードして実行したりすることにより、演算部２４０が行う処理が実現される。なお、内部記録装置３３０には、上述した、映像記録部、撮影条件記録部、同期基準記録部が含まれる。

映像記録表示装置１００は、入力部２３０で受け付けたユーザの指示に従って、撮影装置１１０を制御して監視対象１６０を撮影し、撮影したライブ映像と、ユーザが選択した過去映像とを表示部２２０に表示する。
ここで、過去映像を選択する場合に表示部２２０に表示されるユーザインターフェースの一例について説明する。
図１３は、過去映像を選択するユーザインターフェース（ＧＵＩ）の表示画面１３００の一例を示す図である。
表示画面１３００は、ライブ映像を表示するライブ映像表示領域１３１０、過去映像を表示する過去映像表示領域１３２０、ユーザが表示させたい過去映像を選択した情報を表示する入力領域１３３０と、入力した内容を決定する決定ボタン１３４０を有する。
入力領域１３３０には、ユーザにより後述する過去映像選択情報が入力される。決定ボタン１３４０がユーザにより押下されることで、演算部２４０は後述する図４のフローチャートの処理を開始する。

次に、第１実施形態の映像記録表示装置１００の処理の一例について説明する。
図４は、映像記録表示装置１００の処理の一例を示すフローチャートである。
Ｓ４０１では、過去映像選択受付部２４１は、ユーザにより入力領域１３３０を介して選択された過去映像選択情報を受け付ける。過去映像選択情報は、映像記録部２５１に記録されている過去映像を一意に識別するための情報であり、例えば、映像ごとに割り振られた映像ＩＤ等である。

Ｓ４０２では、映像表示制御部２４５は、選択された過去映像選択情報に基づいて過去映像を映像記録部２５１から読み出す。映像記録部２５１から読み出される過去映像は後述する初期映像記録の処理（Ｓ９０１〜９０６）で記録された映像、あるいは後述するＳ４０６で記録された映像である。
映像記録部２５１には映像と、映像を一意に識別する映像識別情報が記録されている。映像識別情報は、上述した過去映像選択情報に対応するものであり、例えば、上述した映像ＩＤ等である。したがって、映像表示制御部２４５は、過去映像選択情報と、映像識別情報とを用いて、過去映像を映像記録部２５１から読み出すことができる。

Ｓ４０３では、映像表示制御部２４５は、読み出した過去映像に紐付けられた同期基準情報４３００を同期基準記録部２５３から読み出す。同期基準情報４３００は、過去映像をライブ映像に同期して表示するときに用いられる情報であり、後述するＳ８０４で記録される情報である。

図５は、同期基準情報４３００の内容の一例を示す図である。
同期基準情報４３００は、上述した映像識別情報４２２０、同期タイミング識別情報４３１０、同期タイミング情報４３２０により構成される。同期タイミング識別情報４３１０は、同期タイミング情報を映像の中で一意に識別するための情報であり、例えば、記録された順にインクリメントされる番号である。同期タイミング識別情報４３１０は、同期の基準であることを示す情報の一例である。同期タイミング情報４３２０は、同期するタイミングを示す情報であり、例えば、映像開始フレームから割り振られたフレーム番号である。なお、同期タイミング識別情報４３１０と同期タイミング情報４３２０とは互いに紐付けて記録されている。

Ｓ４０４では、撮影条件制御部２４２は、過去映像に紐付けられた撮影条件情報４４００を撮影条件記録部２５２から読み出す。撮影条件情報４４００は、ライブ映像を撮影している撮影装置１１０の撮影条件を変更するときに用いられる情報であり、後述するＳ７０５で記録される情報である。

図６は、撮影条件情報４４００の内容の一例を示す図である。
撮影条件情報４４００は、上述した映像識別情報４２２０、変更タイミング情報４４１０、撮影装置制御情報４４２０により構成される。変更タイミング情報４４１０は、撮影条件が変更されたタイミングを示す情報であり、例えば、映像開始フレームから割り振られたフレーム番号である。撮影装置制御情報４４２０は、撮影装置１１０に送信され、撮影装置１１０の撮影条件の一例である。撮影装置制御情報４４２０には、例えば、撮影装置１１０がパン方向に移動するときのパン情報、チルト方向に移動するときのチルト情報、ズームを変更するときのズーム情報が含まれる。なお、変更タイミング情報４４１０と撮影装置制御情報４４２０とは互いに紐付けて記録されている。

Ｓ４０５では、映像表示制御部２４５は、読み出した過去映像をフレームごとに表示部２２０に順次表示するにあたり、表示する過去映像のフレームが残っているか否かを判定する。過去映像のフレームが残っている場合（Ｓ４０５においてＹＥＳ）には、映像表示制御部２４５が残りの過去映像のうち先頭のフレームを選択して、記録制御部２４３がＳ４０６のライブ映像を記録する処理を実行する。その後、映像表示制御部２４５は、Ｓ４０７のライブ映像と過去映像を同期して表示する処理を実行した後にＳ４０５に戻る。一方、過去映像のフレームが残っていない場合には、映像表示制御部２４５は過去映像とライブ映像とを同時に表示する処理を終了する。
その後、映像表示制御部２４５は、ライブ映像のみを表示部２２０に継続して表示したり停止したりしてもよく、Ｓ４０１の処理に戻ってもよい。

次に、Ｓ４０６のライブ映像を記録する処理について図７を参照して説明する。
図７は、ライブ映像を記録する処理の一例を示すフローチャートである。
Ｓ７０１では、映像表示制御部２４５は、Ｓ４０４で読み出した撮影条件情報４４００を参照して、Ｓ４０５で選択した過去映像のフレームに撮影条件が紐付けられているか否かを判定する。具体的には、Ｓ４０５で選択した過去映像のフレームのフレーム番号が撮影条件情報４４００の変更タイミング情報４４１０に記録されている場合、過去映像のフレームに撮影条件が紐付けられていると判定できる。例えば、図６に示す撮影条件情報４４００において、選択した過去映像のフレームのフレーム番号が１９７である場合を想定する。この場合には、変更タイミング情報４４１０として記録されたフレーム番号と一致しているために、映像表示制御部２４５は選択した過去映像のフレームに撮影条件が紐付けられていると判定する。
紐付けられていた場合（Ｓ７０１においてＹＥＳ）にはＳ７０２に進み、そうではない場合（Ｓ７０２においてＮＯ）にはＳ７０２を実行せずにＳ７０３に進む。

Ｓ７０２では、撮影条件制御部２４２は、Ｓ４０４で読み出した撮影条件情報４４００を参照して、過去映像のフレームに紐付けられた撮影条件を撮影装置１１０に送信する。例えば、図６に示す撮影条件情報４４００において、選択した過去映像のフレームのフレーム番号が１９７である場合を想定する。この場合には、撮影条件制御部２４２は、フレーム番号が１９７に対応する撮影装置制御情報４４２０として、パン情報１０ｄｅｇ、チルト情報４０ｄｅｇ、ズーム情報１０％等の撮影条件を撮影装置１１０に送信する。
撮影装置１１０は、受信した撮影条件に基づいて駆動部１３０を制御することで過去映像の撮影条件を再現したライブ映像を撮影することができる。

Ｓ７０３では、記録制御部２４３は、撮影装置１１０から送信されたライブ映像のフレームを受信して、例えば、映像ＩＤ等の現在撮影中のライブ映像用の映像識別番号と共に映像記録部２５１に記録する。しがって、新たに記録した映像を映像記録部２５１の中で一意に識別することができる。

Ｓ７０４では、撮影条件制御部２４２は、Ｓ７０３で受信したライブ映像のフレームに撮影条件を紐付けして記録するか否かを判定する。ここで、撮影条件を紐付けて記録する場合とは、撮影条件が変更された場合であり、例えば、Ｓ７０２において、撮影条件を撮影装置１１０に送信してから初めて受信するフレームの場合である。記録する場合（Ｓ７０４においてＹＥＳ）にはＳ７０５に進み、記録しない場合（Ｓ７０４においてＮＯ）にはＳ７０５を実行せずにＳ７０６に進む。

Ｓ７０５では、記録制御部２４３は、ライブ映像の撮影条件を撮影条件記録部２５２に記録する。具体的には、記録制御部２４３は、図６に示す撮影条件情報４４００を新たに生成して、Ｓ７０３で受信したライブ映像の映像識別情報４２２０、変更タイミング情報４４１０、撮影装置制御情報４４２０を記録する。ここで、変更タイミング情報４４１０、撮影装置制御情報４４２０を記録する処理が、ライブ映像のフレームに過去映像を撮影したときの撮影条件を紐付けて記録する処理の一例に対応する。
ここでの変更タイミング情報４４１０は、例えば、Ｓ７０３で撮影中のライブ映像を受信し始めてから順番に割り振られた、ライブ映像のフレームのフレーム番号である。また、ここでの撮影装置制御情報４４２０は、例えば、Ｓ７０２で送信したパン情報１０ｄｅｇ、チルト情報４０ｄｅｇ、ズーム情報１０％等の撮影条件である。変更タイミング情報４４１０と撮影装置制御情報４４２０とは互いに紐付けて記録される。なお、既に、撮影中のライブ映像に対応した撮影条件情報４４００が生成されている場合には、記録制御部２４３は、変更タイミング情報４４１０、撮影装置制御情報４４２０を追加して記録する。
このように、変更された撮影条件が変更されたタイミングを、現在の通信遅延量に固有であるライブ映像のフレームに紐付けて記録することができる。

Ｓ７０６では、同期基準検出部２４４は、撮影中のライブ映像から同期の基準となるフレームを検出する。具体的には、Ｓ７０３で受信したフレームが同期の基準となるフレームであるか否かを判定する。同期の基準となるフレームは、撮影条件が変更されて撮影装置１１０が停止状態から移動状態に変化したとき、あるいは移動状態から停止状態に変化したときのタイミングのフレームである。同期基準検出部２４４は、例えば、Ｓ７０２において撮影条件を撮影装置１１０に送信してから初めて受信するライブ映像のフレームを同期の基準となるフレームとしてもよい。また、例えば、受信したライブ映像のフレームを画像解析することで同期の基準となるフレームを検出してもよい。

ここでは、ライブ映像のフレームを画像解析し、フレーム間の画像情報に基づいて同期の基準となるフレームを検出する方法について図１４および図８を参照して説明する。
図１４は、同期の基準となるフレームを検出するのに必要なパラメータを予め設定するユーザインターフェース（ＧＵＩ）の表示画面１４００の一例を示す図である。
表示画面１４００は、映像表示領域１４１０、領域選択ボタン１４２０、第１の閾値入力領域１４３０、第２の閾値入力領域１４４０、設定ボタン１４５０を有する。

ユーザは領域選択ボタン１４２０を押下し、映像表示領域１４１０（撮影領域）において画素値比較領域１４２２を設定する。画素値比較領域１４２２は、ユーザが入力部２３０を介して頂点１４２１を選択することで任意に設定できる。図１４では、画素値比較領域１４２２が単一の矩形であるが、この場合に限られず、映像表示領域１４１０内で矩形以外の形状を設定してもよく、複数の領域を設定してもよい。また、頂点１４２１の位置を撮影領域の座標で指示できるようにしてもよい。
ユーザは、第１の閾値入力領域１４３０に第１の閾値を入力し、第２の閾値入力領域１４４０に第２の閾値を入力する。ユーザが設定ボタン１４５０を押下することで、同期基準検出部２４４が入力された各パラメータを設定する。

図８は、同期の基準となるフレームを検出する処理の一例を示すフローチャートである。
Ｓ８０１では、同期基準検出部２４４は、Ｓ７０３で受信したライブ映像のフレームと、Ｓ７０３で受信する前のフレームとの間でそれぞれ画素値比較領域１４２２の各画素の画素値の差分を算出する。
Ｓ８０２では、同期基準検出部２４４は、Ｓ８０１で算出した画素値の差分が第１の閾値以上である画素数をカウントする。

Ｓ８０３では、同期基準検出部２４４は、Ｓ８０２でカウントした画素数を、第２の閾値と比較する。画素数が第２の閾値に対して所定の条件を満たした場合（Ｓ８０３においてＹＥＳ）にはＳ８０４に進み、第２の閾値に対して所定の条件を満たしていない場合（Ｓ８０３においてＮＯ）にはＳ８０４を実行せずに処理を終了する。
ここで、第２の閾値と比較する処理を、例えば第２の閾値以上とした場合にＹＥＳとなるライブ映像のフレームは、撮影中に撮影装置１１０が駆動部１３０によって停止状態から移動状態に変化したフレーム、すなわち動き始めたフレームである。一方、第２の閾値と比較する処理を、例えば第２の閾値以下とした場合にＹＥＳとなるライブ映像のフレームは、撮影中に撮影装置１１０が駆動部１３０に移動状態から停止状態に変化したフレーム、すなわち静止したときのフレームである。

Ｓ８０４では、記録制御部２４３は、Ｓ７０３で受信したライブ映像のフレームを同期の基準となるフレームとして、当該フレームに同期の基準であることを示す情報を紐付けて同期基準記録部２５３に記録する。具体的には、記録制御部２４３は、図５に示す同期基準情報４３００を新たに生成して、Ｓ７０３で受信したライブ映像の映像識別情報４２２０、同期タイミング識別情報４３１０、同期タイミング情報４３２０を記録する。ここで、同期タイミング識別情報４３１０、同期タイミング情報４３２０を記録する処理が、同期の基準となるフレーム（フレーム番号）に同期の基準であることを示す情報を紐付けて記録する処理の一例に対応する。
ここでの同期タイミング識別情報４３１０は、現在撮影中のライブ映像の中で同期タイミング情報を一意に識別するための情報であり、例えば、記録された順にインクリメントされる番号である。また、ここでの同期タイミング情報４３２０は、例えば、Ｓ７０３でライブ映像を受信し始めてから順番に割り振られた、ライブ映像フレームのフレーム番号である。同期タイミング識別情報４３１０と同期タイミング情報４３２０とは互いに紐付けて記録される。なお、既に、撮影しているライブ映像に対応した同期基準情報４３００が生成されている場合には、記録制御部２４３は、同期タイミング識別情報４３１０、同期タイミング情報４３２０を追加して記録する。
このように、ライブ映像と過去映像を同期して表示するタイミングを、現在の通信遅延量に固有であるライブ映像のフレームに紐付けて記録することができる。

なお、ライブ映像のフレームを画像解析して同期の基準となるフレームを検出する方法は、この場合に限られない。例えば、撮影装置１１０の撮影視野内の所定位置に予めマーカを設定し、同期基準検出部２４４がライブ映像のフレーム内での位置をパターンマッチング技術等により計測することで、撮影装置１１０が動き始めたタイミングまたは静止したタイミングのフレームを検出してもよい。

Ｓ８０４の終了に応じてＳ７０６の処理が終了することで、Ｓ４０６におけるライブ映像を記録する処理が終了しＳ４０７に進む。Ｓ４０６の処理により、同期基準情報４３００において同期タイミング識別情報４３１０と同期タイミング情報４３２０とが互いに紐付けて記録される。また、撮影条件情報４４００において変更タイミング情報４４１０と撮影装置制御情報４４２０とが互いに紐付けて記録される。したがって、撮影中のライブ映像のフレームに同期の基準であることを示す情報が紐付けられ、撮影中のライブ映像のフレームに撮影条件が紐付けられる。
以上の処理により記録した映像は、新たにＳ４０１の処理が開始された場合に過去映像として選択することができる。

次に、過去映像として記録される初期映像記録の処理の一例について説明する。この処理は、ユーザが手動で入力部２３０を介して撮影条件を入力して、遠隔で撮影装置１１０を制御したときに撮影装置１１０が撮影したときのライブ映像を記録する処理である。
図９は、初期映像記録の処理の一例を示すフローチャートである。
Ｓ９０１では、撮影条件制御部２４２は、入力部２３０からユーザが入力した撮影条件を受け付ける。この処理は、Ｓ４０４の代替となる処理である。

Ｓ９０２では、撮影条件制御部２４２、記録制御部２４３および同期基準検出部２４４は、それぞれ上述したＳ７０２〜Ｓ７０６の処理を順に行う。
Ｓ９０３では、撮影条件制御部２４２は、入力部２３０からユーザが入力した初期映像記録を続行することを示す情報に基づいて、初期映像記録の処理を継続するか否かを判定する。継続する場合（Ｓ９０３においてＹＥＳ）にはＳ９０１に戻り、継続しない場合（Ｓ９０３においてＮＯ）には初期映像記録の処理を終了する。初期映像記録の処理を終了することで、ユーザが手動で撮影装置１１０を操作しながら記録した映像のフレームに同期の基準であることを示す情報が紐付けられ、当該映像のフレームに撮影条件が紐付けられる。
以上の処理により記録した映像は、新たにＳ４０１の処理が開始された場合に過去映像として選択することができる。

次に、Ｓ４０７の過去映像をライブ映像に同期して表示する処理について図１０を参照して説明する。図１０は、過去映像をライブ映像に同期して表示する処理の一例を示すフローチャートである。
Ｓ１００１では、映像表示制御部２４５は、Ｓ７０３で受信したライブ映像のフレームがＳ８０４で同期の基準となるフレームとされたか否かを判定する。同期の基準ではない場合（Ｓ１００１でＮＯ）にはＳ１００２に進み、同期の基準である場合（Ｓ１００１でＹＥＳ）にはＳ１００３に進む。

Ｓ１００２では、映像表示制御部２４５は、Ｓ４０５で選択した過去映像のフレームをそのまま表示部２２０に表示する。
Ｓ１００３では、映像表示制御部２４５は、Ｓ１００１で同期の基準とされた、ライブ映像のフレームに対応する、過去映像のフレームを頭出しして再生する。ここでは、映像表示制御部２４５が過去映像のフレームのうち、ライブ映像のフレームに対応する同期の基準であることを示す情報が紐付けられたフレームを頭出しして再生する。
具体的には、映像表示制御部２４５は、Ｓ８０４で記録した同期タイミング識別情報を取得する。次に、映像表示制御部２４５は、Ｓ４０３で読み出した同期基準情報４３００から、当該同期タイミング識別情報と同一の同期タイミング識別情報が紐付けられた同期タイミング情報４３２０、すなわちフレーム番号を検索する。次に、映像表示制御部２４５は、検索したフレーム番号に対応する、過去映像のフレームを新たに読み出して表示部２２０を表示する。

例えば、過去映像に紐付けられた同期基準情報４３００が図５であるとする。ここで、ライブ映像のフレームの同期タイミング識別情報が３の場合には、対応する過去映像の同期タイミング情報は２２５であるので、映像表示制御部２４５は過去映像のうちフレーム番号が２２５番目のフレームを読み出して表示部２２０に表示する。
このような処理により、過去映像は、ライブ映像の同期の基準となるフレームと同じ同期の基準となるフレームまで戻されたりスキップされたりして頭出しして再生される。
Ｓ１００４では、映像表示制御部２４５は、Ｓ７０３で受信したライブ映像のフレームを表示部２２０に表示する。

このように、本実施形態によれば、映像記録表示装置１００は、撮影中のライブ映像において検出された同期の基準となるフレームに対応する、過去映像のフレームを頭出しして再生する。したがって、過去映像とライブ映像を同時に表示する場合に過去映像をライブ映像に同期して表示することができ、過去映像とライブ映像とで異なるフレームの映像が表示されてしまうことを抑制することができる。
また、本実施形態によれば、映像記録表示装置１００は、過去映像が撮影されたときに、過去映像のフレームのうち同期の基準となるフレームに紐付けして記録された同期の基準であることを示す情報に基づいて、過去映像のフレームを頭出しして再生する。このように、同期の基準であることを示す情報に基づいて、過去映像のフレームを頭出しすることで、精度よく過去映像をライブ映像に同期して表示することができる。

また、本実施形態によれば、例えば、監視対象で異常が発生した場合に、監視対象が正常に動作しているときに記録された過去映像を選択して、異常が発生しているライブ映像と同期して表示させることで正常状態と異常状態の映像を容易に表示することができる。
なお、本実施形態の変形例として、例えば、Ｓ７０３において、ライブ映像を記録する場合に、映像ＩＤだけでなく異常の種類に応じた異常情報を紐付けて記録してもよい。この場合には、現在発生している異常と同じ種類の異常が発生した場合に、Ｓ４０１において異常情報に基づいて過去映像を選択できるようにすることで、容易に同じ種類の異常状態の映像を比較することができる。具体的には、上述した表示画面１３００にユーザが異常情報を選択して入力できる入力領域を追加する。この場合、過去映像選択受付部２４１はユーザにより入力領域を介して選択された異常情報を受け付け、映像表示制御部２４５は選択された異常情報が紐付けられた過去映像を映像記録部２５１から読み出して、上述した処理を行う。

また、本実施形態の変形例として、例えば、ユーザが過去映像を表示させる表示規則を予め設定できるようにして、過去映像を自動で選択されるようにしてもよい。例えば、監視カメラ等で定常的な巡回監視を行っている場合に、直前に記録された映像や前日の同時刻に記録された映像を自動で過去映像に設定してもよい。この場合、前回の巡回監視時との差異を映像で確認する場合に、ユーザが監視するたびに過去映像を選択する必要がないので、利便性を向上させることができる。
また、本実施形態の変形例として、撮影条件にはローテーション情報、フォーカス情報、および明るさ情報のうち何れかの情報を含めてもよい。

（第２実施形態）
次に、第２実施形態に係る映像記録表示システムについて説明する。
図１１は、第２実施形態の映像記録表示システムの構成の一例を示す図である。第１実施形態と同様の構成は同一符号を付して適宜、説明を省略する。
映像記録表示システムは、映像記録表示装置１０１、撮影装置１１１を有する。
映像記録表示装置１０１は、第１実施形態における映像記録表示装置１００の同期基準検出部２４４を同期基準受信部２４６に置き換えている。また、撮影装置１１１は、第１実施形態における撮影装置１１０に同期基準検出部１５０を追加している。なお、同期基準受信部２４６、または同期基準検出部１５０は、検出手段の一例である。

次に、第２実施形態の映像記録表示システムについて、第１実施形態と異なる処理を中心に説明する。本実施形態では、Ｓ７０６における撮影中のライブ映像から同期の基準となるフレームを検出する処理が撮影装置１１１内で実行される。
図１２は、同期の基準を検出する処理の一例を示すフローチャートである。
Ｓ１２０１では、同期基準受信部２４６は、同期基準検出信号を受信したか否か判定する。ここでは、撮影装置１１１の同期基準検出部１５０が、現在撮影中のライブ映像から同期の基準となるフレームを検出することに応じて、同期基準検出信号を映像記録表示装置１０１に送信する。同期基準検出信号を受信した場合（Ｓ１２０１においてＹＥＳ）にはＳ１２０２に進む。一方、受信しない場合（Ｓ１２０１においてＮＯ）にはＳ１２０２を実行せずに終了する。

Ｓ１２０２では、記録制御部２４３は、Ｓ７０３で受信したライブ映像のフレームを同期の基準となるフレームとして、当該フレームに同期の基準であることを示す情報を紐付けて同期基準記録部２５３に記録する。この処理は、Ｓ８０４と同様の処理である。
なお、撮影装置１１１内で実行される、撮影中のライブ映像から同期の基準となるフレームを検出する処理はＳ８０１〜Ｓ８０３と同様の処理であってもよく、駆動部１３０の制御状態によって判定してもよい。例えば、撮影装置１１１は駆動部１３０のエンコーダ値を監視しておき、撮影装置１１１の撮影部１２０が駆動部１３０によって動き始めたタイミングまたは静止したタイミングを判定してもよい。

本実施形態によれば、映像記録表示装置１０１において撮影中のライブ映像から同期の基準となるフレームを検出する処理を省略できることから演算部２４０に対する負荷を軽減することができる。したがって、ライブ映像のフレームを受信してから過去映像を同期して表示するまでの処理時間を短縮することができる。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムをネットワークまたは各種記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、該プログラムおよび該プログラムを格納した記録媒体は本発明を構成する。

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能であり、上述した実施形態あるいは変形例を適時、組み合わせてもよい。

１００、１０１：映像記録表示装置 １１０、１１１：撮影装置 ２２０：表示部 ２３０：入力部 ２４０：演算部 ２４１：過去映像選択受付部 ２４２：撮影条件制御部 ２４３：記録制御部 ２４４：同期基準検出部 ２４５：映像表示制御部 ２４６：同期基準受信部 ２５０：記録部 ２５１：映像記録部 ２５２：撮影条件記録部 ２５３：同期基準記録部

Claims (16)

1. 過去映像を撮影したときの撮影条件を再現したライブ映像を前記過去映像と共に表示する表示制御装置であって、
   撮影されているライブ映像のうち同期の基準となるフレームを検出する検出手段と、
   前記検出手段により検出された同期の基準となるフレームに対応する、過去映像のフレームを頭出しして再生することにより、前記過去映像を前記ライブ映像に同期して表示する表示制御手段と、
   を有することを特徴とする表示制御装置。
2. 前記ライブ映像が撮影されたときに同期の基準となるフレームに同期の基準であることを示す情報が紐付けて記録され、
   前記表示制御手段は、
   前記紐付けて記録された同期の基準であることを示す情報に基づいて、前記過去映像のフレームを頭出しして再生することを特徴とする請求項１に記載の表示制御装置。
3. 前記検出手段は、
   前記ライブ映像のうち撮影条件が変更されたときに撮影されているフレームを、前記同期の基準となるフレームとして検出することを特徴とする請求項１または２に記載の表示制御装置。
4. 前記検出手段は、
   前記ライブ映像を撮影している撮影装置が停止状態から移動状態に変化したときに撮影しているフレーム、あるいは移動状態から停止状態に変化したときに撮影しているフレームを、前記同期の基準となるフレームとして検出することを特徴とする請求項１ないし３の何れか１項に記載の表示制御装置。
5. 前記撮影条件は、
   前記ライブ映像を撮影している撮影装置がパン方向に移動するときのパン情報、チルト方向に移動するときのチルト情報、ズームを変更するときのズーム情報のうち少なくとも何れかの情報が含まれていることを特徴とする請求項１ないし４の何れか１項に記載の表示制御装置。
6. 前記検出手段は、
   前記ライブ映像のフレーム間の画像情報に基づいて、前記同期の基準となるフレームを検出することを特徴とする請求項１ないし５の何れか１項に記載の表示制御装置。
7. 前記検出手段は、
   前記ライブ映像のフレーム間における画素値の差分を算出し、前記算出した差分が第１の閾値以上である画素数をカウントし、前記カウントした画素数が第２の閾値に対して所定の条件を満たすフレームを前記同期の基準となるフレームとして検出することを特徴とする請求項６に記載の表示制御装置。
8. 前記ライブ映像の撮影領域のうちユーザにより選択された領域を受け付ける受付手段を有し、
   前記検出手段は、
   前記ライブ映像のフレーム間において前記受付手段により受け付けられた領域の画像情報に基づいて、前記同期の基準となるフレームを検出することを特徴とする請求項６または７に記載の表示制御装置。
9. 前記過去映像の撮影条件を取得する取得手段と、
   前記取得手段により取得された撮影条件を、前記ライブ映像を撮影している撮影装置に送信する通信手段と、を有し、
   前記検出手段は、
   前記通信手段により前記撮影装置に撮影条件を送信した後に前記撮影装置が撮影したフレームを、前記同期の基準となるフレームとして検出することを特徴とする請求項１ないし５の何れか１項に記載の表示制御装置。
10. 前記ライブ映像を記録する記録制御手段を有し、
    前記記録制御手段は、
    前記検出手段により検出された同期の基準となるフレームに、前記同期の基準であることを示す情報を紐付けて記録することを特徴とする請求項１ないし９の何れか１項に記載の表示制御装置。
11. 前記ライブ映像を記録する記録制御手段を有し、
    前記記録制御手段は、
    前記ライブ映像のフレームに前記過去映像を撮影したときの撮影条件を紐付けて記録することを特徴とする請求項１ないし９の何れか１項に記載の表示制御装置。
12. 前記表示制御手段は、
    前記記録制御手段により記録されたライブ映像を前記過去映像として表示することを特徴とする請求項１０または１１に記載の表示制御装置。
13. 前記表示制御手段は、
    ユーザにより選択された過去映像、あるいはユーザにより設定された表示規則に基づいて選択された過去映像を、前記ライブ映像と共に表示することを特徴とする請求項１ないし１２の何れか１項に記載の表示制御装置。
14. 過去映像を撮影したときの撮影条件を再現したライブ映像を前記過去映像と共に表示する表示制御方法であって、
    撮影されているライブ映像のうち同期の基準となるフレームを検出する検出ステップと、
    前記検出ステップにより検出された同期の基準となるフレームに対応する、過去映像のフレームを頭出しして再生することにより、前記過去映像を前記ライブ映像に同期して表示する表示制御ステップと、
    を有することを特徴とする表示制御方法。
15. コンピュータを、請求項１ないし１３の何れか１項に記載された表示制御装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項１ないし１３の何れか１項に記載された表示制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。

Images