JP2004234561A - Image display system - Google Patents

Image display system Download PDF

Info

Publication number
JP2004234561A
JP2004234561A JP2003025087A JP2003025087A JP2004234561A JP 2004234561 A JP2004234561 A JP 2004234561A JP 2003025087 A JP2003025087 A JP 2003025087A JP 2003025087 A JP2003025087 A JP 2003025087A JP 2004234561 A JP2004234561 A JP 2004234561A
Authority
JP
Japan
Prior art keywords
image
display
unit
time axis
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003025087A
Other languages
Japanese (ja)
Other versions
JP4175622B2 (en
Inventor
Shinji Arai
真司 新井
Yuji Nakazawa
裕二 中沢
Teruhide Wada
照秀 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2003025087A priority Critical patent/JP4175622B2/en
Publication of JP2004234561A publication Critical patent/JP2004234561A/en
Application granted granted Critical
Publication of JP4175622B2 publication Critical patent/JP4175622B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display system enabling a user to easily select an image to be displayed with a simple operation when displaying a desired image in reference to a display screen. <P>SOLUTION: The image display terminal of a monitoring system comprises the display screen constituted, in order to display an image selected from a plurality of images, by arranging a main image display part 301 for displaying an image to be displayed, a time axis display part 302 for displaying a time axis for matching a plurality of images in time series, a thumbnail display part 303 for displaying a thumbnail that is a predetermined representative image selected from the images in a reduced size in association with the time axis, a camera selection part 304 for selecting the kind of a monitoring camera, a calendar display part 305 selectively displaying the taking date of an image, an area designation part 306 for designating an area for determining a change of the image, an instantaneous change elimination setting part 307 for eliminating an instantaneous change of the image, and a time display part 308 for displaying the taking date and time of the image to be displayed. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、複数の画像の中から所望の画像を選択し、表示画面に表示させる画像表示システムの技術分野に属し、さらには、監視カメラから伝送された画像データを記憶手段に順次記憶させ、記憶手段を検索して所望の画像を選択し、選択された画像を表示画面に表示させる構成を備えた監視システムの技術分野に属するものである。
【0002】
【従来の技術】
従来から、大量の画像データを蓄積し、所定の画像を選択して表示させる画像表示システムが広く利用されている。このような画像表示システムでは、ユーザが多くの画像の中から表示させたい画像を速やかに検索し、所望の画像を表示画面に表示させるため、表示画面の適切な配置や良好な操作性が求められる。従来の画像表示システムにおいて、選択された画像を拡大表示することに加えて、画像の縮小イメージとしてのサムネイルを表示させる方法が知られている。これにより、表示画面上で複数のサムネイルを参照することにより、表示対象とすべき画像の検索が容易となる。
【0003】
また、上述のように表示画面に表示されるサムネイルとともに、画像に関する時刻情報等の属性情報を表示させれば、画像の検索を効率的に行うことができる。この場合、画像の属性情報をグラフ化して表示し、画像の選択性を向上させる方法も提案されている(例えば、特許文献1参照)。
【0004】
【特許文献1】
特開2001−134578
【0005】
【発明が解決しようとする課題】
しかし、上記従来の画像表示システムでは、複数のサムネイルを配置した表示画面をユーザが参照したとしても、その中からユーザが所望の画像を選択することは必ずしも容易ではなかった。特に、時系列に沿って多数の画像が存在し、その中から特徴的な画像を検索する場合には、それら全てをサムネイルで確認することは困難であり、所望の画像を探し出すことが難しい場合もあった。例えば、画像表示システムを監視システムに適用することを想定すると、監視カメラにより所定の時間間隔で撮影された多数の画像の中から、防犯上の観点から特定の画像を判別する際などは検索が容易ではなかった。
【0006】
また、上記特許文献1に開示された方法のように属性情報をグラフ化した表示を用いる場合であっても、多数の画像のそれぞれの属性情報を把握することは困難であり、ユーザにとって使い勝手は良くなかった。
【0007】
そこで、本発明はこのような問題に鑑みなされたものであり、多数の画像の中から選択された所望の画像を表示する場合、ユーザが表示画面を参照しつつ良好な操作性により、表示対象とすべき画像を容易に選択することが可能な画像表示システムを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記課題を解決するために、請求項1に記載の画像表示システムは、複数の画像の中から選択された画像を表示する画像表示システムであって、前記複数の画像を時系列に対応させるための時間軸を表示する時間軸表示部と、前記複数の画像の中から選択された所定の代表画像を副画像として縮小表示する副画像表示部と、前記時間軸表示部又は前記副画像表示部に対する所定の操作に従って選択された画像を主画像として表示する主画像表示部と、を配置して表示画面を構成することを特徴とする。
【0009】
この発明によれば、画像表示システムにおいて所望の画像を表示させる際、時間軸表示部と副画像表示部と主画像表示部が配置された表示画面が構成される。ユーザは、時間軸表示部により複数の画像が対応する時系列を識別でき、副画像表示部により所定の代表画像を縮小表示(サムネイル)で識別できる。そして、時間軸表示部又は副画像表示部に対して所定の操作をしたとき、主画像表示部により選択された画像を参照可能となる。よって、表示対象として多数の画像が存在する場合であっても、表示画面を一見して所定の操作を行うことにより所望の画像を識別した上で容易に選択でき、画像表示システムにおける操作性と視認性を向上させることができる。
【0010】
請求項2に記載の画像表示システムは、請求項1に記載の画像表示システムにおいて、前記複数の画像を基準画像と比較して各々の画像について変化の有無を判別する画像処理手段を更に備え、前記表示画面では、所定の操作に従って画像の検索が指示された際、前記画像処理手段による変化の有無の判別結果を反映して表示対象が変更されることを特徴とする。
【0011】
この発明によれば、画像表示システムでは、各々の画像について基準画像と比較したときの変化の有無が判別され、検索指示を受けたときに変化の有無の判別結果を反映して表示画面上の表示対象が変更される。よって、変化の有無に着目して表示対象を変えることにより所望の画像の選択性を高めることができ、視認性を一層向上させることができる。
【0012】
請求項3に記載の画像表示システムは、請求項2に記載の画像表示システム
において、前記画像処理手段は、変化有りと判定された時間的に連続する画像をそれぞれ画像群として設定し、前記副画像表示部では、前記画像群において変化が最も大きい画像が前記代表画像として設定されることを特徴とする。
【0013】
この発明によれば、画像処理手段の判別結果に基づき画像群が設定され、副画像表示部における代表画像としては、画像群の中で変化が最も大きい画像が設定される。よって、画像の変化の度合が特に大きい副画像を参照しつつ所望の画像を選択できるので、画像の変化に着目した場合の選択性を高めることができる。
【0014】
請求項4に記載の画像表示システムは、請求項2に記載の画像表示システムにおいて、前記画像処理手段は、画像を複数の領域に分割し、各々の領域毎に前記変化の有無を判別し、前記表示画面には、前記変化の有無を判別する領域を所定の操作に従って指定するための領域指定部が配置されることを特徴とする。
【0015】
この発明によれば、画像処理手段による変化の有無の判別は、複数の領域に分割された画像に対し各々の領域毎に行われ、ユーザは表示画面上の領域指定部により、判別すべき画像の領域を指定することができる。よって、画像の一部の領域に着目して所望の画像を選択することができ、画像に生じた変化をきめ細かく識別することができる。
【0016】
請求項5に記載の画像表示システムは、請求項1に記載の画像表示システムにおいて、前記時間軸表示部は、各々の画像に設定される時刻情報に対応する所定の時間範囲を示す主時間軸と、前記主時間軸の時間範囲のうち一部の時間範囲を拡大して示す副時間軸とを表示することを特徴とする。
【0017】
この発明によれば、表示画面上の時間軸表示部には主時間軸と副時間軸が表示され、所定の時間範囲が主時間軸で示される一方、その一部の時間範囲が副時間軸で示される。よって、多数の画像が広い時間範囲にわたって存在する場合、ユーザが主時間軸と副時間軸を使い分けることができ、画像と時系列の関係を良好な視認性で把握することができる。
【0018】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。以下では、監視カメラにより監視対象の画像を撮影し、撮影された画像をインターネットを経由して伝送可能な監視システムに対し、本発明に係る画像表示システムを適用した場合を説明する。
【0019】
図1は、本実施形態の監視システムの全体構成を示すブロック図である。図1に示す監視システムには、本監視システムを管理する管理センタ1と、監視対象の施設に設置されている複数の監視カメラ2を含み、インターネット3を介して各監視カメラ2から画像データが管理センタ1に伝送されるようなシステム構成を有している。この管理センタ1には、画像記録サーバ11と、画像表示端末12が設けられ、それぞれLANを経由してルータ13に接続され、インターネット3を介した情報の送受信を行うことができるように構成されている。また、画像表示端末12と同様の機能を持つ画像表示端末14を、管理センタ1の外部にてインターネット3に直接接続して用いることができる。
【0020】
複数の監視カメラ2は、店舗等の各種施設内における所定の撮影範囲を撮影し得る箇所にそれぞれ設置されており、所定のタイミングで各々の撮影範囲を撮影し、対応する画像データを出力する。これらの監視カメラ2は、いわゆるWebカメラであり、インターネット3にアクセスし、管理センタ1に向けて画像データを伝送する機能を備えている。なお、監視カメラ2により伝送される画像データには、撮影を行った監視カメラ2自体や各々の画像データを識別するための識別情報や、画像が撮影された日時を示す日時情報などの画像関連情報を含むヘッダ情報が付加されており、管理センタ1の側で適宜にヘッダ情報を参照可能となっている。
【0021】
管理センタ1では、監視カメラ2からインターネット3を介して受信された画像データがルータ13とLANを介して画像記録サーバ11に伝送される。画像記録サーバ11は、伝送された画像データを所定の画像関連情報とともに順次記録する。画像表示端末12は、所定の操作によりLANを介して画像記録サーバ11に記録されている画像データを検索し、所望の画像を表示する。
【0022】
図2は、画像記録サーバ11の構成を示すブロック図である。図2に示すように、画像記録サーバ11は、制御部101と、インターフェース102と、記憶部103と、画像処理部104と、変化テーブル生成部105を含んで構成されている。
【0023】
以上の構成において、制御部101はCPU等から構成され、画像記録サーバ11全体の動作を制御する。インターフェース102は、監視カメラ2から伝送される画像データを制御部101に入力する。そして、制御部101では、インターフェース102を介して入力された画像データを、監視カメラ2の番号や撮影日時といった画像関連情報と関連付けて記憶部103に記憶させるように制御を行う。
【0024】
画像処理部104は、制御部101の指示の下、インターフェース102を介して入力された画像データ、又は、記憶部103から読み出された画像データを対象とする画像処理を行い、画像を複数の領域に分割して各々の領域毎に変化の有無を判別する。この画像処理部104は、他の構成要素と相俟って本発明の画像処理手段として機能する。
【0025】
具体的には、図3(a)に示すように、画像全体を16個の方形の領域に分割し、監視カメラ2の撮影範囲に移動物体が存在しない状態における基準画像と処理対象の画像を、各々の領域毎に比較することにより変化の有無を判別することができる。変化の有無の判別方法としては、例えば、各々の領域において、基準画像と比較したときに異なる画素数を求め、所定の閾値を超えた場合には変化有りと判別し、所定の閾値以下である場合には変化無しと判別すればよい。図3(a)の例では、基準画像には存在しない移動物体が重なっている領域9、10、13、14、15において、変化有りと判別されることになる。
【0026】
なお、本実施形態では、画像全体を16個の領域に分割する場合を説明するが、実際には画像全体を更に多数の領域に分割し、同様の判別方法を適用することも可能である。
【0027】
変化テーブル生成部105は、画像処理部104による判別結果に基づいて、処理対象となる全ての画像に関し、各々の領域に対して判別された変化の有無を一体的に示す変化テーブルを生成する。図3(b)は、変化テーブル生成部105にて生成される変化テーブルの一例を示す図である。図3(b)に示す変化テーブルには、画像データを識別するための画像番号と、この画像番号によって示される画像を構成する各々の領域について変化の有無の判別結果と、少なくとも1以上の領域についての変化の有無と、画像中の変化有りと判別された領域数と、画像の撮影日時とを含んでいる。
【0028】
図3(b)に示される画像番号は、複数の監視カメラ2を識別するためのカメラ番号と、特定の監視カメラ2により撮影された画像に対し撮影順に従って付与される番号とからなる。例えば、画像番号1−2は、第1の監視カメラ2より撮影された2番目の画像であることを表している。また、画像の各領域に対しては、図3(a)に示すように、1〜16の領域番号を付与して区別している。そして、図3(b)では、各領域の領域番号とともに変化の有無の判別結果を「有」又は「無」として示している。なお、図3(b)の例では、図3(a)の画像に対応する変化テーブルを示しているので、領域番号9、10、13、14、15の各領域が変化有りと判別され、それ以外の領域が変化無しと判別されている。
【0029】
図3(b)の右上部には、1以上の領域に変化があるか否か、すなわち、画像の全領域のいずれかに変化があるか否かを「変化の有無」として示している。また、その下部には、画像中の変化有りと判別された領域数を「変化領域数」として示している。図3(b)の例では、上述したように5つの領域が変化ありと判別されているので、「変化の有無」は「有」となり、「変化領域数」は5となっている。さらに、画像番号1−2の画像について、撮影されたと年月日と時刻を「撮影日時」として示している。
【0030】
このように生成された変化テーブルは、制御部101を介して記憶部103にて順次保存され、画像データと関連付けて管理される。そして、後述の画像検索に際し、必要に応じて所望の変化テーブルが記憶部103から読み出されて参照されることになる。
【0031】
次に図4は、画像表示端末12の構成を示すブロック図である。なお、図1のインターネット3に直接接続された画像表示端末14についても同様の構成となっている。図4に示すように、画像表示端末12は、制御部201と、インターフェース202と、操作部203と、検索指示部204と、テーブル管理部205と、検索実行部206と、画像群判別部207と、サムネイル生成部208と、表示制御部209と、表示部210とを含んで構成されている。
【0032】
以上の構成において、制御部201はCPU等から構成され、画像表示端末12全体の動作を制御し、所定のプログラムに基づいて画像記録サーバ11で保持されている画像データ及び変化テーブルを対象として、画像検索処理及び画像表示処理を実行する。なお、上述の検索指示部204、テーブル管理部205、検索実行部206、画像群判別部207、サムネイル生成部208は、いずれも制御部201により上記所定のプログラムに基づいて実行制御される機能要素に対応する。
【0033】
インターフェース202は、画像検索端末12の起動時や所定の入力操作時など所定のタイミングで、監視カメラ2から伝送される画像データや変化テーブルを制御部201に入力する。
【0034】
操作部203は、画像表示端末12のユーザが所定の動作を実行しようとする際、各種情報や設定条件を入力する手段であり、マウスやキーボードからなる。
【0035】
検索指示部204は、操作部203の入力操作に基づき、画像の検索条件を指示するための検索条件テーブルを生成する。図5は、検索指示部204で生成される検索条件テーブルの一例を示す図である。図5に示す検索条件テーブルは、図3(a)に付した領域番号毎に、検索対象の領域として指定するか否かが設定されている。検索条件テーブルに基づく画像検索を行う場合、検索領域指定が[有]に設定されている領域については、検索時に変化の有無の判別結果が参照されるのに対し、検索領域指定が「無」に設定されている領域については、検索時に変化の有無の判別結果が参照されることはない。
【0036】
テーブル管理部205は、画像検索の際に必要な各種テーブルを管理保存する。テーブル管理部205では、検索対象の画像に対応する全ての変化テーブルを画像記録サーバ11から順次受信し、この変化テーブルに基づいて後述の検索テーブルを生成する。変化テーブルの受信は、画像表示端末12の起動時、及び、操作部203により監視カメラ2の選択や撮影日時などが切り替えられる度に行われる。また、検索テーブルと照合するために必要な上述の検索条件テーブルが取得され、テーブル管理部205で管理される。
【0037】
検索実行部206は、テーブル管理部205で管理される検索条件テーブル及び検索テーブルを用いて検索を実行する。すなわち、検索実行部206は、検索条件テーブルに基づき検索条件を判断し、検索テーブルを参照して各々の画像に検索条件に合致する変化の有無が存在するか否かを判別する。そして、検索対象の全ての画像についての検索結果を検索テーブルに記録して、テーブル管理部205の検索テーブルを更新する。
【0038】
ここで、図6は、テーブル管理部205で管理される検索テーブルの一例を示す図である。図6に示す検索テーブルは、図3(b)に示す変化テーブルが集合して構成されるとともに、検索実行部206による検索結果が付加されている。図6の例では、検索テーブルの先頭に画像番号1を付与し、時系列に沿って順番に画像番号を付与している。また、図5の検索条件テーブルでは、領域9と領域12が指定されているので、この検索条件に従って図6に示す検索テーブルのうち領域9及び領域12が変化の有無の判別対象となる。
【0039】
この場合、複数の領域についての検索条件は、AND条件とOR条件のいずれにしてもよく、不図示の切り換え手段により切り換え可能であるが、図6では、OR条件とする例を示している。すなわち、検索テーブルにおける領域9と領域12のうち、少なくとも一方が「有」である画像は検索結果として「変化あり」が書き込まれ、それ以外の画像は検索結果として「変化なし」が書き込まれる。
【0040】
また、上述の検索テーブル生成時、検索実行部206は全ての領域に対しOR条件にて検索を実行する。すなわち、少なくとも1つ以上の領域に変化のある画像を検索して検索テーブルに検索結果を書き込む。このとき、テーブル管理部205が順次受信する変化テーブルを参照することで、変化テーブルから「変化の有無」及び「変化領域数」を得て、検索処理を迅速に行うことができる。
【0041】
画像群判別部207は、検索実行部206の検索の際、検索結果が「変化あり」とされた時間的に連続する画像を判別し、それぞれ画像群として設定する。図7は、画像群判別部207による判別結果に基づき生成される画像群テーブルの一例を示す図である。図7(a)に示す画像群テーブルにおいては、図6の検索テーブルのうち、変化有りとなっている上述の画像群を、「シーン」として定義する。そして、それぞれのシーンに対し表示番号を付与し、検索テーブルに基づいて開始画像番号と終了画像番号を記録する。また、各シーンに含まれる画像数をシーン長として記録するともに、後述のように各シーンに対し定められる代表画像の画像番号を記録する。
【0042】
例えば、図7(a)において、画像番号2、3の2つの画像は、シーン長2のシーンを構成する。同様に、画像番号6の1つの画像は、シーン長1のシーンを構成し、画像番号8〜10の画像群は、シーン長3のシーンを構成する。なお、これらの各シーンは、所定の操作により表示画面上で動画像として表示させることができるが、詳しくは後述する。
【0043】
一方、図7(b)は、図7(a)に示す画像群テーブルの中からシーン長が1であるものを排除した状態の画像群テーブルである。本実施形態では、シーンを再生する際のノイズとなる必要性の低い画像を除去するため、後述の表示画面上の「一瞬の変化排除設定部」が設定操作されたとき、シーン長が所定長以下のシーンを排除するようにしている。図7(b)の例では、シーン長1のシーンを排除しているが、実際には所定のシーン長以下のシーンを排除するようにしてもよい。
【0044】
サムネイル生成部208は、表示対象の画像の縮小イメージであるサムネイルを生成する。本実施形態では、画像群判別部207により設定されたシーンに対し、代表画像としてサムネイルを対応付けて検索時に利用する。すなわち、1つのシーンに複数の画像が含まれる場合、そのシーンを代表する画像についてのサムネイルを生成し、それをシーンの代表画像として表示画面上に表示することにより、検索処理の利便性を高めるものである。
【0045】
ここで、各々のシーンに対する代表画像の決定方法としては、例えば、図6の検索テーブルにおける特定のシーン中で、変化領域数が最も多い画像を選択すればよい。このとき、各画像の変化領域数が同じものが複数選択される場合は、そのうち撮影時刻が先行する画像を選択すればよい。なお、一瞬の変化を排除しない場合において、単一の画像からなるシーン長1のシーンについては、その画像が自動的に代表画像として決定されることになる。
【0046】
次に、表示制御部209は、制御部201にて生成された表示画面を表示するための制御を行い、表示部210に所定のタイミングで所定の表示データを送出し表示画面を表示させる。そして、表示部201に表示される表示画面には、後述するように、ユーザが見るための画像やユーザが所定の操作や設定を行うための各種表示対象が所定のレイアウトで配置されている。なお、表示部201としては、例えばCRTディスプレイ、液晶ディスプレイ等を用いることができる。
【0047】
以下、図8〜図11を参照しながら、表示部201に表示される表示画面と、この表示画面を参照するユーザが画像検索を行う際の操作について具体的に説明する。図8は、表示部201に表示される表示画面の全体を説明する図である。図8に示すように、本実施形態における表示画面は、主画像表示部301と、時間軸表示部302と、サムネイル表示部303と、カメラ選択部304と、カレンダ表示部305と、領域指定部306と、一瞬の変化排除設定部307と、時刻表示部308と、再生操作部309が配置された構成となっている。
【0048】
なお、図9〜図11には、図8に示す表示画面のうち所定部分を詳細に説明するための拡大図を示している。それぞれ、図9は時間軸表示部302であり、図10はサムネイル表示部303であり、図11は領域指定部306である。
【0049】
図8に示すように、表示画面上の中央付近に配置されている主画像表示部301には、後述の入力操作に従って表示対象として選択されている特定の画像(主画像)が表示される。すなわち、複数の監視カメラ2の中から選択された監視カメラ2によって所定の時刻に撮影された所定の撮影範囲の画像が表示されるので、その画像をユーザが視認して後続の操作を判断することができる。
【0050】
時間軸表示部302には、主画像表示部301の下部に配置され、図9に示すように、表示対象の画像と撮影日時の関係を表す2種の時間軸が表示される。主時間軸302aは、所定の日付における0時から24時までの時間範囲を画像の状態と関連付けて示している。副時間軸302bは、主時間軸302aの24時間の範囲における任意の時間範囲を拡大して示している。副時間軸302bに対する時間範囲の設定は、所定の操作により10分〜2時間の範囲で切り替えることができる。図9の例では、副時間軸302bの時間範囲が1時間に設定されている場合を示している。
【0051】
通常、副時間軸302bにおいては、主時間軸302aの時間範囲のうち主画像表示部301に表示されている画像の撮影時刻を中心とした時間範囲に設定される。一方、主時間軸302a上部のスライダ302cを左右に移動操作することにより、主時間軸302aに対する副時間軸302bの時間的な位置関係を調整することができる。
【0052】
なお、主時間軸302a及び副時間軸302bにおいては、検索処理の結果得られた画像の状態を識別させるため、画像の状態に対応させて特定の時間帯を異なる色で表示させることができる。図9の例では、主時間軸302a及び副時間軸302bの時間帯A、B、Cは、それぞれ、変化有りと判別された画像群、すなわち、図7の画像群テーブルでシーンとして設定された部分に対応している。これにより、ユーザはシーンが設定されている時間帯を容易に識別することができる。
【0053】
また、監視カメラ2は、実際には常時撮影を継続するわけではなく、時間帯によっては画像記録サーバ11に画像データが記録されないことになる。よって、主時間軸302a及び副時間軸302bにおいて対象となる画像が存在しない時間帯は、さらに異なる色で表示してもよい。
【0054】
そして、主時間軸302a又は副時間軸302b上のシーンが設定されている時間帯をマウスで選択操作すると、主画像表示部301には、選択されたシーンに対応する画像が拡大表示される。
【0055】
なお、主時間軸302aと副時間軸302bのそれぞれの時間範囲は上述の例に限られず、適宜に設定してもよい。例えば、主時間軸302aに対し24時間より更に長い時間範囲、例えば、表示可能な画像の全ての撮影時刻を含む時間範囲を設定してもよい。また、主時間軸302aに対し、主画像表示部301に表示される画像の撮影時刻を中心とする所定の時間範囲を設定してもよい。
【0056】
サムネイル表示部303は、時間軸表示部302の下部に配置され、本発明の副画像表示部としての役割を担う。図10に示すように、サムネイル表示部303には、副時間軸302bの中央位置の画像を略中心とし、その前後の所定個数(図10の場合は6個)のサムネイル(副画像)が時系列の順で表示される。 これらのサムネイルは、前述したように各々のシーンの代表画像として対応付けられたものであり、各シーンに含まれる画像のうち最も変化が大きい画像となっている。これにより、ユーザは画像の変化に着目して、所定のシーンに対応するサムネイルを容易に選択することができる。そして、ユーザがサムネイル表示部303における所定のサムネイルをマウスで選択操作すると、主画像表示部301には選択されたサムネイルに対応する画像が拡大表示される。
【0057】
カメラ選択部304には、現在選択されている監視カメラ2の設置箇所が表示されるとともに、右側のプルダウンメニューにより表示対象として特定の監視カメラ2を適宜に選択入力することができる。ユーザが現在選択されている監視カメラ2を切り替えたい場合、マウスを操作してプルダウンメニューを押下すると、表示可能な全ての監視カメラ2の設置箇所が表示されるので、その中から所望の監視カメラ2を選択すればよい。
【0058】
カレンダ表示部305には、画像の撮影日を指定するための1ヶ月分のカレンダが表示される。ユーザは、カレンダ表示部305の中から所定日をマウスで選択操作すると、カメラ選択部304に示される監視カメラ2の画像のうち、選択されている所定日に撮影された画像が表示対象として設定される。また、カレンダ表示部305の上部の「前月」又は「次月」を押下することにより、所望の年月に移行させることができる。
【0059】
領域指定部306は、図11に示すように、図3(a)と同様の形状で16個の領域に分割された画像に対し、検索対象とすべき領域を指定するための表示である。領域指定部306には、その背景に主画像表示部301に表示される画像(又は過去の所定日時の画像)に対応するサムネイルが表示され、ユーザがマウスで所定の領域を選択操作することにより、その領域を検索対象として指定することができる。選択された監視カメラ2による撮影範囲のうち、例えば、出入口等が存在する一部の領域に着目して画像を検索したい際など、領域指定部306により領域を指定することが望ましい。
【0060】
なお、領域指定部306において指定された領域を異なる色で表示させることにより、ユーザは各領域の指定の有無を視覚的に判断できる。また、領域指定部306で一旦指定された領域は、その状態で再度選択操作することにより、指定を解除することができる。
【0061】
このように領域指定部306により領域が指定されると、その結果が検索指示部204によって検索条件テーブルに反映される。例えば、図5に示すように、領域番号9、12を検索対象として指定するには、領域指定部306において該当する2つの領域を順次選択操作すればよい。さらに、上述の領域指定部306における指定の結果は、検索実行部205によって検索テーブルに反映されるため、表示画面における主画像表示部301及び時間軸表示部302やサムネイル表示部303の表示対象が変更されることになる。
【0062】
一瞬の変化排除設定部307は、上述したような画像群テーブルに含まれる各シーンのうち、シーン長1のシーンを排除するときに入力設定するための表示である。ユーザが、一瞬の変化排除設定部307の左側にあるチェックボックスをマウスでチェックすると、図7(b)に示すような画像群テーブルに対応するシーンが設定されることになる。
【0063】
時刻表示部308には、主画像表示部301に表示されている画像が撮影された年月日及び日時が表示される。また、時刻表示部308においては、表示されている年月日及び日時についての各入力項目に対し、プルダウンメニューにより設定値を選択入力することができる。
【0064】
再生操作部309は、前述のように設定された各シーンを主画像表示部301に順次表示させて動画像として再生する際、ユーザに所望の操作をさせるための表示である。再生操作部309の上部には、その時点のシーンを基準にして、1つ先行するシーンに移行するボタンと、1つ後続のシーンに移行するためのボタンが配置されている。再生操作部309の中央には、各シーンの再生時にビデオ再生機と同様の再生機能を実現させるための停止ボタン、再生ボタン、倍速再生ボタンが配置されている。また、再生操作部309の下部には、ボタン操作に代わってダイヤル操作を用いて同様の再生機能を実現させるためのダイヤル操作部が配置されている。
【0065】
本実施形態では、監視カメラ2は比較的緩やかな速度、例えば、1秒に1コマ程度で撮影を行う。この場合、再生ボタンの押下時には、同様に1秒に1コマの表示タイミングで主画像表示部301の表示画像が切り替わることになる。これに対し、倍速再生ボタンの押下時は、1秒に2コマの表示タイミングで主画像表示部301の表示画像が切り替わることになる。
【0066】
以上説明したように、本実施形態の監視システムにおいて、画像の検索処理及び表示処理を行うことにより、ユーザは画像表示端末12の表示画面を参照しながら多様な操作を行うことができる。特に、表示画面には主画像表示部301と、時間軸表示部302と、サムネイル表示部303が一体的に表示されているため、多数の画像が存在する場合であっても時系列の対応関係を的確に把握して、容易に所望の画像を検索することができる。また、領域指定部306により変化の有無を判別すべき領域を限定できるので、画像の選択性を一層高めることができる。
【0067】
なお、上記の監視システムの構成は、適用対象に応じて適宜に変更することができる。例えば、図1に示す監視システムの構成においては、画像記録サーバ11と画像表示端末12を別体で構成した場合を示したが、これらを一体に構成してもよい。この場合、画像記録サーバ11と画像表示端末12の機能を併せ持つ装置(図2及び図4の各構成要素を備える装置)を管理センタ1に設置して、監視システムを構成すればよい。
【0068】
以上の実施形態では、本発明を監視システムに適用する場合について説明したが、これに限られることなく、様々な用途を持つ画像表示システムに対し広く本発明を適用することができる。この場合、本実施形態では複数の監視カメラ2から画像データを伝送する構成を示したが、監視カメラ2以外の各種機器、例えば、VTR等から画像データを出力する構成であってもよい。
【0069】
【発明の効果】
以上説明したように本発明によれば、多数の画像の中から選択された所望の画像を表示する場合、時間軸表示部と副画像表示部と主画像表示部が配置された表示画面をユーザが参照し、簡易な操作により画像表示システムにおける画像の選択性と視認性を向上させることができる。
【図面の簡単な説明】
【図1】本実施形態の監視システムの全体構成を示すブロック図である。
【図2】画像記録サーバの構成を示すブロック図である。
【図3】本実施形態において、画像の分割の概念と各領域毎の変化の有無の判別に関し、図3(a)は、画像全体を16個の方形の領域に分割する例であり、図3(b)は、画像の各々の領域についての変化の有無の判別結果を含む変化テーブルの一例である。
【図4】画像表示端末の構成を示すブロック図である。
【図5】画像表示端末の検索指示部で生成される検索条件テーブルの一例を示す図である。
【図6】画像表示端末のテーブル管理部で管理される検索テーブルの一例を示す図である。
【図7】画像表示端末の画像群判別部による判別結果に基づき生成される画像群テーブルの一例を示す図である。
【図8】画像表示端末の表示部に表示される表示画面の全体を説明する図である。
【図9】図8に示す表示画面のうち時間軸表示部の拡大図である。
【図10】図8に示す表示画面のうちサムネイル表示部の拡大図である。
【図11】図8に示す表示画面のうち領域指定部の拡大図である。
【符号の説明】
1…管理センタ
2…監視カメラ
3…インターネット
11…画像記録サーバ
12…画像表示端末
13…ルータ
14…画像表示端末
101…制御部
102…インターフェース
103…記憶部
104…画像処理部
105…変化テーブル生成部
201…制御部
202…インターフェース
203…操作部
204…検索指示部
205…テーブル管理部
206…検索実行部
207…画像群判別部
208…サムネイル生成部
209…表示制御部
210…表示部
301…主画像表示部
302…時間軸表示部
303…サムネイル表示部
304…カメラ選択部
305…カレンダ表示部
306…領域指定部
307…一瞬の変化排除設定部
308…時刻表示部
309…再生操作部
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention belongs to the technical field of an image display system in which a desired image is selected from a plurality of images and displayed on a display screen, and further, the image data transmitted from the monitoring camera is sequentially stored in a storage unit, The present invention belongs to the technical field of a monitoring system having a configuration in which a desired image is selected by searching a storage unit and the selected image is displayed on a display screen.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an image display system that stores a large amount of image data and selects and displays a predetermined image has been widely used. In such an image display system, a user needs to quickly search for an image to be displayed from many images and display a desired image on the display screen. Therefore, an appropriate arrangement of the display screen and good operability are required. Can be In a conventional image display system, a method of displaying a thumbnail as a reduced image of an image in addition to displaying a selected image in an enlarged manner is known. This makes it easy to search for an image to be displayed by referring to a plurality of thumbnails on the display screen.
[0003]
Further, if attribute information such as time information relating to an image is displayed together with the thumbnail displayed on the display screen as described above, the image can be searched efficiently. In this case, a method has been proposed in which attribute information of an image is graphed and displayed to improve selectivity of the image (for example, see Patent Document 1).
[0004]
[Patent Document 1]
JP 2001-134578 A
[0005]
[Problems to be solved by the invention]
However, in the above-described conventional image display system, even if a user refers to a display screen on which a plurality of thumbnails are arranged, it is not always easy for the user to select a desired image from the display screen. In particular, when a large number of images exist in chronological order and characteristic images are searched from among them, it is difficult to confirm all of them with thumbnails, and it is difficult to find a desired image. There was also. For example, assuming that an image display system is applied to a surveillance system, when a specific image is determined from a security perspective from among a large number of images photographed at predetermined time intervals by a surveillance camera, a search is performed. It was not easy.
[0006]
Further, even in the case of using a display in which attribute information is graphed as in the method disclosed in Patent Document 1, it is difficult to grasp the attribute information of each of a large number of images. It was not good.
[0007]
Therefore, the present invention has been made in view of such a problem, and when displaying a desired image selected from a large number of images, the user can display a desired image with good operability while referring to the display screen. It is an object of the present invention to provide an image display system capable of easily selecting an image to be set.
[0008]
[Means for Solving the Problems]
In order to solve the above problem, an image display system according to claim 1 is an image display system that displays an image selected from a plurality of images, wherein the plurality of images correspond to a time series. A time axis display unit that displays the time axis of the sub image, a sub image display unit that reduces and displays a predetermined representative image selected from the plurality of images as a sub image, and the time axis display unit or the sub image display unit And a main image display unit for displaying, as a main image, an image selected according to a predetermined operation on the main image.
[0009]
According to the present invention, when a desired image is displayed in the image display system, a display screen on which the time axis display unit, the sub image display unit, and the main image display unit are arranged is configured. The user can identify a time series corresponding to a plurality of images by the time axis display unit, and can identify a predetermined representative image by reduced display (thumbnail) by the sub-image display unit. Then, when a predetermined operation is performed on the time axis display unit or the sub image display unit, the image selected by the main image display unit can be referred to. Therefore, even when a large number of images are present as display targets, a desired image can be identified and selected easily by performing a predetermined operation at a glance on the display screen, and operability in the image display system and Visibility can be improved.
[0010]
The image display system according to claim 2, further comprising image processing means for comparing the plurality of images with a reference image to determine whether or not each image has changed, in the image display system according to claim 1, In the display screen, when an image search is instructed according to a predetermined operation, a display target is changed by reflecting a determination result of the presence or absence of a change by the image processing unit.
[0011]
According to the present invention, in the image display system, the presence or absence of a change when each image is compared with the reference image is determined, and when a search instruction is received, the determination result of the presence or absence of the change is reflected on the display screen. The display target is changed. Therefore, by changing the display target by paying attention to the presence or absence of the change, the selectivity of a desired image can be increased, and the visibility can be further improved.
[0012]
The image display system according to claim 3 is an image display system according to claim 2.
In the image processing means, the temporally continuous images determined to have changed are set as image groups, and the sub-image display unit sets the image having the largest change in the image group as the representative image. It is characterized by being performed.
[0013]
According to the present invention, the image group is set based on the determination result of the image processing means, and the image having the largest change in the image group is set as the representative image in the sub-image display unit. Therefore, a desired image can be selected while referring to the sub-image in which the degree of change of the image is particularly large, so that the selectivity when focusing on the change of the image can be improved.
[0014]
The image display system according to claim 4, wherein in the image display system according to claim 2, the image processing unit divides the image into a plurality of regions, and determines the presence or absence of the change for each region. An area designating unit for designating an area for determining the presence or absence of the change in accordance with a predetermined operation is arranged on the display screen.
[0015]
According to the present invention, the determination of the presence or absence of the change by the image processing means is performed for each of the images divided into the plurality of regions, and the user specifies the image to be determined by the region specifying unit on the display screen. Area can be specified. Therefore, a desired image can be selected by focusing on a partial area of the image, and a change occurring in the image can be finely identified.
[0016]
The image display system according to claim 5, wherein in the image display system according to claim 1, the time axis display unit includes a main time axis indicating a predetermined time range corresponding to time information set for each image. And a sub-time axis showing a part of the time range of the main time axis in an enlarged manner.
[0017]
According to the present invention, the main time axis and the sub time axis are displayed on the time axis display section on the display screen, and a predetermined time range is indicated by the main time axis, while a part of the time range is indicated by the sub time axis. Indicated by Therefore, when a large number of images exist over a wide time range, the user can use the main time axis and the sub time axis properly, and can grasp the relationship between the images and the time series with good visibility.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. Hereinafter, a case will be described in which an image display system according to the present invention is applied to a monitoring system that can capture an image of a monitoring target with a monitoring camera and transmit the captured image via the Internet.
[0019]
FIG. 1 is a block diagram illustrating the overall configuration of the monitoring system according to the present embodiment. The surveillance system shown in FIG. 1 includes a management center 1 that manages the present surveillance system, and a plurality of surveillance cameras 2 installed at a facility to be monitored. It has a system configuration that is transmitted to the management center 1. The management center 1 is provided with an image recording server 11 and an image display terminal 12, each of which is connected to a router 13 via a LAN, so that information can be transmitted and received via the Internet 3. ing. Further, an image display terminal 14 having the same function as the image display terminal 12 can be used by directly connecting to the Internet 3 outside the management center 1.
[0020]
The plurality of surveillance cameras 2 are respectively installed at places where a predetermined photographing range can be photographed in various facilities such as a store, and photograph each photographing range at a predetermined timing and output corresponding image data. These monitoring cameras 2 are so-called Web cameras, and have a function of accessing the Internet 3 and transmitting image data to the management center 1. The image data transmitted by the surveillance camera 2 includes image-related information such as identification information for identifying the surveillance camera 2 that has taken the image, each image data, and date and time information indicating the date and time when the image was captured. Header information including information is added, and the management center 1 can appropriately refer to the header information.
[0021]
In the management center 1, the image data received from the monitoring camera 2 via the Internet 3 is transmitted to the image recording server 11 via the router 13 and the LAN. The image recording server 11 sequentially records the transmitted image data together with predetermined image-related information. The image display terminal 12 searches for image data recorded in the image recording server 11 via a LAN by a predetermined operation, and displays a desired image.
[0022]
FIG. 2 is a block diagram illustrating a configuration of the image recording server 11. As shown in FIG. 2, the image recording server 11 includes a control unit 101, an interface 102, a storage unit 103, an image processing unit 104, and a change table generation unit 105.
[0023]
In the above configuration, the control unit 101 includes a CPU and the like, and controls the operation of the entire image recording server 11. The interface 102 inputs image data transmitted from the monitoring camera 2 to the control unit 101. The control unit 101 performs control so that the image data input via the interface 102 is stored in the storage unit 103 in association with image-related information such as the number of the monitoring camera 2 and the shooting date and time.
[0024]
The image processing unit 104 performs image processing on image data input via the interface 102 or image data read from the storage unit 103 under instructions of the control unit 101, and It is divided into regions and the presence or absence of a change is determined for each region. The image processing unit 104 functions as an image processing unit of the present invention in combination with other components.
[0025]
Specifically, as shown in FIG. 3A, the entire image is divided into 16 rectangular regions, and the reference image and the image to be processed in a state where no moving object exists in the shooting range of the monitoring camera 2 are displayed. By comparing each area, the presence or absence of a change can be determined. As a method of determining the presence or absence of a change, for example, in each region, a different number of pixels is obtained when compared with the reference image, and when the number exceeds a predetermined threshold, it is determined that there is a change, and the difference is equal to or less than the predetermined threshold. In this case, it may be determined that there is no change. In the example of FIG. 3A, it is determined that there is a change in the areas 9, 10, 13, 14, and 15 where the moving objects that do not exist in the reference image overlap.
[0026]
In the present embodiment, a case will be described in which the entire image is divided into 16 regions. However, in practice, the entire image may be divided into a larger number of regions, and a similar determination method may be applied.
[0027]
The change table generation unit 105 generates a change table that integrally indicates the presence or absence of a change determined for each region for all images to be processed, based on the determination result by the image processing unit 104. FIG. 3B is a diagram illustrating an example of the change table generated by the change table generation unit 105. The change table shown in FIG. 3B includes an image number for identifying image data, a determination result of presence / absence of a change in each of the regions constituting the image indicated by the image number, and at least one region. , The number of areas determined to have changed in the image, and the shooting date and time of the image.
[0028]
The image number shown in FIG. 3B includes a camera number for identifying a plurality of monitoring cameras 2 and a number assigned to an image captured by a specific monitoring camera 2 in the order of capturing. For example, the image number 1-2 represents the second image captured by the first monitoring camera 2. Further, as shown in FIG. 3A, each area of the image is distinguished by giving an area number of 1 to 16. Then, in FIG. 3B, the determination result of the presence or absence of the change is indicated as “present” or “absent” along with the area number of each area. Note that, in the example of FIG. 3B, a change table corresponding to the image of FIG. 3A is shown, and therefore, it is determined that each of the area numbers 9, 10, 13, 14, and 15 has a change. Other areas are determined to have no change.
[0029]
In the upper right part of FIG. 3B, whether or not there is a change in one or more areas, that is, whether or not any of the entire areas of the image has changed is indicated as “presence or absence of change”. In the lower part, the number of areas determined to have a change in the image is indicated as “the number of changed areas”. In the example of FIG. 3B, as described above, since five areas are determined to have changed, “presence / absence of change” is “present” and “number of changed areas” is five. Further, the date, time, and time when the image of the image number 1-2 was shot are indicated as “shooting date and time”.
[0030]
The change table thus generated is sequentially stored in the storage unit 103 via the control unit 101, and is managed in association with the image data. Then, at the time of an image search described later, a desired change table is read from the storage unit 103 and referred to as needed.
[0031]
Next, FIG. 4 is a block diagram showing a configuration of the image display terminal 12. As shown in FIG. Note that the image display terminal 14 directly connected to the Internet 3 in FIG. 1 has the same configuration. As shown in FIG. 4, the image display terminal 12 includes a control unit 201, an interface 202, an operation unit 203, a search instruction unit 204, a table management unit 205, a search execution unit 206, and an image group determination unit 207. , A thumbnail generation unit 208, a display control unit 209, and a display unit 210.
[0032]
In the above configuration, the control unit 201 includes a CPU and the like, controls the operation of the entire image display terminal 12, and targets image data and a change table held in the image recording server 11 based on a predetermined program. An image search process and an image display process are executed. The above-described search instruction unit 204, table management unit 205, search execution unit 206, image group determination unit 207, and thumbnail generation unit 208 are all functional elements whose execution is controlled by the control unit 201 based on the predetermined program. Corresponding to
[0033]
The interface 202 inputs the image data and the change table transmitted from the monitoring camera 2 to the control unit 201 at a predetermined timing such as when the image search terminal 12 is activated or when a predetermined input operation is performed.
[0034]
The operation unit 203 is a unit for inputting various information and setting conditions when the user of the image display terminal 12 performs a predetermined operation, and includes a mouse and a keyboard.
[0035]
The search instruction unit 204 generates a search condition table for instructing image search conditions based on an input operation of the operation unit 203. FIG. 5 is a diagram illustrating an example of the search condition table generated by the search instruction unit 204. In the search condition table shown in FIG. 5, whether or not to specify as a search target area is set for each area number given in FIG. When performing an image search based on a search condition table, for an area for which the search area specification is set to [Present], the result of determining whether or not there is a change is referred to at the time of search, whereas the search area specification is “No”. Is not referred to during the search.
[0036]
The table management unit 205 manages and stores various tables necessary for image search. The table management unit 205 sequentially receives all the change tables corresponding to the images to be searched from the image recording server 11 and generates a search table described later based on the change tables. The reception of the change table is performed when the image display terminal 12 is activated and each time the selection of the monitoring camera 2 or the shooting date and time is switched by the operation unit 203. Further, the above-described search condition table required for matching with the search table is acquired and managed by the table management unit 205.
[0037]
The search execution unit 206 executes a search using the search condition table and the search table managed by the table management unit 205. That is, the search execution unit 206 determines the search condition based on the search condition table, and determines whether or not each image has a change that matches the search condition with reference to the search table. Then, the search results for all the images to be searched are recorded in the search table, and the search table of the table management unit 205 is updated.
[0038]
Here, FIG. 6 is a diagram illustrating an example of the search table managed by the table management unit 205. The search table shown in FIG. 6 is configured by gathering the change tables shown in FIG. 3B, and has a search result by the search execution unit 206 added thereto. In the example of FIG. 6, the image number 1 is assigned to the head of the search table, and the image numbers are assigned sequentially in chronological order. In addition, since the area 9 and the area 12 are specified in the search condition table of FIG. 5, the area 9 and the area 12 in the search table shown in FIG.
[0039]
In this case, the search condition for a plurality of areas may be either an AND condition or an OR condition, and can be switched by a switching unit (not shown). FIG. 6 shows an example in which the OR condition is used. That is, “changed” is written as a search result for an image in which at least one of the areas 9 and 12 in the search table is “present”, and “no change” is written as a search result for other images.
[0040]
In addition, when the above-described search table is generated, the search execution unit 206 performs a search on all the areas under the OR condition. That is, an image having a change in at least one or more areas is searched, and a search result is written in a search table. At this time, by referring to the change tables sequentially received by the table management unit 205, “presence / absence of change” and “number of change areas” can be obtained from the change table, and the search process can be performed quickly.
[0041]
At the time of the search by the search execution unit 206, the image group determination unit 207 determines images that are temporally continuous and whose search result is “changed”, and sets each of the images as an image group. FIG. 7 is a diagram illustrating an example of an image group table generated based on the determination result by the image group determination unit 207. In the image group table shown in FIG. 7A, the above-mentioned image group having a change in the search table of FIG. 6 is defined as a “scene”. Then, a display number is assigned to each scene, and a start image number and an end image number are recorded based on a search table. The number of images included in each scene is recorded as a scene length, and the image number of a representative image determined for each scene is recorded as described later.
[0042]
For example, in FIG. 7A, two images of image numbers 2 and 3 constitute a scene having a scene length of 2. Similarly, one image with image number 6 forms a scene with a scene length of 1, and a group of images with image numbers 8 to 10 forms a scene with a scene length of 3. Each of these scenes can be displayed as a moving image on a display screen by a predetermined operation, which will be described in detail later.
[0043]
On the other hand, FIG. 7B is an image group table in a state where a scene length of 1 is excluded from the image group table shown in FIG. 7A. In the present embodiment, when a “momentary change exclusion setting unit” on the display screen, which will be described later, is set and operated, a scene length is set to a predetermined length in order to remove an image that is less necessary to be noise when the scene is reproduced. The following scenes are excluded. In the example of FIG. 7B, the scene with the scene length 1 is excluded, but a scene with a predetermined scene length or less may be actually excluded.
[0044]
The thumbnail generation unit 208 generates a thumbnail that is a reduced image of the image to be displayed. In the present embodiment, a thumbnail set is associated with a scene set by the image group determination unit 207 as a representative image and used at the time of search. That is, when one scene includes a plurality of images, thumbnails of images representing the scene are generated and displayed on the display screen as representative images of the scene, thereby improving the convenience of the search processing. Things.
[0045]
Here, as a method of determining a representative image for each scene, for example, an image having the largest number of change areas in a specific scene in the search table in FIG. 6 may be selected. At this time, if a plurality of images having the same number of change areas are selected, an image whose shooting time is earlier may be selected. In the case where a momentary change is not excluded, for a scene having a scene length of 1 consisting of a single image, that image is automatically determined as a representative image.
[0046]
Next, the display control unit 209 performs control for displaying the display screen generated by the control unit 201, transmits predetermined display data to the display unit 210 at predetermined timing, and displays the display screen. On the display screen displayed on the display unit 201, as will be described later, images to be viewed by the user and various display targets for the user to perform predetermined operations and settings are arranged in a predetermined layout. In addition, as the display unit 201, for example, a CRT display, a liquid crystal display, or the like can be used.
[0047]
Hereinafter, a display screen displayed on the display unit 201 and an operation performed by a user who refers to this display screen to perform an image search will be specifically described with reference to FIGS. 8 to 11. FIG. 8 is a diagram illustrating the entire display screen displayed on the display unit 201. As shown in FIG. 8, the display screen in the present embodiment includes a main image display unit 301, a time axis display unit 302, a thumbnail display unit 303, a camera selection unit 304, a calendar display unit 305, an area designation unit 306, a momentary change exclusion setting unit 307, a time display unit 308, and a playback operation unit 309.
[0048]
9 to 11 are enlarged views for explaining in detail predetermined portions of the display screen shown in FIG. 9 shows the time axis display unit 302, FIG. 10 shows the thumbnail display unit 303, and FIG. 11 shows the area designation unit 306.
[0049]
As shown in FIG. 8, a specific image (main image) selected as a display target in accordance with an input operation described later is displayed on main image display section 301 arranged near the center of the display screen. That is, since an image in a predetermined shooting range captured at a predetermined time by the monitoring camera 2 selected from the plurality of monitoring cameras 2 is displayed, the user visually recognizes the image and determines a subsequent operation. be able to.
[0050]
The time axis display unit 302 is arranged below the main image display unit 301, and displays two types of time axes representing the relationship between the image to be displayed and the shooting date and time, as shown in FIG. The main time axis 302a shows a time range from 0:00 to 24:00 on a predetermined date in association with an image state. The sub-time axis 302b is an enlarged view of an arbitrary time range in the 24-hour range of the main time axis 302a. The setting of the time range for the sub-time axis 302b can be switched within a range of 10 minutes to 2 hours by a predetermined operation. The example of FIG. 9 shows a case where the time range of the sub time axis 302b is set to one hour.
[0051]
Normally, the sub-time axis 302b is set to a time range centered on the photographing time of the image displayed on the main image display unit 301 in the time range of the main time axis 302a. On the other hand, by moving the slider 302c above the main time axis 302a left and right, the temporal positional relationship of the sub time axis 302b with respect to the main time axis 302a can be adjusted.
[0052]
In the main time axis 302a and the sub time axis 302b, a specific time zone can be displayed in a different color in accordance with the state of the image in order to identify the state of the image obtained as a result of the search processing. In the example of FIG. 9, the time zones A, B, and C of the main time axis 302a and the sub time axis 302b are set as scenes in the image group determined to have changed, that is, the image group table in FIG. Corresponding to the part. Thereby, the user can easily identify the time zone in which the scene is set.
[0053]
In addition, the monitoring camera 2 does not always continuously shoot, and the image data is not recorded in the image recording server 11 depending on the time zone. Therefore, the time zone in which the target image does not exist on the main time axis 302a and the sub time axis 302b may be displayed in a different color.
[0054]
When a time zone in which a scene on the main time axis 302a or the sub time axis 302b is set is selected with a mouse, an image corresponding to the selected scene is enlarged and displayed on the main image display unit 301.
[0055]
Note that the respective time ranges of the main time axis 302a and the sub time axis 302b are not limited to the above examples, and may be set as appropriate. For example, a time range longer than 24 hours may be set for the main time axis 302a, for example, a time range including all shooting times of displayable images. In addition, a predetermined time range around the photographing time of the image displayed on the main image display unit 301 may be set for the main time axis 302a.
[0056]
The thumbnail display section 303 is arranged below the time axis display section 302 and plays a role as a sub-image display section of the present invention. As shown in FIG. 10, the thumbnail display unit 303 displays a predetermined number (six in the case of FIG. 10) of thumbnails (sub-images) before and after the image substantially at the center of the sub-time axis 302b. They are displayed in the order of the series. These thumbnails are associated as representative images of the respective scenes as described above, and are the images that have the largest change among the images included in each scene. Thus, the user can easily select a thumbnail corresponding to a predetermined scene, paying attention to a change in the image. When the user selects and operates a predetermined thumbnail on the thumbnail display unit 303 with a mouse, an image corresponding to the selected thumbnail is enlarged and displayed on the main image display unit 301.
[0057]
The camera selection unit 304 displays the installation location of the currently selected surveillance camera 2 and allows the user to appropriately select and input a specific surveillance camera 2 as a display target from the pull-down menu on the right. When the user wants to switch the currently selected surveillance camera 2, when the user operates the mouse and presses a pull-down menu, the installation locations of all the surveillance cameras 2 that can be displayed are displayed. 2 can be selected.
[0058]
The calendar display unit 305 displays a calendar for one month for designating a shooting date of an image. When the user selects and operates a predetermined date from the calendar display unit 305 with a mouse, the image captured by the selected predetermined day among the images of the monitoring camera 2 indicated by the camera selection unit 304 is set as a display target. Is done. By pressing “previous month” or “next month” at the top of the calendar display unit 305, it is possible to shift to a desired year and month.
[0059]
As shown in FIG. 11, the area specifying unit 306 is a display for specifying an area to be searched for in an image divided into 16 areas in the same shape as in FIG. 3A. A thumbnail corresponding to an image displayed on the main image display unit 301 (or an image at a predetermined date and time in the past) is displayed on the background of the area specifying unit 306, and the user can select a predetermined area with a mouse and operate. , The area can be designated as a search target. It is desirable to specify an area by the area specifying unit 306, for example, when searching for an image by focusing on a partial area where an entrance or the like exists in the shooting range of the selected monitoring camera 2.
[0060]
By displaying the areas specified by the area specifying unit 306 in different colors, the user can visually determine whether or not each area is specified. In addition, the area once specified by the area specifying unit 306 can be released from the specification by performing a selection operation again in that state.
[0061]
When the area is specified by the area specifying unit 306 in this manner, the result is reflected in the search condition table by the search instruction unit 204. For example, as shown in FIG. 5, in order to specify the area numbers 9 and 12 as search targets, the area specifying unit 306 may be operated to sequentially select two corresponding areas. Furthermore, since the result of the designation in the area designation unit 306 is reflected in the search table by the search execution unit 205, the display target of the main image display unit 301, the time axis display unit 302, and the thumbnail display unit 303 on the display screen is limited. Will be changed.
[0062]
The momentary change exclusion setting unit 307 is a display for input setting when excluding a scene with a scene length of 1 from among the scenes included in the image group table as described above. When the user checks the check box on the left side of the momentary change exclusion setting unit 307 with the mouse, a scene corresponding to the image group table as shown in FIG. 7B is set.
[0063]
The time display unit 308 displays the date and time when the image displayed on the main image display unit 301 was captured. In the time display unit 308, a set value can be selected and input from a pull-down menu for each of the input items for the displayed date and time.
[0064]
The reproduction operation unit 309 is a display for allowing the user to perform a desired operation when each of the scenes set as described above is sequentially displayed on the main image display unit 301 and reproduced as a moving image. On the upper part of the reproduction operation unit 309, a button for shifting to a scene preceding by one and a button for shifting to a succeeding scene based on the scene at that time are arranged. At the center of the playback operation unit 309, a stop button, a playback button, and a double-speed playback button for realizing the same playback function as that of the video player at the time of playback of each scene are arranged. A dial operation unit for realizing the same reproduction function using a dial operation instead of a button operation is arranged below the reproduction operation unit 309.
[0065]
In the present embodiment, the surveillance camera 2 shoots at a relatively slow speed, for example, at about one frame per second. In this case, when the playback button is pressed, the display image of the main image display unit 301 is switched at the display timing of one frame per second. On the other hand, when the double-speed playback button is pressed, the display image on the main image display unit 301 is switched at a display timing of two frames per second.
[0066]
As described above, in the monitoring system of the present embodiment, by performing the image search processing and the display processing, the user can perform various operations while referring to the display screen of the image display terminal 12. In particular, since the main image display unit 301, the time axis display unit 302, and the thumbnail display unit 303 are integrally displayed on the display screen, even if there are many images, the time-series correspondence , And a desired image can be easily searched. Further, since the area for which the presence / absence of the change is to be determined can be limited by the area specifying unit 306, the selectivity of the image can be further enhanced.
[0067]
Note that the configuration of the above monitoring system can be appropriately changed according to the application target. For example, in the configuration of the monitoring system shown in FIG. 1, the case where the image recording server 11 and the image display terminal 12 are configured separately is shown, but these may be configured integrally. In this case, a monitoring system may be configured by installing an apparatus having the functions of the image recording server 11 and the image display terminal 12 (an apparatus having the components shown in FIGS. 2 and 4) in the management center 1.
[0068]
In the above embodiment, the case where the present invention is applied to a monitoring system has been described. However, the present invention is not limited to this, and can be widely applied to image display systems having various uses. In this case, in the present embodiment, a configuration in which image data is transmitted from the plurality of monitoring cameras 2 has been described, but a configuration in which image data is output from various devices other than the monitoring camera 2, for example, a VTR or the like may be used.
[0069]
【The invention's effect】
As described above, according to the present invention, when a desired image selected from a large number of images is displayed, a display screen on which a time axis display unit, a sub image display unit, and a main image display unit are arranged is displayed by a user. , The selectivity and visibility of the image in the image display system can be improved by a simple operation.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an overall configuration of a monitoring system according to an embodiment.
FIG. 2 is a block diagram illustrating a configuration of an image recording server.
FIG. 3A is a diagram illustrating an example in which the entire image is divided into 16 rectangular regions in the present embodiment, with respect to the concept of image division and determination of the presence or absence of a change in each region. FIG. 3B is an example of a change table including a determination result of the presence or absence of a change in each region of the image.
FIG. 4 is a block diagram illustrating a configuration of an image display terminal.
FIG. 5 is a diagram illustrating an example of a search condition table generated by a search instruction unit of the image display terminal.
FIG. 6 is a diagram illustrating an example of a search table managed by a table management unit of the image display terminal.
FIG. 7 is a diagram illustrating an example of an image group table generated based on a determination result by an image group determination unit of the image display terminal.
FIG. 8 is a diagram illustrating the entire display screen displayed on the display unit of the image display terminal.
9 is an enlarged view of a time axis display section of the display screen shown in FIG.
FIG. 10 is an enlarged view of a thumbnail display section of the display screen shown in FIG.
FIG. 11 is an enlarged view of an area designation section in the display screen shown in FIG.
[Explanation of symbols]
1 ... Management center
2. Surveillance camera
3. Internet
11. Image recording server
12 ... Image display terminal
13 ... Router
14 ... Image display terminal
101 ... Control unit
102 ... Interface
103 ... storage unit
104 ... Image processing unit
105: Change table generator
201: control unit
202 ... Interface
203 ... operation unit
204: Search instruction section
205: Table management unit
206: Search execution unit
207 ... Image group discriminating unit
208 ... Thumbnail generator
209 ... Display control unit
210 ... Display unit
301: main image display section
302: Time axis display section
303 ... Thumbnail display section
304: Camera selection unit
305 ... Calendar display
306: Area designation section
307: Momentary change exclusion setting unit
308: Time display section
309 ... Playback operation unit

Claims (5)

複数の画像の中から選択された画像を表示する画像表示システムであって、
前記複数の画像を時系列に対応させるための時間軸を表示する時間軸表示部と、前記複数の画像の中から選択された所定の代表画像を副画像として縮小表示する副画像表示部と、前記時間軸表示部又は前記副画像表示部に対する所定の操作に従って選択された画像を主画像として表示する主画像表示部と、を配置して表示画面を構成することを特徴とする画像表示システム。
An image display system that displays an image selected from a plurality of images,
A time axis display unit that displays a time axis for causing the plurality of images to correspond to a time series, and a sub image display unit that reduces and displays a predetermined representative image selected from the plurality of images as a sub image. An image display system, wherein a display screen is configured by arranging a main image display unit that displays an image selected according to a predetermined operation on the time axis display unit or the sub image display unit as a main image.
前記複数の画像を基準画像と比較して各々の画像について変化の有無を判別する画像処理手段を更に備え、
前記表示画面では、所定の操作に従って画像の検索が指示された際、前記画像処理手段による変化の有無の判別結果を反映して表示対象が変更されることを特徴とする請求項1に記載の画像表示システム。
Image processing means for comparing the plurality of images with a reference image to determine the presence or absence of a change for each image,
2. The display screen according to claim 1, wherein, when an image search is instructed in accordance with a predetermined operation, a display target is changed on the display screen by reflecting a determination result of the presence or absence of a change by the image processing unit. Image display system.
前記画像処理手段は、変化有りと判定された時間的に連続する画像をそれぞれ画像群として設定し、
前記副画像表示部では、前記画像群において変化が最も大きい画像が前記代表画像として設定されることを特徴とする請求項2に記載の画像表示システム。
The image processing means sets a temporally continuous image determined to be changed as an image group,
The image display system according to claim 2, wherein in the sub-image display unit, an image having a largest change in the image group is set as the representative image.
前記画像処理手段は、画像を複数の領域に分割し、各々の領域毎に前記変化の有無を判別し、
前記表示画面には、前記変化の有無を判別する領域を所定の操作に従って指定するための領域指定部が配置されることを特徴とする請求項2に記載の画像表示システム。
The image processing means divides the image into a plurality of regions, determines the presence or absence of the change for each region,
3. The image display system according to claim 2, wherein an area designating unit for designating an area for determining the presence or absence of the change according to a predetermined operation is arranged on the display screen.
前記時間軸表示部は、各々の画像に設定される時刻情報に対応する所定の時間範囲を示す主時間軸と、前記主時間軸の時間範囲のうち一部の時間範囲を拡大して示す副時間軸とを表示することを特徴とする請求項1に記載の画像表示システム。The time axis display unit includes a main time axis indicating a predetermined time range corresponding to time information set for each image, and a sub time axis that partially enlarges a time range of the time range of the main time axis. The image display system according to claim 1, wherein a time axis is displayed.
JP2003025087A 2003-01-31 2003-01-31 Image display system Expired - Fee Related JP4175622B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003025087A JP4175622B2 (en) 2003-01-31 2003-01-31 Image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003025087A JP4175622B2 (en) 2003-01-31 2003-01-31 Image display system

Publications (2)

Publication Number Publication Date
JP2004234561A true JP2004234561A (en) 2004-08-19
JP4175622B2 JP4175622B2 (en) 2008-11-05

Family

ID=32953449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003025087A Expired - Fee Related JP4175622B2 (en) 2003-01-31 2003-01-31 Image display system

Country Status (1)

Country Link
JP (1) JP4175622B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100442823C (en) * 2004-10-13 2008-12-10 奥林巴斯株式会社 Image display device, camera and their display method
KR20140069705A (en) * 2012-11-29 2014-06-10 삼성테크윈 주식회사 Multi-channel play system and method
CN103902575A (en) * 2012-12-27 2014-07-02 腾讯科技(深圳)有限公司 Pictorial information loading method and related device
JP2014153813A (en) * 2013-02-06 2014-08-25 Sony Corp Information process device, information process method, program and information process system
JP2016027682A (en) * 2014-06-30 2016-02-18 キヤノンマーケティングジャパン株式会社 Information processing device, and control method and program for the same
JP2020123845A (en) * 2019-01-30 2020-08-13 シャープ株式会社 Monitoring device and monitoring method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100442823C (en) * 2004-10-13 2008-12-10 奥林巴斯株式会社 Image display device, camera and their display method
KR20140069705A (en) * 2012-11-29 2014-06-10 삼성테크윈 주식회사 Multi-channel play system and method
KR101906947B1 (en) * 2012-11-29 2018-10-11 한화테크윈 주식회사 Multi-channel play system and method
CN103902575A (en) * 2012-12-27 2014-07-02 腾讯科技(深圳)有限公司 Pictorial information loading method and related device
CN103902575B (en) * 2012-12-27 2018-02-27 腾讯科技(深圳)有限公司 A kind of pictorial information loading method and relevant apparatus
JP2014153813A (en) * 2013-02-06 2014-08-25 Sony Corp Information process device, information process method, program and information process system
JP2016027682A (en) * 2014-06-30 2016-02-18 キヤノンマーケティングジャパン株式会社 Information processing device, and control method and program for the same
JP2020123845A (en) * 2019-01-30 2020-08-13 シャープ株式会社 Monitoring device and monitoring method
JP7258580B2 (en) 2019-01-30 2023-04-17 シャープ株式会社 Monitoring device and monitoring method

Also Published As

Publication number Publication date
JP4175622B2 (en) 2008-11-05

Similar Documents

Publication Publication Date Title
US6538698B1 (en) Method and system for sorting images in an image capture unit to ease browsing access
US8009961B2 (en) Electronic apparatus, playback management method, display control apparatus, and display control method
JP6206857B1 (en) Tracking support device, tracking support system, and tracking support method
RU2691057C1 (en) Tracking assistance device, tracking assistance system and tracking assistance method
KR20050061352A (en) Image displaying method and image displaying apparatus
US20050158028A1 (en) Image processing apparatus
JPH1175150A (en) Dynamic image editing method, device therefor and recording medium recorded with program for executing dynamic image editing operation
JP2011090476A (en) System and method for retrieving similar image
US8265463B2 (en) Information processing apparatus, method for the same and information gathering system
WO2009150827A1 (en) Content editing device
JP4185376B2 (en) Image processing system
JP4175622B2 (en) Image display system
JP2002152721A (en) Video display method and device for video recording and reproducing device
JP4154012B2 (en) Recording medium storing program for realizing image display method and image composition apparatus
JP2002344897A (en) Video display device
JP2006311430A (en) Device and system for displaying image
JP5217139B2 (en) Image search device and image search program
JP3535736B2 (en) Image sequence parallel display method and apparatus, and recording medium recording image sequence parallel display program
JPH10224735A (en) Image processor
JP2000115695A (en) Image pickup device, image reproducing apparatus, successive image pickup method and contrast display method for successively picked-up image
JP2007329593A (en) Image reproduction system
JP4209379B2 (en) RECORDING DEVICE, ITS BROWSER DEVICE, ITS PROGRAM, AND RECORDING MEDIUM
JP2001268562A (en) Method and device for automatically recording live image
JP4513491B2 (en) Electronic camera
KR101285855B1 (en) Method for one channel multi-searching in digital video recorder

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080813

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080818

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4175622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees