JP4175622B2 - Image display system - Google Patents

Image display system Download PDF

Info

Publication number
JP4175622B2
JP4175622B2 JP2003025087A JP2003025087A JP4175622B2 JP 4175622 B2 JP4175622 B2 JP 4175622B2 JP 2003025087 A JP2003025087 A JP 2003025087A JP 2003025087 A JP2003025087 A JP 2003025087A JP 4175622 B2 JP4175622 B2 JP 4175622B2
Authority
JP
Japan
Prior art keywords
image
unit
display
area
time axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003025087A
Other languages
Japanese (ja)
Other versions
JP2004234561A (en
Inventor
真司 新井
裕二 中沢
照秀 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2003025087A priority Critical patent/JP4175622B2/en
Publication of JP2004234561A publication Critical patent/JP2004234561A/en
Application granted granted Critical
Publication of JP4175622B2 publication Critical patent/JP4175622B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、複数の画像の中から所望の画像を選択し、表示画面に表示させる画像表示システムの技術分野に属し、さらには、監視カメラから伝送された画像データを記憶手段に順次記憶させ、記憶手段を検索して所望の画像を選択し、選択された画像を表示画面に表示させる構成を備えた監視システムの技術分野に属するものである。
【0002】
【従来の技術】
従来から、大量の画像データを蓄積し、所定の画像を選択して表示させる画像表示システムが広く利用されている。このような画像表示システムでは、ユーザが多くの画像の中から表示させたい画像を速やかに検索し、所望の画像を表示画面に表示させるため、表示画面の適切な配置や良好な操作性が求められる。従来の画像表示システムにおいて、選択された画像を拡大表示することに加えて、画像の縮小イメージとしてのサムネイルを表示させる方法が知られている。これにより、表示画面上で複数のサムネイルを参照することにより、表示対象とすべき画像の検索が容易となる。
【0003】
また、上述のように表示画面に表示されるサムネイルとともに、画像に関する時刻情報等の属性情報を表示させれば、画像の検索を効率的に行うことができる。この場合、画像の属性情報をグラフ化して表示し、画像の選択性を向上させる方法も提案されている(例えば、特許文献1参照)。
【0004】
【特許文献1】
特開2001−134578
【0005】
【発明が解決しようとする課題】
しかし、上記従来の画像表示システムでは、複数のサムネイルを配置した表示画面をユーザが参照したとしても、その中からユーザが所望の画像を選択することは必ずしも容易ではなかった。特に、時系列に沿って多数の画像が存在し、その中から特徴的な画像を検索する場合には、それら全てをサムネイルで確認することは困難であり、所望の画像を探し出すことが難しい場合もあった。例えば、画像表示システムを監視システムに適用することを想定すると、監視カメラにより所定の時間間隔で撮影された多数の画像の中から、防犯上の観点から特定の画像を判別する際などは検索が容易ではなかった。
【0006】
また、上記特許文献1に開示された方法のように属性情報をグラフ化した表示を用いる場合であっても、多数の画像のそれぞれの属性情報を把握することは困難であり、ユーザにとって使い勝手は良くなかった。
【0007】
そこで、本発明はこのような問題に鑑みなされたものであり、多数の画像の中から選択された所望の画像を表示する場合、ユーザが表示画面を参照しつつ良好な操作性により、表示対象とすべき画像を容易に選択することが可能な画像表示システムを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記課題を解決するために、請求項1に記載の画像表示システムは、複数の画像の中から選択された画像を表示する画像表示システムであって、前記画像を複数領域に分割した領域ごとに、それぞれ時間的な変化の有無を判別した結果と撮影時刻を当該画像とともに記憶する記憶部と、操作者が前記複数領域から着目したい領域を任意に指定するための領域指定部、主画像を表示するための主画像表示部、前記記憶部の画像の撮影時刻全体を示す時間軸を表示するための時間軸表示部を少なくとも同一画面に表示する表示部と、前記領域指定部から領域指定がなされると、前記記憶部の画像から当該指定された領域にて基準画像との相違が所定の閾値を超えた場合に変化ありと判別された画像が存在する時間帯を前記時間軸表示部の時間軸へ識別可能に表示させるとともに、操作者が変化ありと判別された画像が存在する時間帯に対応する前記時間軸の一部を指定することにより前記主画像表示部に指定された画像を表示させる表示制御部と、を具備したことを特徴とする。
【0009】
この発明によれば、画像表示システムにおいて所望の画像を表示させる際、時間軸表示部と副画像表示部と主画像表示部が配置された表示画面が構成される。ユーザは、時間軸表示部により複数の画像が対応する時系列を識別でき、副画像表示部により所定の代表画像を縮小表示(サムネイル)で識別できる。そして、時間軸表示部又は副画像表示部に対して所定の操作をしたとき、主画像表示部により選択された画像を参照可能となる。よって、表示対象として多数の画像が存在する場合であっても、表示画面を一見して所定の操作を行うことにより所望の画像を識別した上で容易に選択でき、画像表示システムにおける操作性と視認性を向上させることができる。
【0010】
請求項2に記載の画像表示システムは、請求項1に記載の画像表示システムにおいて、前記表示部は、画像を縮小した代表画面を表示させる副画像表示部を更に有し、前記表示制御部は、前記領域指定部にて領域指定がされると、前記記憶部の画像から当該指定された領域にて変化有りと判別された画像を選択し、当該画像を縮小して前記副表示部に代表画像として表示させることを特徴とする。
【0011】
この発明によれば、画像表示システムでは、各々の画像について基準画像と比較したときの変化の有無が判別され、検索指示を受けたときに変化の有無の判別結果を反映して表示画面上の表示対象が変更される。よって、変化の有無に着目して表示対象を変えることにより所望の画像の選択性を高めることができ、視認性を一層向上させることができる。
【0012】
請求項3に記載の画像表示システムは、請求項1または2のいずれかに記載の画像表示システムにおいて、前記表示制御部は、前記領域指定部における領域指定の有無を視覚的に判断可能に前記領域指定部に表示させることを特徴とする。
【0013】
この発明によれば、画像処理手段の判別結果に基づき画像群が設定され、副画像表示部における代表画像としては、画像群の中で変化が最も大きい画像が設定される。よって、画像の変化の度合が特に大きい副画像を参照しつつ所望の画像を選択できるので、画像の変化に着目した場合の選択性を高めることができる。
【0014】
この発明の画像表示システムにおいて、前記画像処理手段は、画像を複数の領域に分割し、各々の領域毎に前記変化の有無を判別し、前記表示画面には、前記変化の有無を判別する領域を所定の操作に従って指定するための領域指定部が配置されることを特徴とする。
【0015】
この発明によれば、画像処理手段による変化の有無の判別は、複数の領域に分割された画像に対し各々の領域毎に行われ、ユーザは表示画面上の領域指定部により、判別すべき画像の領域を指定することができる。よって、画像の一部の領域に着目して所望の画像を選択することができ、画像に生じた変化をきめ細かく識別することができる。
【0016】
この発明の画像表示システムにおいて、前記時間軸表示部は、各々の画像に設定される時刻情報に対応する所定の時間範囲を示す主時間軸と、前記主時間軸の時間範囲のうち一部の時間範囲を拡大して示す副時間軸とを表示することを特徴とする。
【0017】
この発明によれば、表示画面上の時間軸表示部には主時間軸と副時間軸が表示され、所定の時間範囲が主時間軸で示される一方、その一部の時間範囲が副時間軸で示される。よって、多数の画像が広い時間範囲にわたって存在する場合、ユーザが主時間軸と副時間軸を使い分けることができ、画像と時系列の関係を良好な視認性で把握することができる。
【0018】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。以下では、監視カメラにより監視対象の画像を撮影し、撮影された画像をインターネットを経由して伝送可能な監視システムに対し、本発明に係る画像表示システムを適用した場合を説明する。
【0019】
図1は、本実施形態の監視システムの全体構成を示すブロック図である。図1に示す監視システムには、本監視システムを管理する管理センタ1と、監視対象の施設に設置されている複数の監視カメラ2を含み、インターネット3を介して各監視カメラ2から画像データが管理センタ1に伝送されるようなシステム構成を有している。この管理センタ1には、画像記録サーバ11と、画像表示端末12が設けられ、それぞれLANを経由してルータ13に接続され、インターネット3を介した情報の送受信を行うことができるように構成されている。また、画像表示端末12と同様の機能を持つ画像表示端末14を、管理センタ1の外部にてインターネット3に直接接続して用いることができる。
【0020】
複数の監視カメラ2は、店舗等の各種施設内における所定の撮影範囲を撮影し得る箇所にそれぞれ設置されており、所定のタイミングで各々の撮影範囲を撮影し、対応する画像データを出力する。これらの監視カメラ2は、いわゆるWebカメラであり、インターネット3にアクセスし、管理センタ1に向けて画像データを伝送する機能を備えている。なお、監視カメラ2により伝送される画像データには、撮影を行った監視カメラ2自体や各々の画像データを識別するための識別情報や、画像が撮影された日時を示す日時情報などの画像関連情報を含むヘッダ情報が付加されており、管理センタ1の側で適宜にヘッダ情報を参照可能となっている。
【0021】
管理センタ1では、監視カメラ2からインターネット3を介して受信された画像データがルータ13とLANを介して画像記録サーバ11に伝送される。画像記録サーバ11は、伝送された画像データを所定の画像関連情報とともに順次記録する。画像表示端末12は、所定の操作によりLANを介して画像記録サーバ11に記録されている画像データを検索し、所望の画像を表示する。
【0022】
図2は、画像記録サーバ11の構成を示すブロック図である。図2に示すように、画像記録サーバ11は、制御部101と、インターフェース102と、記憶部103と、画像処理部104と、変化テーブル生成部105を含んで構成されている。
【0023】
以上の構成において、制御部101はCPU等から構成され、画像記録サーバ11全体の動作を制御する。インターフェース102は、監視カメラ2から伝送される画像データを制御部101に入力する。そして、制御部101では、インターフェース102を介して入力された画像データを、監視カメラ2の番号や撮影日時といった画像関連情報と関連付けて記憶部103に記憶させるように制御を行う。
【0024】
画像処理部104は、制御部101の指示の下、インターフェース102を介して入力された画像データ、又は、記憶部103から読み出された画像データを対象とする画像処理を行い、画像を複数の領域に分割して各々の領域毎に変化の有無を判別する。この画像処理部104は、他の構成要素と相俟って本発明の画像処理手段として機能する。
【0025】
具体的には、図3(a)に示すように、画像全体を16個の方形の領域に分割し、監視カメラ2の撮影範囲に移動物体が存在しない状態における基準画像と処理対象の画像を、各々の領域毎に比較することにより変化の有無を判別することができる。変化の有無の判別方法としては、例えば、各々の領域において、基準画像と比較したときに異なる画素数を求め、所定の閾値を超えた場合には変化有りと判別し、所定の閾値以下である場合には変化無しと判別すればよい。図3(a)の例では、基準画像には存在しない移動物体が重なっている領域9、10、13、14、15において、変化有りと判別されることになる。
【0026】
なお、本実施形態では、画像全体を16個の領域に分割する場合を説明するが、実際には画像全体を更に多数の領域に分割し、同様の判別方法を適用することも可能である。
【0027】
変化テーブル生成部105は、画像処理部104による判別結果に基づいて、処理対象となる全ての画像に関し、各々の領域に対して判別された変化の有無を一体的に示す変化テーブルを生成する。図3(b)は、変化テーブル生成部105にて生成される変化テーブルの一例を示す図である。図3(b)に示す変化テーブルには、画像データを識別するための画像番号と、この画像番号によって示される画像を構成する各々の領域について変化の有無の判別結果と、少なくとも1以上の領域についての変化の有無と、画像中の変化有りと判別された領域数と、画像の撮影日時とを含んでいる。
【0028】
図3(b)に示される画像番号は、複数の監視カメラ2を識別するためのカメラ番号と、特定の監視カメラ2により撮影された画像に対し撮影順に従って付与される番号とからなる。例えば、画像番号1−2は、第1の監視カメラ2より撮影された2番目の画像であることを表している。また、画像の各領域に対しては、図3(a)に示すように、1〜16の領域番号を付与して区別している。そして、図3(b)では、各領域の領域番号とともに変化の有無の判別結果を「有」又は「無」として示している。なお、図3(b)の例では、図3(a)の画像に対応する変化テーブルを示しているので、領域番号9、10、13、14、15の各領域が変化有りと判別され、それ以外の領域が変化無しと判別されている。
【0029】
図3(b)の右上部には、1以上の領域に変化があるか否か、すなわち、画像の全領域のいずれかに変化があるか否かを「変化の有無」として示している。また、その下部には、画像中の変化有りと判別された領域数を「変化領域数」として示している。図3(b)の例では、上述したように5つの領域が変化ありと判別されているので、「変化の有無」は「有」となり、「変化領域数」は5となっている。さらに、画像番号1−2の画像について、撮影されたと年月日と時刻を「撮影日時」として示している。
【0030】
このように生成された変化テーブルは、制御部101を介して記憶部103にて順次保存され、画像データと関連付けて管理される。そして、後述の画像検索に際し、必要に応じて所望の変化テーブルが記憶部103から読み出されて参照されることになる。
【0031】
次に図4は、画像表示端末12の構成を示すブロック図である。なお、図1のインターネット3に直接接続された画像表示端末14についても同様の構成となっている。図4に示すように、画像表示端末12は、制御部201と、インターフェース202と、操作部203と、検索指示部204と、テーブル管理部205と、検索実行部206と、画像群判別部207と、サムネイル生成部208と、表示制御部209と、表示部210とを含んで構成されている。
【0032】
以上の構成において、制御部201はCPU等から構成され、画像表示端末12全体の動作を制御し、所定のプログラムに基づいて画像記録サーバ11で保持されている画像データ及び変化テーブルを対象として、画像検索処理及び画像表示処理を実行する。なお、上述の検索指示部204、テーブル管理部205、検索実行部206、画像群判別部207、サムネイル生成部208は、いずれも制御部201により上記所定のプログラムに基づいて実行制御される機能要素に対応する。
【0033】
インターフェース202は、画像検索端末12の起動時や所定の入力操作時など所定のタイミングで、監視カメラ2から伝送される画像データや変化テーブルを制御部201に入力する。
【0034】
操作部203は、画像表示端末12のユーザが所定の動作を実行しようとする際、各種情報や設定条件を入力する手段であり、マウスやキーボードからなる。
【0035】
検索指示部204は、操作部203の入力操作に基づき、画像の検索条件を指示するための検索条件テーブルを生成する。図5は、検索指示部204で生成される検索条件テーブルの一例を示す図である。図5に示す検索条件テーブルは、図3(a)に付した領域番号毎に、検索対象の領域として指定するか否かが設定されている。検索条件テーブルに基づく画像検索を行う場合、検索領域指定が[有]に設定されている領域については、検索時に変化の有無の判別結果が参照されるのに対し、検索領域指定が「無」に設定されている領域については、検索時に変化の有無の判別結果が参照されることはない。
【0036】
テーブル管理部205は、画像検索の際に必要な各種テーブルを管理保存する。テーブル管理部205では、検索対象の画像に対応する全ての変化テーブルを画像記録サーバ11から順次受信し、この変化テーブルに基づいて後述の検索テーブルを生成する。変化テーブルの受信は、画像表示端末12の起動時、及び、操作部203により監視カメラ2の選択や撮影日時などが切り替えられる度に行われる。また、検索テーブルと照合するために必要な上述の検索条件テーブルが取得され、テーブル管理部205で管理される。
【0037】
検索実行部206は、テーブル管理部205で管理される検索条件テーブル及び検索テーブルを用いて検索を実行する。すなわち、検索実行部206は、検索条件テーブルに基づき検索条件を判断し、検索テーブルを参照して各々の画像に検索条件に合致する変化の有無が存在するか否かを判別する。そして、検索対象の全ての画像についての検索結果を検索テーブルに記録して、テーブル管理部205の検索テーブルを更新する。
【0038】
ここで、図6は、テーブル管理部205で管理される検索テーブルの一例を示す図である。図6に示す検索テーブルは、図3(b)に示す変化テーブルが集合して構成されるとともに、検索実行部206による検索結果が付加されている。図6の例では、検索テーブルの先頭に画像番号1を付与し、時系列に沿って順番に画像番号を付与している。また、図5の検索条件テーブルでは、領域9と領域12が指定されているので、この検索条件に従って図6に示す検索テーブルのうち領域9及び領域12が変化の有無の判別対象となる。
【0039】
この場合、複数の領域についての検索条件は、AND条件とOR条件のいずれにしてもよく、不図示の切り換え手段により切り換え可能であるが、図6では、OR条件とする例を示している。すなわち、検索テーブルにおける領域9と領域12のうち、少なくとも一方が「有」である画像は検索結果として「変化あり」が書き込まれ、それ以外の画像は検索結果として「変化なし」が書き込まれる。
【0040】
また、上述の検索テーブル生成時、検索実行部206は全ての領域に対しOR条件にて検索を実行する。すなわち、少なくとも1つ以上の領域に変化のある画像を検索して検索テーブルに検索結果を書き込む。このとき、テーブル管理部205が順次受信する変化テーブルを参照することで、変化テーブルから「変化の有無」及び「変化領域数」を得て、検索処理を迅速に行うことができる。
【0041】
画像群判別部207は、検索実行部206の検索の際、検索結果が「変化あり」とされた時間的に連続する画像を判別し、それぞれ画像群として設定する。図7は、画像群判別部207による判別結果に基づき生成される画像群テーブルの一例を示す図である。図7(a)に示す画像群テーブルにおいては、図6の検索テーブルのうち、変化有りとなっている上述の画像群を、「シーン」として定義する。そして、それぞれのシーンに対し表示番号を付与し、検索テーブルに基づいて開始画像番号と終了画像番号を記録する。また、各シーンに含まれる画像数をシーン長として記録するともに、後述のように各シーンに対し定められる代表画像の画像番号を記録する。
【0042】
例えば、図7(a)において、画像番号2、3の2つの画像は、シーン長2のシーンを構成する。同様に、画像番号6の1つの画像は、シーン長1のシーンを構成し、画像番号8〜10の画像群は、シーン長3のシーンを構成する。なお、これらの各シーンは、所定の操作により表示画面上で動画像として表示させることができるが、詳しくは後述する。
【0043】
一方、図7(b)は、図7(a)に示す画像群テーブルの中からシーン長が1であるものを排除した状態の画像群テーブルである。本実施形態では、シーンを再生する際のノイズとなる必要性の低い画像を除去するため、後述の表示画面上の「一瞬の変化排除設定部」が設定操作されたとき、シーン長が所定長以下のシーンを排除するようにしている。図7(b)の例では、シーン長1のシーンを排除しているが、実際には所定のシーン長以下のシーンを排除するようにしてもよい。
【0044】
サムネイル生成部208は、表示対象の画像の縮小イメージであるサムネイルを生成する。本実施形態では、画像群判別部207により設定されたシーンに対し、代表画像としてサムネイルを対応付けて検索時に利用する。すなわち、1つのシーンに複数の画像が含まれる場合、そのシーンを代表する画像についてのサムネイルを生成し、それをシーンの代表画像として表示画面上に表示することにより、検索処理の利便性を高めるものである。
【0045】
ここで、各々のシーンに対する代表画像の決定方法としては、例えば、図6の検索テーブルにおける特定のシーン中で、変化領域数が最も多い画像を選択すればよい。このとき、各画像の変化領域数が同じものが複数選択される場合は、そのうち撮影時刻が先行する画像を選択すればよい。なお、一瞬の変化を排除しない場合において、単一の画像からなるシーン長1のシーンについては、その画像が自動的に代表画像として決定されることになる。
【0046】
次に、表示制御部209は、制御部201にて生成された表示画面を表示するための制御を行い、表示部210に所定のタイミングで所定の表示データを送出し表示画面を表示させる。そして、表示部210に表示される表示画面には、後述するように、ユーザが見るための画像やユーザが所定の操作や設定を行うための各種表示対象が所定のレイアウトで配置されている。なお、表示部210としては、例えばCRTディスプレイ、液晶ディスプレイ等を用いることができる。
【0047】
以下、図8〜図11を参照しながら、表示部210に表示される表示画面と、この表示画面を参照するユーザが画像検索を行う際の操作について具体的に説明する。図8は、表示部21 0に表示される表示画面の全体を説明する図である。図8に示すように、本実施形態における表示画面は、主画像表示部301と、時間軸表示部302と、サムネイル表示部303と、カメラ選択部304と、カレンダ表示部305と、領域指定部306と、一瞬の変化排除設定部307と、時刻表示部308と、再生操作部309が配置された構成となっている。
【0048】
なお、図9〜図11には、図8に示す表示画面のうち所定部分を詳細に説明するための拡大図を示している。それぞれ、図9は時間軸表示部302であり、図10はサムネイル表示部303であり、図11は領域指定部306である。
【0049】
図8に示すように、表示画面上の中央付近に配置されている主画像表示部301には、後述の入力操作に従って表示対象として選択されている特定の画像(主画像)が表示される。すなわち、複数の監視カメラ2の中から選択された監視カメラ2によって所定の時刻に撮影された所定の撮影範囲の画像が表示されるので、その画像をユーザが視認して後続の操作を判断することができる。
【0050】
時間軸表示部302には、主画像表示部301の下部に配置され、図9に示すように、表示対象の画像と撮影日時の関係を表す2種の時間軸が表示される。主時間軸302aは、所定の日付における0時から24時までの時間範囲を画像の状態と関連付けて示している。副時間軸302bは、主時間軸302aの24時間の範囲における任意の時間範囲を拡大して示している。副時間軸302bに対する時間範囲の設定は、所定の操作により10分〜2時間の範囲で切り替えることができる。図9の例では、副時間軸302bの時間範囲が1時間に設定されている場合を示している。
【0051】
通常、副時間軸302bにおいては、主時間軸302aの時間範囲のうち主画像表示部301に表示されている画像の撮影時刻を中心とした時間範囲に設定される。一方、主時間軸302a上部のスライダ302cを左右に移動操作することにより、主時間軸302aに対する副時間軸302bの時間的な位置関係を調整することができる。
【0052】
なお、主時間軸302a及び副時間軸302bにおいては、検索処理の結果得られた画像の状態を識別させるため、画像の状態に対応させて特定の時間帯を異なる色で表示させることができる。図9の例では、主時間軸302a及び副時間軸302bの時間帯A、B、Cは、それぞれ、変化有りと判別された画像群、すなわち、図7の画像群テーブルでシーンとして設定された部分に対応している。これにより、ユーザはシーンが設定されている時間帯を容易に識別することができる。
【0053】
また、監視カメラ2は、実際には常時撮影を継続するわけではなく、時間帯によっては画像記録サーバ11に画像データが記録されないことになる。よって、主時間軸302a及び副時間軸302bにおいて対象となる画像が存在しない時間帯は、さらに異なる色で表示してもよい。
【0054】
そして、主時間軸302a又は副時間軸302b上のシーンが設定されている時間帯をマウスで選択操作すると、主画像表示部301には、選択されたシーンに対応する画像が拡大表示される。
【0055】
なお、主時間軸302aと副時間軸302bのそれぞれの時間範囲は上述の例に限られず、適宜に設定してもよい。例えば、主時間軸302aに対し24時間より更に長い時間範囲、例えば、表示可能な画像の全ての撮影時刻を含む時間範囲を設定してもよい。また、主時間軸302aに対し、主画像表示部301に表示される画像の撮影時刻を中心とする所定の時間範囲を設定してもよい。
【0056】
サムネイル表示部303は、時間軸表示部302の下部に配置され、本発明の副画像表示部としての役割を担う。図10に示すように、サムネイル表示部303には、副時間軸302bの中央位置の画像を略中心とし、その前後の所定個数(図10の場合は6個)のサムネイル(副画像)が時系列の順で表示される。 これらのサムネイルは、前述したように各々のシーンの代表画像として対応付けられたものであり、各シーンに含まれる画像のうち最も変化が大きい画像となっている。これにより、ユーザは画像の変化に着目して、所定のシーンに対応するサムネイルを容易に選択することができる。そして、ユーザがサムネイル表示部303における所定のサムネイルをマウスで選択操作すると、主画像表示部301には選択されたサムネイルに対応する画像が拡大表示される。
【0057】
カメラ選択部304には、現在選択されている監視カメラ2の設置箇所が表示されるとともに、右側のプルダウンメニューにより表示対象として特定の監視カメラ2を適宜に選択入力することができる。ユーザが現在選択されている監視カメラ2を切り替えたい場合、マウスを操作してプルダウンメニューを押下すると、表示可能な全ての監視カメラ2の設置箇所が表示されるので、その中から所望の監視カメラ2を選択すればよい。
【0058】
カレンダ表示部305には、画像の撮影日を指定するための1ヶ月分のカレンダが表示される。ユーザは、カレンダ表示部305の中から所定日をマウスで選択操作すると、カメラ選択部304に示される監視カメラ2の画像のうち、選択されている所定日に撮影された画像が表示対象として設定される。また、カレンダ表示部305の上部の「前月」又は「次月」を押下することにより、所望の年月に移行させることができる。
【0059】
領域指定部306は、図11に示すように、図3(a)と同様の形状で16個の領域に分割された画像に対し、検索対象とすべき領域を指定するための表示である。領域指定部306には、その背景に主画像表示部301に表示される画像(又は過去の所定日時の画像)に対応するサムネイルが表示され、ユーザがマウスで所定の領域を選択操作することにより、その領域を検索対象として指定することができる。選択された監視カメラ2による撮影範囲のうち、例えば、出入口等が存在する一部の領域に着目して画像を検索したい際など、領域指定部306により領域を指定することが望ましい。
【0060】
なお、領域指定部306において指定された領域を異なる色で表示させることにより、ユーザは各領域の指定の有無を視覚的に判断できる。また、領域指定部306で一旦指定された領域は、その状態で再度選択操作することにより、指定を解除することができる。
【0061】
このように領域指定部306により領域が指定されると、その結果が検索指示部204によって検索条件テーブルに反映される。例えば、図5に示すように、領域番号9、12を検索対象として指定するには、領域指定部306において該当する2つの領域を順次選択操作すればよい。さらに、上述の領域指定部306における指定の結果は、検索実行部205によって検索テーブルに反映されるため、表示画面における主画像表示部301及び時間軸表示部302やサムネイル表示部303の表示対象が変更されることになる。
【0062】
一瞬の変化排除設定部307は、上述したような画像群テーブルに含まれる各シーンのうち、シーン長1のシーンを排除するときに入力設定するための表示である。ユーザが、一瞬の変化排除設定部307の左側にあるチェックボックスをマウスでチェックすると、図7(b)に示すような画像群テーブルに対応するシーンが設定されることになる。
【0063】
時刻表示部308には、主画像表示部301に表示されている画像が撮影された年月日及び日時が表示される。また、時刻表示部308においては、表示されている年月日及び日時についての各入力項目に対し、プルダウンメニューにより設定値を選択入力することができる。
【0064】
再生操作部309は、前述のように設定された各シーンを主画像表示部301に順次表示させて動画像として再生する際、ユーザに所望の操作をさせるための表示である。再生操作部309の上部には、その時点のシーンを基準にして、1つ先行するシーンに移行するボタンと、1つ後続のシーンに移行するためのボタンが配置されている。再生操作部309の中央には、各シーンの再生時にビデオ再生機と同様の再生機能を実現させるための停止ボタン、再生ボタン、倍速再生ボタンが配置されている。また、再生操作部309の下部には、ボタン操作に代わってダイヤル操作を用いて同様の再生機能を実現させるためのダイヤル操作部が配置されている。
【0065】
本実施形態では、監視カメラ2は比較的緩やかな速度、例えば、1秒に1コマ程度で撮影を行う。この場合、再生ボタンの押下時には、同様に1秒に1コマの表示タイミングで主画像表示部301の表示画像が切り替わることになる。これに対し、倍速再生ボタンの押下時は、1秒に2コマの表示タイミングで主画像表示部301の表示画像が切り替わることになる。
【0066】
以上説明したように、本実施形態の監視システムにおいて、画像の検索処理及び表示処理を行うことにより、ユーザは画像表示端末12の表示画面を参照しながら多様な操作を行うことができる。特に、表示画面には主画像表示部301と、時間軸表示部302と、サムネイル表示部303が一体的に表示されているため、多数の画像が存在する場合であっても時系列の対応関係を的確に把握して、容易に所望の画像を検索することができる。また、領域指定部306により変化の有無を判別すべき領域を限定できるので、画像の選択性を一層高めることができる。
【0067】
なお、上記の監視システムの構成は、適用対象に応じて適宜に変更することができる。例えば、図1に示す監視システムの構成においては、画像記録サーバ11と画像表示端末12を別体で構成した場合を示したが、これらを一体に構成してもよい。この場合、画像記録サーバ11と画像表示端末12の機能を併せ持つ装置(図2及び図4の各構成要素を備える装置)を管理センタ1に設置して、監視システムを構成すればよい。
【0068】
以上の実施形態では、本発明を監視システムに適用する場合について説明したが、これに限られることなく、様々な用途を持つ画像表示システムに対し広く本発明を適用することができる。この場合、本実施形態では複数の監視カメラ2から画像データを伝送する構成を示したが、監視カメラ2以外の各種機器、例えば、VTR等から画像データを出力する構成であってもよい。
【0069】
【発明の効果】
以上説明したように本発明によれば、多数の画像の中から選択された所望の画像を表示する場合、時間軸表示部と副画像表示部と主画像表示部が配置された表示画面をユーザが参照し、簡易な操作により画像表示システムにおける画像の選択性と視認性を向上させることができる。
【図面の簡単な説明】
【図1】本実施形態の監視システムの全体構成を示すブロック図である。
【図2】画像記録サーバの構成を示すブロック図である。
【図3】本実施形態において、画像の分割の概念と各領域毎の変化の有無の判別に関し、図3(a)は、画像全体を16個の方形の領域に分割する例であり、図3(b)は、画像の各々の領域についての変化の有無の判別結果を含む変化テーブルの一例である。
【図4】画像表示端末の構成を示すブロック図である。
【図5】画像表示端末の検索指示部で生成される検索条件テーブルの一例を示す図である。
【図6】画像表示端末のテーブル管理部で管理される検索テーブルの一例を示す図である。
【図7】画像表示端末の画像群判別部による判別結果に基づき生成される画像群テーブルの一例を示す図である。
【図8】画像表示端末の表示部に表示される表示画面の全体を説明する図である。
【図9】図8に示す表示画面のうち時間軸表示部の拡大図である。
【図10】図8に示す表示画面のうちサムネイル表示部の拡大図である。
【図11】図8に示す表示画面のうち領域指定部の拡大図である。
【符号の説明】
1…管理センタ
2…監視カメラ
3…インターネット
11…画像記録サーバ
12…画像表示端末
13…ルータ
14…画像表示端末
101…制御部
102…インターフェース
103…記憶部
104…画像処理部
105…変化テーブル生成部
201…制御部
202…インターフェース
203…操作部
204…検索指示部
205…テーブル管理部
206…検索実行部
207…画像群判別部
208…サムネイル生成部
209…表示制御部
210…表示部
301…主画像表示部
302…時間軸表示部
303…サムネイル表示部
304…カメラ選択部
305…カレンダ表示部
306…領域指定部
307…一瞬の変化排除設定部
308…時刻表示部
309…再生操作部
[0001]
BACKGROUND OF THE INVENTION
The present invention belongs to the technical field of an image display system that selects a desired image from a plurality of images and displays it on a display screen, and further stores image data transmitted from a surveillance camera in a storage means sequentially, The present invention belongs to a technical field of a monitoring system having a configuration in which a storage unit is searched to select a desired image and the selected image is displayed on a display screen.
[0002]
[Prior art]
Conventionally, an image display system that accumulates a large amount of image data and selects and displays a predetermined image has been widely used. In such an image display system, the user quickly searches for an image to be displayed from many images and displays a desired image on the display screen. Therefore, an appropriate arrangement of the display screen and good operability are required. It is done. In a conventional image display system, a method of displaying a thumbnail as a reduced image of an image in addition to displaying a selected image in an enlarged manner is known. This makes it easy to search for an image to be displayed by referring to a plurality of thumbnails on the display screen.
[0003]
In addition, when the attribute information such as the time information about the image is displayed together with the thumbnail displayed on the display screen as described above, the image search can be performed efficiently. In this case, a method of improving the image selectivity by displaying the attribute information of the image in a graph has been proposed (see, for example, Patent Document 1).
[0004]
[Patent Document 1]
JP 2001-134578 A
[0005]
[Problems to be solved by the invention]
However, in the above-described conventional image display system, even if the user refers to a display screen on which a plurality of thumbnails are arranged, it is not always easy for the user to select a desired image. Especially when there are many images along the time series, and when searching for characteristic images from them, it is difficult to check all of them with thumbnails, and it is difficult to find the desired image There was also. For example, assuming that an image display system is applied to a monitoring system, a search is performed when determining a specific image from a security point of view among a large number of images taken at a predetermined time interval by a monitoring camera. It was not easy.
[0006]
Further, even when a display in which attribute information is graphed is used as in the method disclosed in Patent Document 1, it is difficult to grasp each attribute information of a large number of images. It was not good.
[0007]
Therefore, the present invention has been made in view of such a problem. When a desired image selected from a large number of images is displayed, the user can display a display object with good operability while referring to the display screen. An object of the present invention is to provide an image display system capable of easily selecting an image to be taken.
[0008]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the image display system according to claim 1 is an image display system that displays an image selected from a plurality of images, and each image is divided into a plurality of regions. A storage unit that stores the result of determining whether or not there is a temporal change and a shooting time together with the image, a region designating unit for arbitrarily designating a region that the operator wants to focus on from the plurality of regions, and a main image are displayed. A region is designated from the region designating unit, a main image display unit for displaying, a time axis displaying unit for displaying a time axis indicating the entire photographing time of the image in the storage unit on the same screen, and the region designating unit. Then, in the designated area from the image of the storage unitWhen the difference from the reference image exceeds a predetermined thresholdWhile displaying the time zone in which the image determined to have changed is identifiable on the time axis of the time axis display unit,Corresponds to the time zone in which there is an image for which the operator is determined to have changedA display control unit configured to display a designated image on the main image display unit by designating a part of the time axis.
[0009]
According to the present invention, when a desired image is displayed in the image display system, a display screen on which the time axis display unit, the sub-image display unit, and the main image display unit are arranged is configured. The user can identify a time series corresponding to a plurality of images by the time axis display unit, and can identify a predetermined representative image by reduced display (thumbnail) by the sub-image display unit. Then, when a predetermined operation is performed on the time axis display unit or the sub-image display unit, the image selected by the main image display unit can be referred to. Therefore, even when there are a large number of images as display objects, it is possible to easily select a desired image by identifying the desired image by looking at the display screen and performing the operability in the image display system. Visibility can be improved.
[0010]
The image display system according to claim 2 is the image display system according to claim 1,The display unit further includes a sub-image display unit that displays a representative screen in which an image is reduced, and the display control unit performs the designation from the image in the storage unit when the region designation is performed by the region designation unit. An image determined to have changed in the selected area is selected, and the image is reduced and displayed as a representative image on the sub display unit.It is characterized by that.
[0011]
According to the present invention, in the image display system, the presence or absence of a change when each image is compared with the reference image is determined, and when the search instruction is received, the determination result of the presence or absence of the change is reflected on the display screen. The display target is changed. Therefore, the selectivity of a desired image can be enhanced by changing the display object while paying attention to the presence or absence of the change, and the visibility can be further improved.
[0012]
The image display system according to claim 3,3. The image display system according to claim 1, wherein the display control unit causes the region designation unit to display the presence / absence of the region designation in the region designation unit so that it can be visually determined.It is characterized by that.
[0013]
According to this invention, an image group is set based on the determination result of the image processing means, and an image having the largest change in the image group is set as the representative image in the sub-image display unit. Therefore, a desired image can be selected while referring to a sub-image with a particularly large degree of image change, so that the selectivity when focusing on the image change can be enhanced.
[0014]
Of this inventionIn the image display system, the image processing means divides the image into a plurality of areas, determines the presence / absence of the change for each area, and displays an area for determining the presence / absence of the change on the display screen. An area designating part for designating according to the operation is arranged.
[0015]
According to the present invention, the presence / absence of a change by the image processing unit is determined for each area of the image divided into a plurality of areas, and the user determines the image to be determined by the area designating unit on the display screen. Can be specified. Therefore, it is possible to select a desired image by paying attention to a partial area of the image, and it is possible to finely identify changes that have occurred in the image.
[0016]
Of this inventionIn the image display system, the time axis display unit includes a main time axis indicating a predetermined time range corresponding to time information set for each image, and a part of the time range of the main time axis. A sub time axis shown in an enlarged manner is displayed.
[0017]
According to the present invention, the main time axis and the sub time axis are displayed on the time axis display unit on the display screen, and the predetermined time range is indicated by the main time axis, while a part of the time range is the sub time axis. Indicated by Therefore, when a large number of images exist over a wide time range, the user can use the main time axis and the sub time axis properly, and the relationship between the images and the time series can be grasped with good visibility.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the drawings. Below, the case where the image display system which concerns on this invention is applied to the monitoring system which image | photographs the image of monitoring object with a surveillance camera and can transmit the image | photographed image via the internet is demonstrated.
[0019]
FIG. 1 is a block diagram showing the overall configuration of the monitoring system of the present embodiment. The monitoring system shown in FIG. 1 includes a management center 1 that manages the monitoring system and a plurality of monitoring cameras 2 installed in a facility to be monitored. Image data is received from each monitoring camera 2 via the Internet 3. It has a system configuration that is transmitted to the management center 1. The management center 1 is provided with an image recording server 11 and an image display terminal 12, each connected to a router 13 via a LAN, and configured to be able to transmit and receive information via the Internet 3. ing. An image display terminal 14 having the same function as the image display terminal 12 can be used by directly connecting to the Internet 3 outside the management center 1.
[0020]
The plurality of monitoring cameras 2 are respectively installed at locations where a predetermined shooting range can be shot in various facilities such as a store, and each shooting range is shot at a predetermined timing and corresponding image data is output. These surveillance cameras 2 are so-called Web cameras, and have a function of accessing the Internet 3 and transmitting image data to the management center 1. The image data transmitted by the monitoring camera 2 includes image-related information such as the monitoring camera 2 that has taken the image itself, identification information for identifying each image data, and date / time information indicating the date and time when the image was taken. Header information including information is added, and header information can be referred to as appropriate on the management center 1 side.
[0021]
In the management center 1, image data received from the monitoring camera 2 via the Internet 3 is transmitted to the image recording server 11 via the router 13 and the LAN. The image recording server 11 sequentially records the transmitted image data together with predetermined image related information. The image display terminal 12 searches the image data recorded in the image recording server 11 via the LAN by a predetermined operation, and displays a desired image.
[0022]
FIG. 2 is a block diagram showing the configuration of the image recording server 11. As shown in FIG. 2, the image recording server 11 includes a control unit 101, an interface 102, a storage unit 103, an image processing unit 104, and a change table generation unit 105.
[0023]
In the above configuration, the control unit 101 includes a CPU and the like, and controls the operation of the entire image recording server 11. The interface 102 inputs the image data transmitted from the monitoring camera 2 to the control unit 101. Then, the control unit 101 performs control so that the image data input through the interface 102 is stored in the storage unit 103 in association with image-related information such as the number of the monitoring camera 2 and the shooting date and time.
[0024]
The image processing unit 104 performs image processing on the image data input via the interface 102 or the image data read from the storage unit 103 under the instruction of the control unit 101, and outputs a plurality of images. Dividing into regions, the presence or absence of a change is determined for each region. The image processing unit 104 functions as an image processing unit of the present invention in combination with other components.
[0025]
Specifically, as shown in FIG. 3A, the entire image is divided into 16 rectangular areas, and the reference image and the image to be processed in a state where there is no moving object in the shooting range of the monitoring camera 2 are displayed. The presence or absence of a change can be determined by comparing each region. As a method for determining whether or not there is a change, for example, in each region, the number of different pixels is obtained when compared with a reference image, and when a predetermined threshold is exceeded, it is determined that there is a change, and is below a predetermined threshold. In this case, it may be determined that there is no change. In the example of FIG. 3A, it is determined that there is a change in the regions 9, 10, 13, 14, and 15 where the moving objects that do not exist in the reference image overlap.
[0026]
In the present embodiment, the case where the entire image is divided into 16 areas will be described. However, in practice, the entire image can be further divided into a large number of areas, and the same determination method can be applied.
[0027]
Based on the determination result by the image processing unit 104, the change table generation unit 105 generates a change table that integrally indicates the presence / absence of the change determined for each region for all the images to be processed. FIG. 3B is a diagram illustrating an example of a change table generated by the change table generation unit 105. The change table shown in FIG. 3B includes an image number for identifying image data, a determination result of presence / absence of change for each area constituting the image indicated by the image number, and at least one area or more. About the presence or absence of the change, the number of areas determined to have changed in the image, and the date and time when the image was taken.
[0028]
The image number shown in FIG. 3B is made up of a camera number for identifying a plurality of surveillance cameras 2 and a number given to the images taken by a specific surveillance camera 2 in the order of photography. For example, the image number 1-2 represents the second image taken by the first monitoring camera 2. Also, each area of the image is distinguished by assigning area numbers 1 to 16 as shown in FIG. In FIG. 3B, the determination result of whether or not there is a change is indicated as “present” or “absent” together with the area number of each area. In the example of FIG. 3B, the change table corresponding to the image of FIG. 3A is shown. Therefore, it is determined that each of the area numbers 9, 10, 13, 14, and 15 has changed, It is determined that there is no change in other areas.
[0029]
In the upper right part of FIG. 3B, whether or not there is a change in one or more areas, that is, whether or not there is a change in any of the entire areas of the image is shown as “change presence / absence”. In the lower part, the number of areas determined to be changed in the image is shown as “number of changed areas”. In the example of FIG. 3B, as described above, since five areas are determined to have changed, “change presence / absence” is “present” and “change area number” is five. Further, the date and time when the image with the image number 1-2 was photographed is shown as “photographing date and time”.
[0030]
The change table generated in this way is sequentially stored in the storage unit 103 via the control unit 101 and managed in association with the image data. In the image search described later, a desired change table is read from the storage unit 103 and referred to as necessary.
[0031]
Next, FIG. 4 is a block diagram showing a configuration of the image display terminal 12. The image display terminal 14 directly connected to the Internet 3 in FIG. 1 has the same configuration. As shown in FIG. 4, the image display terminal 12 includes a control unit 201, an interface 202, an operation unit 203, a search instruction unit 204, a table management unit 205, a search execution unit 206, and an image group determination unit 207. A thumbnail generation unit 208, a display control unit 209, and a display unit 210.
[0032]
In the above configuration, the control unit 201 includes a CPU or the like, controls the operation of the entire image display terminal 12, and targets image data and change tables held in the image recording server 11 based on a predetermined program. Image search processing and image display processing are executed. The search instruction unit 204, the table management unit 205, the search execution unit 206, the image group determination unit 207, and the thumbnail generation unit 208 are all functional elements that are controlled by the control unit 201 based on the predetermined program. Corresponding to
[0033]
The interface 202 inputs image data and a change table transmitted from the monitoring camera 2 to the control unit 201 at a predetermined timing such as when the image search terminal 12 is activated or at a predetermined input operation.
[0034]
The operation unit 203 is a means for inputting various information and setting conditions when the user of the image display terminal 12 attempts to perform a predetermined operation, and includes a mouse and a keyboard.
[0035]
The search instruction unit 204 generates a search condition table for instructing image search conditions based on the input operation of the operation unit 203. FIG. 5 is a diagram illustrating an example of a search condition table generated by the search instruction unit 204. In the search condition table shown in FIG. 5, whether or not to designate as a search target area is set for each area number given in FIG. When performing an image search based on the search condition table, for an area for which the search area specification is set to [Yes], the determination result of whether or not there is a change is referred to at the time of search, whereas the search area specification is “none”. For the region set to, the determination result of whether or not there is a change is not referred to at the time of search.
[0036]
The table management unit 205 manages and stores various tables necessary for image search. The table management unit 205 sequentially receives all change tables corresponding to the search target image from the image recording server 11 and generates a search table described later based on the change table. The change table is received when the image display terminal 12 is activated and whenever the operation camera 203 switches the selection of the monitoring camera 2 or the shooting date and time. In addition, the above-described search condition table necessary for matching with the search table is acquired and managed by the table management unit 205.
[0037]
The search execution unit 206 executes a search using the search condition table and the search table managed by the table management unit 205. That is, the search execution unit 206 determines a search condition based on the search condition table, and determines whether each image has a change that matches the search condition with reference to the search table. Then, the search results for all the search target images are recorded in the search table, and the search table of the table management unit 205 is updated.
[0038]
Here, FIG. 6 is a diagram illustrating an example of a search table managed by the table management unit 205. The search table shown in FIG. 6 is configured by aggregating the change tables shown in FIG. 3B, and a search result by the search execution unit 206 is added. In the example of FIG. 6, image number 1 is assigned to the head of the search table, and image numbers are assigned in order along the time series. In the search condition table of FIG. 5, since the area 9 and the area 12 are designated, the area 9 and the area 12 in the search table shown in FIG.
[0039]
In this case, the search condition for a plurality of regions may be either an AND condition or an OR condition, and can be switched by switching means (not shown). FIG. 6 shows an example of the OR condition. That is, “with change” is written as a search result for an image in which at least one of the areas 9 and 12 in the search table is “present”, and “no change” is written as a search result for the other images.
[0040]
Further, at the time of generating the above-described search table, the search execution unit 206 executes a search for all areas under the OR condition. That is, an image having a change in at least one area is searched and the search result is written in the search table. At this time, by referring to the change table sequentially received by the table management unit 205, it is possible to obtain “change presence / absence” and “number of change areas” from the change table, and to quickly perform the search process.
[0041]
The image group discriminating unit 207 discriminates temporally continuous images in which the search result is “changed” during the search by the search execution unit 206, and sets each as an image group. FIG. 7 is a diagram illustrating an example of an image group table generated based on the determination result by the image group determination unit 207. In the image group table shown in FIG. 7A, the above-described image group that has changed in the search table of FIG. 6 is defined as “scene”. Then, a display number is assigned to each scene, and a start image number and an end image number are recorded based on the search table. Also, if you record the number of images included in each scene as the scene lengthWhenIn addition, the image number of the representative image determined for each scene is recorded as will be described later.
[0042]
For example, in FIG. 7A, two images having image numbers 2 and 3 constitute a scene having a scene length of 2. Similarly, one image with image number 6 constitutes a scene with scene length 1, and an image group with image numbers 8 to 10 constitutes a scene with scene length 3. Each of these scenes can be displayed as a moving image on the display screen by a predetermined operation, which will be described later in detail.
[0043]
On the other hand, FIG. 7B is an image group table in a state where the scene length of 1 is excluded from the image group table shown in FIG. In the present embodiment, in order to remove an image that is less necessary to be noise when playing a scene, a scene length is set to a predetermined length when a “instant change exclusion setting unit” on the display screen described later is set and operated. The following scenes are excluded. In the example of FIG. 7B, a scene having a scene length of 1 is excluded, but in reality, a scene having a predetermined scene length or less may be excluded.
[0044]
The thumbnail generation unit 208 generates a thumbnail that is a reduced image of the image to be displayed. In the present embodiment, a thumbnail set as a representative image is associated with the scene set by the image group determination unit 207 and used during a search. That is, when a plurality of images are included in one scene, a thumbnail for an image representing the scene is generated and displayed on the display screen as a representative image of the scene, thereby improving the convenience of search processing. Is.
[0045]
Here, as a method for determining a representative image for each scene, for example, an image having the largest number of change areas may be selected in a specific scene in the search table of FIG. At this time, when a plurality of images having the same number of change areas of each image are selected, an image with the preceding shooting time may be selected. In addition, in the case where the instantaneous change is not excluded, for a scene having a scene length of 1 consisting of a single image, the image is automatically determined as a representative image.
[0046]
Next, the display control unit 209 performs control for displaying the display screen generated by the control unit 201, and causes the display unit 210 to transmit predetermined display data at a predetermined timing to display the display screen. And display part210On the display screen displayed on the screen, as will be described later, images to be viewed by the user and various display objects for the user to perform predetermined operations and settings are arranged in a predetermined layout. Display section210For example, a CRT display, a liquid crystal display, or the like can be used.
[0047]
Hereinafter, the display unit will be described with reference to FIGS.210A display screen displayed on the screen and operations when a user who refers to the display screen performs an image search will be described in detail. Figure 8 shows the display21 0It is a figure explaining the whole display screen displayed. As shown in FIG. 8, the display screen in this embodiment includes a main image display unit 301, a time axis display unit 302, a thumbnail display unit 303, a camera selection unit 304, a calendar display unit 305, and an area designation unit. 306, an instantaneous change exclusion setting unit 307, a time display unit 308, and a reproduction operation unit 309 are arranged.
[0048]
9 to 11 are enlarged views for explaining in detail a predetermined portion of the display screen shown in FIG. 9 shows a time axis display unit 302, FIG. 10 shows a thumbnail display unit 303, and FIG. 11 shows an area designation unit 306.
[0049]
As shown in FIG. 8, a main image display unit 301 arranged near the center on the display screen displays a specific image (main image) selected as a display target according to an input operation described later. That is, since an image of a predetermined shooting range captured at a predetermined time by the monitoring camera 2 selected from the plurality of monitoring cameras 2 is displayed, the user visually recognizes the image and determines the subsequent operation. be able to.
[0050]
The time axis display unit 302 is arranged at the lower part of the main image display unit 301 and displays two types of time axes representing the relationship between the image to be displayed and the shooting date and time, as shown in FIG. The main time axis 302a shows a time range from 0:00 to 24:00 on a predetermined date in association with the state of the image. The sub time axis 302b shows an enlarged arbitrary time range in the 24-hour range of the main time axis 302a. The setting of the time range for the sub time axis 302b can be switched in a range of 10 minutes to 2 hours by a predetermined operation. In the example of FIG. 9, the case where the time range of the sub time axis 302b is set to 1 hour is shown.
[0051]
Normally, the sub time axis 302b is set to a time range centered on the shooting time of the image displayed on the main image display unit 301 in the time range of the main time axis 302a. On the other hand, the temporal positional relationship of the sub time axis 302b with respect to the main time axis 302a can be adjusted by moving the slider 302c above the main time axis 302a left and right.
[0052]
In the main time axis 302a and the sub time axis 302b, in order to identify the state of the image obtained as a result of the search process, a specific time zone can be displayed in a different color corresponding to the state of the image. In the example of FIG. 9, the time zones A, B, and C of the main time axis 302a and the sub time axis 302b are set as scenes in the image groups determined to have changed, that is, the image group table of FIG. Corresponds to the part. Thereby, the user can easily identify the time zone in which the scene is set.
[0053]
In addition, the surveillance camera 2 does not always continuously shoot, and image data is not recorded in the image recording server 11 depending on the time zone. Therefore, the time zone in which the target image does not exist on the main time axis 302a and the sub time axis 302b may be displayed in a different color.
[0054]
Then, when a time zone in which a scene on the main time axis 302a or the sub time axis 302b is set is selected with the mouse, an image corresponding to the selected scene is enlarged and displayed on the main image display unit 301.
[0055]
Each time range of the main time axis 302a and the sub time axis 302b is not limited to the above example, and may be set appropriately. For example, a time range longer than 24 hours may be set for the main time axis 302a, for example, a time range including all shooting times of displayable images. In addition, a predetermined time range centered on the shooting time of the image displayed on the main image display unit 301 may be set on the main time axis 302a.
[0056]
The thumbnail display unit 303 is disposed below the time axis display unit 302 and plays a role as a sub-image display unit of the present invention. As shown in FIG. 10, the thumbnail display section 303 has a predetermined number (six in the case of FIG. 10) of thumbnails (sub-images) centered on the image at the center of the sub-time axis 302b. Displayed in order of series. As described above, these thumbnails are associated as representative images of the respective scenes, and are the images having the largest changes among the images included in each scene. Accordingly, the user can easily select a thumbnail corresponding to a predetermined scene, paying attention to the change of the image. When the user selects and operates a predetermined thumbnail in the thumbnail display unit 303 with the mouse, the main image display unit 301 displays an enlarged image corresponding to the selected thumbnail.
[0057]
The camera selection unit 304 displays the installation location of the currently selected monitoring camera 2 and can appropriately select and input a specific monitoring camera 2 as a display target from the pull-down menu on the right side. When the user wants to switch the currently selected monitoring camera 2, when the mouse is operated and the pull-down menu is pressed, the installation locations of all displayable monitoring cameras 2 are displayed. 2 may be selected.
[0058]
The calendar display unit 305 displays a calendar for one month for designating the image shooting date. When the user selects and operates a predetermined day from the calendar display unit 305, an image captured on the selected predetermined day among the images of the monitoring camera 2 displayed on the camera selection unit 304 is set as a display target. Is done. Further, by pressing the “previous month” or “next month” at the top of the calendar display unit 305, it is possible to shift to a desired year and month.
[0059]
As shown in FIG. 11, the area designating unit 306 is a display for designating an area to be searched for an image divided into 16 areas in the same shape as in FIG. 3A. In the area designation unit 306, a thumbnail corresponding to an image (or an image of a past predetermined date / time) displayed on the main image display unit 301 is displayed on the background, and the user selects and operates a predetermined region with the mouse. The area can be designated as a search target. It is desirable to designate a region by the region designation unit 306 when, for example, it is desired to search for an image focusing on a part of the photographing range of the selected monitoring camera 2 where an entrance or the like exists.
[0060]
It should be noted that the user can visually determine whether or not each area is designated by displaying the areas designated by the area designation unit 306 in different colors. The area once designated by the area designating unit 306 can be canceled by selecting again in that state.
[0061]
When an area is specified by the area specifying unit 306 in this way, the result is reflected in the search condition table by the search instruction unit 204. For example, as shown in FIG. 5, in order to specify the region numbers 9 and 12 as search targets, the region specifying unit 306 may select and operate two corresponding regions sequentially. Furthermore, the result of the designation in the region designation unit 306 is reflected in the search table by the search execution unit 205, so that the display target of the main image display unit 301, the time axis display unit 302, and the thumbnail display unit 303 on the display screen is displayed. Will be changed.
[0062]
The instantaneous change exclusion setting unit 307 is a display for input setting when the scene having the scene length 1 is excluded from the scenes included in the image group table as described above. When the user checks the check box on the left side of the instantaneous change exclusion setting unit 307 with the mouse, a scene corresponding to the image group table as shown in FIG. 7B is set.
[0063]
The time display unit 308 displays the date and time when the image displayed on the main image display unit 301 was captured. In the time display unit 308, setting values can be selected and input from the pull-down menu for each input item for the displayed date and time.
[0064]
The reproduction operation unit 309 is a display for allowing a user to perform a desired operation when the scenes set as described above are sequentially displayed on the main image display unit 301 and reproduced as a moving image. On the upper part of the reproduction operation unit 309, a button for shifting to the preceding scene and a button for shifting to the succeeding scene are arranged based on the scene at that time. In the center of the playback operation unit 309, a stop button, a playback button, and a double speed playback button are arranged for realizing a playback function similar to that of a video player when playing back each scene. In addition, a dial operation unit for realizing a similar reproduction function using a dial operation instead of a button operation is disposed below the reproduction operation unit 309.
[0065]
In the present embodiment, the surveillance camera 2 performs shooting at a relatively slow speed, for example, about one frame per second. In this case, when the playback button is pressed, the display image of the main image display unit 301 is similarly switched at the display timing of one frame per second. On the other hand, when the double-speed playback button is pressed, the display image of the main image display unit 301 is switched at a display timing of two frames per second.
[0066]
As described above, the user can perform various operations while referring to the display screen of the image display terminal 12 by performing the image search process and the display process in the monitoring system of the present embodiment. In particular, since the main image display unit 301, the time axis display unit 302, and the thumbnail display unit 303 are integrally displayed on the display screen, even when there are a large number of images, time-series correspondences are displayed. It is possible to accurately search for a desired image. In addition, since the region designating unit 306 can limit the region where the presence / absence of change is to be determined, the image selectivity can be further improved.
[0067]
The configuration of the monitoring system can be changed as appropriate according to the application target. For example, in the configuration of the monitoring system shown in FIG. 1, the case where the image recording server 11 and the image display terminal 12 are configured separately is shown, but these may be configured integrally. In this case, a monitoring system may be configured by installing in the management center 1 a device having both the functions of the image recording server 11 and the image display terminal 12 (a device including the components shown in FIGS. 2 and 4).
[0068]
In the above embodiment, the case where the present invention is applied to the monitoring system has been described. However, the present invention is not limited to this, and the present invention can be widely applied to image display systems having various uses. In this case, although the configuration in which the image data is transmitted from the plurality of monitoring cameras 2 is shown in the present embodiment, the configuration may be such that the image data is output from various devices other than the monitoring camera 2, such as a VTR.
[0069]
【The invention's effect】
As described above, according to the present invention, when a desired image selected from a large number of images is displayed, the display screen on which the time axis display unit, the sub-image display unit, and the main image display unit are arranged is displayed on the user. Therefore, it is possible to improve image selectivity and visibility in the image display system by a simple operation.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a monitoring system according to an embodiment.
FIG. 2 is a block diagram illustrating a configuration of an image recording server.
FIG. 3A is an example of dividing the entire image into 16 rectangular regions in relation to the concept of image division and determination of the presence / absence of change for each region in the present embodiment. 3 (b) is an example of a change table that includes a determination result of whether or not there is a change for each region of the image.
FIG. 4 is a block diagram illustrating a configuration of an image display terminal.
FIG. 5 is a diagram illustrating an example of a search condition table generated by a search instruction unit of an image display terminal.
FIG. 6 is a diagram illustrating an example of a search table managed by a table management unit of the image display terminal.
FIG. 7 is a diagram illustrating an example of an image group table generated based on a determination result by an image group determination unit of the image display terminal.
FIG. 8 is a diagram illustrating an entire display screen displayed on the display unit of the image display terminal.
9 is an enlarged view of a time axis display unit in the display screen shown in FIG.
10 is an enlarged view of a thumbnail display section in the display screen shown in FIG.
11 is an enlarged view of an area designating part in the display screen shown in FIG.
[Explanation of symbols]
1 ... Management Center
2 ... surveillance camera
3 ... Internet
11: Image recording server
12. Image display terminal
13 ... Router
14. Image display terminal
101 ... Control unit
102 ... Interface
103. Storage unit
104. Image processing unit
105 ... change table generation unit
201 ... control unit
202 ... Interface
203 ... operation unit
204 ... Search instruction section
205 ... Table management section
206 ... Search execution unit
207 ... Image group discrimination unit
208 ... Thumbnail generator
209: Display control unit
210 ... display section
301 ... main image display section
302: Time axis display section
303 ... Thumbnail display section
304 ... Camera selection unit
305 ... Calendar display section
306 ... Area designation part
307 ... Instantaneous change exclusion setting section
308: Time display section
309 ... Playback operation unit

Claims (3)

複数の画像の中から選択された画像を表示する画像表示システムであって、
前記画像を複数領域に分割した領域ごとに、それぞれ時間的な変化の有無を判別した結果と撮影時刻を当該画像とともに記憶する記憶部と、
操作者が前記複数領域から着目したい領域を任意に指定するための領域指定部、主画像を表示するための主画像表示部、
前記記憶部の画像の撮影時刻全体を示す時間軸を表示するための時間軸表示部を少なくとも同一画面に表示する表示部と、
前記領域指定部から領域指定がなされると、前記記憶部の画像から当該指定された領域にて基準画像との相違が所定の閾値を超えた場合に変化ありと判別された画像が存在する時間帯を前記時間軸表示部の時間軸へ識別可能に表示させるとともに、操作者が変化ありと判別された画像が存在する時間帯に対応する前記時間軸の一部を指定することにより前記主画像表示部に指定された画像を表示させる表示制御部と、
を具備したことを特徴とする画像表示システム。
An image display system for displaying an image selected from a plurality of images,
A storage unit that stores a result of determining whether or not there is a temporal change and a shooting time together with the image for each region obtained by dividing the image into a plurality of regions,
An area designating unit for arbitrarily designating an area that an operator wants to focus on from the plurality of areas, a main image display unit for displaying a main image,
A display unit for displaying a time axis display unit for displaying a time axis indicating the entire photographing time of the image of the storage unit on at least the same screen;
When an area is designated from the area designation unit, a time during which there is an image determined to have changed when a difference from a reference image exceeds a predetermined threshold in the designated area from the image of the storage unit The main image is displayed by displaying a band in an identifiable manner on the time axis of the time axis display unit, and by designating a part of the time axis corresponding to a time zone in which an image in which an operator is determined to have changed exists. A display control unit for displaying a specified image on the display unit;
An image display system comprising:
前記表示部は、画像を縮小した代表画面を表示させる副画像表示部を更に有し、
前記表示制御部は、前記領域指定部にて領域指定がされると、前記記憶部の画像から当該指定された領域にて変化有りと判別された画像を選択し、当該画像を縮小して前記副表示部に代表画像として表示させる請求項1に記載の画像表示システム。
The display unit further includes a sub-image display unit that displays a representative screen in which an image is reduced,
When an area is specified by the area specifying unit, the display control unit selects an image determined to have changed in the specified area from the image of the storage unit, reduces the image, and reduces the image. The image display system according to claim 1, wherein the image is displayed as a representative image on the sub display unit.
前記表示制御部は、前記領域指定部における領域指定の有無を視覚的に判断可能に前記領域指定部に表示させる請求項1または2のいずれかに記載の画像表示システム。The image display system according to claim 1, wherein the display control unit causes the region designation unit to display whether or not a region is designated in the region designation unit.
JP2003025087A 2003-01-31 2003-01-31 Image display system Expired - Fee Related JP4175622B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003025087A JP4175622B2 (en) 2003-01-31 2003-01-31 Image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003025087A JP4175622B2 (en) 2003-01-31 2003-01-31 Image display system

Publications (2)

Publication Number Publication Date
JP2004234561A JP2004234561A (en) 2004-08-19
JP4175622B2 true JP4175622B2 (en) 2008-11-05

Family

ID=32953449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003025087A Expired - Fee Related JP4175622B2 (en) 2003-01-31 2003-01-31 Image display system

Country Status (1)

Country Link
JP (1) JP4175622B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100442823C (en) * 2004-10-13 2008-12-10 奥林巴斯株式会社 Image display device, camera and their display method
KR101906947B1 (en) * 2012-11-29 2018-10-11 한화테크윈 주식회사 Multi-channel play system and method
CN103902575B (en) * 2012-12-27 2018-02-27 腾讯科技(深圳)有限公司 A kind of pictorial information loading method and relevant apparatus
JP6171374B2 (en) * 2013-02-06 2017-08-02 ソニー株式会社 Information processing apparatus, information processing method, program, and information processing system
JP6137102B2 (en) * 2014-06-30 2017-05-31 キヤノンマーケティングジャパン株式会社 Information processing apparatus, control method therefor, and program
JP7258580B2 (en) * 2019-01-30 2023-04-17 シャープ株式会社 Monitoring device and monitoring method

Also Published As

Publication number Publication date
JP2004234561A (en) 2004-08-19

Similar Documents

Publication Publication Date Title
US7774704B2 (en) Image processing apparatus
JP4727117B2 (en) Intelligent feature selection and pan / zoom control
US6256419B1 (en) Method and apparatus for detecting a point of change in a moving image
EP3185539B1 (en) Information processing apparatus, imaging apparatus, image display control method and computer program
US8009961B2 (en) Electronic apparatus, playback management method, display control apparatus, and display control method
KR100883066B1 (en) Apparatus and method for displaying object moving path using text
US20120288256A1 (en) Image reproduction apparatus
JP6206857B1 (en) Tracking support device, tracking support system, and tracking support method
RU2691057C1 (en) Tracking assistance device, tracking assistance system and tracking assistance method
KR20050061352A (en) Image displaying method and image displaying apparatus
JP5701017B2 (en) Movie playback apparatus, movie playback method, computer program, and storage medium
JP5506324B2 (en) Similar image search system and similar image search method
JP2000350156A (en) Method for storing moving picture information and recording medium recording the information
JP4185376B2 (en) Image processing system
JP4175622B2 (en) Image display system
JP2002152721A (en) Video display method and device for video recording and reproducing device
JP4154012B2 (en) Recording medium storing program for realizing image display method and image composition apparatus
JP2004266623A (en) Monitoring camera management system
JP6576704B2 (en) Movie playback apparatus and movie playback method
JP2006311430A (en) Device and system for displaying image
JPH10224735A (en) Image processor
JP4209379B2 (en) RECORDING DEVICE, ITS BROWSER DEVICE, ITS PROGRAM, AND RECORDING MEDIUM
JP6847168B2 (en) Video playback device and video playback method
JP4513491B2 (en) Electronic camera
JP3565445B2 (en) Video display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080813

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080818

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4175622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees