JP2011188147A - Monitoring system and monitoring method - Google Patents
Monitoring system and monitoring method Download PDFInfo
- Publication number
- JP2011188147A JP2011188147A JP2010049913A JP2010049913A JP2011188147A JP 2011188147 A JP2011188147 A JP 2011188147A JP 2010049913 A JP2010049913 A JP 2010049913A JP 2010049913 A JP2010049913 A JP 2010049913A JP 2011188147 A JP2011188147 A JP 2011188147A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- monitoring
- point
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
Description
本発明は、監視システム及び監視方法に関する。 The present invention relates to a monitoring system and a monitoring method.
従来、監視対象をカメラにより撮影し、当該カメラから得られる映像を画面上に表示して監視する監視装置が提案されている（例えば、特許文献１を参照）。また、カメラにより撮影された映像を表示する画面上において、任意の位置を指定すれば該当する被写体画像を画面上に表示する撮像装置が提案されている（例えば、特許文献２を参照）。 2. Description of the Related Art Conventionally, there has been proposed a monitoring device that captures an image of a monitoring target with a camera and displays and monitors an image obtained from the camera on a screen (see, for example, Patent Document 1). Further, there has been proposed an imaging apparatus that displays a corresponding subject image on a screen when an arbitrary position is designated on a screen that displays an image captured by a camera (see, for example, Patent Document 2).
例えばビルのフロアに設置された照明機器や空調機器等の動作状況を監視する監視システムでは、遠隔からの監視者の指示に応じてフロア内の所定のポイントを指定して、当該ポイントの映像を拡大して表示したり、当該ポイントに設置された機器を遠隔制御したりするような運用が考えられる。このように、所定のポイントを指定して、当該ポイントの映像表示や機器を制御することで、監視者は遠隔にあっても当該ポイントの詳細な動作状況を確認することができる。 For example, in a monitoring system that monitors the operating status of lighting equipment, air conditioning equipment, etc. installed on the floor of a building, a predetermined point on the floor is designated according to a remote supervisor's instruction, and an image of the point is displayed. Operations such as enlarging display and remote control of equipment installed at the point can be considered. In this way, by designating a predetermined point and controlling the video display and device of the point, the monitor can confirm the detailed operation status of the point even when remote.
しかしながら、ポイントを指定する操作や表示を制御するための操作が煩雑であると、監視者の業務効率が低下するおそれがある。このため、監視者の自然な動作に応じてポイント指定操作や制御操作が行えるような監視システムを実現することが望ましい。このような監視システムの実現によって、監視対象の動作状況を、効率よく監視することが可能になる。 However, if the operation for designating the point and the operation for controlling the display are complicated, the work efficiency of the supervisor may be reduced. For this reason, it is desirable to realize a monitoring system in which a point designation operation and a control operation can be performed according to the natural operation of the monitor. By implementing such a monitoring system, it is possible to efficiently monitor the operation status of the monitoring target.
本発明は、前記のような問題に鑑みなされたもので、容易な操作によって選択された監視対象の操作を制御可能とする監視システム及び監視方法を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a monitoring system and a monitoring method capable of controlling an operation of a monitoring target selected by an easy operation.
本発明の一実施形態に係る監視システムは、複数の操作対象装置が配置された監視対象エリアの配置マップ情報を表示する表示画面を具備する表示手段と、前記表示画面を監視する監視者の視線又は瞬きを視線合図として検出する視線検出手段と、前記視線検出装置が検出する前記監視者の視線合図に従って、前記監視対象エリアにおける少なくとも１つの地点を検出する点検出手段と、前記監視対象エリアにおいて前記少なくとも１つの地点に対応する少なくとも１つの操作対象装置を前記複数の操作対象装置から選択する選択手段と、前記選択手段が選択した操作対象装置の動作を遠隔制御する制御手段を具備する。 A monitoring system according to an embodiment of the present invention includes a display unit including a display screen that displays arrangement map information of a monitoring target area in which a plurality of operation target devices are arranged, and a line of sight of a monitor who monitors the display screen Or a line-of-sight detection means for detecting blink as a line-of-sight signal, a point detection means for detecting at least one point in the monitoring target area according to the line-of-sight signal of the monitor detected by the line-of-sight detection device, and Selecting means for selecting at least one operation target device corresponding to the at least one point from the plurality of operation target devices; and control means for remotely controlling the operation of the operation target device selected by the selection means.
本発明の一実施形態に係る監視方法は、複数の操作対象装置が配置された監視対象エリアの配置マップ情報を表示画面に表示するステップと、前記表示画面を監視する監視者の視線又は瞬きを、視線検出装置によって視線合図として検出するステップと、前記視線検出装置が検出する前記監視者の視線合図に従って、前記監視対象エリアにおける少なくとも１つの地点を検出するステップと、前記監視対象エリアにおいて前記少なくとも１つの地点に対応する少なくとも１つの操作対象装置を前記複数の操作対象装置から選択するステップと、前記選択された操作対象装置の動作を遠隔制御するステップを備える。 A monitoring method according to an embodiment of the present invention includes a step of displaying, on a display screen, arrangement map information of a monitoring target area in which a plurality of operation target devices are arranged, and a gaze or blink of a monitor who monitors the display screen. Detecting as a visual cue by the visual line detection device, detecting at least one point in the monitoring target area according to the visual cue of the monitor detected by the visual detection device, and at least in the monitoring target area Selecting at least one operation target device corresponding to one point from the plurality of operation target devices; and remotely controlling the operation of the selected operation target device.
本発明に係る監視システム及び監視方法によれば、容易な操作によって選択された監視対象の操作を制御可能とすることができる。 According to the monitoring system and the monitoring method of the present invention, it is possible to control the operation of the monitoring target selected by an easy operation.
以下、図面を参照して本発明による監視システムの実施形態を説明する。 Embodiments of a monitoring system according to the present invention will be described below with reference to the drawings.
図１は、本発明の一実施形態に係る監視システムの概略構成を示すブロック図である。図１に示すように、この監視システムは、中央監視部１０、監視カメラ網２０、及び中央監視部１０と監視カメラ網２０を接続する通信回線３０を具備している。
FIG. 1 is a block diagram showing a schematic configuration of a monitoring system according to an embodiment of the present invention. As shown in FIG. 1, the monitoring system includes a
監視カメラ網２０は、複数の監視用カメラ（ＩＴＶカメラ、以下単にカメラと表記する）２１−１〜２１−ｎを備えており、例えば監視対象となるビル内のフロア等に備えられる。カメラ２１−１〜２１−ｎは、当該フロアにおいて分散配置される。
The
中央監視部１０は、監視カメラ網２０から遠隔の場所、例えばビルの管理室等に設けることが可能である。この中央監視部１０は、監視カメラ網２０のカメラ２１−１〜２１−ｎにより撮影された映像を受信する。監視システムの監視者は、この中央監視部１０が受信する映像を参照してフロアの監視を行なう。
The
中央監視部１０は、中央制御部１１、入力装置１２、液晶表示装置（ＬＣＤ）１３、表示制御部１４、記憶装置１５、情報入出力部１６、伝送制御部１７、視線検出装置１８、視線検出カメラ１８ａ、及びジェスチャ検出装置１９を備えている。
The
中央制御部１１は、図示しないプロセッサ、プログラムメモリ及びワークメモリを具備し、プロセッサがプログラムメモリに記憶されたプログラムを読み出して実行することで、各種の機能を実現する。中央制御部１１は、ＩＴＶ制御部１１０及び監視制御部１１１を具備し、これらの機能は、ソフトウェアによって実現される。中央制御部１１は、入力装置１２、表示制御部１４、記憶装置１５、情報入出力部１６、視線検出装置１８、及びジェスチャ検出装置１９とバスを介して接続されている。
The
中央監視部１０は、入出力インタフェース（マン・マシンインタフェース）として、入力装置１２及びＬＣＤ１３を具備している。入力装置１２は、キーボードやマウス等の入力操作機器を含む。ＬＣＤ１３は、表示制御部１４を介して中央制御部１１に接続されており、画像情報や文字情報を表示する液晶表示画面を有する。表示制御部１４は、中央制御部１１から出力される制御情報に基づいて、ＬＣＤ１３の画面表示を制御する。入力装置１２は、ＬＣＤ１３及び表示制御部１４と一体に設けられるタッチスクリーン機器として構成されてもよい。
The
記憶装置１５は、ハードディスク装置（ＨＤＤ）やフラッシュメモリ等の記憶部を具備し、中央制御部１１の動作に必要とされる種々の情報を保存する。記憶装置１５は、プロセッサが動作するためのプログラムメモリとして機能してもよい。また、監視カメラ網２０から送られた映像情報も、記憶装置１５に記憶される。更に記憶装置１５は、カメラ／マップ対応情報テーブル１１２（図５参照）を記憶している。
The
伝送制御部１７は、情報入出力部１６を介して中央制御部１１に接続される。伝送制御部１７は、通信回線３０を介して監視カメラ網２０と情報の送受信を行なうためのインタフェースとして機能する。情報入出力部１６は、伝送制御部１７を介して監視カメラ網２０から送られる映像情報に所要の処理を施して中央制御部１１に伝送する。また情報入出力部１６は、中央制御部１１から出力される制御情報を、伝送制御部１７を介して監視カメラ網２０に出力する。
The
視線検出装置１８は、監視者の視線及び瞬き等の目の動作を検出するための装置である。視線検出装置１８は、カメラ１８ａに接続されており、カメラ１８ａが撮影する監視者の瞳孔を検出して、当該瞳孔の移動軌跡を監視者の視線の軌跡として検出する。また、視線検出装置１８は、瞬きやウィンク等の監視者の目の動きを検出することもできる。
The line-of-
ジェスチャ検出装置１９は、監視者の首振りや頷き、手の振り等のジェスチャ（身振りや手振り）を検出する。ジェスチャ検出装置１９は、例えばカメラ１８ａが撮影する監視者の映像から、監視者のジェスチャを検出する。あるいはジェスチャ検出装置１９専用の撮影装置が備えられていてもよい。
The
監視カメラ網２０は、監視用のＩＴＶカメラ２１−１〜２１−ｎ、情報収集制御部２２、及び伝送制御部２３を具備している。
情報収集制御部２２は、カメラ２１−１〜２１−ｎの近傍で、中央監視部１０から遠隔の場所に設置されている。情報収集制御部２２は、伝送制御部２３を介して通信回線３０に接続されている。伝送制御部２３は、通信回線３０を介して中央監視部１０と情報の送受信を行なうためのインタフェースとして機能する。
The
The information
情報収集制御部２２は、中央制御部１１から送られてくる制御情報に基づいて、カメラ２１−１〜２１−ｎを制御し、これらのカメラにより撮影された映像を収集する。収集された映像は、伝送制御部２３から通信回線３０を介して中央監視部１０に伝送される。
The information
通信回線３０は、有線又は無線のネットワークによって構成される。通信回線３０の一例としては、ＬＡＮ（ローカルエリアネットワーク）が挙げられる。 The communication line 30 is configured by a wired or wireless network. An example of the communication line 30 is a LAN (local area network).
図２は、上述の中央監視部１０の設置の一例を概略的に示す図である。
FIG. 2 is a diagram schematically illustrating an example of the installation of the
図２に示す例では、中央監視部１０として、パーソナルコンピュータＰＣ、入力装置（キーボード）１２、ＬＣＤ１３、視線検出装置１８、及びカメラ１８ａのセットが図示されている。入力装置１２、ＬＣＤ１３、視線検出装置１８、及びカメラ１８ａ以外の中央監視部１０の各部は、パーソナルコンピュータＰＣ内に内蔵されている。この中央監視部１０は、例えばビルの管理室に備えられ、監視者Ｍによって監視される。
In the example shown in FIG. 2, as the
この監視システムでは、中央監視部１０は、ビルの所定のフロアに設置された監視カメラ網２０が取得した当該フロア内の映像（監視映像）を、通信回線３０を介して収集し、ＬＣＤ１３の画面上に表示する。ビル内の管理室にいる監視者Ｍは、ＬＣＤ１３の画面を参照して、フロア内の状況を監視する。
In this monitoring system, the
図２に示す例では、カメラ１８ａはＬＣＤ１３の上部に取り付けられている。視線検出装置１８は、カメラ１８ａが撮影した監視者Ｍの瞳孔の画像から、監視者Ｍの視線の軌跡を検出する。
In the example shown in FIG. 2, the
次に、以上のように構成された監視システムにおける監視動作について図面を参照して説明する。各図において、対応する部分には対応する参照数字が付されている。 Next, a monitoring operation in the monitoring system configured as described above will be described with reference to the drawings. In each figure, corresponding parts are given corresponding reference numerals.
図３は、上述の監視システムにおいて実行されるＩＴＶモードでの動作処理を示すフローチャートである。 FIG. 3 is a flowchart showing an operation process in the ITV mode executed in the above-described monitoring system.
ＩＴＶモードが設定されると、中央制御部１１においてＩＴＶ制御部１１０が起動する。ＩＴＶ制御部１１０は、視線検出装置１８から送られる操作信号に応じて、図３のフローチャートに示すような処理を実行する。
When the ITV mode is set, the
まず、ＩＴＶ制御部１１０は、監視カメラ網２０が設置されているフロアのマップ１３２を、ＬＣＤ１３の表示画面１３０上に表示する（ステップＳ３１）。マップ１３２は、例えば当該フロアのレイアウト（配置関係）に対応するグラフィック画像情報に基づいて表示される。マップ１３２は、一例として図７に示すように、フロアに設置されているカメラ２１−１〜２１−１０を意味するアイコン（以下では、同様に参照数字２１−１〜２１−１０によって表す）を含む所定の態様で表示される。マップ１３２の画像情報は、フロア内の位置座標を特定するための座標情報にリンクされている。
First, the
次にＩＴＶ制御部１１０は、監視者Ｍによって撮像表示指示が行われるのを待機する（ステップＳ３２）。ＩＴＶ制御部１１０は例えば、ジェスチャ検出装置１９が監視者Ｍの右手の振りや頷きといったジェスチャを検出したら、その情報を撮像表示指示として受信する（ステップＳ３２でＹｅｓ）。
Next, the
ＩＴＶ制御部１１０は、視線検出装置１８が検出する監視者Ｍの視線の軌跡Ｌ１から、固定点の検出を行う（ステップＳ３３）。ＩＴＶ制御部１１０は、例えば図７に示すような監視者Ｍの視線の軌跡Ｌ１を追跡し、画面上で視線濃度が所定の値を超えた点を固定点として検出する（図７に示す点Ｐ１）。あるいはＩＴＶ制御部１１０は、マップ１３２上において視線が３秒以上留まり、２回の瞬きが行なわれた点を固定点として検出する。
The
次にＩＴＶ制御部１１０は、検出された固定点について撮影方向を設定する方向設定処理への切り替え指示が、監視者Ｍによって行われるのを待機する（ステップＳ３４）。
Next, the
ＩＴＶ制御部１１０は、例えば視線検出装置１８によって監視者Ｍの２回のウィンクが検出された場合、又はジェスチャ検出装置１９によって監視者Ｍの横方向への首振り動作が検出された場合に（ステップＳ３４でＹｅｓ）、方向設定処理への切り替え指示が行われたと判定する。
The
ＩＴＶ制御部１１０は、検出装置１８が検出する監視者Ｍの視線の軌跡Ｌ２のマップ上での傾きから、撮影方向を設定する（ステップＳ３５）。例えば、図８に示すように、監視者Ｍの視線軌跡の傾き（矢印Ｄ）が、撮影方向として設定される。
The
固定点及び撮影方向が設定されると、ＩＴＶ制御部１１０は、選択された固定点に対応するフロア内の地点を、設定された撮影方向から撮影した画像を監視カメラ網２０から取得して、表示画面１３０上に表示する（ステップＳ３６）。この画像は、例えば図８においてポップアップ画面１３５によって示されるように、マップ１３２に重ねてポップアップ表示される。
When the fixed point and the shooting direction are set, the
図４は、選択された固定点に対応するフロア内の地点を設定された撮影方向から撮影し、表示画面１３０に表示するための処理（ステップＳ３６）の詳細を示すフローチャートである。
FIG. 4 is a flowchart showing details of the process (step S36) for photographing a point in the floor corresponding to the selected fixed point from the set photographing direction and displaying it on the
ＩＴＶ制御部１１０は、選択された固定点のマップ上での座標と、選択された撮影方向のマップ上での傾きを算出する（ステップＳ４１）。
The
そしてＩＴＶ制御部１１０は、記憶装置１５に格納されているカメラ／マップ対応情報テーブル１１２を参照し、固定点の座標及び撮影方向に対応するカメラ番号とそのカメラ座標情報を取得する（ステップＳ４２）。
Then, the
図５は、カメラ／マップ対応情報テーブル１１２の記憶内容の詳細の一例を示す図である。カメラ／マップ対応情報テーブル１１２には、フロア内に設置された各カメラのカメラ番号（ＮＯ）と当該カメラのフロア内での位置を表す座標（ｘ，ｙ，ｚ）に対応して、当該カメラが撮影可能なフロア内の領域が記憶されている。カメラが撮影可能な領域は、２つの位置座標（Ｘ１，Ｙ１）と（Ｘ２，Ｙ２）によって示され、当該カメラはこの２つの点によって張られる矩形領域内の撮影が可能である。また、当該矩形領域内で撮影可能な角度範囲は、傾き１から傾き２の間の角度範囲である。 FIG. 5 is a diagram showing an example of details of the stored contents of the camera / map correspondence information table 112. The camera / map correspondence information table 112 corresponds to the camera number (NO) of each camera installed on the floor and the coordinates (x, y, z) representing the position of the camera on the floor. The area in the floor where can be photographed is stored. The area that can be photographed by the camera is indicated by two position coordinates (X1, Y1) and (X2, Y2), and the camera can photograph in a rectangular area stretched by these two points. In addition, the angle range that can be photographed in the rectangular area is an angle range between the inclination 1 and the inclination 2.
図６（Ａ）及び（Ｂ）に示すように、カメラ２１０の座標系（ｘ，ｙ，ｚ）とマップ上の座標系（Ｘ，Ｙ）とは互いに関連付けられている。撮影可能領域を表す２つの位置座標は、図６（Ｂ）に示す（Ｘ，Ｙ）座標系において表され、対応するカメラ２１０の位置が原点として設定される。
As shown in FIGS. 6A and 6B, the coordinate system (x, y, z) of the
従って、ステップＳ４２において、ＩＴＶ制御部１１０は、選択された固定点を選択された撮影方向から撮影可能なカメラのカメラ番号を、カメラ／マップ対応情報テーブル１１２を参照して選択することになる。
ＩＴＶ制御部１１０は、選択したカメラ番号、その座標情報、及び撮影方向の情報を含む制御情報を、通信回路３０を介して監視カメラ網２０の情報収集制御部２２に伝送する（ステップＳ４３）。情報収集制御部２２は、受信した制御情報に応じて、フロア内のカメラ２１−１〜２１−１０から該当するカメラ（図７の例ではカメラ２１−５）を選択し、当該カメラによる撮影の制御を開始する（ステップＳ４４）。当該カメラは、制御情報に含まれる撮影方向に応じて、フロア内を撮影する。
Accordingly, in step S42, the
The
情報収集制御部２２は、選択されたカメラにより取得された映像信号を伝送制御部２３から通信回線３０を介して中央監視部１０に伝送する（ステップＳ４５）。中央監視部１０では、伝送された映像信号が伝送制御部１７及び情報入出力部１６を介してＩＴＶ制御部１１０に伝送され、必要に応じて記憶装置１５に蓄積される。
The information
ＩＴＶ制御部１１０は、伝送された映像信号に所定の画像処理を施し、表示制御部１４を介してＬＣＤ１３の画面上にポップアップ表示する（ステップＳ４６）。
The
これによって、図８のポップアップ画面１３５に示すように、監視者Ｍの視線の動きに対応して、所望のポイントを所望の角度で撮影した映像を、表示画面１３０上にポップアップ表示することができる。
As a result, as shown in the pop-up
なおＩＴＶ制御部１１０は、取得した映像信号に適当な画像処理を施し、表示形態を変更することも可能である。
Note that the
図７は、図３のフローチャートにおける固定点の検出動作の一例を概略的に示す図である。 FIG. 7 is a diagram schematically illustrating an example of a fixed point detection operation in the flowchart of FIG. 3.
図７に示す例では、ＬＣＤ１３の表示画面１３０上にマップ１３２が表示されている。マップ上にはカメラを表すアイコン２１−１〜２１−１０が示されている。軌跡Ｌ１は、視線検出装置１８が検出した監視者Ｍの視線の動きを、説明のためにマップ１３２上に図示したものである。監視システムの実際の運用時には、軌跡Ｌ１は必ずしもマップ１３２上に表示されなくてもよい。
In the example shown in FIG. 7, a
図７に示すように、監視者Ｍの視線は点Ｐ１の周囲に集中している。このためＩＴＶ制御部１１０は、この点Ｐ１を視線濃度の濃い固定点として検出することができる。この固定点Ｐ１は、監視者Ｍが特に注視し高い関心を持っている点であると考えられる。
As shown in FIG. 7, the line of sight of the supervisor M is concentrated around the point P1. Therefore, the
図８は、図３のフローチャートにおける撮影方向設定の一例を概略的に示す図である。 FIG. 8 is a diagram schematically showing an example of the shooting direction setting in the flowchart of FIG.
図７に示すように固定点Ｐ１が検出されると、ＩＴＶ制御部１１０は、方向設定指示に応じて撮影方向を設定する処理（ステップＳ３５）を開始する。図８において軌跡Ｌ２は、視線検出装置１８が検出した監視者Ｍの視線の動きを、説明のためにマップ１３２上に図示したものである。ＩＴＶ制御部１１０は、矢印Ｄが現すこの軌跡Ｌ２の傾きを、撮影方向として検出する。
As shown in FIG. 7, when the fixed point P1 is detected, the
すなわち、監視者Ｍは視線によって選択した固定点をどの方向から撮影した画像を取得するかを、視線を動かすだけで設定することができる。 That is, the supervisor M can set the direction from which an image obtained by capturing the fixed point selected by the line of sight is acquired simply by moving the line of sight.
このようにして設定された固定点Ｐ１を矢印Ｄの方向に撮影した映像は、カメラ２１−５によって撮影され、ポップアップ画面１３５によって表示される。
An image obtained by shooting the fixed point P1 set in this way in the direction of the arrow D is shot by the camera 21-5 and displayed on the pop-up
以上のように本実施形態に係る監視システムによれば、中央監視部１０の出力インタフェース（すなわちＬＣＤ１３）の表示画面上に、例えばビルのフロア等の監視対象エリアのレイアウトを示すマップを表示し、監視者Ｍがマップ上で視線を動かすだけで、所望のポイントと撮影方向を選択し、フロア内の特定のポイントの映像を選択に応じてポップアップ表示させることができる。従って、監視者Ｍは視線の動きだけでフロア内を容易に詳細に監視することができ、操作効率を向上させることができる。また、監視者が特別な操作を習得する必要もない。更に、監視者は画面を見ながら手元で他の作業を行うことも可能となる。
As described above, according to the monitoring system according to the present embodiment, the map indicating the layout of the monitoring target area such as the floor of a building is displayed on the display screen of the output interface (that is, the LCD 13) of the
なお上述の処理では、監視者Ｍの視線に応じて１つの固定点が検出されたが、検出する固定点は１つに限られず、複数の固定点が検出されてもよい。また撮影方向も、監視者Ｍの視線に応じて複数方向が設定可能であってもよい。 In the above-described processing, one fixed point is detected according to the line of sight of the observer M, but the number of fixed points to be detected is not limited to one, and a plurality of fixed points may be detected. Also, the shooting direction may be set in a plurality of directions according to the line of sight of the supervisor M.
続いて、本実施形態に係る監視システムにおいて実行される視線モードでの動作について説明する。 Subsequently, an operation in the line-of-sight mode executed in the monitoring system according to the present embodiment will be described.
図９は、上述の監視システムにおいて実行される視線モードでの動作処理を示すフローチャートである。 FIG. 9 is a flowchart showing an operation process in the line-of-sight mode executed in the above-described monitoring system.
視線モードが設定されると、中央制御部１１において監視制御部１１１が起動する。監視制御部１１１は、図９のフローチャートに示すような処理を実行する。
When the line-of-sight mode is set, the
まず、監視制御部１１１は、指定されたフロアの機器配置を表すレイアウトマップ１３６を、ＬＣＤ１３の表示画面１３０上に表示する（ステップＳ９０）。
First, the
レイアウトマップ１３２は、例えば当該フロアに設置された監視対象の機器類のレイアウトを表すグラフィック画像情報に基づいて表示される。レイアウトマップ１３６上では、一例として図１０に示すように、フロアに設置されている各機器が種類別のアイコン（例えばＡ１〜Ａ４、Ｂ１〜Ｂ３、Ｃ１〜Ｃ２）によって表現されている。レイアウトマップ１３６の画像情報は、フロア内の位置座標を特定するための座標情報にリンクされている。
The
次に監視制御部１１１は、監視者Ｍによって機器制御開始指示が行われるのを待機する（ステップＳ９１）。監視制御部１１１は例えば、ジェスチャ検出装置１９が監視者Ｍの右手の振りや頷きといったジェスチャを検出したら、その情報を撮像表示指示として受信する（ステップＳ９１でＹｅｓ）。
Next, the
監視制御部１１１は、機器制御開始指示に応答して、視線検出装置１８以外の入力装置による操作を受け付けないようインタロックを設定する（ステップＳ９２）。
In response to the device control start instruction, the
そして監視制御部１１１は、例えば図１０に示すような監視者Ｍの視線の軌跡Ｌ３を追跡し、画面上で視線濃度が所定の値を超えたアイコンに対応する機器を操作対象機器として検出する（図１０に示す機器Ｃ２）。あるいは監視制御部１１１は、レイアウトマップ１３６において視線が３秒以上留まり、２回の瞬きが行なわれたアイコンに対応する機器を操作対象機器として検出する。
Then, for example, the
監視制御部１１１は、監視者Ｍの視線による操作合図に応じて、当該操作対象機器を制御する（ステップＳ９４）。
The
例えば、表示画面１３０上に表示された確認ダイアログ（図示せず）に対して、監視者Ｍが２回瞬きを行なったことが視線検出装置１８によって検出されたら、当該ダイアログに応じた制御がなされる。ダイアログに応じて、操作対象機器の動作を開始させたり、停止させたりするような制御が可能である。
For example, if the
また、監視者Ｍの右目のウィンクに応じて操作対象機器の何らかのパラメータ値をインクリメントし、左目のウィンクに応じて当該パラメータ値をデクリメントするよう構成することも可能である。 It is also possible to configure such that some parameter value of the operation target device is incremented according to the right eye wink of the supervisor M, and the parameter value is decremented according to the left eye wink.
その後、監視者Ｍによりインタロック解除指示がなされたら（ステップＳ９５でＹｅｓ）、インタロックが解除される（ステップＳ９６）。例えば監視者Ｍによる左手振り、上を向く等の動作を、解除指示動作として設定しておくことができる。 Thereafter, when an interlock release instruction is given by the supervisor M (Yes in step S95), the interlock is released (step S96). For example, an operation such as a left hand swing or upward facing by the supervisor M can be set as the release instruction operation.
図１０は、図９のフローチャートにおける固定点の検出動作の一例を概略的に示す図である。 FIG. 10 is a diagram schematically illustrating an example of a fixed point detection operation in the flowchart of FIG. 9.
図１０に示す例では、ＬＣＤ１３の表示画面１３０上にレイアウトマップ１３６が表示されている。レイアウトマップ１３６上には機器Ａを表すアイコンＡ１〜Ａ４、機器Ｂを表すアイコンＢ１〜Ｂ４、及び機器Ｃを表すアイコンＣ１とＣ２が示されている。軌跡Ｌ３は、視線検出装置１８が検出した監視者Ｍの視線の動きを、説明のためにレイアウトマップ１３６上に図示したものである。監視システムの実際の運用時には、軌跡Ｌ３は必ずしもレイアウトマップ１３６上に表示されなくてもよい。
In the example shown in FIG. 10, a
図１０に示すように、監視者Ｍの視線は機器Ｃ２の周囲で集中している。このため監視制御部１１１は、この機器Ｃ２を視線濃度の濃い操作対象機器として検出することができる。管理者Ｍは、ステップＳ９４による制御によって、選択された機器Ｃ２の動作開始や停止等の指示を、視線の動きや瞬きの回数によって制御することができる。
As shown in FIG. 10, the line of sight of the supervisor M is concentrated around the device C2. Therefore, the
以上のように本実施形態に係る監視システムによれば、中央監視部１０の出力インタフェース（すなわちＬＣＤ１３）の表示画面上に、例えばビルのフロア等の監視対象エリアにおける機器配置のレイアウトマップを表示し、監視者Ｍがレイアウトマップ上で視線を動かすだけで、所望の機器を選択し、当該機器を制御することができる。従って、監視者Ｍは視線の動きだけでフロア内の機器を容易に制御することができ、操作効率を向上させることができる。また、監視者が特別な操作を習得する必要が無くなる。更に、監視者は画面を見ながら手元で他の作業を行うことも可能となる。
As described above, according to the monitoring system according to the present embodiment, the layout map of the device arrangement in the monitoring target area such as the floor of a building is displayed on the display screen of the output interface (that is, the LCD 13) of the
以上説明したように、本実施形態に係る監視システムによれば、ＩＴＶモードであっても視線モードであっても、カメラ２１−１〜２１−ｎを含む監視対象エリアに配置された複数の装置から、視線検出装置１８が検出する監視者の視線に応じて少なくとも１つの操作対象装置を選択することができる。そして、視線検出装置１８が検出する監視者の視線に応じて、選択された操作対象装置の動作を遠隔から制御（撮影制御、動作開始制御、及び動作停止制御）することができる。
As described above, according to the monitoring system according to the present embodiment, a plurality of devices arranged in the monitoring target area including the cameras 21-1 to 21-n, whether in the ITV mode or the line-of-sight mode. Therefore, at least one operation target device can be selected according to the line of sight of the supervisor detected by the line-of-
なお上述の実施形態では、１つの中央監視部１０に１つの監視カメラ網２０が接続されている例が一例として示されているが、１つの中央監視部１０に対して複数の監視カメラ網２０が接続されてもよい。中央監視部１０において、視線検出装置１８が監視者Ｍの所定の動作（例えばウィンク）を検出したら、当該動作に応答して、監視対象の監視カメラ網２０が切換えられてもよい（ページ送り）。
In the above-described embodiment, an example in which one
また上述の実施形態では、情報収集制御部２２は１つのフロアに分散配置されたカメラ２１−１〜２１−ｎから映像情報を収集するものとしたが、カメラ２１−１〜２１−ｎ葉複数のフロアにわたって配置されていてもよい。
In the above-described embodiment, the information
本実施形態では、監視対象エリアとしてビルの各フロアを想定したが、これに限ることなく、例えば工場などの施設内の指定のエリアを想定してよい。また、本実施形態では、ＩＴＶ制御部１１０は、図４に示す情報テーブル１１２を使用して、選択するカメラを特定するための情報を取得する構成であるが、これに限ることなく、予め用意された演算式により当該情報を算出する方式でもよい。
In the present embodiment, each floor of the building is assumed as the monitoring target area. However, the present invention is not limited thereto, and a designated area in a facility such as a factory may be assumed. In the present embodiment, the
また上述の説明では、ジェスチャ検出装置１９によって検出される監視者の身振りや手振りが操作合図して設定されているが（図３におけるステップＳ３２，Ｓ３４及び図９におけるステップＳ９１，Ｓ９５）、実施形態はこれに限定されない。入力装置１２等を用いてこれらの指示がなされてもよい。あるいは、監視者Ｍによる操作合図を待たずに処理を進行させてもよい・また監視者Ｍによる上記以外のジェスチャが操作合図として設定されてもよい。
In the above description, the gesture or gesture of the supervisor detected by the
また、図３、及び図９のフローチャートの進行に従って、監視者Ｍを誘導するガイダンス情報が、表示画面１３０上に表示されるよう構成されてもよい。
Further, the guidance information for guiding the supervisor M may be displayed on the
本発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、１つの実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの実施形態に示される構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。 The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention at the stage of implementation. Further, each of the embodiments includes inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent elements are deleted from all the constituent elements shown in one embodiment or the constituent elements shown in some embodiments are combined, they are described in the column of the problem to be solved by the invention. In the case where the problems described above can be solved and the effects described in the “Effects of the Invention” can be obtained, a configuration in which these constituent requirements are deleted or combined can be extracted as an invention.
１０…中央監視部、１１…中央制御部、１２…入力装置、１３…ＬＣＤ、１４…表示制御部、１５…記憶装置、１６…情報入出力部、１７…伝送制御部、１８…視線検出装置、１８ａ…カメラ、１９…ジェスチャ検出装置、２０…監視カメラ網、２１−１〜２１−ｎ…監視カメラ、２２…情報収集制御部、２３…伝送制御部、３０…通信回線。
DESCRIPTION OF
Claims (14)
前記表示画面を監視する監視者の視線又は瞬きを視線合図として検出する視線検出手段と、
前記視線検出手段が検出する前記監視者の視線合図に従って、前記監視対象エリアにおける少なくとも１つの地点を検出する点検出手段と、
前記監視対象エリアにおいて前記少なくとも１つの地点に対応する少なくとも１つの操作対象装置を前記複数の操作対象装置から選択する選択手段と、
前記選択手段が選択した操作対象装置の動作を遠隔制御する制御手段と、
を具備する監視システム。 Display means comprising a display screen for displaying arrangement map information of a monitoring target area in which a plurality of operation target devices are arranged;
A line-of-sight detecting means for detecting a line of sight or blink of a monitor who monitors the display screen as a line-of-sight cue,
Point detecting means for detecting at least one point in the monitoring target area according to the visual line cue of the supervisor detected by the visual line detecting means;
A selection means for selecting, from the plurality of operation target devices, at least one operation target device corresponding to the at least one point in the monitoring target area;
Control means for remotely controlling the operation of the operation target device selected by the selection means;
A monitoring system comprising:
前記表示画面は前記複数の撮影装置の配置マップを表示し、
前記選択手段は前記少なくとも１つの地点に対応する少なくとも１つの撮影装置を前記複数の撮影装置から選択し、
前記制御手段は、
前記選択手段によって選択された撮影装置を制御して、前記視線検出手段が検出する前記監視者の視線の移動方向に従って前記地点を撮影させ、
前記撮影装置によって撮影された映像を、前記表示画面上にポップアップ表示させる請求項１に記載の監視システム。 The plurality of operation target devices include a plurality of photographing devices that photograph the monitoring target area,
The display screen displays an arrangement map of the plurality of photographing devices,
The selection means selects at least one imaging device corresponding to the at least one point from the plurality of imaging devices,
The control means includes
Controlling the imaging device selected by the selection means, and photographing the spot according to the movement direction of the visual line of the observer detected by the visual line detection means,
The monitoring system according to claim 1, wherein an image captured by the imaging device is displayed as a pop-up on the display screen.
前記表示画面を監視する監視者の視線又は瞬きを、視線検出手段によって視線合図として検出するステップと、
前記視線検出手段が検出する前記監視者の視線合図に従って、前記監視対象エリアにおける少なくとも１つの地点を検出するステップと、
前記監視対象エリアにおいて前記少なくとも１つの地点に対応する少なくとも１つの操作対象装置を前記複数の操作対象装置から選択するステップと、
前記選択された操作対象装置の動作を遠隔制御するステップと、
を備える監視方法。 Displaying, on a display screen, arrangement map information of a monitoring target area where a plurality of operation target devices are arranged;
Detecting the line of sight or blinking of a supervisor who monitors the display screen as a line of sight cue by a line of sight detection means;
Detecting at least one point in the monitoring target area according to the gaze cue of the supervisor detected by the gaze detection means;
Selecting at least one operation target device corresponding to the at least one point in the monitoring target area from the plurality of operation target devices;
Remotely controlling the operation of the selected operation target device;
A monitoring method comprising:
前記表示画面は前記複数の撮影装置の配置マップを表示し、
前記少なくとも１つの地点に対応して、前記複数の撮影装置から少なくとも１つの撮影装置が選択され、
前記選択された撮影装置は、検出された前記監視者の視線の移動方向に従って前記地点を撮影するよう制御され、
前記撮影装置によって撮影された映像は、前記表示画面上にポップアップ表示される請求項８に記載の監視方法。 The plurality of operation target devices include a plurality of photographing devices that photograph the monitoring target area,
The display screen displays an arrangement map of the plurality of photographing devices,
Corresponding to the at least one point, at least one photographing device is selected from the plurality of photographing devices,
The selected photographing device is controlled to photograph the spot according to the detected movement direction of the observer's line of sight,
The monitoring method according to claim 8, wherein the video imaged by the imaging device is displayed as a pop-up on the display screen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010049913A JP2011188147A (en) | 2010-03-05 | 2010-03-05 | Monitoring system and monitoring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010049913A JP2011188147A (en) | 2010-03-05 | 2010-03-05 | Monitoring system and monitoring method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011188147A true JP2011188147A (en) | 2011-09-22 |
Family
ID=44793920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010049913A Withdrawn JP2011188147A (en) | 2010-03-05 | 2010-03-05 | Monitoring system and monitoring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011188147A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015065514A (en) * | 2013-09-24 | 2015-04-09 | 株式会社日立国際電気 | Video monitoring system |
| JP2018046427A (en) * | 2016-09-15 | 2018-03-22 | 株式会社Ｓｕｂａｒｕ | Target searching device, target searching method and target searching program |
| US11573627B2 (en) | 2019-01-23 | 2023-02-07 | Samsung Electronics Co., Ltd. | Method of controlling device and electronic device |
-
2010
- 2010-03-05 JP JP2010049913A patent/JP2011188147A/en not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015065514A (en) * | 2013-09-24 | 2015-04-09 | 株式会社日立国際電気 | Video monitoring system |
| JP2018046427A (en) * | 2016-09-15 | 2018-03-22 | 株式会社Ｓｕｂａｒｕ | Target searching device, target searching method and target searching program |
| US10318807B2 (en) | 2016-09-15 | 2019-06-11 | Subaru Corporation | Target searching apparatus, target searching method, and computer readable medium |
| US11573627B2 (en) | 2019-01-23 | 2023-02-07 | Samsung Electronics Co., Ltd. | Method of controlling device and electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10917621B2 (en) | Information processing apparatus, image generating apparatus, control methods therefor, and non-transitory computer-readable storage medium | |
| JP5464083B2 (en) | Information processing apparatus, information processing method, and program | |
| EP2849439A1 (en) | Display image formation device and display image formation method | |
| US20150109437A1 (en) | Method for controlling surveillance camera and system thereof | |
| KR20190013759A (en) | Arithmetic processing device and arithmetic processing method | |
| JP6312046B2 (en) | Image processing system, image processing method, and program | |
| JP2009060201A (en) | Multi-screen monitoring system | |
| US9906710B2 (en) | Camera pan-tilt-zoom (PTZ) control apparatus | |
| CN109565569B (en) | Monitoring device and system | |
| JP2011188147A (en) | Monitoring system and monitoring method | |
| JP5200341B2 (en) | Remote indication system and remote indication method | |
| JP5517705B2 (en) | Projection device | |
| JP6705102B2 (en) | Imaging device installation support device, imaging device installation support method, and video recording/reproducing device | |
| JP2013065971A (en) | Imaging device and control method for imaging device | |
| JP5963571B2 (en) | Image display device and surveillance camera system | |
| JP4281752B2 (en) | Video camera remote control system, video camera remote control method, photographing apparatus, and photographing method | |
| JP2004289779A (en) | Mobile body imaging method and mobile body imaging system | |
| JP5907184B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5508308B2 (en) | Related operation method of TV camera monitor screen of numerical control equipment | |
| JP2010200167A (en) | Monitoring system and monitoring method | |
| JPH08161031A (en) | Monitor and control system | |
| JP5763978B2 (en) | Control device and control method of control device | |
| KR100872403B1 (en) | Monitor system controlling ptz camera by using fixed camera | |
| CN112753066A (en) | Image display control device, method, and program | |
| JP4478047B2 (en) | Information presentation apparatus, information presentation method, and program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130507 |