JP2005142683A - Apparatus and method for camera control - Google Patents

Apparatus and method for camera control Download PDF

Info

Publication number
JP2005142683A
JP2005142683A JP2003374935A JP2003374935A JP2005142683A JP 2005142683 A JP2005142683 A JP 2005142683A JP 2003374935 A JP2003374935 A JP 2003374935A JP 2003374935 A JP2003374935 A JP 2003374935A JP 2005142683 A JP2005142683 A JP 2005142683A
Authority
JP
Japan
Prior art keywords
camera
cameras
shooting
shooting target
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003374935A
Other languages
Japanese (ja)
Inventor
Susumu Okada
晋 岡田
Kensuke Marutani
健介 丸谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003374935A priority Critical patent/JP2005142683A/en
Publication of JP2005142683A publication Critical patent/JP2005142683A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To automatically select a camera capable of photographing the front/back of a photographing object from among a plurality of cameras installed, and to photograph a plurality of photographing objects. <P>SOLUTION: A video image analyzer 103 calculates the moving directions of photographing object in a video image picked up with a plurality of cameras 110-1 to 110-n, and calculates where the photographing object is in a photographing area. A control camera selector 104 selects a camera capable of photographing the photographing object from its front on the basis of the information notified from the section 103, and notifies a camera control signal generator 105 of information about which camera should be controlled and the information about the present position of the photographing object. The section 105 generates a control signal for controlling the selected camera and transmits the generated signal via a camera control signal transmitter 106 and a network 120. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、複数のカメラを制御するカメラ制御装置およびカメラ制御方法に関する。   The present invention relates to a camera control device and a camera control method for controlling a plurality of cameras.

近年、治安の悪化に伴い、犯罪の未然防止や犯罪発生時の証拠映像の記録を目的として、複数のカメラを使って商店街、街頭等といった特定区域を監視する地域コミュニティが増えている。このように複数のカメラを使って不審人物等の監視対象を撮影、追跡する場合、通常監視者は複数のカメラから一台を選択して、このカメラに対し上下左右等の撮影方向の指示やズーム倍率等を指示する制御を行う。   In recent years, with the deterioration of security, there are an increasing number of local communities that use a plurality of cameras to monitor specific areas such as shopping streets and streets for the purpose of preventing crimes and recording evidence video when crimes occur. In this way, when shooting and tracking a monitoring target such as a suspicious person using a plurality of cameras, the normal monitoring person selects one of the plurality of cameras and instructs the camera to indicate shooting directions such as up, down, left, and right. Control to instruct the zoom magnification and the like.

しかし、複数設置されたカメラを一台ずつ制御することは監視者にとって負担がかかる作業であるため、少ない操作で複数のカメラを同時に制御することができる従来技術が存在する(例えば、特許文献1参照)。   However, since controlling a plurality of installed cameras one by one is a burdensome task for a supervisor, there is a conventional technique that can control a plurality of cameras simultaneously with a small number of operations (for example, Patent Document 1). reference).

図16は、この従来技術を説明するための図である。   FIG. 16 is a diagram for explaining this conventional technique.

この従来技術は、撮影姿勢を外部から制御可能な複数のカメラ(1−1〜1−4)からなるカメラシステムに関するものである。オペレータ1−11は、カメラ1−1〜1−4の中から1つのカメラを選択して、手動制御により撮影対象の撮影および位置計測を行う。位置計測は、オートフォーカス(AF)機能を利用して行われる。そして、選択されたカメラは、その対象の位置情報を残りのカメラに送信して、それらを制御することにより、複数のカメラが同時に同一の対象を撮影することができる。
特開2001−25003号公報(第12頁、第1図)
This prior art relates to a camera system composed of a plurality of cameras (1-1 to 1-4) whose photographing posture can be controlled from the outside. The operator 1-11 selects one camera from the cameras 1-1 to 1-4, and performs shooting and position measurement of the shooting target by manual control. Position measurement is performed using an autofocus (AF) function. The selected camera transmits the position information of the target to the remaining cameras and controls them so that a plurality of cameras can simultaneously photograph the same target.
Japanese Patent Laid-Open No. 2001-25003 (page 12, FIG. 1)

しかしながら、例えば、従来技術を監視システムに適用した場合、人物等のように正面/背面が存在する監視対象の正面/背面を撮影するためには、オペレータがカメラの配置状況を把握した上で監視対象の正面/背面を撮影可能なカメラを選択し、このカメラを手動で操作する必要があり、操作が煩雑でオペレータに負担がかかるという問題がある。   However, for example, when the prior art is applied to a monitoring system, in order to photograph the front / rear surface of a monitoring target having a front / rear surface such as a person, the operator monitors the camera arrangement status. There is a problem that it is necessary to select a camera capable of photographing the front / rear surface of the target and manually operate the camera, which is complicated and burdens the operator.

また、従来技術では、複数の撮影対象が存在する場合に、全てのカメラが1つの撮影対象に追従してしまうので他の撮影対象を撮影できないという問題がある。   Further, the conventional technique has a problem in that when there are a plurality of shooting targets, all the cameras follow one shooting target, and thus other shooting targets cannot be shot.

本発明は、かかる点に鑑みてなされたものであり、複数設置されたカメラの中から撮影対象の正面/背面を撮影できるカメラを自動的に選択することができ、また、複数の撮影対象を撮影することができるカメラ制御装置およびカメラ制御方法を提供することを目的とする。   The present invention has been made in view of the above points, and can automatically select a camera that can shoot the front / rear surface of a shooting target from a plurality of cameras, and can select a plurality of shooting targets. It is an object to provide a camera control device and a camera control method capable of photographing.

本発明のカメラ制御装置は、複数のカメラによって撮影領域がカバーされるカメラシステムにおいて使用されるカメラ制御装置であって、撮影対象の前記撮影領域内における現在の位置および前記撮影対象の移動方向を検出する検出手段と、前記撮影対象の現在の位置および移動方向を前記複数のカメラの配置に照らし合わせ、前記複数のカメラの中から前記撮影対象の移動方向もしくはその近傍に位置するカメラを特定する特定手段と、前記特定手段によって特定されたカメラを主とし他のカメラの少なくとも一部を従とし、これら主および従のカメラに前記撮影対象を撮影させる制御手段と、を具備する構成を採る。   The camera control device of the present invention is a camera control device used in a camera system in which a shooting area is covered by a plurality of cameras, and the current position of the shooting target in the shooting area and the moving direction of the shooting target are determined. The detection means for detecting the current position and the moving direction of the shooting target are compared with the arrangement of the plurality of cameras, and a camera located in or near the moving direction of the shooting target is specified from the plurality of cameras. A configuration is provided that includes a specifying unit and a control unit that mainly uses the camera specified by the specifying unit and uses at least a part of another camera as a subordinate, and causes the main and subordinate cameras to shoot the shooting target.

この構成によれば、複数のカメラが配置されている場合でも、撮影対象の移動方向もしくはその近傍に位置するカメラを特定することにより、この特定されたカメラに重点に置いて撮影を行うことができるので、撮影対象を追尾しやすくなる。また、この特定されたカメラにより撮影された映像は画像変化量の少ないデータであるので、通信データ量(トラフィック)を削減することができる。   According to this configuration, even when a plurality of cameras are arranged, it is possible to perform shooting with an emphasis on the specified camera by specifying the camera located in the moving direction of the shooting target or in the vicinity thereof. This makes it easier to track the shooting target. In addition, since the video shot by the specified camera is data with a small image change amount, the communication data amount (traffic) can be reduced.

本発明のカメラ制御装置は、上記の構成において、前記撮影対象のうち、前記主のカメラによって撮影される範囲を算出する算出手段と、前記算出手段によって算出された範囲以外の範囲を撮影するカメラを前記従のカメラとして選択する選択手段と、をさらに具備する構成を採る。   The camera control device according to the present invention has the above-described configuration, and includes a calculation unit that calculates a range captured by the main camera and a camera that captures a range other than the range calculated by the calculation unit. And selecting means for selecting as a slave camera.

この構成によれば、撮影対象を死角なく(全方位から)撮影するために必要なカメラを選択することができるため、必要最低限の数のカメラにより撮影を行うことができる。   According to this configuration, since it is possible to select a camera necessary for photographing a subject to be photographed without blind spots (from all directions), photographing can be performed with a minimum number of cameras.

以上説明したように、本発明によれば、複数設置されたカメラの中から撮影対象の正面/背面を撮影できるカメラを自動的に選択することができ、また、複数の撮影対象を撮影することができる。   As described above, according to the present invention, it is possible to automatically select a camera that can shoot the front / rear side of a shooting target from a plurality of cameras, and to shoot a plurality of shooting targets. Can do.

本発明の骨子は、撮影対象の現在の位置と移動方向を示すベクトルと複数のカメラの幾何学的配置とに基づいて、撮影対象の移動方向の延長上に位置するカメラを特定し、このカメラを基準として撮影対象の撮影を行うことである。   The gist of the present invention is to identify a camera located on the extension of the moving direction of the shooting target based on a vector indicating the current position and moving direction of the shooting target and the geometrical arrangement of the plurality of cameras. The shooting of the shooting target is performed on the basis of the above.

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、ここでは、本発明に係るカメラ制御装置が監視システムに適用される場合を例にとって説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Here, a case where the camera control device according to the present invention is applied to a monitoring system will be described as an example.

(実施の形態1)
図1は、本発明の実施の形態1に係る監視システムの主要な構成を示すブロック図である。
(Embodiment 1)
FIG. 1 is a block diagram showing the main configuration of the monitoring system according to Embodiment 1 of the present invention.

本実施の形態に係る監視システムは、複数のカメラ110−1〜110−n、LAN、インターネット等のネットワーク120、カメラ110−1〜110−nを制御する信号を送信するカメラ制御装置100、およびカメラ制御装置100が受信した複数の映像もしくはカメラ110−1〜110−nの撮影方向を表示するディスプレイ(映像表示装置)130から構成される。また、カメラ制御装置100は、映像受信部101、映像表示部102、映像分析部103、制御カメラ選択部104、カメラ制御信号生成部105、およびカメラ制御信号送信部106を有する。   The monitoring system according to the present embodiment includes a plurality of cameras 110-1 to 110-n, a network 120 such as a LAN and the Internet, a camera control device 100 that transmits a signal for controlling the cameras 110-1 to 110-n, and It comprises a display (video display device) 130 that displays a plurality of videos received by the camera control device 100 or the shooting directions of the cameras 110-1 to 110-n. The camera control device 100 also includes a video reception unit 101, a video display unit 102, a video analysis unit 103, a control camera selection unit 104, a camera control signal generation unit 105, and a camera control signal transmission unit 106.

カメラ制御装置100の各部は以下の動作を行う。   Each part of the camera control apparatus 100 performs the following operations.

映像受信部101は、複数のカメラ110−1〜110−nで撮影された映像をネットワーク120を介して受信し、この映像データを映像表示部102に出力する。映像表示部102は、映像受信部101で受信された映像をディスプレイ130に表示する。   The video receiving unit 101 receives videos taken by the plurality of cameras 110-1 to 110-n via the network 120 and outputs the video data to the video display unit 102. The video display unit 102 displays the video received by the video receiving unit 101 on the display 130.

映像分析部103は、映像受信部101で受信された映像の中に撮影(監視)対象となる人物が映っているか否かを判別し、撮影対象となる人物が映っていた場合にはこの人物の移動方向を算出する。撮影対象の検出は、背景差分を用いて、映像内の動いた部分を抽出することにより行う。なお、監視者が映像画面を閲覧中に正面を閲覧したい撮影対象を発見した際に、カメラ制御装置100に接続されたマウス等の入力装置を用いて画面上で撮影対象を指示しても構わない。映像分析部103は、撮影対象の検出結果から撮影対象が監視区域のどこにいるか(位置情報)をカメラの撮影方向およびカメラ映像上の撮影対象の位置から算出する。このとき、三次元空間中においてカメラの位置、姿勢、画角等を表すカメラパラメータを算出可能なカメラキャリブレーションと呼ばれる手法を使用する。   The video analysis unit 103 determines whether or not a person to be photographed (monitored) is reflected in the video received by the video receiver 101. If the person to be photographed is reflected, this person The moving direction of is calculated. The detection of the photographing target is performed by extracting the moved part in the video using the background difference. It should be noted that when the supervisor finds a photographing target that he / she wants to view in front while viewing the video screen, the photographing target may be instructed on the screen using an input device such as a mouse connected to the camera control device 100. Absent. The video analysis unit 103 calculates where the shooting target is in the monitoring area (positional information) from the detection result of the shooting target from the shooting direction of the camera and the position of the shooting target on the camera video. At this time, a technique called camera calibration capable of calculating camera parameters representing the position, orientation, angle of view, etc. of the camera in the three-dimensional space is used.

制御カメラ選択部104は、映像分析部103が判別した撮影対象を正面から撮影することが可能なカメラをカメラ110−1〜110−nの中から選択する。この選択方法については後ほど詳述する。そして、制御カメラ選択部104は、選択されたカメラを実際に制御するために、設置されたカメラのうち制御すべきカメラがどれなのか、また撮影対象の現在位置(カメラが向くべき方向)に関する情報をカメラ制御信号生成部105に伝える。   The control camera selection unit 104 selects, from the cameras 110-1 to 110-n, a camera that can capture from the front the imaging target determined by the video analysis unit 103. This selection method will be described in detail later. Then, in order to actually control the selected camera, the control camera selection unit 104 relates to which camera to be controlled among the installed cameras, and the current position of the shooting target (the direction in which the camera should face). Information is transmitted to the camera control signal generation unit 105.

カメラ制御信号生成部105は、映像分析部103が判別した撮影対象を制御カメラ選択部104によって選択されたカメラが撮影できるように、このカメラの撮影方向を制御するための制御信号を生成する。カメラ制御信号送信部106は、カメラ制御信号生成部105が生成した制御信号をネットワーク120を介し、このネットワークに接続されているカメラ110−1〜110−nに送信する。カメラ110−1〜110−nは、制御信号を受信し、制御信号に従って回転し、撮影対象を撮影する。   The camera control signal generation unit 105 generates a control signal for controlling the shooting direction of the camera so that the camera selected by the control camera selection unit 104 can shoot the shooting target determined by the video analysis unit 103. The camera control signal transmission unit 106 transmits the control signal generated by the camera control signal generation unit 105 to the cameras 110-1 to 110-n connected to the network via the network 120. The cameras 110-1 to 110-n receive a control signal, rotate according to the control signal, and photograph a subject to be photographed.

図2は、ディスプレイ130の画面300に表示される映像の一例を示す図である。ここでは、4台のカメラが設置されているとする。   FIG. 2 is a diagram illustrating an example of an image displayed on the screen 300 of the display 130. Here, it is assumed that four cameras are installed.

映像表示部102は、4台のカメラで撮影された映像をウィンドウ301、302、303、および304に表示する。ここで、映像は全てが表示されるようにウィンドウサイズに合わせて変換される。また、ウィンドウ305には、4台のカメラの撮影方向が表示される。また、別の表示モードでは、4台のカメラのうち、撮影対象を正面から撮影したカメラの映像のみが画面300全体に拡大して表示される。   The video display unit 102 displays videos captured by four cameras in windows 301, 302, 303, and 304. Here, the video is converted in accordance with the window size so that the entire video is displayed. The window 305 displays the shooting directions of the four cameras. Further, in another display mode, only the video of the camera in which the shooting target is shot from the front among the four cameras is enlarged and displayed on the entire screen 300.

図3は、カメラ映像上の座標から三次元ワールド座標系への投影を概念的に示す図である。   FIG. 3 is a diagram conceptually showing projection from the coordinates on the camera image to the three-dimensional world coordinate system.

映像分析部103は、カメラ401の前述のカメラパラメータを把握することにより、カメラ結像面402における撮影対象位置403から、三次元ワールド座標における撮影対象の位置404を算出する。この手法は、例えば、書籍「三次元計測(井口征士、佐藤宏介共著;昭晃堂)」(第91−99頁)において説明されている。本手法を用いて、一定時間毎に撮影対象の検出および三次元ワールド座標投影を行い、連続して撮影対象が検出された場合に、最新の検出結果の三次元ワールド座標投影結果と、過去の検出結果の三次元ワールド座標投影結果とを参照することで、人物の移動方向を把握することが可能となる。制御カメラ選択部104は、撮影対象の移動方向を取得すると、撮影対象の移動方向とカメラの設置位置とから、撮影対象を正面から撮影可能なカメラを選択することができる。   The video analysis unit 103 obtains the above-described camera parameters of the camera 401, thereby calculating the shooting target position 404 in the three-dimensional world coordinates from the shooting target position 403 on the camera imaging plane 402. This technique is described, for example, in the book “Three-dimensional measurement (Seiji Iguchi and Kosuke Sato; Shoshodo)” (pages 91-99). Using this method, the detection of the shooting target and the 3D world coordinate projection are performed at regular intervals, and when the shooting target is continuously detected, the latest 3D world coordinate projection result and the past By referring to the three-dimensional world coordinate projection result of the detection result, it is possible to grasp the moving direction of the person. When the control camera selection unit 104 acquires the moving direction of the shooting target, the control camera selection unit 104 can select a camera capable of shooting the shooting target from the front based on the moving direction of the shooting target and the installation position of the camera.

次いで、制御カメラ選択部104が制御対象のカメラを選択する手順および方法について、図4〜図6を用いて説明する。   Next, the procedure and method by which the control camera selection unit 104 selects a camera to be controlled will be described with reference to FIGS.

図4は、上記の例において、監視区域を上方から見た場合のカメラ4台と撮影対象の位置および撮影対象の移動方向を座標平面上に示す図である。   FIG. 4 is a diagram showing, on the coordinate plane, the four cameras, the position of the shooting target, and the moving direction of the shooting target when the monitoring area is viewed from above in the above example.

この図において、撮影対象505の現在の位置(40,50)および過去の位置(50,80)を線分L0で結合する。また、撮影対象505の現在の位置(40,50)と設置された4台のカメラ(501〜504)の位置とをそれぞれ線分L1〜4で結合する。例えば、人物等の撮影対象505が必ず正面を向いていると仮定すると、線分L0と線分L1〜4のいずれか1つとなす角度(θ1〜4のいずれか1つ)が180度となる場合に、その線分に対応するカメラが撮影対象の正面を撮影できるカメラと特定することができる。また、線分L0と線分L1〜4のいずれか1つとなす角度が0度に近づく程、その線分に対応するカメラが撮影対象の背面を撮影するものと判断することができる。制御カメラ選択部104は、このようにして撮影対象の正面を撮影可能なカメラを1台選択する。   In this figure, the current position (40, 50) and the past position (50, 80) of the photographing object 505 are joined by a line segment L0. Further, the current position (40, 50) of the photographing target 505 and the positions of the four installed cameras (501 to 504) are joined by line segments L1 to L4, respectively. For example, assuming that the subject 505 such as a person is always facing the front, the angle (any one of θ1 to 4) between the line segment L0 and the line segments L1 to L4 is 180 degrees. In this case, the camera corresponding to the line segment can be identified as a camera that can photograph the front of the photographing target. In addition, it can be determined that the camera corresponding to the line segment captures the back of the imaging target as the angle between the line segment L0 and any one of the line segments L1 to L4 approaches 0 degrees. The control camera selection unit 104 selects one camera that can shoot the front of the shooting target in this way.

図5は、図4から撮影対象505およびカメラ503だけを取り出して表した図である。   FIG. 5 is a diagram showing only the imaging target 505 and the camera 503 extracted from FIG.

この図に示すように、撮影対象505の現在の位置からカメラ503へ引いたベクトルをベクトルaと、撮影対象505の現在の位置から過去の位置へ引いたベクトルをベクトルbと、ベクトルaとベクトルbとのなす角をθ3とすると、ベクトルの内積の定義から

Figure 2005142683
と表すことができる。制御カメラ選択部104は、(式1)を用いて、図4における線分L0と線分L1〜4とがそれぞれなす角度θ1〜4を計算し、最大の角度をなすカメラ、すなわち最も180度に近い角度をなすカメラを撮影対象の正面を撮影するカメラとして選択する。 As shown in this figure, a vector a obtained by subtracting the current position of the shooting target 505 from the current position of the camera 503 is a vector a, a vector obtained by subtracting the current position of the shooting target 505 from the previous position to a past position is a vector b, a vector a and a vector If the angle formed by b is θ3,
Figure 2005142683
It can be expressed as. The control camera selection unit 104 calculates the angles θ1 to θ4 formed by the line segment L0 and the line segments L1 to L4 in FIG. 4 using (Equation 1), and the camera having the maximum angle, that is, the most 180 degrees. A camera having an angle close to is selected as a camera for photographing the front of the subject.

図6は、制御カメラ選択部104が制御対象のカメラを選択する手順を示したフロー図である。   FIG. 6 is a flowchart illustrating a procedure in which the control camera selection unit 104 selects a camera to be controlled.

制御カメラ選択部104は、複数存在するカメラの中から特定の1台をまず選択する(ST7010)。制御カメラ選択部104は、ST7010で選択したカメラの監視空間内における設置位置を調べ、また、映像分析部103から通知される撮影対象の現在および過去の位置に基づいて、線分L0と線分L1〜4とがそれぞれなす角度、すなわちカメラと撮影対象の現在および過去の位置とがなす角を計算する(ST7020)。   Control camera selection section 104 first selects one specific camera from a plurality of existing cameras (ST7010). The control camera selection unit 104 checks the installation position of the camera selected in ST7010 in the monitoring space, and based on the current and past positions of the imaging target notified from the video analysis unit 103, the line segment L0 and the line segment The angles formed by L1 to L4, that is, the angles formed by the camera and the current and past positions of the imaging target are calculated (ST7020).

ここで、図4に示すように、撮影対象505が(50,80)の位置から(40,50)の位置に移動したと映像分析部103が分析したとする。このとき、制御カメラ選択部104は、ST7010においてカメラ501をまず選択したとすると、(式1)を用いてカメラ501と撮影対象505の現在および過去の位置とがなす角を計算する。カメラ501と撮影対象505の現在位置を結ぶベクトルは(−40,50)と表現でき、また撮影対象505の現在の位置と過去の位置とを結ぶベクトルは(10,30)と表現できる。これにより、カメラ501と撮影対象の現在および過去の位置がなす角θ1の余弦cosθ1は、

Figure 2005142683
で表され、角度θ1は、
Figure 2005142683
により計算することができる。 Here, as shown in FIG. 4, it is assumed that the video analysis unit 103 analyzes that the imaging target 505 has moved from the position (50, 80) to the position (40, 50). At this time, assuming that the camera 501 is first selected in ST7010, the control camera selection unit 104 calculates an angle formed by the camera 501 and the current and past positions of the imaging target 505 using (Equation 1). A vector connecting the current position of the camera 501 and the shooting target 505 can be expressed as (−40, 50), and a vector connecting the current position of the shooting target 505 and the past position can be expressed as (10, 30). As a result, the cosine cos θ1 of the angle θ1 formed by the camera 501 and the current and past positions of the imaging target is
Figure 2005142683
And the angle θ1 is
Figure 2005142683
Can be calculated.

制御カメラ選択部104は、カメラ501について上記の計算が完了したら、全てのカメラに対して上記の計算が完了したか否かを調べる(ST7030)。設置された全てのカメラに対して上記の計算が終了していない場合は、残りのカメラに対しても上記と同様の計算を繰り返し行う。上記の例では、カメラは501の他に502〜504が存在するので、カメラ502〜504についてもカメラ501と同様の計算を行う。   When the calculation for camera 501 is completed, control camera selection section 104 checks whether the calculation is completed for all cameras (ST7030). If the above calculation has not been completed for all installed cameras, the same calculation is repeated for the remaining cameras. In the above example, since there are 502 to 504 in addition to the camera 501, the same calculation as the camera 501 is performed for the cameras 502 to 504.

なお、ここに示した例では、カメラ502の設置位置は(100,100)、カメラ503の設置位置は(0,0)、カメラ504の設置位置は(100,0)であるので、カメラ502〜504と撮影対象の現在および過去の位置とのなす角θ2〜θ4の角度はそれぞれ約31.8°、159.7°、111.4°となる。   In the example shown here, the installation position of the camera 502 is (100, 100), the installation position of the camera 503 is (0, 0), and the installation position of the camera 504 is (100, 0). The angles θ2 to θ4 formed by ˜504 and the current and past positions of the photographing target are approximately 31.8 °, 159.7 °, and 111.4 °, respectively.

制御カメラ選択部104は、設置したすべてのカメラと撮影対象の現在および過去の位置とがなす角の計算が完了すると、どの角度が最大であるか比較を行い、最大の角をなすカメラを、人物を正面から撮影するために制御するカメラとして決定(選択)する(ST7040)。ここに示した例では、θ3が最大であるため、制御カメラ選択部104は、カメラ503を、撮影対象の正面を撮影するカメラとして選択する。   When the calculation of the angle formed by all the installed cameras and the current and past positions of the shooting target is completed, the control camera selection unit 104 compares which angle is the maximum, and determines which camera has the maximum angle. It is determined (selected) as a camera to be controlled for photographing a person from the front (ST7040). In the example shown here, since θ3 is the maximum, the control camera selection unit 104 selects the camera 503 as a camera for photographing the front of the photographing target.

以上、制御カメラ選択部104が制御対象のカメラを選択する手順および方法について説明した。   The procedure and method for selecting the camera to be controlled by the control camera selection unit 104 have been described above.

このように、本実施の形態によれば、映像分析部103が撮影対象の現在の位置および移動方向を算出し、制御カメラ選択部104が映像分析部103から通知された撮影対象の現在の位置および移動方向を複数のカメラの幾何学的な配置状況と照らし合わせ、撮影対象の移動方向に(もしくはその近傍に)位置すると考えられるカメラを特定する。すなわち、撮影対象の現在の位置と移動方向を示すベクトルと複数のカメラの幾何学的配置とに基づいて、撮影対象の移動方向に(実質的に)位置するカメラを特定する。そして、この特定されたカメラに重点に置いて撮影対象の撮影を行う。   Thus, according to the present embodiment, the video analysis unit 103 calculates the current position and moving direction of the shooting target, and the control camera selection unit 104 notifies the current position of the shooting target notified from the video analysis unit 103. In addition, the camera is considered to be positioned in (or in the vicinity of) the moving direction of the object to be photographed by comparing the moving direction with the geometrical arrangement of the plurality of cameras. That is, a camera that is (substantially) located in the moving direction of the shooting target is specified based on the current position and moving direction vector of the shooting target and the geometrical arrangement of the plurality of cameras. Then, shooting of the shooting target is performed with emphasis on the identified camera.

カメラは撮影可能範囲(撮影可能な角度)が固定されているので、撮影対象がカメラに対し縦に移動(カメラに向かってくるか離れていくか)している場合には撮影対象を追尾しやすいという特性があるが、逆に、撮影対象がカメラに対し横に移動する場合には追尾しにくいという特性がある。そのため、本実施の形態によれば、複数のカメラが配置されている場合でも、撮影対象の移動方向に位置するカメラを特定し、このカメラを用いて撮影を行うので、撮影対象を追尾しやすいという特徴がある。また、このカメラにより撮影された映像は画像変化量の少ないデータとなっているので、ネットワーク120を経由して通信されるデータ量(トラフィック)を削減することができる。   Since the camera's shooting range (shooting angle) is fixed, if the shooting target moves vertically (towards or moves away from the camera), the shooting target is tracked. However, there is a characteristic that tracking is difficult when the object to be photographed moves laterally with respect to the camera. Therefore, according to the present embodiment, even when a plurality of cameras are arranged, a camera located in the moving direction of the shooting target is specified and shooting is performed using this camera, so it is easy to track the shooting target. There is a feature. In addition, since the video captured by this camera is data with a small amount of image change, the amount of data (traffic) communicated via the network 120 can be reduced.

また、以上の構成において、制御カメラ選択部104によって撮影対象の移動方向に位置すると特定されたカメラは、撮影対象の正面に位置する(撮影対象を正面から撮影することができる)カメラと推測することができる。   In the above configuration, the camera specified by the control camera selection unit 104 to be positioned in the moving direction of the shooting target is assumed to be a camera positioned in front of the shooting target (the shooting target can be shot from the front). be able to.

撮影対象の正面を推測して撮影に使用するカメラを特定することは、監視システムにおいて特に大きな意義がある。すなわち、本実施の形態を監視システムに適用することにより、監視データとして最も重要と考えられる不審人物の顔等を重点的に撮影することが可能となる。また、撮影対象の正面の推定は自動的に行われるので、監視者に負担をかけることがない。さらに、不審人物の顔等が識別できる正面の映像は高解像度で撮影し、他の方向から撮影される映像は低解像度で撮影するというような使い分けをすることにより、監視データのデータ量を削減することができる。   It is particularly significant in the monitoring system to specify the camera to be used for shooting by estimating the front of the shooting target. That is, by applying this embodiment to a monitoring system, it is possible to focus on the face of a suspicious person considered to be the most important as monitoring data. In addition, since the front of the subject to be imaged is automatically estimated, there is no burden on the supervisor. In addition, the amount of monitoring data can be reduced by selectively using the front image that can identify the face of a suspicious person at a high resolution and the low-resolution image that is taken from other directions. can do.

さらに、ネットワーク120を経由して通信されるデータ量または監視データをメモリに記録する際のデータ量を削減するために、監視に使用するカメラの数を最小限に抑える場合でも、正面のカメラをまず使用して監視を行うことにより、データ量を削減しつつも不審人物の顔等を認識できるデータを確実に記録することができる。また、上記のように、設置されている複数のカメラのうち、1つの監視対象に対し使用するカメラの数を限定することにより、使用されないカメラが出てくるので、これらのカメラを新たに現れた別の監視対象に対し割り当てることも可能となる。すなわち、複数の監視対象を監視することができるようになる。なお、使用するカメラの数を限定する場合に、複数存在するカメラのうち、どのカメラから優先的に使用していくかについては、後述の実施の形態2にその選択方法の一例を示す。   Furthermore, in order to reduce the amount of data communicated via the network 120 or the amount of data when recording monitoring data in the memory, the front camera can be used even when the number of cameras used for monitoring is minimized. By first using and monitoring, data capable of recognizing the face of a suspicious person while reducing the amount of data can be reliably recorded. In addition, as described above, by limiting the number of cameras to be used for one monitoring target among a plurality of installed cameras, cameras that are not used appear, so these cameras appear newly. It is also possible to assign to another monitoring target. That is, a plurality of monitoring targets can be monitored. In the case of limiting the number of cameras to be used, an example of a selection method for selecting which camera to use preferentially from among a plurality of cameras is shown in the second embodiment to be described later.

なお、本実施の形態では、複数のカメラが設置してある区域を鉛直方向から見た場合を例にとって説明したが、これらのカメラを捉える方向はカメラの設置位置の相関関係によって垂直・平行・斜め等様々であって、例えば、階段を上り下りする人物のように上下への移動を行う撮影対象の正面を撮影可能なカメラを制御カメラ選択部104が選択するとてした場合、撮影区域を地面に対し平行又は斜めに見ることで、撮影対象の移動方向とカメラの設置位置から、撮影対象の正面を捉えるカメラを選択することが可能となる。   In this embodiment, the case where the area where a plurality of cameras are installed is viewed from the vertical direction is described as an example, but the direction in which these cameras are captured depends on the correlation of the camera installation positions. For example, when the control camera selection unit 104 selects a camera capable of photographing the front of the photographing target that moves up and down, such as a person who goes up and down stairs, such as a person who goes up and down stairs, The camera that captures the front of the object to be imaged can be selected from the moving direction of the object to be imaged and the installation position of the camera.

また、本実施の形態では、図7に示すように、制御カメラ選択部104と映像表示部102とを接続し、制御カメラ選択部104のカメラ選択結果を映像表示部102に出力するようにしても構わない。これにより、例えば、制御するカメラ映像のみ拡大表示を行う等、カメラ選択結果にあわせて画面表示を変更することも可能となり、上記の効果以外に映像閲覧者がどのカメラが制御されたかが把握しやすくなるという効果が生じる。   Further, in this embodiment, as shown in FIG. 7, the control camera selection unit 104 and the video display unit 102 are connected, and the camera selection result of the control camera selection unit 104 is output to the video display unit 102. It doesn't matter. This makes it possible to change the screen display according to the camera selection result, for example, to enlarge only the camera image to be controlled, and it is easy for the image viewer to grasp which camera was controlled in addition to the above effects. The effect of becoming.

さらに、本実施の形態では、映像分析部103が、図4に示すように設置された駆動式カメラ映像から撮影対象の検出を行う処理を行っている場合を例にとって説明したが、例えば、図8に示すように、駆動式カメラ501〜504とは別に、撮影エリア全景を撮影することが可能な固定カメラ901を設置しておき、映像分析部103は、固定カメラ901の映像に対してのみ撮影対象の検出処理を行い、撮影対象が検出されたら三次元ワールド座標に投影し、その結果得られる撮影対象の三次元ワールド座標および移動方向を制御カメラ選択部104に出力する方法でもかまわない。   Furthermore, in the present embodiment, the case where the video analysis unit 103 performs a process of detecting a shooting target from a driving camera video installed as illustrated in FIG. 4 is described as an example. As shown in FIG. 8, a fixed camera 901 capable of shooting the entire view of the shooting area is installed separately from the drive cameras 501 to 504, and the video analysis unit 103 applies only to the video of the fixed camera 901. It is also possible to perform a process of detecting a shooting target, project the image to the three-dimensional world coordinates when the shooting target is detected, and output the three-dimensional world coordinates and moving direction of the shooting target obtained as a result to the control camera selection unit 104.

また、本実施の形態では、映像分析部103は、カメラキャリブレーション手法を用いて撮影対象の3次元ワールド座標を検出しているが、例えば、画像処理技術のような手法を用いて撮影対象の位置を算出する等、撮影対象の位置または移動方向の算出が可能であればその方法は限定しない。   In the present embodiment, the video analysis unit 103 detects the three-dimensional world coordinates of the shooting target using a camera calibration method. For example, the video analysis unit 103 detects the shooting target using a method such as an image processing technique. The method is not limited as long as it is possible to calculate the position or moving direction of the imaging target, such as calculating the position.

また、本実施の形態では、制御カメラ選択部104が、制御対象のカメラと撮影対象の現在位置(カメラが向くべき方向)とに関する情報をカメラ制御信号生成部105に通知し、カメラ制御信号生成部105が、各カメラを制御する制御信号を生成することにより、選択されたカメラが制御される場合を例にとって説明したが、カメラ制御装置100が制御対象のカメラと撮影対象の現在位置とに関する情報を直接各カメラに通知し、各カメラがこの情報に基づいて向き等を制御しても構わない。   In the present embodiment, the control camera selection unit 104 notifies the camera control signal generation unit 105 of information related to the camera to be controlled and the current position of the shooting target (the direction in which the camera should face), and generates the camera control signal. Although the case where the selected camera is controlled by generating a control signal for controlling each camera by the unit 105 has been described as an example, the camera control device 100 relates to the camera to be controlled and the current position of the shooting target. Information may be notified directly to each camera, and each camera may control the orientation and the like based on this information.

(実施の形態2)
図9は、本発明の実施の形態2に係る監視システムの主要な構成を示すブロック図である。なお、この監視システムは、図1に示した監視システムと同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
(Embodiment 2)
FIG. 9 is a block diagram showing the main configuration of the monitoring system according to Embodiment 2 of the present invention. This monitoring system has the same basic configuration as that of the monitoring system shown in FIG. 1, and the same components are denoted by the same reference numerals and description thereof is omitted.

本実施の形態の特徴は、カメラ制御装置200が死角撮影カメラ選択部201を有することである。この死角撮影カメラ選択部201は、撮影対象を撮影する際に、制御カメラ選択部104が選択したカメラ以外に、撮影対象の死角となる部分を撮影する別のカメラを選択する。これにより、監視区域に設置されたカメラの全てを使わずに特定のカメラだけで、移動する撮影対象を360度死角なく(全方位から)撮影することができる。   The feature of this embodiment is that the camera control device 200 has a blind spot photographing camera selection unit 201. The blind spot photographing camera selection unit 201 selects another camera that captures a portion that is a blind spot of the photographing target in addition to the camera selected by the control camera selecting unit 104 when photographing the photographing target. As a result, it is possible to photograph a moving object to be photographed without using a 360 degree blind spot (from all directions) with only a specific camera without using all of the cameras installed in the surveillance area.

死角撮影カメラ選択部201が人物を撮影するカメラを選択する処理の手順について、図10に示すフロー図を用いて説明する。   A procedure of processing in which the blind spot photographing camera selection unit 201 selects a camera for photographing a person will be described with reference to a flowchart shown in FIG.

死角撮影カメラ選択部201は、設置されたカメラが撮影できない死角となる箇所が撮影対象に存在するか否かを以下に述べる演算方法により調べる(ST1110)。   The blind spot photographing camera selection unit 201 checks whether or not there is a spot in the photographing target that is a blind spot where the installed camera cannot photograph (ST1110).

図11は、カメラによって撮影できる領域を説明するための図である。ここでは、撮影対象が極めて小さい面積を有する点であると擬制する。   FIG. 11 is a diagram for explaining an area that can be photographed by the camera. Here, it is assumed that the shooting target has a very small area.

撮影対象1201のうち、カメラ1202で撮影できる領域は以下のように説明できる。まず、カメラ1202から撮影対象1201に対して線分L21を引く。次に、この線分L21と直交し、撮影対象1201を通る垂線L22を引く。そして、垂線L22で分けられた撮影対象1201の領域のうちカメラ1202側の範囲R21の領域が、カメラ1202によって撮影できる領域と説明することができる。この撮影できる領域を可視領域と、反対側のカメラ1202で撮影できない領域を死角領域と呼ぶこととする。   An area that can be photographed by the camera 1202 in the photographing target 1201 can be described as follows. First, a line segment L21 is drawn from the camera 1202 to the subject 1201. Next, a perpendicular line L22 perpendicular to the line segment L21 and passing through the object 1201 is drawn. Then, the region of the range R21 on the camera 1202 side among the regions of the photographing target 1201 divided by the perpendicular L22 can be described as a region that can be photographed by the camera 1202. This area that can be photographed is called a visible area, and the area that cannot be photographed by the camera 1202 on the opposite side is called a blind spot area.

撮影対象1201の座標を(x,y)、カメラ1202の座標を(x,y)とすると、垂線L22は、

Figure 2005142683
により表すことができる。これにより、可視領域は、図12(a)、(b)に示すように、カメラ1202が垂線L22の上側にある場合は、
Figure 2005142683
で表される範囲と定めることができる。また、図12(c)、(d)に示すように、カメラ1202が垂線L22の下側にある場合は、
Figure 2005142683
で表される範囲と定めることができる。ただし、(式5)および(式6)の範囲において、360°を越す範囲は360°を減じて可視領域を表現し、0°以下の範囲は360°を加えて可視領域を表現する。また、ここに示す例では、可視領域を始点角度〜終点角度の形式で表現する。これによれば、始点角度から終点角度までの範囲がカメラの可視領域ということになる。 When the coordinates of the object 1201 are (x 1 , y 1 ) and the coordinates of the camera 1202 are (x 2 , y 2 ), the perpendicular line L22 is
Figure 2005142683
Can be represented by Thereby, as shown in FIGS. 12 (a) and 12 (b), when the camera 1202 is on the upper side of the perpendicular line L22,
Figure 2005142683
It can be defined as a range represented by As shown in FIGS. 12C and 12D, when the camera 1202 is below the perpendicular line L22,
Figure 2005142683
It can be defined as a range represented by However, in the range of (Expression 5) and (Expression 6), the range exceeding 360 ° is expressed by reducing 360 °, and the visible region is expressed by adding 360 ° in the range of 0 ° or less. In the example shown here, the visible region is expressed in the form of the start point angle to the end point angle. According to this, the range from the start point angle to the end point angle is the visible region of the camera.

図13に示すように、カメラ1401〜1404の設置位置をそれぞれ(0,100)、(100,100)、(0,0)、(100,0)とし、撮影対象1405の位置を(40,50)とするとき、カメラ1401〜1404について上記の可視領域を(式5)および(式6)を用いてそれぞれ計算すると、カメラ1401の可視領域は38.7°〜218.7°、カメラ1402の可視領域は309.8°〜129.8°、カメラ1413の可視領域は141.3°〜321.3°、カメラ1404の可視領域は230.2°〜50.2°となる。ここで、カメラ1403が撮影対象1405の正面を捕捉可能なカメラだったとすると、カメラ1403のみを使って撮影対象1405を撮影した場合、141.3°〜321.3°の範囲しか撮影されないこととなる。   As shown in FIG. 13, the installation positions of the cameras 1401 to 1404 are (0, 100), (100, 100), (0, 0), and (100, 0), respectively, and the position of the object 1405 is (40, 100). 50), when the above visible regions for the cameras 1401 to 1404 are calculated using (Equation 5) and (Equation 6), respectively, the visible region of the camera 1401 is 38.7 ° to 218.7 °, and the camera 1402 The visible region is 309.8 ° to 129.8 °, the visible region of the camera 1413 is 141.3 ° to 321.3 °, and the visible region of the camera 1404 is 230.2 ° to 50.2 °. Here, assuming that the camera 1403 is a camera that can capture the front of the shooting target 1405, when the shooting target 1405 is shot using only the camera 1403, only the range of 141.3 ° to 321.3 ° is shot. Become.

次に、死角撮影カメラ選択部201は、選択されたカメラの可視領域を全て統合し、統合後の可視領域でカバーできない領域を残存する死角と判断する(ST1120)。最初のループにおいては、上記の通り、まだカメラ1403のみが選択されただけであるから、カメラ1403だけで撮影を行っても321.3°〜141.3°の領域が死角として残る。死角撮影カメラ選択部201は、ST1130において死角が存在しなくなったか否かを確かめ、死角が残っている場合には、この死角領域を最も広域に撮影可能なカメラをST1120の計算結果に基づいて調べる。具体的には、カメラ1401、1402、1404のうち、死角領域321.3°〜141.3°を最も広域に撮影可能なカメラはカメラ1402である。よって、死角撮影カメラ選択部201は、カメラ1402を選択する(ST1150)。次に、ST1120に戻って、カメラ1402の可視領域とカメラ1403の可視領域を統合した141.3°〜129.8°の範囲をカメラ1402とカメラ1403とで撮影可能な可視領域とする。そして、ST1130において、再度死角がなくなったか否かを確かめる。さらに、未だ129.8°〜141.3°の領域が死角領域であるので、死角撮影カメラ選択部201は、さらにこの死角領域を最も広域に撮影可能なカメラを1台選択する(ST1150)。死角領域129.8°〜141.3°を最も広域に撮影可能なカメラはカメラ1401であるので、死角撮影カメラ選択部201は、カメラ1401を選択する。そして、カメラ1401、1402、および1403の可視領域を統合すると、360°すべての範囲が可視領域となったので、制御カメラ選択部104および死角撮影カメラ選択部201は、カメラ1401、1402、および1403を最終的に撮影対象を撮影するカメラと決定する(ST1140)。   Next, the blind spot photographing camera selection unit 201 integrates all the visible areas of the selected cameras, and determines that the area that cannot be covered by the integrated visible area is a remaining blind area (ST1120). In the first loop, as described above, since only the camera 1403 has been selected, an area of 321.3 ° to 141.3 ° remains as a blind spot even if the camera 1403 alone is used for shooting. In step ST1130, the blind spot photographing camera selection unit 201 confirms whether or not there is a blind spot. If a blind spot remains, the blind spot photographing camera selection unit 201 examines a camera that can photograph the blind spot region most widely based on the calculation result of ST1120. . Specifically, among the cameras 1401, 1402, and 1404, the camera 1402 is the camera that can capture the blind spot region 321.3 ° to 141.3 ° in the widest area. Therefore, blind spot photographing camera selection unit 201 selects camera 1402 (ST1150). Next, returning to ST1120, a range of 141.3 ° to 129.8 ° obtained by integrating the visible region of the camera 1402 and the visible region of the camera 1403 is set as a visible region that can be captured by the camera 1402 and the camera 1403. Then, in ST1130, it is confirmed again whether the blind spot disappears. Furthermore, since the area of 129.8 ° to 141.3 ° is still the blind spot area, the blind spot photographing camera selection unit 201 further selects one camera that can photograph the blind spot area in the widest area (ST1150). Since the camera 1401 is the camera that can shoot the blind spot area 129.8 ° to 141.3 ° in the widest range, the blind spot camera selection unit 201 selects the camera 1401. Then, when the visible regions of the cameras 1401, 1402, and 1403 are integrated, the entire 360 ° range becomes the visible region, so that the control camera selection unit 104 and the blind spot photographing camera selection unit 201 have the cameras 1401, 1402, and 1403. Is finally determined to be a camera that shoots a shooting target (ST1140).

このように、本実施の形態によれば、死角撮影カメラ選択部201がカメラの配置状況と撮影対象の現在の位置とに基づいて、それぞれのカメラの可視領域を計算し、撮影対象を死角なく撮影するために必要なカメラを選択するため、必要最低限の数のカメラにより撮影を行うことができる。   As described above, according to the present embodiment, the blind spot photographing camera selection unit 201 calculates the visible region of each camera based on the camera arrangement state and the current position of the photographing target, and sets the photographing target without the blind spot. Since a camera necessary for shooting is selected, shooting can be performed with a minimum number of cameras.

また、本実施の形態によれば、撮影を行っていないカメラは撮影区域内の別の対象に割り当てることができる。すなわち、撮影対象が2つ以上の場合についても、本実施の形態と同様に、撮影対象の撮影範囲を計算することで、撮影対象をそれぞれ撮影するカメラを選択することが可能である。選択する方法の例としては、それぞれの撮影対象を撮影するカメラのすべての組み合わせについて、それぞれの撮影対象の撮影範囲を計算し、最も死角領域の少ないカメラの組み合わせを選択する方法が挙げられる。また、死角領域がゼロとなる組み合わせが複数存在する場合は、実施の形態1に示すように、撮影対象の正面に位置するカメラを含んだ組み合わせを選択する方法を使用することも可能である。   Further, according to the present embodiment, a camera that is not shooting can be assigned to another object in the shooting area. That is, even when there are two or more shooting targets, it is possible to select a camera for shooting each shooting target by calculating the shooting range of the shooting target as in the present embodiment. As an example of a selection method, there is a method of calculating a shooting range of each shooting target for all combinations of cameras shooting the shooting targets and selecting a combination of cameras having the smallest blind spot area. In addition, when there are a plurality of combinations in which the blind spot area is zero, as shown in the first embodiment, it is possible to use a method of selecting a combination including a camera located in front of the imaging target.

また、以上の構成において、可視領域の計算にあたり、制御カメラ選択部104が選択した、撮影対象の正面に位置すると推測されるカメラから計算を開始するため、効果的に撮影対象の死角領域をなくすことができ、計算量を削減することができる。また、制御カメラ選択部104が選択したカメラの次に死角撮影カメラ選択部201によって選択されるカメラは、撮影対象の背面に位置する(撮影対象の背面を撮影することができる)と推測されるカメラであるので、ネットワーク120を経由して通信されるデータ量またはメモリに記録されるデータ量を削減することができる。正面と背面の撮影映像は画像変化量が少ないためである。   In the above configuration, in calculating the visible region, the calculation is started from the camera selected by the control camera selection unit 104 that is assumed to be located in front of the imaging target. Therefore, the blind spot region of the imaging target is effectively eliminated. And the amount of calculation can be reduced. In addition, the camera selected by the blind spot photographing camera selection unit 201 next to the camera selected by the control camera selection unit 104 is assumed to be located behind the photographing target (the back of the photographing target can be photographed). Since it is a camera, the amount of data communicated via the network 120 or the amount of data recorded in the memory can be reduced. This is because the video images taken from the front and back have a small amount of image change.

なお、本実施の形態では、360°死角なく対象を撮影可能なようにカメラを選択しているが、選択するカメラ数を予め限定しておいて、カメラを一定数以上は使用しないとしても構わない。その場合、あらかじめ選択可能な最大カメラ数を監視者が指定しておき、この最大カメラ数で最も死角領域を最小限に抑えることができるカメラを死角撮影カメラ選択部201が選択する。   In this embodiment, the camera is selected so that the object can be photographed without a 360 ° blind spot. However, the number of cameras to be selected is limited in advance, and a certain number of cameras may not be used. Absent. In this case, the supervisor designates the maximum number of cameras that can be selected in advance, and the blind spot photographing camera selection unit 201 selects a camera that can minimize the blind spot area with the maximum number of cameras.

また、本実施の形態では、撮影対象を極めて小さい面積を有する点と擬制してカメラの可視領域/死角領域を決定したが、これは必ずしも点である必要はない。たとえば円と擬制して、図14に示すように、カメラ1501と撮影対象1502の円に対し接線L25、L26を引いたときの範囲R25を可視領域として、上記と同様に可視領域/死角領域を計算することが可能である。   In the present embodiment, the visible / blind area of the camera is determined by assuming that the object to be imaged has a very small area, but this is not necessarily a point. For example, assuming a circle as shown in FIG. 14, the range R25 when the tangent lines L25 and L26 are drawn with respect to the circle of the camera 1501 and the imaging target 1502 is defined as the visible region, and the visible region / blind spot region is defined as described above. It is possible to calculate.

さらに、本実施の形態では、撮影領域を鉛直方向から見た場合に撮影対象を死角のないように撮影を行うこととしているが、必ずしも鉛直方向から見ると限定するものではなく、カメラの設置位置に応じて撮影領域を水平方向または斜め方向から見て、死角のない撮影を行うようにしてもかまわない。   Furthermore, in the present embodiment, when the imaging region is viewed from the vertical direction, the imaging target is captured so that there is no blind spot. However, the imaging location is not necessarily limited, and the camera installation position is not limited. Depending on the situation, it may be possible to perform photographing without blind spots by viewing the photographing region from the horizontal direction or the oblique direction.

(実施の形態3)
図15は、本発明の実施の形態3に係る監視システムの主要な構成を示すブロック図である。なお、この監視システムは、図1に示した監視システムと一部同一の構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
(Embodiment 3)
FIG. 15 is a block diagram showing the main configuration of the monitoring system according to Embodiment 3 of the present invention. This monitoring system has a part of the same configuration as that of the monitoring system shown in FIG. 1, and the same components are denoted by the same reference numerals and description thereof is omitted.

本実施の形態に係るカメラ制御装置の特徴は、カメラ制御装置がカメラ自体に搭載され、カメラ間で撮影対象の位置情報等を互いに交換することにより、カメラ自体が撮影対象の追跡を行うか否かを判断することである。   A feature of the camera control device according to the present embodiment is that the camera control device is mounted on the camera itself, and the camera itself tracks the shooting target by exchanging position information of the shooting target between the cameras. Is to judge.

本実施の形態に係る監視システムは、複数のカメラ1600(1600−1〜1600−n)および映像受信装置1610を有する。また、カメラ1600−1は、映像分析部103−1、制御カメラ選択部104−1、カメラ制御信号生成部105−1、カメラ制御信号送信部106−1、映像取込部1601−1、映像送信部1602−1、カメラ制御部1606−1、およびカメラ制御信号受信部1608−1を有する。カメラ1600−2〜1600−nも同一の構成を有している。   The monitoring system according to the present embodiment includes a plurality of cameras 1600 (1600-1 to 1600-n) and a video receiver 1610. The camera 1600-1 includes a video analysis unit 103-1, a control camera selection unit 104-1, a camera control signal generation unit 105-1, a camera control signal transmission unit 106-1, a video capture unit 1601-1, a video. A transmission unit 1602-1, a camera control unit 1606-1, and a camera control signal reception unit 1608-1 are included. The cameras 1600-2 to 1600-n also have the same configuration.

カメラ1600−1の各部は以下の動作を行う。   Each unit of the camera 1600-1 performs the following operation.

映像取込部1601−1は、撮影した映像を撮像素子等から取り込み、映像送信部1602−1および映像分析部103−1に出力する。映像送信部1602−1は、取り込んだ映像データをネットワーク120を介して映像受信装置1610に送信する。映像分析部103−1、制御カメラ選択部104−1、カメラ制御信号生成部105−1、およびカメラ制御信号送信部106−1の動作は実施の形態1と同様である。カメラ制御部1606−1は、カメラ制御信号生成部105−1が生成した制御信号に基づいてカメラ1600−1の撮影方向を制御する。カメラ制御信号送信部106−1は、カメラ制御信号生成部105−1が生成した制御信号をネットワーク120を介して別のカメラ(1600−2〜1600−n)に送信する。カメラ制御信号受信部1608−1は、別のカメラ(1600−2〜1600−n)が生成したカメラ制御信号を受信する。   The video capturing unit 1601-1 captures the captured video from an imaging device or the like, and outputs the captured video to the video transmission unit 1602-1 and the video analysis unit 103-1. The video transmission unit 1602-1 transmits the captured video data to the video reception device 1610 via the network 120. The operations of video analysis section 103-1, control camera selection section 104-1, camera control signal generation section 105-1 and camera control signal transmission section 106-1 are the same as those in the first embodiment. The camera control unit 1606-1 controls the shooting direction of the camera 1600-1 based on the control signal generated by the camera control signal generation unit 105-1. The camera control signal transmission unit 106-1 transmits the control signal generated by the camera control signal generation unit 105-1 to another camera (1600-2 to 1600-n) via the network 120. The camera control signal receiving unit 1608-1 receives a camera control signal generated by another camera (1600-2 to 1600-n).

本実施の形態に係るカメラ制御装置の特徴的な動作は以下の通りである。すなわち、制御カメラ選択部104−1が、カメラ1600−1自体を制御対象に選択した場合には、カメラ制御信号生成部105−1で生成された制御信号はカメラ制御部1606−1へ送信される。また、制御カメラ選択部104−1がカメラ1600−1とは別のカメラを制御対象に選択した場合には、カメラ制御信号生成部105−1で生成された制御信号はカメラ制御信号送信部106−1を介し制御対象のカメラへ送信される。この送信された制御信号は、制御対象のカメラ内に搭載されたカメラ制御信号受信部1608−1で受信され、カメラ制御部1606−1へ出力されることで、制御対象のカメラの撮影方向が制御される。   The characteristic operation of the camera control apparatus according to the present embodiment is as follows. That is, when the control camera selection unit 104-1 selects the camera 1600-1 itself as a control target, the control signal generated by the camera control signal generation unit 105-1 is transmitted to the camera control unit 1606-1. The When the control camera selection unit 104-1 selects a camera other than the camera 1600-1 as a control target, the control signal generated by the camera control signal generation unit 105-1 is the camera control signal transmission unit 106. -1 to the control target camera. The transmitted control signal is received by the camera control signal receiving unit 1608-1 mounted in the camera to be controlled and output to the camera control unit 1606-1, so that the shooting direction of the camera to be controlled is changed. Be controlled.

このように、本実施の形態によれば、カメラ制御装置が各カメラに搭載されるため、自律的に互いの制御を行うことができ、カメラとは別の制御装置を必要としない。   Thus, according to the present embodiment, since the camera control device is mounted on each camera, each other can be controlled autonomously, and a control device separate from the camera is not required.

なお、本実施の形態では、カメラ制御装置がカメラ(撮像装置)と一体化されて、撮影対象の検出、映像伝送、およびカメラ制御を行う場合を例にとって説明したが、カメラ制御装置が市販のカメラのような撮像装置とは分離されて設置され、このカメラからアナログ線、IEEE1394、USB、RS−232C等といったインターフェースを介して映像データを取り込み、カメラ制御信号を駆動式カメラあるいはカメラに設置された雲台等に送信するようにしても構わない。   In the present embodiment, the case where the camera control device is integrated with the camera (imaging device) to perform detection of a shooting target, video transmission, and camera control is described as an example. However, the camera control device is commercially available. It is installed separately from an imaging device such as a camera. Video data is captured from this camera via an interface such as an analog line, IEEE 1394, USB, RS-232C, etc., and a camera control signal is installed in a drive camera or camera. It may be transmitted to a pan head or the like.

本発明は、実施の形態1〜3を通じ、ハードウェアで構成する場合を例にとって説明したが、ソフトウェアで実現することも可能である。   Although the present invention has been described by taking the case where it is configured by hardware as an example through Embodiments 1 to 3, it can also be realized by software.

本発明に係るカメラ制御装置は、監視システム等に使用されるカメラ制御装置として有用である。   The camera control device according to the present invention is useful as a camera control device used in a monitoring system or the like.

実施の形態1に係る監視システムの主要な構成を示すブロック図FIG. 2 is a block diagram showing the main configuration of the monitoring system according to the first embodiment. 実施の形態1に係るディスプレイの画面に表示される映像の一例を示す図The figure which shows an example of the image | video displayed on the screen of the display which concerns on Embodiment 1. カメラ映像上の座標から三次元ワールド座標系への投影を概念的に示す図A diagram conceptually showing the projection from the coordinates on the camera image to the 3D world coordinate system 監視区域を上方から見た場合のカメラ4台と撮影対象の位置および撮影対象の移動方向を座標平面上に示す図The figure which shows on the coordinate plane the four cameras when the monitoring area is viewed from above, the position of the shooting target, and the moving direction of the shooting target 図4から撮影対象およびカメラを取り出して表した図Fig. 4 shows the subject and camera taken out from Fig. 4. 実施の形態1に係る制御カメラ選択部が制御対象のカメラを選択する手順を示したフロー図The flowchart which showed the procedure in which the control camera selection part which concerns on Embodiment 1 selects the camera of control object 実施の形態1のバリエーションを説明するための図The figure for demonstrating the variation of Embodiment 1 実施の形態1のバリエーションを説明するための図The figure for demonstrating the variation of Embodiment 1 実施の形態2に係る監視システムの主要な構成を示すブロック図The block diagram which shows the main structures of the monitoring system which concerns on Embodiment 2. FIG. 実施の形態2に係る死角撮影カメラ選択部が人物を撮影するカメラを選択する処理の手順について示すフロー図The flowchart which shows the procedure of the process in which the blind spot photographing camera selection part which concerns on Embodiment 2 selects the camera which image | photographs a person カメラによって撮影できる領域を説明するための図Diagram for explaining the area that can be shot with the camera カメラによって撮影できる領域を説明するための図Diagram for explaining the area that can be shot with the camera カメラ配置の一例を示す図Diagram showing an example of camera layout 撮影対象を円と擬制する場合を説明するための図Illustration for explaining the case where the subject is assumed to be a circle 実施の形態3に係る監視システムの主要な構成を示すブロック図A block diagram showing a main configuration of a monitoring system according to a third embodiment 従来技術を説明するための図Diagram for explaining the prior art

符号の説明Explanation of symbols

100、100a カメラ制御装置
103 映像分析部
104 制御カメラ選択部
105 カメラ制御信号生成部
106 カメラ制御信号送信部
110−1〜110−n カメラ
200 カメラ制御装置
201 死角撮影カメラ選択部
501〜504 カメラ
505 撮影対象
1401〜1404 カメラ
1405 撮影対象
DESCRIPTION OF SYMBOLS 100, 100a Camera control apparatus 103 Image | video analysis part 104 Control camera selection part 105 Camera control signal generation part 106 Camera control signal transmission part 110-1 to 110-n Camera 200 Camera control apparatus 201 Blind spot photography camera selection part 501-504 Camera 505 Shooting target 1401 to 1404 Camera 1405 Shooting target

Claims (9)

複数のカメラによって撮影領域がカバーされるカメラシステムにおいて使用されるカメラ制御装置であって、
撮影対象の前記撮影領域内における現在の位置および前記撮影対象の移動方向を検出する検出手段と、
前記撮影対象の現在の位置および移動方向を前記複数のカメラの配置に照らし合わせ、前記複数のカメラの中から前記撮影対象の移動方向もしくはその近傍に位置するカメラを特定する特定手段と、
前記特定手段によって特定されたカメラを主とし他のカメラの少なくとも一部を従とし、これら主および従のカメラに前記撮影対象を撮影させる制御手段と、
を具備することを特徴とするカメラ制御装置。
A camera control device used in a camera system in which a shooting area is covered by a plurality of cameras,
Detecting means for detecting a current position of the shooting target in the shooting area and a moving direction of the shooting target;
A specifying means for comparing a current position and a moving direction of the shooting target with an arrangement of the plurality of cameras, and specifying a camera located in or near the moving direction of the shooting target from the plurality of cameras;
A control unit that mainly uses the camera specified by the specifying unit as a subordinate to at least a part of another camera, and causes the main and subordinate cameras to shoot the shooting target;
A camera control apparatus comprising:
前記制御手段は、
前記撮影対象の移動に伴い前記従のカメラの向きを制御する、
ことを特徴とする請求項1記載のカメラ制御装置。
The control means includes
Controlling the orientation of the slave camera with the movement of the object to be photographed;
The camera control device according to claim 1.
前記制御手段は、
前記検出手段によって検出された前記撮影対象の現在の位置を前記従のカメラに通知し、前記撮影対象の移動に伴い前記従のカメラの向きを追従させる、
ことを特徴とする請求項1記載のカメラ制御装置。
The control means includes
Notifying the slave camera of the current position of the shooting target detected by the detection means, and causing the slave camera to follow the direction of the shooting target,
The camera control device according to claim 1.
前記制御手段は、
前記撮影対象を、前記主のカメラには高解像度で撮影させ、前記従のカメラには低解像度で撮影させる、
ことを特徴とする請求項1記載のカメラ制御装置。
The control means includes
The subject to be photographed is photographed at a high resolution by the main camera and photographed at a low resolution by the slave camera.
The camera control device according to claim 1.
前記撮影対象のうち、前記主のカメラによって撮影される範囲を算出する算出手段と、
前記算出手段によって算出された範囲以外の範囲を撮影するカメラを前記従のカメラとして選択する選択手段と、
をさらに具備することを特徴とする請求項1記載のカメラ制御装置。
A calculating means for calculating a range of the shooting object to be shot by the main camera;
Selection means for selecting a camera that captures a range other than the range calculated by the calculation means as the slave camera;
The camera control device according to claim 1, further comprising:
前記選択手段は、
前記算出手段によって算出された範囲以外の範囲を撮影するカメラとして、前記算出手段によって算出された範囲以外の範囲を最もカバーするカメラを最先に選択して最終的に選択されるカメラの総数を抑える、
ことを特徴とする請求項5記載のカメラ制御装置。
The selection means includes
As a camera that captures a range other than the range calculated by the calculation unit, the total number of cameras finally selected by selecting the camera that covers the most range other than the range calculated by the calculation unit first. suppress,
6. The camera control device according to claim 5, wherein
前記複数のカメラのそれぞれに搭載されることを特徴とする請求項1から請求項6のいずれかに記載のカメラ制御装置。   The camera control device according to any one of claims 1 to 6, wherein the camera control device is mounted on each of the plurality of cameras. 請求項1から請求項7のいずれかに記載のカメラ制御装置を具備することを特徴とする監視システム。   A monitoring system comprising the camera control device according to claim 1. 複数のカメラによって撮影領域がカバーされるカメラシステムにおいて使用されるカメラ制御方法であって、
撮影対象の前記撮影領域内における現在の位置と前記撮影対象の移動方向と前記複数のカメラの配置とに基づいて、前記複数のカメラの中から前記撮影対象の移動方向もしくはその近傍に位置するカメラを特定し、この特定されたカメラを主とし他のカメラの少なくとも一部を従とし、これら主および従のカメラに前記撮影対象を撮影させる、
ことを特徴とするカメラ制御方法。
A camera control method used in a camera system in which a shooting area is covered by a plurality of cameras,
A camera located in or near the moving direction of the shooting target from the plurality of cameras based on the current position of the shooting target in the shooting area, the moving direction of the shooting target, and the arrangement of the plurality of cameras Identifying the main camera as the main and at least a part of the other cameras as subordinates, and causing the main and subordinate cameras to photograph the subject.
And a camera control method.
JP2003374935A 2003-11-04 2003-11-04 Apparatus and method for camera control Pending JP2005142683A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003374935A JP2005142683A (en) 2003-11-04 2003-11-04 Apparatus and method for camera control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003374935A JP2005142683A (en) 2003-11-04 2003-11-04 Apparatus and method for camera control

Publications (1)

Publication Number Publication Date
JP2005142683A true JP2005142683A (en) 2005-06-02

Family

ID=34686484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003374935A Pending JP2005142683A (en) 2003-11-04 2003-11-04 Apparatus and method for camera control

Country Status (1)

Country Link
JP (1) JP2005142683A (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008270988A (en) * 2007-04-17 2008-11-06 Fujifilm Corp Control device, control method, image pickup system, image pickup method, and program
JP2009055180A (en) * 2007-08-24 2009-03-12 Hitachi Kokusai Electric Inc Surveillance camera system
JP2009272882A (en) * 2008-05-07 2009-11-19 Ntt Docomo Inc Video distribution server, video distribution system, and video distribution method
JP2011029798A (en) * 2009-07-23 2011-02-10 Hitachi Ltd Monitoring video display system
JP2011087214A (en) * 2009-10-19 2011-04-28 Nec Corp Photographing system, method and program
WO2012096166A1 (en) * 2011-01-11 2012-07-19 パナソニック株式会社 Image capturing system, camera control device for use therein, image capturing method, camera control method, and computer program
WO2013179335A1 (en) * 2012-05-30 2013-12-05 株式会社 日立製作所 Monitoring camera control device and visual monitoring system
WO2014171061A1 (en) * 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Camera control device, camera control method, and camera control system
JP2014204375A (en) * 2013-04-08 2014-10-27 キヤノン株式会社 Image processing system, image processing apparatus, control method therefor, and program
JP2015537265A (en) * 2012-09-05 2015-12-24 インテル・コーポレーション Communication protocol between platform and image device
JP2016118994A (en) * 2014-12-22 2016-06-30 セコム株式会社 Monitoring system
KR101754520B1 (en) * 2016-01-25 2017-07-07 전북대학교산학협력단 Three-dimensional data generating method of building
JP2017135754A (en) * 2017-04-28 2017-08-03 カシオ計算機株式会社 Photographing system, photographing controller, photographing control method and program
CN109040709A (en) * 2018-09-21 2018-12-18 深圳市九洲电器有限公司 Video monitoring method and device, monitoring server and video monitoring system
CN113382229A (en) * 2021-05-27 2021-09-10 深圳市瑞立视多媒体科技有限公司 Dynamic auxiliary camera adjusting method and device based on holographic sand table
CN113382222A (en) * 2021-05-27 2021-09-10 深圳市瑞立视多媒体科技有限公司 Display method based on holographic sand table in user moving process

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008270988A (en) * 2007-04-17 2008-11-06 Fujifilm Corp Control device, control method, image pickup system, image pickup method, and program
JP2009055180A (en) * 2007-08-24 2009-03-12 Hitachi Kokusai Electric Inc Surveillance camera system
JP2009272882A (en) * 2008-05-07 2009-11-19 Ntt Docomo Inc Video distribution server, video distribution system, and video distribution method
JP4615035B2 (en) * 2008-05-07 2011-01-19 株式会社エヌ・ティ・ティ・ドコモ Video distribution server, video distribution system, and video distribution method
JP2011029798A (en) * 2009-07-23 2011-02-10 Hitachi Ltd Monitoring video display system
JP2011087214A (en) * 2009-10-19 2011-04-28 Nec Corp Photographing system, method and program
WO2012096166A1 (en) * 2011-01-11 2012-07-19 パナソニック株式会社 Image capturing system, camera control device for use therein, image capturing method, camera control method, and computer program
CN103329518A (en) * 2011-01-11 2013-09-25 松下电器产业株式会社 Image capturing system, camera control device for use therein, image capturing method, camera control method, and computer program
US9560321B2 (en) 2011-01-11 2017-01-31 Panasonic Intellectual Property Management Co., Ltd. Image capturing system, camera control device for use therein, image capturing method, camera control method, and computer program
JP5942270B2 (en) * 2011-01-11 2016-06-29 パナソニックIpマネジメント株式会社 Imaging system, camera control device used therefor, imaging method, camera control method, and computer program
WO2013179335A1 (en) * 2012-05-30 2013-12-05 株式会社 日立製作所 Monitoring camera control device and visual monitoring system
US9805265B2 (en) 2012-05-30 2017-10-31 Hitachi, Ltd. Surveillance camera control device and video surveillance system
JPWO2013179335A1 (en) * 2012-05-30 2016-01-14 株式会社日立製作所 Surveillance camera control device and video surveillance system
JP2015537265A (en) * 2012-09-05 2015-12-24 インテル・コーポレーション Communication protocol between platform and image device
JP2014204375A (en) * 2013-04-08 2014-10-27 キヤノン株式会社 Image processing system, image processing apparatus, control method therefor, and program
CN104322059A (en) * 2013-04-19 2015-01-28 松下电器(美国)知识产权公司 Camera control device, camera control method, and camera control system
JPWO2014171061A1 (en) * 2013-04-19 2017-02-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Camera control apparatus, camera control method, and camera control system
WO2014171061A1 (en) * 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Camera control device, camera control method, and camera control system
CN104322059B (en) * 2013-04-19 2018-04-27 松下电器(美国)知识产权公司 Camera control unit, video camera control method and camera control system
US10171774B2 (en) 2013-04-19 2019-01-01 Panasonic Intellectual Property Corporation Of America Camera control device, camera control method, and camera control system
JP2016118994A (en) * 2014-12-22 2016-06-30 セコム株式会社 Monitoring system
KR101754520B1 (en) * 2016-01-25 2017-07-07 전북대학교산학협력단 Three-dimensional data generating method of building
JP2017135754A (en) * 2017-04-28 2017-08-03 カシオ計算機株式会社 Photographing system, photographing controller, photographing control method and program
CN109040709A (en) * 2018-09-21 2018-12-18 深圳市九洲电器有限公司 Video monitoring method and device, monitoring server and video monitoring system
CN113382229A (en) * 2021-05-27 2021-09-10 深圳市瑞立视多媒体科技有限公司 Dynamic auxiliary camera adjusting method and device based on holographic sand table
CN113382222A (en) * 2021-05-27 2021-09-10 深圳市瑞立视多媒体科技有限公司 Display method based on holographic sand table in user moving process

Similar Documents

Publication Publication Date Title
JP5688456B2 (en) Security camera tracking and monitoring system and method using thermal image coordinates
JP2005142683A (en) Apparatus and method for camera control
JP4568009B2 (en) Monitoring device with camera cooperation
JP4699040B2 (en) Automatic tracking control device, automatic tracking control method, program, and automatic tracking system
US8472667B2 (en) Editing apparatus and method
JP4209535B2 (en) Camera control device
JP4979525B2 (en) Multi camera system
JP2008011497A (en) Camera apparatus
JP4459788B2 (en) Facial feature matching device, facial feature matching method, and program
KR20090062881A (en) A moving robot and a moving object detecting method thereof
KR101096157B1 (en) watching apparatus using dual camera
JP5708051B2 (en) Video processing apparatus, video processing system, video conference system, remote monitoring system, video processing method, and imaging apparatus
KR101204870B1 (en) Surveillance camera system and method for controlling thereof
KR101452342B1 (en) Surveillance Camera Unit And Method of Operating The Same
JP3741136B2 (en) Obstacle adaptive projection display
JP2000083246A (en) Camera control system, camera control method, and recording medium stored with program to execute processing thereof
JP2003158664A (en) Camera controller
KR20110074022A (en) Photographing method for producing image of traced moving path and apparatus using the same
KR20150019230A (en) Method and apparatus for tracking object using multiple camera
KR101410985B1 (en) monitoring system and monitoring apparatus using security camera and monitoring method thereof
JP4444746B2 (en) Object tracking method and object tracking device
JP2004128646A (en) Monitoring system and controller
TW201205506A (en) System and method for managing security of a roof
KR101670247B1 (en) System for magnifying-moving object using one click of cctv real-time image and method therefor
JP2006033188A (en) Supervisory apparatus and supervisory method