JP2021013138A - Imaging apparatus and information processing device - Google Patents
Imaging apparatus and information processing device Download PDFInfo
- Publication number
- JP2021013138A JP2021013138A JP2019127587A JP2019127587A JP2021013138A JP 2021013138 A JP2021013138 A JP 2021013138A JP 2019127587 A JP2019127587 A JP 2019127587A JP 2019127587 A JP2019127587 A JP 2019127587A JP 2021013138 A JP2021013138 A JP 2021013138A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- captured image
- predetermined area
- detection
- still image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、特に、被写体を追尾しながら撮影を行うために用いて好適な撮像装置、情報処理装置、撮像装置の制御方法、情報処理装置の制御方法およびプログラムに関する。 The present invention particularly relates to an image pickup device, an information processing device, a control method of the image pickup device, a control method of the information processing device, and a program suitable for taking a picture while tracking a subject.
近年、ネットワークを利用した監視カメラシステムが広く普及している。監視カメラシステムで用いられる監視カメラは大規模な公共機関や量販店など幅広い分野で利用されており、様々な運用方法がある。さらに、このような監視カメラはネットワークカメラとして監視目的以外にも利用されるようになっており、例えば、講義の様子を撮影して配信し、遠隔地からも聴講できるようにするといったシステムなどでも用いられる。このような運用形態に合わせるために監視カメラシステムでは様々な機能的特徴をもったものが存在する。例えばパン・チルトといった撮影方向を自在に変更できる機能や、講師のような動きのある物体に対して自動的にパン・チルトを行う追尾機能などがある。また、複数のカメラを利用して、講義の様子をそれぞれのカメラを切り替えて配信するようなシステムも存在する。 In recent years, surveillance camera systems using networks have become widespread. Surveillance cameras used in surveillance camera systems are used in a wide range of fields such as large-scale public institutions and mass retailers, and there are various operation methods. Furthermore, such surveillance cameras are being used as network cameras for purposes other than surveillance purposes, such as systems that capture and distribute lectures so that they can be listened to from remote locations. Used. In order to match such an operation mode, there are surveillance camera systems having various functional features. For example, there is a function that can freely change the shooting direction such as pan / tilt, and a tracking function that automatically pans / tilts a moving object such as a lecturer. In addition, there is also a system that uses a plurality of cameras to switch and distribute the lecture state.
一方で、講師の動きに合わせてカメラを追従して撮影すると、講師の板書（黒板やホワイトボードなど）が画角から外れてしまう場合がある。講師の板書が画角から外れてしまうと、遠隔地で視聴している利用者は、板書を見たいと思っても見ることができなくなってしまう。そこで特許文献１には、黒板部分を撮影する固定カメラを使用して、撮影した動画をネットワーク経由で配信し、生徒の持つ表示パネル装置に表示させる技術が開示されている。この技術により、生徒である利用者が常に黒板を確認でき、表示の拡大や縮小、移動が可能となる学習支援システムを提供できるようにしている。 On the other hand, if the instructor's board (blackboard, whiteboard, etc.) is out of the angle of view when the instructor follows the camera and shoots. If the instructor's board writing is out of the angle of view, users who are watching at a remote location will not be able to see it even if they want to see it. Therefore, Patent Document 1 discloses a technique of using a fixed camera for photographing a blackboard portion to distribute a photographed moving image via a network and displaying it on a display panel device owned by a student. With this technology, it is possible to provide a learning support system that allows students as students to constantly check the blackboard and enlarge, reduce, or move the display.
しかしながら、講師の動きに合わせてカメラを追従して撮影する際に、特許文献１に記載の技術を用いると、黒板を撮影する専用のカメラが別途必要となってしまう。例えば黒板のすぐ横に講師が立っているような場合には、黒板を撮影する専用のカメラと、講師を追従して撮影するカメラとで類似する撮影範囲の画像を同時に配信することになり、帯域を余分に消費してしまう。 However, if the technique described in Patent Document 1 is used when the camera is followed and photographed according to the movement of the instructor, a dedicated camera for photographing the blackboard is required separately. For example, if the instructor is standing right next to the blackboard, the dedicated camera that shoots the blackboard and the camera that follows the instructor will simultaneously deliver images in a similar shooting range. It consumes extra bandwidth.
本発明は前述の問題点に鑑み、特定の領域を撮影する専用のカメラを不要にして、その特定の領域が画角から外れた場合も、その領域を画像として保存できるようにすることを目的としている。 In view of the above-mentioned problems, it is an object of the present invention to eliminate the need for a dedicated camera for capturing a specific area, and to save the specific area as an image even if the specific area deviates from the angle of view. It is said.
本発明に係る撮像装置は、撮像手段と、前記撮像手段で撮影された撮像画像の中の被写体を追尾するように前記撮像手段を制御する追尾手段と、前記追尾手段による追尾によって前記撮像画像から所定の領域が外れることを検知する検知手段と、前記検知手段が前記所定の領域が外れることを検知したことに応じて、前記所定の領域を画像として保存する保存手段とを有することを特徴とする。 The imaging apparatus according to the present invention is derived from the captured image by the imaging means, the tracking means for controlling the imaging means so as to track the subject in the captured image captured by the imaging means, and the tracking by the tracking means. It is characterized by having a detecting means for detecting that a predetermined area deviates, and a storage means for storing the predetermined area as an image in response to the detection means detecting that the predetermined area deviates. To do.
本発明によれば、特定の領域を撮影する専用のカメラを不要にして、その特定の領域が画角から外れた場合も、その領域を画像として保存することができる。 According to the present invention, it is possible to eliminate the need for a dedicated camera for capturing a specific area, and to save the specific area as an image even when the specific area deviates from the angle of view.
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら詳細に説明する。
図１は、本実施形態に係るネットワーク構成を説明するための図であり、図１（ａ）は、本実施形態に係るネットワークカメラ１００の外観構成例を示す図である。
図１（ａ）に示すネットワークカメラ１００において、パン駆動機構１１１はネットワークカメラ１００の撮像方向をパン方向に変更させるための機構である。チルト駆動機構１１２はネットワークカメラ１００の撮像方向をチルト方向に変更させるための機構である。レンズ駆動機構１１３はネットワークカメラ１００の画角を変更させるための機構である。また、ネットワークカメラ１００の例としては、例えば監視カメラが挙げられる。
(First Embodiment)
Hereinafter, the first embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram for explaining a network configuration according to the present embodiment, and FIG. 1A is a diagram showing an example of an external configuration of the network camera 100 according to the present embodiment.
In the network camera 100 shown in FIG. 1A, the pan drive mechanism 111 is a mechanism for changing the imaging direction of the network camera 100 in the pan direction. The tilt drive mechanism 112 is a mechanism for changing the imaging direction of the network camera 100 to the tilt direction. The lens drive mechanism 113 is a mechanism for changing the angle of view of the network camera 100. An example of the network camera 100 is a surveillance camera.
図１（ｂ）は、ネットワークカメラ１００を含む撮像システム１０の全体構成例を示す図である。本実施形態に係る撮像システム１０では、ネットワークカメラは１台とは限らず、複数台のネットワークカメラがネットワークに接続されることも考えられる。図１（ｂ）には、２台のネットワークカメラ１００、１１０が接続されている例を示している。 FIG. 1B is a diagram showing an overall configuration example of an imaging system 10 including a network camera 100. In the imaging system 10 according to the present embodiment, the number of network cameras is not limited to one, and a plurality of network cameras may be connected to the network. FIG. 1B shows an example in which two network cameras 100 and 110 are connected.
ネットワークカメラ１００、１１０とクライアント装置２００とは、ネットワーク３００を介して相互に通信可能な状態に接続されている。クライアント装置２００は情報処理装置として、ネットワークカメラ１００、１１０に対して、各種設定やカメラ制御の各種コマンドを送信する。ネットワークカメラ１００、１１０は、それらのコマンドに対するレスポンスや映像データをクライアント装置２００に送信する。 The network cameras 100 and 110 and the client device 200 are connected to each other via the network 300 so that they can communicate with each other. As an information processing device, the client device 200 transmits various settings and various commands for camera control to the network cameras 100 and 110. The network cameras 100 and 110 transmit responses to these commands and video data to the client device 200.
図２は、本実施形態に係るネットワークカメラ１００及びクライアント装置２００の機能構成例を示すブロック図である。以下、図２を参照しながらネットワークカメラ１００及びクライアント装置２００の各構成について説明する。 FIG. 2 is a block diagram showing a functional configuration example of the network camera 100 and the client device 200 according to the present embodiment. Hereinafter, each configuration of the network camera 100 and the client device 200 will be described with reference to FIG.
まず、ネットワークカメラ１００の構成について説明する。撮像部１０１は、被写体を撮像して被写体像を生成し、電気信号への変換を行う撮像素子を有する。画像処理部１０２は、撮像部１０１において生成された電気信号に対して所定の画像処理、圧縮符号化処理等を行い、撮像画像のデータを生成するための画像処理回路を有する。また、画像処理部１０２は撮像画像において画像解析を行って特定の被写体を特定する。 First, the configuration of the network camera 100 will be described. The image pickup unit 101 has an image pickup element that captures a subject, generates a subject image, and converts it into an electric signal. The image processing unit 102 has an image processing circuit for performing predetermined image processing, compression coding processing, and the like on the electric signal generated by the image pickup unit 101 to generate data of the captured image. In addition, the image processing unit 102 identifies a specific subject by performing image analysis on the captured image.
パン駆動部１０３は、パン動作を行うメカ駆動系、及び駆動源のモータにより構成され、その動作はパンチルトズーム制御部１０６により制御される。チルト駆動部１０４は、チルト動作を行うメカ駆動系、及び駆動源のモータにより構成され、その動作はパンチルトズーム制御部１０６により制御される。レンズ駆動部１０５は、フォーカスレンズ、及びズームレンズの駆動系により構成され、その動作はパンチルトズーム制御部１０６により制御される。パンチルトズーム制御部１０６は、システム制御部１０７から受信した指示に基づいて、パン駆動部１０３、チルト駆動部１０４及びレンズ駆動部１０５の制御を行う。また、パンチルトズーム制御部１０６は、その制御に基づいてパンチルトズーム移動情報を生成し、システム制御部１０７に通知する制御回路を有する。 The pan drive unit 103 is composed of a mechanical drive system that performs a pan operation and a motor of a drive source, and the operation is controlled by the pan tilt zoom control unit 106. The tilt drive unit 104 is composed of a mechanical drive system that performs a tilt operation and a motor of a drive source, and the operation is controlled by the pan / tilt zoom control unit 106. The lens drive unit 105 is composed of a focus lens and a drive system for a zoom lens, and its operation is controlled by the pan-tilt zoom control unit 106. The pan / tilt zoom control unit 106 controls the pan drive unit 103, the tilt drive unit 104, and the lens drive unit 105 based on the instruction received from the system control unit 107. Further, the pan-tilt zoom control unit 106 has a control circuit that generates pan-tilt zoom movement information based on the control and notifies the system control unit 107.
通信部１０８は、生成された撮像画像をクライアント装置２００に送信するための回路を有する。また、通信部１０８は、クライアント装置２００から送信される各種設定コマンド、およびカメラ制御コマンドを受信し、システム制御部１０７へ送信する。また、通信部１０８は、クライアント装置２００から送信されるコマンドに対するレスポンスをクライアント装置２００へ送信する。レンズ情報取得部１０９は、レンズ情報および焦点距離情報を取得する。 The communication unit 108 has a circuit for transmitting the generated captured image to the client device 200. Further, the communication unit 108 receives various setting commands and camera control commands transmitted from the client device 200 and transmits them to the system control unit 107. Further, the communication unit 108 transmits a response to the command transmitted from the client device 200 to the client device 200. The lens information acquisition unit 109 acquires lens information and focal length information.
システム制御部１０７は、一連の処理に必要な情報、撮像画像、および後述の図５，図７，図９，図１４，図１６，および図１８のフローチャートの処理を実行するためのプログラムを保存するためのメモリを有している。さらに、システム制御部１０７は、通信部１０８から受信したコマンドを解析し、そのコマンドに応じた処理を行うＣＰＵなどの制御回路を有する。また、システム制御部１０７は、パンチルトズーム制御部１０６からパンチルトズーム移動情報を受信し、画像処理部１０２へ送信する。さらに、システム制御部１０７は、レンズ情報取得部１０９が取得したレンズ情報および焦点距離情報に基づき、レンズ駆動部１０５を制御するためのズーム制御情報を更新する。また、システム制御部１０７は、画像処理部１０２に対して画質調整の指示を行う。さらに、システム制御部１０７は、パンチルトズーム制御部１０６に対してパンチルトズーム動作の指示を行う。 The system control unit 107 stores information necessary for a series of processes, captured images, and a program for executing the processes of the flowcharts of FIGS. 5, 7, 9, 14, 16, and 18 described later. Has memory to do so. Further, the system control unit 107 has a control circuit such as a CPU that analyzes a command received from the communication unit 108 and performs processing according to the command. Further, the system control unit 107 receives the pan / tilt zoom movement information from the pan / tilt zoom control unit 106 and transmits it to the image processing unit 102. Further, the system control unit 107 updates the zoom control information for controlling the lens drive unit 105 based on the lens information and the focal length information acquired by the lens information acquisition unit 109. In addition, the system control unit 107 instructs the image processing unit 102 to adjust the image quality. Further, the system control unit 107 instructs the pan / tilt zoom control unit 106 to perform the pan / tilt zoom operation.
続いて、クライアント装置２００の構成について説明する。クライアント装置２００は、例えば汎用的なパーソナルコンピュータ（ＰＣ）である。表示部２０１は、例えば液晶表示装置であり、ネットワークカメラ１００から取得した画像を表示したり、カメラ制御を行うためのグラフィックユーザーインターフェース（以下、ＧＵＩ）を表示したりする。入力部２０２は、例えばキーボード、マウスなどのポインティング・デバイスであり、ユーザは、入力部２０２を介してＧＵＩを操作することができる。 Subsequently, the configuration of the client device 200 will be described. The client device 200 is, for example, a general-purpose personal computer (PC). The display unit 201 is, for example, a liquid crystal display device, and displays an image acquired from the network camera 100, or displays a graphic user interface (hereinafter, GUI) for performing camera control. The input unit 202 is a pointing device such as a keyboard and a mouse, and the user can operate the GUI via the input unit 202.
システム制御部２０３は一連の処理に必要な情報を保存するためのメモリを有しており、ユーザのＧＵＩ操作に応じた設定コマンドやカメラ制御コマンド、撮像画像の要求コマンド等を生成し、通信部２０４を介してネットワークカメラ１００へ送信する。また、システム制御部２０３は、通信部２０４を介して受信したネットワークカメラ１００からの撮像画像も表示部２０１に表示する。さらに、システム制御部２０３は、後述する静止画保存領域に係る静止画をユーザのＧＵＩ操作に従って表示部２０１に表示する。このようにクライアント装置２００は、ネットワーク３００を介して、ネットワークカメラ１００で撮影した撮像画像を取得したり各種カメラ制御を行ったりすることができる。 The system control unit 203 has a memory for storing information necessary for a series of processes, generates setting commands, camera control commands, captured image request commands, etc. according to the user's GUI operation, and is a communication unit. It is transmitted to the network camera 100 via 204. In addition, the system control unit 203 also displays the captured image from the network camera 100 received via the communication unit 204 on the display unit 201. Further, the system control unit 203 displays the still image related to the still image storage area described later on the display unit 201 according to the GUI operation of the user. In this way, the client device 200 can acquire the captured image captured by the network camera 100 and perform various camera controls via the network 300.
次に、図３を参照して特定の被写体の追尾を行う方法について説明する。図３に示す撮像画像３０１は、撮像部１０１で撮影され、画像処理部１０２により生成された画像の一例であり、追尾対象である被写体３０２が撮像画像３０１中に映っている。また、撮像画像３０１において、画像処理部１０２によって画像解析され、被写体３０２が動体として認識されている。被写体認識領域３０３は、実際に被写体３０２を認識した領域を示している。図３に示す例では、被写体認識領域３０３は矩形の領域を示しているが、被写体認識領域の形状は特に矩形に限定しない。 Next, a method of tracking a specific subject will be described with reference to FIG. The captured image 301 shown in FIG. 3 is an example of an image captured by the imaging unit 101 and generated by the image processing unit 102, and the subject 302 to be tracked is reflected in the captured image 301. Further, in the captured image 301, the image processing unit 102 analyzes the image, and the subject 302 is recognized as a moving object. The subject recognition area 303 indicates an area in which the subject 302 is actually recognized. In the example shown in FIG. 3, the subject recognition area 303 shows a rectangular area, but the shape of the subject recognition area is not particularly limited to a rectangle.
図３に示す例では、被写体３０２が撮像画像３０１内の中央位置となるように追尾制御が行われているため、撮像画像３０１のほぼ中央付近に被写体３０２が映っている。また、追尾対象である被写体３０２が移動した場合は、ネットワークカメラ１００がその移動に追従できるよう、パンチルトズーム制御部１０６は、パン駆動部１０３、チルト駆動部１０４、およびレンズ駆動部１０５の制御を行う。 In the example shown in FIG. 3, since the tracking control is performed so that the subject 302 is at the center position in the captured image 301, the subject 302 is projected near the center of the captured image 301. Further, when the subject 302 to be tracked moves, the pan / tilt zoom control unit 106 controls the pan drive unit 103, the tilt drive unit 104, and the lens drive unit 105 so that the network camera 100 can follow the movement. Do.
図４はクライアント装置２００において表示される、静止画保存領域を指定するための表示画面の例を示す図である。図４に示す撮像画像４０１は、撮像部１０１で撮影され、画像処理部１０２により生成された画像の一例である。撮像画像４０１の中の静止画保存領域４０２は、静止画として保存する領域を表している。また、左端（Ｌｅ）４０３および右端（Ｒｅ）４０４は、それぞれ静止画保存領域４０２の左端および右端の座標を表している。 FIG. 4 is a diagram showing an example of a display screen for designating a still image storage area displayed on the client device 200. The captured image 401 shown in FIG. 4 is an example of an image taken by the imaging unit 101 and generated by the image processing unit 102. The still image storage area 402 in the captured image 401 represents an area to be stored as a still image. Further, the left end (Le) 403 and the right end (Re) 404 represent the coordinates of the left end and the right end of the still image storage area 402, respectively.
図５は、ネットワークカメラ１００において、クライアント装置２００から静止画保存領域を設定するための設定コマンドを受信した時の処理手順の一例を示すフローチャートである。なお、図５に示す処理は、特定の被写体の追尾が行われていない時に行うことが望ましい。 FIG. 5 is a flowchart showing an example of a processing procedure when the network camera 100 receives a setting command for setting the still image storage area from the client device 200. It is desirable that the process shown in FIG. 5 be performed when tracking of a specific subject is not performed.
まず、クライアント装置２００では、例えば図４に示す表示画面が表示されている状態で、視聴者が入力部２０２を介して静止画保存領域を指定する。これにより、システム制御部１０７は、指定された静止画保存領域の設定値を算出し、通信部２０４を介して静止画保存領域を設定するための設定コマンドとともに、静止画保存領域の設定値の情報をネットワークカメラ１００に送信する。 First, in the client device 200, for example, while the display screen shown in FIG. 4 is displayed, the viewer designates the still image storage area via the input unit 202. As a result, the system control unit 107 calculates the set value of the designated still image storage area, and together with the setting command for setting the still image storage area via the communication unit 204, sets the value of the still image storage area. Information is transmitted to the network camera 100.
ステップＳ５０１において、システム制御部１０７が、通信部１０８を介して、静止画保存領域を設定するための設定コマンドを受信することにより、処理を開始する。このとき、設定コマンドとともに、静止画保存領域の設定値の情報も受信する。そして、ステップＳ５０２において、システム制御部１０７は、パンチルトズーム制御部１０６から現在のパンチルトズーム移動情報を取得し、現在の映像領域を算出して座標情報を保持する。 In step S501, the system control unit 107 starts the process by receiving a setting command for setting the still image storage area via the communication unit 108. At this time, along with the setting command, information on the set value of the still image storage area is also received. Then, in step S502, the system control unit 107 acquires the current pan / tilt zoom movement information from the pan / tilt zoom control unit 106, calculates the current video area, and holds the coordinate information.
次に、ステップＳ５０３において、システム制御部１０７は、ステップＳ５０２で算出した現在の映像領域とクライアント装置２００から送信された静止画保存領域の設定値とを用いて静止画保存領域の座標（Ｒｅ及びＬｅ）を算出し、その座標情報を保持する。そして、処理を終了する。 Next, in step S503, the system control unit 107 uses the coordinates (Re and) of the still image storage area using the current video area calculated in step S502 and the set value of the still image storage area transmitted from the client device 200. Le) is calculated and the coordinate information is retained. Then, the process ends.
ここで、図５に示す処理によってシステム制御部１０７が保持する情報について図１０を参照しながら説明する。図１０において、情報１００１は、クライアント装置２００から受信した静止画保存領域の設定値の情報を表しており、ＸＹ座標で設定値が表させる。 Here, the information held by the system control unit 107 by the process shown in FIG. 5 will be described with reference to FIG. In FIG. 10, the information 1001 represents the information of the set value of the still image storage area received from the client device 200, and the set value is represented by the XY coordinates.
情報１００２は、現在の映像領域を示すものとして、パンチルトズーム制御部１０６から取得するパンチルトズーム移動情報を表している。パン駆動機構１１１の駆動端の一方を０°とした時のパン駆動機構１１１の角度、チルト駆動機構１１２の駆動端の一方を０°とした時のチルト駆動機構１１２の角度、およびレンズ駆動機構１１３の焦点距離から算出可能な画角を用いた球面座標系で表される。 The information 1002 represents the pan-tilt zoom movement information acquired from the pan-tilt zoom control unit 106 as indicating the current video area. The angle of the pan drive mechanism 111 when one of the drive ends of the pan drive mechanism 111 is 0 °, the angle of the tilt drive mechanism 112 when one of the drive ends of the tilt drive mechanism 112 is 0 °, and the lens drive mechanism. It is represented by a spherical coordinate system using an angle of view that can be calculated from the focal length of 113.
情報１００３は、静止画保存領域の座標（ＲｅおよびＬｅ）を表している。パン駆動機構１１１の駆動端の一方を０°とした時のパン駆動機構１１１の角度、チルト駆動機構１１２の駆動端の一方を０°とした時のチルト駆動機構１１２の角度、およびレンズ駆動機構１１３の焦点距離から算出可能な画角を用いた球面座標系で表される。 Information 1003 represents the coordinates (Re and Le) of the still image storage area. The angle of the pan drive mechanism 111 when one of the drive ends of the pan drive mechanism 111 is 0 °, the angle of the tilt drive mechanism 112 when one of the drive ends of the tilt drive mechanism 112 is 0 °, and the lens drive mechanism. It is represented by a spherical coordinate system using an angle of view that can be calculated from the focal length of 113.
続いて、追尾対象である被写体が移動したことに伴って、静止画保存領域の保存処理を開始する例について説明する。 Subsequently, an example of starting the saving process of the still image storage area when the subject to be tracked moves will be described.
図６（ａ）に示した撮像画像６０１では、被写体３０２が中心に位置しているが、静止画保存領域４０２は、全体が表示されずに右端が切れた状態となっている。この状態から被写体３０２が矢印６０２の方向に移動すると、ネットワークカメラ１００は、被写体３０２の移動に合わせてパンチルトズーム制御部１０６の制御によって被写体の追尾を行う。図６（ｂ）に示した撮像画像６１１は、被写体３０２の追尾に従って撮影された画像であり、この状態になると、静止画保存領域４０２の右端も撮像画像６１１に含まれるようになる。撮像画像内に静止画保存領域の左端および右端の両方が含まれると、以下の静止画を保存するための処理が開始される。 In the captured image 601 shown in FIG. 6A, the subject 302 is located at the center, but the still image storage area 402 is not entirely displayed and the right end is cut off. When the subject 302 moves in the direction of the arrow 602 from this state, the network camera 100 tracks the subject under the control of the pan / tilt zoom control unit 106 in accordance with the movement of the subject 302. The captured image 611 shown in FIG. 6B is an image taken according to the tracking of the subject 302, and in this state, the right end of the still image storage area 402 is also included in the captured image 611. When both the left end and the right end of the still image storage area are included in the captured image, the process for storing the following still image is started.
図７は、被写体が移動して撮像画像内に静止画保存領域の左端および右端の両方が含まれる状態となった場合の、ネットワークカメラ１００が静止画を保存するための処理を開始する処理手順の一例を示すフローチャートである。
ステップＳ７０１において、画像処理部１０２が追尾対象となる被写体が移動したことを検知することにより、処理を開始する。そして、ステップＳ７０２において、システム制御部１０７は、現在のネットワークカメラ１００のパンチルトズーム移動情報をパンチルトズーム制御部１０６から取得し、現在の映像領域を算出する。
FIG. 7 shows a processing procedure in which the network camera 100 starts a process for saving a still image when the subject moves and the captured image includes both the left end and the right end of the still image storage area. It is a flowchart which shows an example.
In step S701, the image processing unit 102 starts the process by detecting that the subject to be tracked has moved. Then, in step S702, the system control unit 107 acquires the pan / tilt zoom movement information of the current network camera 100 from the pan / tilt zoom control unit 106, and calculates the current video area.
ステップＳ７０３において、システム制御部１０７は、追尾対象である被写体の移動に追従するために必要なパン／チルトの移動量を計算する。そして、ステップＳ７０４において、システム制御部１０７は、ステップＳ７０２で算出した現在の映像領域と、ステップＳ７０３で算出したパン／チルトの移動量とから、パン／チルトの移動を実行した後の映像領域の座標を計算する。この時点ではまだパン／チルトの移動は行われない。 In step S703, the system control unit 107 calculates the amount of pan / tilt movement required to follow the movement of the subject to be tracked. Then, in step S704, the system control unit 107 determines the video area after the pan / tilt movement is executed from the current video area calculated in step S702 and the pan / tilt movement amount calculated in step S703. Calculate the coordinates. At this point, the pan / tilt movement has not yet been performed.
ステップＳ７０５において、システム制御部１０７は、図５のステップＳ５０３で保持した静止画保存領域の座標（ＲｅおよびＬｅ）を取得する。そして、ステップＳ７０６において、システム制御部１０７は、ステップＳ７０４で算出したパン／チルトの移動を実行した後の映像領域の座標と、ステップＳ７０５で取得した静止画保存領域の座標（ＲｅおよびＬｅ）とを比較する。その結果、移動後の映像領域に静止画保存領域の座標Ｒｅ、Ｌｅの両方が含まれるか否かを判定する。本実施形態では、静止画保存領域の座標Ｒｅ、Ｌｅの両方が移動後の映像領域に含まれている場合は、映像領域に静止画保存領域の全体が含まれているものとみなす。この判定の結果、移動後の映像領域にＲｅおよびＬｅの両方が含まれる場合は、ステップＳ７０７に進む。 In step S705, the system control unit 107 acquires the coordinates (Re and Le) of the still image storage area held in step S503 of FIG. Then, in step S706, the system control unit 107 determines the coordinates of the video area after executing the pan / tilt movement calculated in step S704 and the coordinates (Re and Le) of the still image storage area acquired in step S705. To compare. As a result, it is determined whether or not both the coordinates Re and Le of the still image storage area are included in the moved image area. In the present embodiment, when both the coordinates Re and Le of the still image storage area are included in the moved video area, it is considered that the entire still image storage area is included in the video area. As a result of this determination, if both Re and Le are included in the moved video area, the process proceeds to step S707.
ステップＳ７０７において、システム制御部１０７は、静止画保存領域を保存するための処理を開始する。なお、この段階ではまだ静止画保存領域の画像の保存は行わず、保存を行う準備の段階に移行するのみである。この静止画保存領域を保存するための処理については、図８および図９を用いて後述する。一方、ステップＳ７０６の判定の結果、移動後の映像領域に静止画保存領域の座標ＲｅまたはＬｅのいずれかが含まれない場合には、ステップＳ７０８に進む。 In step S707, the system control unit 107 starts a process for saving the still image storage area. At this stage, the image in the still image storage area is not saved yet, and only the stage of preparation for saving is started. The process for storing the still image storage area will be described later with reference to FIGS. 8 and 9. On the other hand, as a result of the determination in step S706, if the moved image area does not include either the coordinates Re or Le of the still image storage area, the process proceeds to step S708.
ステップＳ７０８においては、ステップＳ７０３で算出した、被写体を追従するためのパン／チルトの移動量で移動するよう、システム制御部１０７がパンチルトズーム制御部１０６に指示を送る。そして、パンチルトズーム制御部１０６は、パン駆動部１０３およびチルト駆動部１０４を制御し、パン／チルトの移動を実行して処理を終了する。 In step S708, the system control unit 107 sends an instruction to the pan / tilt zoom control unit 106 to move with the pan / tilt movement amount for following the subject calculated in step S703. Then, the pan / tilt zoom control unit 106 controls the pan drive unit 103 and the tilt drive unit 104, executes the pan / tilt movement, and ends the process.
ステップＳ７０６でＮｏの場合には、図７の処理終了後に、追尾対象となる被写体が移動したことを検知すると、再び図７の処理を開始する。一方、ステップＳ７０６でＹｅｓの場合には、図７の処理終了後に追尾対象となる被写体が移動したことを検知すると、静止画保存領域の画像の保存を行う準備の段階に移行するため、後述する図９の処理を開始することになる。 If No in step S706, when it is detected that the subject to be tracked has moved after the processing of FIG. 7 is completed, the processing of FIG. 7 is started again. On the other hand, in the case of Yes in step S706, when it is detected that the subject to be tracked has moved after the processing of FIG. 7 is completed, the stage shifts to the stage of preparing to save the image in the still image storage area, which will be described later. The process of FIG. 9 will be started.
次に、追尾対象である被写体の移動に伴ってネットワークカメラが追尾することで、静止画保存領域の一部が画角外になった場合の処理について、図８を参照しながら説明する。 Next, a process when a part of the still image storage area is out of the angle of view due to tracking by the network camera as the subject to be tracked moves will be described with reference to FIG.
図８（ａ）に示した撮像画像８０１では、被写体３０２が中心に位置しており、さらに静止画保存領域４０２の全体が撮像画像８０１内に含まれる状態になっている。この状態から被写体３０２が矢印８０２の方向に移動すると、ネットワークカメラ１００は、被写体３０２の移動に合わせてパンチルトズーム制御部１０６の制御によって被写体の追尾を行う。図８（ｂ）に示した撮像画像８１１は、被写体３０２の追尾に従って撮影された画像であり、この状態になると、静止画保存領域４０２の右端（Ｒｅ）４０４が撮像画像８１１に含まれなくなる。このように撮像画像内から静止画保存領域の左端もしくは右端が含まれなくなる状態になるような場合は、静止画保存領域を静止画として保存する処理が実行される。 In the captured image 801 shown in FIG. 8A, the subject 302 is located at the center, and the entire still image storage area 402 is included in the captured image 801. When the subject 302 moves in the direction of the arrow 802 from this state, the network camera 100 tracks the subject under the control of the pan / tilt zoom control unit 106 in accordance with the movement of the subject 302. The captured image 811 shown in FIG. 8B is an image taken according to the tracking of the subject 302, and in this state, the right end (Re) 404 of the still image storage area 402 is not included in the captured image 811. When the left end or the right end of the still image storage area is not included in the captured image in this way, the process of saving the still image storage area as a still image is executed.
図９は、被写体が移動して静止画保存領域の一部が画角外になることを検知して、ネットワークカメラが静止画の保存を実行するための処理手順の一例を示すフローチャートである。図９のステップＳ９０１からステップＳ９０５の処理については、それぞれ図７のステップＳ７０１からステップＳ７０５の処理と同等であるため、説明を省略する。 FIG. 9 is a flowchart showing an example of a processing procedure for the network camera to save a still image by detecting that the subject moves and a part of the still image storage area is out of the angle of view. Since the processes of steps S901 to S905 of FIG. 9 are the same as the processes of steps S701 to S705 of FIG. 7, the description thereof will be omitted.
ステップＳ９０６においては、システム制御部１０７は、ステップＳ９０４で算出したパン／チルトの移動を実行した後の映像領域の座標と、ステップＳ９０５で取得した静止画保存領域の座標（ＲｅおよびＬｅ）とを比較する。そして、移動後の映像領域から静止画保存領域の座標ＲｅまたはＬｅのいずれかが外れるか否かを判定する。この判定の結果、移動後の映像領域から静止画保存領域の座標ＲｅもしくはＬｅが外れる場合は、ステップＳ９０７に進む。 In step S906, the system control unit 107 obtains the coordinates of the video area after executing the pan / tilt movement calculated in step S904 and the coordinates (Re and Le) of the still image storage area acquired in step S905. Compare. Then, it is determined whether or not any of the coordinates Re or Le of the still image storage area deviates from the moved image area. As a result of this determination, if the coordinates Re or Le of the still image storage area deviate from the moved image area, the process proceeds to step S907.
そして、ステップＳ９０７において、静止画保存領域を保存する一連の処理を行う。具体的には、画像処理部１０２は、ステップＳ９０５で取得した静止画保存領域の座標（ＲｅおよびＬｅ）に基づいて撮像画像から静止画保存領域を切り出し、システム制御部１０７は、切り出した静止画保存領域を静止画として保存する。この時、システム制御部１０７は、通信部１０８を介して、静止画保存領域の静止画データおよび静止画保存領域を保存した旨をクライアント装置２００へ送信する。一方、ステップＳ９０６の判定の結果、移動後の映像領域から静止画保存領域の座標Ｒｅ、Ｌｅのいずれも外れない場合には、ステップＳ９０８に進む。 Then, in step S907, a series of processes for saving the still image storage area is performed. Specifically, the image processing unit 102 cuts out the still image storage area from the captured image based on the coordinates (Re and Le) of the still image storage area acquired in step S905, and the system control unit 107 cuts out the cut out still image. Save the save area as a still image. At this time, the system control unit 107 transmits to the client device 200 via the communication unit 108 that the still image data in the still image storage area and the still image storage area have been stored. On the other hand, as a result of the determination in step S906, if neither the coordinates Re or Le of the still image storage area deviate from the moved image area, the process proceeds to step S908.
ステップＳ９０８においては、ステップＳ９０３で算出した、被写体を追従するためのパン／チルトの移動量で移動するよう、システム制御部１０７がパンチルトズーム制御部１０６に指示を送る。そして、パンチルトズーム制御部１０６は、パン駆動部１０３およびチルト駆動部１０４を制御し、パン／チルトの移動を実行して処理を終了する。 In step S908, the system control unit 107 sends an instruction to the pan / tilt zoom control unit 106 to move with the pan / tilt movement amount for following the subject calculated in step S903. Then, the pan / tilt zoom control unit 106 controls the pan drive unit 103 and the tilt drive unit 104, executes the pan / tilt movement, and ends the process.
ステップＳ９０６でＮｏの場合には、図９の処理終了後に、追尾対象となる被写体が移動したことを検知すると、再び図９の処理を開始する。一方、ステップＳ９０６でＹｅｓの場合には、図９の処理終了後に追尾対象となる被写体が移動したことを検知すると、静止画保存領域の画像の保存を行うことができなくなるため、再び図７の処理を開始することになる。 If No in step S906, when it is detected that the subject to be tracked has moved after the process of FIG. 9 is completed, the process of FIG. 9 is started again. On the other hand, in the case of Yes in step S906, if it is detected that the subject to be tracked has moved after the processing of FIG. 9 is completed, the image in the still image storage area cannot be saved. The process will start.
図８（ｂ）に示すように、静止画保存領域の一部が画角外になると、クライアント装置２００のシステム制御部２０３は、通信部２０４を介して静止画保存領域の静止画データおよび静止画保存領域を保存した旨を受信する。そして、クライアント装置２００において、撮像画像８１１に静止画ボタン８１２が重畳表示される。静止画ボタン８１２は、ステップＳ９０７において静止画保存領域を保存した場合に表示されるボタンであり、静止画ボタン８１２が選択されると、システム制御部２０３は受信した静止画保存領域の静止画を表示部２０１に表示する。このように、視聴者は配信される映像の中に表示される静止画ボタンを選択して静止画の内容を確認することが可能となる。 As shown in FIG. 8B, when a part of the still image storage area is out of the angle of view, the system control unit 203 of the client device 200 transmits the still image data and the still image of the still image storage area via the communication unit 204. Receives the fact that the image storage area has been saved. Then, in the client device 200, the still image button 812 is superimposed and displayed on the captured image 811. The still image button 812 is a button displayed when the still image storage area is saved in step S907. When the still image button 812 is selected, the system control unit 203 displays the received still image in the still image storage area. It is displayed on the display unit 201. In this way, the viewer can select the still image button displayed in the delivered video and check the content of the still image.
なお、図９に示した処理では、静止画保存領域の一部が移動後の映像領域から外れる直前で、静止画を保存している例を示したが、静止画保存領域を保存するタイミングはこれに限らない。例えば、ステップＳ９０６の判定でＮｏの場合であっても、定期的に静止画保存領域を保存し、複数の静止画を保存するようにしてもよい。この場合には、パン／チルトの移動を実行した後に保存してもよい。 In the process shown in FIG. 9, an example is shown in which the still image is saved immediately before a part of the still image storage area is removed from the moved image area, but the timing for saving the still image storage area is Not limited to this. For example, even if the determination in step S906 is No, the still image storage area may be periodically saved and a plurality of still images may be saved. In this case, the pan / tilt movement may be executed and then saved.
以上のように本実施形態によれば、特定の被写体を追尾してネットワークカメラがパン／チルトを実行して特定の領域（黒板やホワイトボードのような板書領域など）が画角から外れる前に、特定の領域を静止画として保存するようにした。これにより、特定の領域を撮影するためのカメラを別途設ける必要はなく、配信される映像から特定の領域が外れても、その領域を閲覧することが可能になる。 As described above, according to the present embodiment, before the network camera performs pan / tilt by tracking a specific subject and the specific area (such as a blackboard area such as a blackboard or a whiteboard) deviates from the angle of view. , Changed to save a specific area as a still image. As a result, it is not necessary to separately provide a camera for shooting a specific area, and even if the specific area deviates from the delivered video, the area can be browsed.
（第２の実施形態）
本発明の第２の実施形態では、複数のネットワークカメラを利用したシステムで、ネットワークカメラを切り替えて撮像画像を配信する切替システムについて説明する。なお、第１の実施形態と重複する部分については説明を省略し、第１の実施形態と異なる部分についてのみ説明する。
(Second Embodiment)
In the second embodiment of the present invention, a switching system for switching network cameras and distributing captured images in a system using a plurality of network cameras will be described. The description of the portion overlapping with the first embodiment will be omitted, and only the portion different from the first embodiment will be described.
本実施形態では、複数のネットワークカメラを利用し、追尾対象である被写体の動きに応じて配信する撮像画像を切り替える。本実施形態では、クライアント装置２００側で被写体の動きに応じて配信する撮像画像を切り替える例について説明するが、これに限らない。例えば、配信する撮像画像の切り替えをネットワークカメラ同士が連携して行ってもよい。 In the present embodiment, a plurality of network cameras are used to switch the captured image to be delivered according to the movement of the subject to be tracked. In the present embodiment, an example of switching the captured image to be delivered according to the movement of the subject on the client device 200 side will be described, but the present invention is not limited to this. For example, the network cameras may cooperate with each other to switch the captured images to be distributed.
まず、図１１を参照しながら、追尾対象である被写体の動きに応じて配信する撮像画像を切り替える場合の、被写体の位置とネットワークカメラとの関係を説明する。図１１の被写体検知領域１１０１、１１０２は、それぞれネットワークカメラ１００、１１０が追尾対象である被写体の動体検知を行う範囲を示している。つまり、被写体が被写体検知領域１１０１の範囲内に入った場合は、ネットワークカメラ１００の撮像画像を配信する。一方、被写体が被写体検知領域１１０２の範囲内に入った場合は、ネットワークカメラ１１０の撮像画像を配信する。 First, with reference to FIG. 11, the relationship between the position of the subject and the network camera when the captured image to be distributed is switched according to the movement of the subject to be tracked will be described. The subject detection areas 1101 and 1102 in FIG. 11 indicate the ranges in which the network cameras 100 and 110 detect the moving object of the subject to be tracked, respectively. That is, when the subject falls within the range of the subject detection area 1101, the captured image of the network camera 100 is distributed. On the other hand, when the subject is within the range of the subject detection area 1102, the captured image of the network camera 110 is distributed.
次に、図１２および図１３を用いて、追尾対象である被写体が移動したことに伴って、静止画保存領域の保存処理を開始する例について説明する。 Next, an example of starting the saving process of the still image storage area when the subject to be tracked moves with reference to FIGS. 12 and 13 will be described.
本実施形態では、被写体検知領域内で被写体を検知した時に、その被写体検知領域に対応したネットワークカメラで撮影した撮像画像を配信する。例えば、図１２に示す状態から、追尾対象である被写体３０２が矢印１２０１の方向に動き、被写体検知領域１１０１から被写体検知領域１１０２に被写体が移動するものとする。この場合、配信される撮像画像は、ネットワークカメラ１００の撮像画像から、ネットワークカメラ１１０の撮像画像に切り替わる。 In the present embodiment, when a subject is detected in the subject detection area, an captured image taken by a network camera corresponding to the subject detection area is distributed. For example, from the state shown in FIG. 12, it is assumed that the subject 302 to be tracked moves in the direction of the arrow 1201 and the subject moves from the subject detection area 1101 to the subject detection area 1102. In this case, the captured image to be delivered is switched from the captured image of the network camera 100 to the captured image of the network camera 110.
なお、第１の実施形態では、追尾対象である被写体が中央の位置になるようにネットワークカメラでパン／チルトの移動が行われるが、本実施形態では、撮影範囲が固定されている。また、それぞれのネットワークカメラの画角は、それぞれの被写体検知領域よりも広い範囲となっており、撮影範囲の一部が重なっているものとする。 In the first embodiment, the pan / tilt movement is performed by the network camera so that the subject to be tracked is at the center position, but in the present embodiment, the shooting range is fixed. Further, it is assumed that the angle of view of each network camera is wider than the respective subject detection areas, and a part of the shooting range overlaps.
図１３（ａ）は、ネットワークカメラ１００で撮影した撮像画像１３０１の例を示す図であり、図１３（ｂ）は、ネットワークカメラ１１０で撮影した撮像画像１３０２の例を示す図である。追尾対象である被写体３０２が図１２の被写体検知領域１１０１に含まれている場合は、図１３（ａ）に示す撮像画像１３０１が配信され、被写体３０２が図１２の被写体検知領域１１０２に移動すると、図１３（ｂ）に示す撮像画像１３０２が配信される。なお、図１３に示した例では、被写体検知領域と撮像画像の画角が略同じであり、撮影範囲が重複していないが、被写体検知領域に比べて画角を大きくし、撮影範囲の一部が重複するようにしてもよい。 FIG. 13A is a diagram showing an example of the captured image 1301 taken by the network camera 100, and FIG. 13B is a diagram showing an example of the captured image 1302 taken by the network camera 110. When the subject 302 to be tracked is included in the subject detection area 1101 of FIG. 12, the captured image 1301 shown in FIG. 13A is delivered, and when the subject 302 moves to the subject detection area 1102 of FIG. The captured image 1302 shown in FIG. 13B is delivered. In the example shown in FIG. 13, the angle of view of the subject detection area and the captured image are substantially the same, and the shooting ranges do not overlap, but the angle of view is made larger than that of the subject detection area, which is one of the shooting ranges. The parts may overlap.
図１４は、静止画保存領域が含まれる撮像画像内に被写体が移動して、クライアント装置２００が静止画を保存するための処理の開始を指示する処理手順の一例を示すフローチャートである。本実施形態では、ネットワークカメラ側で追尾対象の被写体が動いたことを検知すると、その旨がクライアント装置２００へ送信されるものとする。また、クライアント装置２００は、各ネットワークカメラの被写体検知領域の情報を予め保持しているものとする。
ステップＳ１４０１において、ネットワークカメラが追尾対象である被写体の動きを検知し、検知したネットワークカメラからその旨が通知されると、処理を開始する。
FIG. 14 is a flowchart showing an example of a processing procedure in which the subject moves into the captured image including the still image storage area and the client device 200 instructs the start of the process for storing the still image. In the present embodiment, when the network camera detects that the subject to be tracked has moved, that fact is transmitted to the client device 200. Further, it is assumed that the client device 200 holds information on the subject detection area of each network camera in advance.
In step S1401, the network camera detects the movement of the subject to be tracked, and when the detected network camera notifies that fact, the process is started.
まず、ステップＳ１４０２において、システム制御部２０３は、配信されている撮像画像を解析し、追尾対象である被写体の移動により撮像画像を配信していたネットワークカメラの被写体検知領域の外側へ被写体が移動したか否かを判定する。この判定の結果、被写体検知領域の外側へ被写体が移動していない場合は処理を終了する。 First, in step S1402, the system control unit 203 analyzes the captured image being delivered, and the subject moves to the outside of the subject detection area of the network camera that has delivered the captured image due to the movement of the subject to be tracked. Judge whether or not. As a result of this determination, if the subject has not moved to the outside of the subject detection area, the process ends.
一方、ステップＳ１４０２の判定の結果、被写体検知領域の外側へ被写体が移動した場合には、ステップＳ１４０３に進む。そして、ステップＳ１４０３において、システム制御部２０３は、他のネットワークカメラから撮像画像を取得し、どのネットワークカメラの撮像画像に被写体が含まれるか判別する。そして、静止画保存領域の全体が含まれる撮像画像内に被写体が移動したか否かを判定する。この判定の結果、静止画保存領域の全体が含まれる撮像画像内に被写体が移動した場合は、ステップＳ１４０４に進む。一方、静止画保存領域の全体が含まれていない撮像画像内に被写体が移動した場合は、ステップＳ１４０５に進む。 On the other hand, if the subject moves to the outside of the subject detection area as a result of the determination in step S1402, the process proceeds to step S1403. Then, in step S1403, the system control unit 203 acquires the captured image from another network camera and determines which network camera the captured image includes the subject. Then, it is determined whether or not the subject has moved within the captured image including the entire still image storage area. As a result of this determination, if the subject moves within the captured image including the entire still image storage area, the process proceeds to step S1404. On the other hand, if the subject moves within the captured image that does not include the entire still image storage area, the process proceeds to step S1405.
ステップＳ１４０４においては、システム制御部２０３は、静止画保存領域が含まれる撮像画像を配信するネットワークカメラに対して、静止画保存領域を保存するための処理の開始を指示する。そして、ステップＳ１４０５において、システム制御部２０３は、被写体検知領域に被写体が含まれようになったネットワークカメラに対して、撮像画像を配信する要求コマンドを送信する。そして、システム制御部２０３は、直近まで撮像画像を配信していたネットワークカメラに対して、撮像画像の配信を停止する要求コマンドを送信する。これにより配信する撮像画像が切り替わり、処理を終了する。 In step S1404, the system control unit 203 instructs the network camera that distributes the captured image including the still image storage area to start the process for storing the still image storage area. Then, in step S1405, the system control unit 203 transmits a request command for delivering the captured image to the network camera in which the subject is included in the subject detection area. Then, the system control unit 203 transmits a request command for stopping the distribution of the captured image to the network camera that has delivered the captured image until the latest. As a result, the captured image to be delivered is switched, and the process is completed.
ステップＳ１４０２でＮｏの場合またはステップＳ１４０３でＮｏの場合には、図１４の処理終了後に、追尾対象となる被写体が移動したことを検知すると、再び図１４の処理を開始する。一方、ステップＳ１４０３でＹｅｓの場合には、図１４の処理終了後に追尾対象となる被写体が移動したことを検知すると、静止画保存領域の画像の保存を行う準備の段階に移行するため、後述する図１６の処理を開始することになる。 In the case of No in step S1402 or No in step S1403, when it is detected that the subject to be tracked has moved after the processing of FIG. 14 is completed, the processing of FIG. 14 is started again. On the other hand, in the case of Yes in step S1403, when it is detected that the subject to be tracked has moved after the processing of FIG. 14 is completed, the stage shifts to the stage of preparing to save the image in the still image storage area, which will be described later. The process of FIG. 16 will be started.
次に、静止画保存領域の全体を含まない撮像画像に被写体が移動した場合の処理について、図１５を参照しながら説明する。 Next, the process when the subject moves to the captured image that does not include the entire still image storage area will be described with reference to FIG.
図１５に示す状態では、被写体３０２は、ネットワークカメラ１１０の画角内の被写体検知領域１１０２に含まれている。この状態から被写体３０２が矢印１５０１の方向へ、被写体検知領域１１０２から被写体検知領域１１０１に移動すると、配信される撮像画像が、ネットワークカメラ１１０の撮像画像から、ネットワークカメラ１００の撮像画像に切り替わる。この状態になると、配信される撮像画像には、静止画保存領域４０２が含まれなくなる。このように撮像画像に静止画保存領域４０２の少なくとも一部が含まれなくなる状態になるような場合は、静止画保存領域を静止画として保存する処理が実行される。 In the state shown in FIG. 15, the subject 302 is included in the subject detection area 1102 within the angle of view of the network camera 110. When the subject 302 moves from the subject detection area 1102 to the subject detection area 1101 in the direction of the arrow 1501 from this state, the captured image to be delivered is switched from the captured image of the network camera 110 to the captured image of the network camera 100. In this state, the captured image to be delivered does not include the still image storage area 402. When the captured image does not include at least a part of the still image storage area 402 in this way, the process of saving the still image storage area as a still image is executed.
但し、被写体検知領域に比べて画角が非常に大きい場合には、被写体検知領域１１０１に被写体３０２が移動したとしても、ネットワークカメラ１００の画角に静止画保存領域４０２の全体が含まれている場合もある。このような場合には、配信される撮像画像が切り替わったとしても、静止画保存領域４０２の全体が撮像画像に含まれたままとなるため、この段階では静止画保存領域を静止画として保存する必要はない。 However, when the angle of view is much larger than the subject detection area, even if the subject 302 moves to the subject detection area 1101, the angle of view of the network camera 100 includes the entire still image storage area 402. In some cases. In such a case, even if the captured image to be delivered is switched, the entire still image storage area 402 is still included in the captured image. Therefore, at this stage, the still image storage area is saved as a still image. There is no need.
図１６は、被写体が移動することによって静止画保存領域の少なくとも一部が含まれない撮像画像へ配信する撮像画像が切り替える場合のクライアント装置２００の静止画を保存するための処理手順の一例を示すフローチャートである。図１６のステップＳ１６０１およびステップＳ１６０２の処理については、それぞれ図１４のステップＳ１４０１およびステップＳ１４０２の処理と同等であるため、説明を省略する。 FIG. 16 shows an example of a processing procedure for saving a still image of the client device 200 when the captured image to be delivered to the captured image that does not include at least a part of the still image storage area is switched due to the movement of the subject. It is a flowchart. The processing of step S1601 and step S1602 of FIG. 16 is the same as the processing of step S1401 and step S1402 of FIG. 14, respectively, and thus the description thereof will be omitted.
ステップＳ１６０３において、システム制御部２０３は、他のネットワークカメラから撮像画像を取得し、どのネットワークカメラの撮像画像に被写体が含まれるか判別する。そして、システム制御部２０３は、被写体が含まれるようになった撮像画像に静止画保存領域の少なくとも一部が含まれなくなるか否かを判定する。前述したように、配信する撮像画像が切り替わったとしても、静止画保存領域の全体が含まれているような場合には、静止画保存領域を保存する必要がない。つまり、この判定の結果、被写体が含まれるようになった撮像画像に静止画保存領域の全体が含まれている場合には、ステップＳ１６０５に進む。一方、被写体が含まれるようになった撮像画像に静止画保存領域の少なくとも一部が含まれなくなる場合は、ステップＳ１６０４に進む。 In step S1603, the system control unit 203 acquires an captured image from another network camera and determines which network camera's captured image includes the subject. Then, the system control unit 203 determines whether or not at least a part of the still image storage area is not included in the captured image in which the subject is included. As described above, even if the captured image to be delivered is switched, it is not necessary to save the still image storage area if the entire still image storage area is included. That is, as a result of this determination, if the captured image that includes the subject includes the entire still image storage area, the process proceeds to step S1605. On the other hand, if at least a part of the still image storage area is not included in the captured image that includes the subject, the process proceeds to step S1604.
ステップＳ１６０４においては、システム制御部２０３は、静止画保存領域の全体が含まれる撮像画像を配信していたネットワークカメラに対して、静止画保存領域を保存する指示を送る。この指示を受けてネットワークカメラでは、静止画保存領域を保存する一連の処理を行う。具体的には、画像処理部１０２は、第１の実施形態と同様の手順により静止画保存領域の座標（ＲｅおよびＬｅ）に基づいて撮像画像から静止画保存領域を切り出し、システム制御部１０７は、切り出した静止画保存領域を静止画として保存する。この時、システム制御部１０７は、通信部１０８を介して、静止画保存領域の静止画データおよび静止画保存領域を保存した旨をクライアント装置２００へ送信する。 In step S1604, the system control unit 203 sends an instruction to save the still image storage area to the network camera that has delivered the captured image including the entire still image storage area. In response to this instruction, the network camera performs a series of processes for saving the still image storage area. Specifically, the image processing unit 102 cuts out the still image storage area from the captured image based on the coordinates (Re and Le) of the still image storage area according to the same procedure as in the first embodiment, and the system control unit 107 sets out the still image storage area. , Save the cut out still image storage area as a still image. At this time, the system control unit 107 transmits to the client device 200 via the communication unit 108 that the still image data in the still image storage area and the still image storage area have been stored.
次に、ステップＳ１６０５において、システム制御部２０３は、被写体検知領域に被写体が含まれようになったネットワークカメラに対して、撮像画像を配信する要求コマンドを送信する。さらに、システム制御部２０３は、直近まで撮像画像を配信していたネットワークカメラに対して、撮像画像の配信を停止する要求コマンドを送信する。これにより配信する撮像画像が切り替わり、処理を終了する。 Next, in step S1605, the system control unit 203 transmits a request command for distributing the captured image to the network camera in which the subject is included in the subject detection area. Further, the system control unit 203 transmits a request command for stopping the distribution of the captured image to the network camera that has delivered the captured image until the latest. As a result, the captured image to be delivered is switched, and the process is completed.
ステップＳ１６０２またはステップＳ１６０３でＮｏの場合には、図１６の処理終了後に、追尾対象となる被写体が移動したことを検知すると、再び図１６の処理を開始する。一方、ステップＳ１６０３でＹｅｓの場合には、図１６の処理終了後に追尾対象となる被写体が移動したことを検知すると、静止画保存領域の画像の保存を行うことができなくなるため、再び図１４の処理を開始することになる。 In the case of No in step S1602 or step S1603, when it is detected that the subject to be tracked has moved after the processing of FIG. 16 is completed, the processing of FIG. 16 is started again. On the other hand, in the case of Yes in step S1603, if it is detected that the subject to be tracked has moved after the processing of FIG. 16 is completed, the image in the still image storage area cannot be saved. The process will start.
なお、図１６に示した処理では、静止画保存領域の全体を含まない撮像画像に切り替わる直前で、静止画を保存している例を示したが、静止画保存領域を保存するタイミングはこれに限らない。例えば、ステップＳ１６０２の判定でＮｏの場合であっても、定期的に静止画保存領域の静止画を保存し、複数の静止画を保存するようにしてもよい。 In the process shown in FIG. 16, an example in which the still image is saved immediately before switching to the captured image that does not include the entire still image storage area is shown, but the timing for saving the still image storage area is this. Not exclusively. For example, even if the determination in step S1602 is No, the still images in the still image storage area may be periodically saved, and a plurality of still images may be saved.
以上のように本実施形態によれば、特定の被写体を追尾して特定の領域（黒板やホワイトボードのような板書領域など）の少なくとも一部が含まれない撮像画像に切り替わる前に、特定の領域を静止画として保存するようにした。これにより、特定の領域を撮影するためのカメラを別途設ける必要はなく、配信される映像から特定の領域が外れても、その領域を閲覧することが可能になる。 As described above, according to the present embodiment, a specific subject is tracked and before switching to a captured image that does not include at least a part of a specific area (such as a blackboard area such as a blackboard or a whiteboard). The area is saved as a still image. As a result, it is not necessary to separately provide a camera for shooting a specific area, and even if the specific area deviates from the delivered video, the area can be browsed.
（第３の実施形態）
静止画保存領域を静止画で保存する際に、静止画保存領域と追尾対象となる被写体と重なった状態で保存してしまうと、黒板やホワイトボードの文字など見えない部分ができてしまう。そこで、本実施形態では、静止画保存領域から被写体が外れてから静止画保存領域の静止画を保存する例について説明する。なお、本実施形態では、第１の実施形態と同様に、ネットワークカメラ１００がパン／チルト制御によって被写体を追尾する例について説明する。以下、第１の実施形態と異なる部分についてのみ説明する。
(Third Embodiment)
When saving the still image storage area as a still image, if the still image storage area and the subject to be tracked are saved in an overlapping state, invisible parts such as characters on the blackboard or whiteboard will be created. Therefore, in the present embodiment, an example of saving the still image in the still image storage area after the subject is removed from the still image storage area will be described. In this embodiment, as in the first embodiment, an example in which the network camera 100 tracks a subject by pan / tilt control will be described. Hereinafter, only the parts different from the first embodiment will be described.
図１７は、本実施形態において、静止画保存領域の静止画を保存するタイミングを説明するための図である。図１７（ａ）に示した撮像画像１７０１では、被写体３０２が中心に位置しており、さらに静止画保存領域４０２の全体が撮像画像１７０１内に含まれる状態になっている。また、被写体３０２が静止画保存領域４０２と重なった状態となっている。この状態から、被写体３０２が矢印１７０２の方向に移動すると、ネットワークカメラ１００は、被写体３０２の移動に合わせてパンチルトズーム制御部１０６の制御によって被写体の追尾を行う。 FIG. 17 is a diagram for explaining the timing of storing a still image in the still image storage area in the present embodiment. In the captured image 1701 shown in FIG. 17A, the subject 302 is located at the center, and the entire still image storage area 402 is included in the captured image 1701. Further, the subject 302 is in a state of overlapping with the still image storage area 402. When the subject 302 moves in the direction of the arrow 1702 from this state, the network camera 100 tracks the subject under the control of the pan / tilt zoom control unit 106 in accordance with the movement of the subject 302.
図１７（ｂ）に示した撮像画像１７１１は、被写体３０２の追尾に従って撮影された画像であり、この状態になると、静止画保存領域４０２の右端（Ｒｅ）４０４が撮像画像１７１１に含まれなくなる。また、被写体３０２が静止画保存領域４０２とまだ重なっている状態となっている。この状態で、静止画保存領域を静止画として保存してしまうと、被写体３０２が静止画保存領域４０２と重なっている部分が見えなくなってしまう。 The captured image 1711 shown in FIG. 17B is an image taken according to the tracking of the subject 302, and in this state, the right end (Re) 404 of the still image storage area 402 is not included in the captured image 1711. Further, the subject 302 is still in a state of overlapping with the still image storage area 402. If the still image storage area is saved as a still image in this state, the portion where the subject 302 overlaps with the still image storage area 402 cannot be seen.
そこで本実施形態では、図１７（ｂ）に示した状態からさらに被写体３０２が矢印１７１２の方向に移動し、図１７（ｃ）に示すように、静止画保存領域４０２から完全に抜けた状態で静止画保存領域４０２の静止画を保存するようにする。このとき、静止画保存領域４０２の保存が終了するまで、被写体の追尾を中断し、その間パン／チルト制御を行わないようにする。図１７（ｂ）の撮像画像１７１１と図１７（ｃ）に示す撮像画像１７２１とでは、画角が同じである。 Therefore, in the present embodiment, the subject 302 further moves in the direction of arrow 1712 from the state shown in FIG. 17B, and is completely removed from the still image storage area 402 as shown in FIG. 17C. The still image in the still image storage area 402 is saved. At this time, the tracking of the subject is interrupted until the storage of the still image storage area 402 is completed, and the pan / tilt control is not performed during that time. The angle of view is the same between the captured image 1711 of FIG. 17 (b) and the captured image 1721 shown in FIG. 17 (c).
次に、本実施形態に係るネットワークカメラの処理について説明する。なお、被写体が移動して撮像画像内に静止画保存領域の左端および右端の両方が含まれる状態となった場合の、ネットワークカメラ１００が静止画を保存するための処理を開始する処理手順は図７と同様であるため、説明は省略する。ステップＳ７０６でＮｏの場合には、図７の処理終了後に、追尾対象となる被写体が移動したことを検知すると、再び図７の処理を開始する。一方、ステップＳ７０６でＹｅｓの場合には、図７の処理終了後に追尾対象となる被写体が移動したことを検知すると、静止画保存領域の画像の保存を行う準備の段階に移行するため、以下の図１８の処理を開始することになる。 Next, the processing of the network camera according to the present embodiment will be described. The processing procedure for starting the process for saving the still image by the network camera 100 when the subject moves and the captured image includes both the left end and the right end of the still image storage area is shown in the figure. Since it is the same as No. 7, the description thereof will be omitted. If No in step S706, when it is detected that the subject to be tracked has moved after the processing of FIG. 7 is completed, the processing of FIG. 7 is started again. On the other hand, in the case of Yes in step S706, when it is detected that the subject to be tracked has moved after the processing of FIG. 7 is completed, the stage shifts to the stage of preparing to save the image in the still image storage area. The process of FIG. 18 will be started.
図１８は、本実施形態において、被写体が移動して静止画保存領域の一部が画角外になることを検知して、ネットワークカメラが静止画の保存を実行するための処理手順の一例を示すフローチャートである。また、図１８のステップＳ１８０１からステップＳ１８０５の処理については、それぞれ図７のステップＳ７０１からステップＳ７０５の処理と同等であるため、説明を省略する。 FIG. 18 shows an example of a processing procedure for the network camera to save a still image by detecting that the subject moves and a part of the still image storage area is out of the angle of view in the present embodiment. It is a flowchart which shows. Further, since the processes of steps S1801 to S1805 of FIG. 18 are the same as the processes of steps S701 to S705 of FIG. 7, the description thereof will be omitted.
ステップＳ１８０６においては、システム制御部１０７は、ステップＳ１８０４で算出したパン／チルトの移動を実行した後の映像領域の座標と、ステップＳ１８０５で取得した静止画保存領域４０２の座標（ＲｅおよびＬｅ）とを比較する。そして、移動後の映像領域からＲｅもしくはＬｅのいずれかが外れるか否かを判定する。この判定の結果、移動後の映像領域からＲｅもしくはＬｅが外れる場合はステップＳ１８０７に進む。一方、移動後の映像領域からＲｅ、Ｌｅのいずれも外れない場合はステップＳ１８０９に進む。 In step S1806, the system control unit 107 includes the coordinates of the video area after executing the pan / tilt movement calculated in step S1804 and the coordinates (Re and Le) of the still image storage area 402 acquired in step S1805. To compare. Then, it is determined whether or not either Re or Le deviates from the moved video area. As a result of this determination, if Re or Le deviates from the moved video area, the process proceeds to step S1807. On the other hand, if neither Re nor Le can be removed from the moved image area, the process proceeds to step S1809.
ステップＳ１８０７においては、システム制御部１０７は、被写体３０２が静止画保存領域４０２の外側に移動するまで待機する。具体的には、画像処理部１０２は、現在の撮像画像から追尾対象としている被写体を検出し、システム制御部１０７は、検出した被写体の座標を取得する。つまり、図３に示した被写体認識領域３０３を示す矩形の左端及び右端の座標を取得する。そして、システム制御部１０７は、ステップＳ１８０５で取得した静止画保存領域の座標（ＲｅおよびＬｅ）と、被写体認識領域３０３を示す矩形の左端及び右端の座標とを比較し、被写体３０２が静止画保存領域４０２の外側に移動したか否かを判定する。 In step S1807, the system control unit 107 waits until the subject 302 moves to the outside of the still image storage area 402. Specifically, the image processing unit 102 detects the subject to be tracked from the current captured image, and the system control unit 107 acquires the coordinates of the detected subject. That is, the coordinates of the left end and the right end of the rectangle showing the subject recognition area 303 shown in FIG. 3 are acquired. Then, the system control unit 107 compares the coordinates (Re and Le) of the still image storage area acquired in step S1805 with the coordinates of the left end and the right end of the rectangle indicating the subject recognition area 303, and the subject 302 saves the still image. It is determined whether or not the area 402 has been moved to the outside.
ステップＳ１８０７で被写体３０２が静止画保存領域４０２の外側に移動したと判定した場合は、ステップＳ１８０８に進む。そして、ステップＳ１８０８において、静止画保存領域を保存する一連の処理を行う。具体的な手順は図９のステップＳ９０７と同様である。 If it is determined in step S1807 that the subject 302 has moved to the outside of the still image storage area 402, the process proceeds to step S1808. Then, in step S1808, a series of processes for saving the still image storage area is performed. The specific procedure is the same as in step S907 of FIG.
ステップＳ１８０９においては、後述の算出されたパン／チルトの移動量で移動するよう、システム制御部１０７がパンチルトズーム制御部１０６に指示を送る。そして、パンチルトズーム制御部１０６は、パン駆動部１０３およびチルト駆動部１０４を制御し、パン／チルトの移動を実行して処理を終了する。ここで、ステップＳ１８０６でＮｏだった場合は、図９のステップＳ９０８と同様の手順で処理を行う。 In step S1809, the system control unit 107 sends an instruction to the pan / tilt zoom control unit 106 to move with the calculated pan / tilt movement amount described later. Then, the pan / tilt zoom control unit 106 controls the pan drive unit 103 and the tilt drive unit 104, executes the pan / tilt movement, and ends the process. Here, if No in step S1806, the process is performed in the same procedure as in step S908 of FIG.
本実施形態では、ステップＳ１８０７で被写体が静止画保存領域から外れるまで待機する処理が行われるため、被写体を追従するためのパン／チルトの移動量を再計算する必要がある。そこで、ステップＳ１８０６でＹｅｓだった場合は、ステップＳ１８０９において、システム制御部１０７は、被写体が静止画保存領域から外れた段階における、パン／チルトの移動量を再計算する。そして、再計算されたパン／チルトの移動量で移動するよう、システム制御部１０７がパンチルトズーム制御部１０６に指示を送る。 In the present embodiment, since the process of waiting until the subject deviates from the still image storage area is performed in step S1807, it is necessary to recalculate the amount of pan / tilt movement for following the subject. Therefore, if Yes in step S1806, in step S1809, the system control unit 107 recalculates the pan / tilt movement amount when the subject is out of the still image storage area. Then, the system control unit 107 sends an instruction to the pan / tilt zoom control unit 106 to move with the recalculated pan / tilt movement amount.
ステップＳ１８０６でＮｏの場合には、図１８の処理終了後に、追尾対象となる被写体が移動したことを検知すると、再び図１８の処理を開始する。一方、ステップＳ１８０６でＹｅｓの場合には、図１８の処理終了後に追尾対象となる被写体が移動したことを検知すると、静止画保存領域の画像の保存を行うことができなくなるため、再び図７の処理を開始することになる。 If No in step S1806, when it is detected that the subject to be tracked has moved after the processing of FIG. 18 is completed, the processing of FIG. 18 is started again. On the other hand, in the case of Yes in step S1806, if it is detected that the subject to be tracked has moved after the processing of FIG. 18 is completed, the image in the still image storage area cannot be saved. The process will start.
なお、本実施形態では、ステップＳ１８０７において、静止画保存領域４０２および被写体認識領域３０３の両端の座標を基準に被写体３０２が静止画保存領域４０２内にいるか否かを判定したが、これに限らない。さらに、静止画保存領域４０２および被写体認識領域３０３の上端及び下端の座標も考慮して、被写体３０２が静止画保存領域４０２内にいるか否かを判定してもよい。 In the present embodiment, in step S1807, it is determined whether or not the subject 302 is in the still image storage area 402 based on the coordinates of both ends of the still image storage area 402 and the subject recognition area 303, but the present invention is not limited to this. .. Further, it may be determined whether or not the subject 302 is in the still image storage area 402 in consideration of the coordinates of the upper and lower ends of the still image storage area 402 and the subject recognition area 303.
また、ステップＳ１８０７の待機処理で一定時間待機した場合には、被写体３０２が静止画保存領域４０２の外側に移動が完了していない段階でステップＳ１８０８に進むようにしてもよい。一方で、ステップＳ１８０７の待機処理で待機時間がほとんどなかった場合には、ステップＳ１８０９において、システム制御部１０７は、パン／チルトの移動量を再計算しないようにしてもよい。そして、代わりにステップＳ１８０３で算出されたパン／チルトの移動量をそのまま用いてパン／チルトの移動を実行するようにしてもよい。 Further, when the standby process in step S1807 waits for a certain period of time, the process may proceed to step S1808 when the subject 302 has not been moved to the outside of the still image storage area 402. On the other hand, if there is almost no standby time in the standby process in step S1807, the system control unit 107 may not recalculate the pan / tilt movement amount in step S1809. Then, instead, the pan / tilt movement may be executed by using the pan / tilt movement amount calculated in step S1803 as it is.
また、本実施形態では、第１の実施形態の変形例として説明したが、第２の実施形態の変形例として用いることも可能である。図１５に示す例のように、静止画保存領域４０２の全体を含む被写体検知領域１１０２の外側に被写体３０２が移動した場合は、静止画保存領域４０２と被写体３０２とがほぼ重ならない。しかしながら、第２の実施形態において、ある撮像画像では静止画保存領域の全体が含まれるが、静止画保存領域４０２が複数の被写体検知領域に跨っているような場合もある。このような場合には、静止画保存領域４０２と被写体３０２とが重なる場合があるため、システム制御部２０３は、被写体３０２が静止画保存領域４０２の外側に移動するまで待機するようにする。なお、被写体３０２と静止画保存領域４０２とが重なっているか否かの判定は、ステップＳ１８０７と同様の手順で行う。そして、システム制御部２０３は、被写体３０２が静止画保存領域４０２の外側に移動した段階で静止画保存領域を保存するよう指示すればよい。さらに、ステップＳ１６０２の判定でＮｏの場合であっても定期的に静止画保存領域を保存する場合には、静止画保存領域と被写体とが重なる場合があり得るため、この場合も同様である。 Further, in the present embodiment, although the description has been given as a modified example of the first embodiment, it can also be used as a modified example of the second embodiment. When the subject 302 moves to the outside of the subject detection area 1102 including the entire still image storage area 402 as in the example shown in FIG. 15, the still image storage area 402 and the subject 302 do not substantially overlap. However, in the second embodiment, although the captured image includes the entire still image storage area, there are cases where the still image storage area 402 spans a plurality of subject detection areas. In such a case, the still image storage area 402 and the subject 302 may overlap, so the system control unit 203 waits until the subject 302 moves to the outside of the still image storage area 402. It should be noted that the determination as to whether or not the subject 302 and the still image storage area 402 overlap is performed in the same procedure as in step S1807. Then, the system control unit 203 may instruct to save the still image storage area when the subject 302 moves to the outside of the still image storage area 402. Further, even if the determination in step S1602 is No, when the still image storage area is periodically stored, the still image storage area and the subject may overlap, and this is also the case.
以上のように本実施形態によれば、追尾対象の被写体が特定の領域から外れるのを待ってその特定の領域を静止画として保存するようにしたので、その特定の領域全体がわかる状態で静止画として保存することが可能になる。 As described above, according to the present embodiment, since the specific area is saved as a still image after waiting for the subject to be tracked to deviate from the specific area, the subject is still in a state where the entire specific area can be seen. It becomes possible to save as an image.
（その他の実施形態）
前述した各実施形態では、静止画保存領域の左端（Ｌｅ）または右端（Ｒｅ）が外れた場合に、静止画保存領域の少なくとも一部が撮像画像に含まれなくなるものとして説明したが、これに限らない。例えば、静止画保存領域の上端または下端が外れた場合に、静止画保存領域の少なくとも一部が撮像画像に含まれなくなるものとしてもよい。さらには、静止画保存領域の左端、右端、上端、下端の少なくとも１つが外れた場合に、静止画保存領域の少なくとも一部が撮像画像に含まれなくなるものとしてもよい。
(Other embodiments)
In each of the above-described embodiments, when the left end (Le) or the right end (Re) of the still image storage area is removed, at least a part of the still image storage area is not included in the captured image. Not exclusively. For example, when the upper end or the lower end of the still image storage area is removed, at least a part of the still image storage area may not be included in the captured image. Further, when at least one of the left end, the right end, the upper end, and the lower end of the still image storage area is removed, at least a part of the still image storage area may not be included in the captured image.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０１ 撮像部
１０６ パンチルトズーム制御部
１０７ システム制御部
101 Imaging unit 106 Pan-tilt zoom control unit 107 System control unit
Claims (15)
前記撮像手段で撮影された撮像画像の中の被写体を追尾するように前記撮像手段を制御する追尾手段と、
前記追尾手段による追尾によって前記撮像画像から所定の領域が外れることを検知する検知手段と、
前記検知手段が前記所定の領域が外れることを検知したことに応じて、前記所定の領域を画像として保存する保存手段とを有することを特徴とする撮像装置。 Imaging means and
A tracking means that controls the imaging means so as to track a subject in the captured image captured by the imaging means, and
A detection means for detecting that a predetermined region deviates from the captured image due to tracking by the tracking means, and
An image pickup apparatus comprising: a storage means for storing the predetermined area as an image in response to the detection means detecting that the predetermined area deviates.
前記保存手段は、前記検知手段が前記所定の領域の端の座標が外れることを検知したことに応じて、前記所定の領域を画像として保存することを特徴とする請求項１に記載の撮像装置。 The detection means detects that the coordinates of the edge of the predetermined region deviate due to the tracking by the tracking means, and
The imaging device according to claim 1, wherein the storage means stores the predetermined area as an image in response to the detection means detecting that the coordinates of the edge of the predetermined area deviate. ..
前記保存手段は、さらに前記判定手段によって前記被写体と前記所定の領域とが重ならないと判定された場合に、前記所定の領域を画像として保存することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。 Further, it has a determination means for determining whether or not the subject and the predetermined area overlap.
Any of claims 1 to 3, wherein the saving means further saves the predetermined area as an image when the determination means determines that the subject and the predetermined area do not overlap. The image pickup apparatus according to item 1.
前記被写体が検知されたカメラから撮像画像を受信する受信手段と、
前記被写体の移動により前記被写体を検知する検知領域が変わることによって前記受信手段が受信する撮像画像を切り替える切替手段と、
前記切替手段によって切り替わる前の撮像画像に含まれていた所定の領域が、前記切替手段によって切り替わった撮像画像から外れることを検知する検知手段と、
前記検知手段が前記所定の領域が外れることを検知したことに応じて、前記所定の領域を画像として保存するよう前記切替手段によって切り替える前の撮像画像を送信したカメラに指示する指示手段とを有することを特徴とする情報処理装置。 An information processing device connected to multiple cameras with different subject detection areas via a network.
A receiving means for receiving the captured image from the camera in which the subject is detected, and
A switching means for switching the captured image received by the receiving means by changing the detection area for detecting the subject due to the movement of the subject.
A detection means for detecting that a predetermined area included in the captured image before being switched by the switching means deviates from the captured image switched by the switching means, and
The detection means has an instruction means for instructing the camera that transmitted the captured image before switching by the switching means to save the predetermined area as an image in response to detecting that the predetermined area is out of the range. An information processing device characterized by this.
前記指示手段は、前記検知手段が前記所定の領域の端の座標が外れることを検知したことに応じて、前記所定の領域を画像として保存するよう前記切替手段によって切り替える前の撮像画像を送信したカメラに指示することを特徴とする請求項７に記載の情報処理装置。 The detection means detects that the coordinates of the edge of the predetermined region deviate from the captured image switched by the switching means, and detects the deviation.
In response to the detection means detecting that the coordinates of the edge of the predetermined area deviate, the instruction means transmits an captured image before switching by the switching means so as to save the predetermined area as an image. The information processing apparatus according to claim 7, wherein the information processing apparatus is instructed to a camera.
前記指示手段は、さらに前記判定手段によって前記被写体と前記所定の領域とが重ならないと判定された場合に、前記所定の領域を画像として保存するよう前記切替手段によって切り替える前の撮像画像を送信したカメラに指示することを特徴とする請求項７又は８に記載の情報処理装置。 Further, it has a determination means for determining whether or not the subject and the predetermined area overlap.
Further, when the determination means determines that the subject and the predetermined area do not overlap, the instruction means transmits an captured image before switching by the switching means so as to save the predetermined area as an image. The information processing apparatus according to claim 7 or 8, wherein the information processing apparatus is instructed to a camera.
前記追尾工程による追尾によって前記撮像画像から所定の領域が外れることを検知する検知工程と、
前記検知工程が前記所定の領域が外れることを検知したことに応じて、前記所定の領域を画像として保存する保存工程とを有することを特徴とする撮像装置の制御方法。 A tracking step of controlling the imaging means so as to track a subject in an captured image captured by the imaging means,
A detection step for detecting that a predetermined region deviates from the captured image due to tracking by the tracking step, and a detection step.
A control method for an imaging device, which comprises a storage step of storing the predetermined area as an image in response to the detection step detecting that the predetermined area is out of alignment.
前記被写体が検知されたカメラから撮像画像を受信する受信工程と、
前記被写体の移動により前記被写体を検知する検知領域が変わることによって前記受信工程が受信する撮像画像を切り替える切替工程と、
前記切替工程において切り替わる前の撮像画像に含まれていた所定の領域が、前記切替工程において切り替わった撮像画像から外れることを検知する検知工程と、
前記検知工程が前記所定の領域が外れることを検知したことに応じて、前記所定の領域を画像として保存するよう前記切替工程において切り替える前の撮像画像を送信したカメラに指示する指示工程とを有することを特徴とする情報処理装置の制御方法。 This is a control method for information processing devices connected to multiple cameras with different subject detection areas via a network.
The reception process of receiving the captured image from the camera in which the subject is detected, and
A switching step of switching the captured image received by the receiving process by changing the detection area for detecting the subject due to the movement of the subject, and
A detection step for detecting that a predetermined region included in the captured image before switching in the switching step deviates from the captured image switched in the switching step.
The detection step includes an instruction step of instructing the camera that transmitted the captured image before switching in the switching step to save the predetermined area as an image in response to the detection that the predetermined area is out of the range. A control method for an information processing device.
前記追尾工程による追尾によって前記撮像画像から所定の領域が外れることを検知する検知工程と、
前記検知工程が前記所定の領域が外れることを検知したことに応じて、前記所定の領域を画像として保存する保存工程とをコンピュータに実行させるためのプログラム。 A tracking step of controlling the imaging means so as to track a subject in an captured image captured by the imaging means,
A detection step for detecting that a predetermined region deviates from the captured image due to tracking by the tracking step, and a detection step.
A program for causing a computer to perform a storage step of saving the predetermined area as an image in response to the detection step detecting that the predetermined area is out of alignment.
前記被写体が検知されたカメラから撮像画像を受信する受信工程と、
前記被写体の移動により前記被写体を検知する検知領域が変わることによって前記受信工程が受信する撮像画像を切り替える切替工程と、
前記切替工程において切り替わる前の撮像画像に含まれていた所定の領域が、前記切替工程において切り替わった撮像画像から外れることを検知する検知工程と、
前記検知工程が前記所定の領域が外れることを検知したことに応じて、前記所定の領域を画像として保存するよう前記切替工程において切り替える前の撮像画像を送信したカメラに指示する指示工程とをコンピュータに実行させるためのプログラム。 A program for controlling information processing devices connected to multiple cameras with different subject detection areas via a network.
The reception process of receiving the captured image from the camera in which the subject is detected, and
A switching step of switching the captured image received by the receiving process by changing the detection area for detecting the subject due to the movement of the subject, and
A detection step for detecting that a predetermined region included in the captured image before switching in the switching step deviates from the captured image switched in the switching step.
In response to the detection step detecting that the predetermined area deviates, the computer performs an instruction step of instructing the camera that transmitted the captured image before switching in the switching step to save the predetermined area as an image. Program to be executed by.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019127587A JP2021013138A (en) | 2019-07-09 | 2019-07-09 | Imaging apparatus and information processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019127587A JP2021013138A (en) | 2019-07-09 | 2019-07-09 | Imaging apparatus and information processing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021013138A true JP2021013138A (en) | 2021-02-04 |
Family
ID=74226690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019127587A Pending JP2021013138A (en) | 2019-07-09 | 2019-07-09 | Imaging apparatus and information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021013138A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220139540A (en) * | 2021-04-08 | 2022-10-17 | 주식회사 에스원 | Method and apparatus for tracking object of ptz camera |
-
2019
- 2019-07-09 JP JP2019127587A patent/JP2021013138A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220139540A (en) * | 2021-04-08 | 2022-10-17 | 주식회사 에스원 | Method and apparatus for tracking object of ptz camera |
| KR102482669B1 (en) * | 2021-04-08 | 2022-12-28 | 주식회사 에스원 | Method and apparatus for tracking object of ptz camera |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104243854A (en) | Online classroom remote directed broadcasting method and system | |
| US20120120183A1 (en) | 3d video conference | |
| KR20110108265A (en) | Control device, camera system and program | |
| CN102461153A (en) | Control device, camera system, and program | |
| JP2006197505A (en) | Camera controller, camera system, electronic conference system and camera control method | |
| US11228737B2 (en) | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium | |
| EP3567844B1 (en) | Control apparatus and control method | |
| CN113923362A (en) | Control apparatus, control method, and storage medium | |
| JP2007158680A (en) | Tracking imaging apparatus and tracking imaging system utilizing it | |
| JP2005033570A (en) | Method and system for providing mobile body image | |
| JP2021013138A (en) | Imaging apparatus and information processing device | |
| JP5200800B2 (en) | Imaging apparatus and imaging system | |
| EP3376758A1 (en) | Dynamic videotelephony systems and methods of using the same | |
| Winkler et al. | Automatic camera control for tracking a presenter during a talk | |
| JP2004289779A (en) | Mobile body imaging method and mobile body imaging system | |
| TWI690207B (en) | Method for object tracking | |
| JP2010087613A (en) | Presentation-image distribution system | |
| JPS6231272A (en) | Universal head controller | |
| KR20200094004A (en) | The automatic shooting robot device for personal broadcasting system | |
| KR20190110369A (en) | Intelligent camera system for automatic tracking of specified subject and image capturing method using the same | |
| KR102517090B1 (en) | Presenter automatic recognition tracking method and apparatus using PTZ camera | |
| JP2007214803A (en) | Device and method for controlling photographing | |
| US20230308764A1 (en) | Display terminal, communication system, method for displaying, method for communicating, and recording medium | |
| KR20090076112A (en) | Leture shooting device and leture shooting method | |
| JP2004289778A (en) | Mobile apparatus for imaging mobile body |