JP2005086674A

JP2005086674A - Imaging unit

Info

Publication number: JP2005086674A
Application number: JP2003318590A
Authority: JP
Inventors: Mayuko Tanaka; 真愉子田中
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-09-10
Filing date: 2003-09-10
Publication date: 2005-03-31

Abstract

<P>PROBLEM TO BE SOLVED: To provide a remote operation type monitoring technique capable of instantaneously coping with field angle change requests from a plurality of user side terminals. <P>SOLUTION: In the imaging unit coupled to the plurality of user side terminals by a network, it is constituted so that the video signal of a photographed object and photographing direction movement information input from the user side terminal through the network are stored, a memory reading area instructed from the user side terminal is set by performing arithmetic operation on the basis of the photographing direction movement information, and the video signal read from the set memory reading area is transmitted to the user side terminal. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、通信回線を介してユーザ側端末からの遠隔操作及びこれに基づく撮影映像の伝送が可能な撮像装置に関する。 The present invention relates to an imaging apparatus capable of performing remote operation from a user-side terminal and transmission of a captured video based thereon via a communication line.

従来、ＴＶ会議や監視カメラなどの分野の技術においては、撮像装置の撮像データを、通信回線を介してユーザ側端末に送信し、ユーザ側端末からは遠隔操作により、該撮像装置の姿勢や撮像画角を制御するようにしている。例えば、特開２０００−３２３１９号公報（特許文献１）には、ＴＶ会議や遠隔監視などにおいて、利用者の希望するカメラ姿勢等を簡単かつ瞬時に指示できるようにする技術として、雲台付きカメラと広角カメラとを用い、雲台付きカメラで撮影した映像と、広角カメラで撮影した映像とをパーソナルコンピュータ（ＰＣ）に伝送して表示し、該表示をユーザが見ながら雲台付きカメラの姿勢を雲台により遠隔制御することで、詳細画像の表示をその周辺の状況変化等に応じて瞬時に変えられるようにした技術が記載されている。 2. Description of the Related Art Conventionally, in technologies in the fields of video conferences and surveillance cameras, imaging data of an imaging device is transmitted to a user side terminal via a communication line, and the orientation and imaging of the imaging device are remotely controlled from the user side terminal. The angle of view is controlled. For example, Japanese Patent Laid-Open No. 2000-32319 (Patent Document 1) discloses a camera with a pan head as a technique that can easily and instantaneously indicate a camera posture or the like desired by a user in a TV conference or remote monitoring. And a wide-angle camera, the image captured by the camera with the pan head and the image captured by the wide-angle camera are transmitted to a personal computer (PC) and displayed, and the posture of the camera with the pan head is viewed while the user is viewing the display. A technique has been described in which a detailed image display can be changed instantaneously in accordance with a change in the surrounding conditions by remotely controlling the camera with a pan head.

特開２０００−３２３１９号公報JP 2000-32319 A

例えば上記特開２０００−３２３１９号公報記載の技術では、例えば幼稚園や保育園で過ごす子供の様子を遠隔操作可能な撮像装置で見る場合など、複数のユーザが１つの撮像装置を共用することについての配慮がない。そのため、複数のユーザがそれぞれ、雲台によりカメラ姿勢の制御をしようとしたときには、各ユーザからの操作指示が互いに衝突してしまい、制御が不可能となることが予想される。また、複数のカメラを連携させた構成のため、コスト高となり易い。
本発明の課題点は、上記従来技術の状況に鑑み、撮像装置において、（１）ユーザ側からの遠隔操作で、希望する撮影方向、領域または大きさの映像が該ユーザ側端末において得られるようにすること、（２）撮像装置を共用して、複数のユーザ側端末のそれぞれが同時に、希望する撮影方向、領域または大きさの映像が得られるようにすること、などである。
本発明の目的は、上記課題点を解決でき、使い勝手性を高められる撮像装置技術の提供にある。 For example, in the technique described in the above Japanese Patent Laid-Open No. 2000-32319, consideration is given to sharing a single imaging device by a plurality of users, for example, when viewing a child spending at a kindergarten or a nursery with an imaging device capable of remote control. There is no. Therefore, when a plurality of users try to control the camera posture using the platform, it is expected that the operation instructions from the users collide with each other and control becomes impossible. In addition, because of the configuration in which a plurality of cameras are linked, the cost tends to be high.
The problems of the present invention are as follows. In the imaging apparatus, in view of the above-described prior art situation, (1) an image having a desired shooting direction, area, or size can be obtained at the user side terminal by remote operation from the user side. (2) Sharing an imaging device so that each of a plurality of user-side terminals can simultaneously obtain an image having a desired shooting direction, area, or size.
An object of the present invention is to provide an imaging device technique that can solve the above-described problems and can improve usability.

上記課題点を解決するために、本発明では、基本的に、ネットワークによりユーザ側端末からの遠隔操作が可能な撮像装置として、撮影した被写体の映像信号と、ネットワークによりユーザ側端末から入力される撮影方向移動情報とを記憶し、該ユーザ側端末から指示されたメモリ読み出し領域を、該撮影方向移動情報に基づき演算して設定し、該設定したメモリ読み出し領域から読み出される映像信号を上記ユーザ側端末に送出する構成とする。 In order to solve the above-described problems, in the present invention, as an imaging apparatus that can be remotely operated from a user-side terminal through a network, a video signal of a photographed subject and a user-side terminal are input through the network. The shooting direction movement information is stored, a memory read area designated by the user terminal is calculated and set based on the shooting direction movement information, and a video signal read from the set memory reading area is set on the user side. It is configured to send to the terminal.

本発明によれば、複数のユーザ側端末からの同時の遠隔操作（パン／チルト操作）が可能になるとともに、各ユーザ側端末からの画角変更要求などに瞬時的に対応した映像信号の配信とが可能となる。 According to the present invention, simultaneous remote operation (pan / tilt operation) from a plurality of user-side terminals is possible, and video signal distribution that instantaneously responds to a view angle change request from each user-side terminal is possible. Is possible.

以下、本発明に係る実施の形態につき、図面を用いて説明する。
図１〜図５は、本発明の実施形態の説明図である。図１は、本発明の撮像装置を用いたシステムの構成例図、図２は、図１中の撮像装置における画角遠隔操作の概念図、図３は、図２の遠隔操作における動作アルゴリズムの説明図、図４は、ユーザ側端末からの情報例図、図５は、図１中の撮像装置における動作タイミング図である。
図１において、１は遠隔操作可能なビデオカメラなどの撮像装置、２、３はユーザ側端末、４は、インターネットなどのネットワークである。撮像装置１とユーザ側端末２、３は、ネットワーク４を介して接続され、制御データや映像データを送受信する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
1-5 is explanatory drawing of embodiment of this invention. FIG. 1 is a configuration example diagram of a system using an imaging apparatus of the present invention, FIG. 2 is a conceptual diagram of angle-of-view remote operation in the imaging apparatus in FIG. 1, and FIG. 3 is an operation algorithm of remote operation in FIG. FIG. 4 is an explanatory diagram, FIG. 4 is an example of information from the user side terminal, and FIG. 5 is an operation timing diagram in the imaging apparatus in FIG.
In FIG. 1, 1 is an imaging device such as a video camera that can be remotely operated, 2 and 3 are user-side terminals, and 4 is a network such as the Internet. The imaging device 1 and the user-side terminals 2 and 3 are connected via the network 4 and transmit and receive control data and video data.

図１の撮像装置１中、１１０は、被写体の映像を撮像する撮像素子、１１１は、撮像素子１１０から出力される映像信号に対し、自動利得調整、ホワイトバランス制御、ビデオ信号の生成などの信号処理を施しデジタル映像信号を生成するカメラ信号処理手段としてのカメラ信号処理回路、１１２は、カメラ信号処理部１１１から出力される映像信号を記憶するメモリ手段としてのメモリ、１１３は、メモリ１１２から読み出した映像信号を、ネットワーク４を介して送信するのに適したストリームデータ、例えば、ＭｏｔｉｏｎＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）に変換するコーデック手段としてのコーデック回路、１１４は、ストリームデータをネットワーク４に配信するためのデータフォーマット、例えば、ＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）フォーマットのパケットを生成するパケット生成手段としてのパケット生成回路、１１５は、ネットワークを介した通信を担うインターフェース、１１６は、メモリ１１２に対するデータの読み書きを制御するメモリ制御手段としてのメモリ制御回路、１１７は、ユーザ側端末２、３からの要求を受付け、遠隔操作処理全般をコントロールする制御サービス手段としての制御サービス回路である。 In the imaging apparatus 1 of FIG. 1, reference numeral 110 denotes an image pickup device that picks up an image of a subject, and 111 denotes a signal such as automatic gain adjustment, white balance control, and video signal generation for a video signal output from the image pickup device 110. A camera signal processing circuit as a camera signal processing means for performing processing to generate a digital video signal, 112 a memory as a memory means for storing a video signal output from the camera signal processing unit 111, and 113 for reading from the memory 112 A codec circuit 114 serving as codec means for converting the received video signal into stream data suitable for transmission over the network 4, for example, Motion JPEG (Joint Photographic Coding Experts Group), 114 distributes the stream data to the network 4 Shita Packet generation circuit as a packet generation means for generating a packet in a data format, for example, UDP (User Datagram Protocol) format, 115 is an interface for communication via a network, and 116 is for reading and writing data to and from the memory 112 A memory control circuit 117 as a memory control means for controlling is a control service circuit as a control service means for receiving a request from the user side terminals 2 and 3 and controlling the entire remote operation processing.

また、図１のユーザ側端末２中、１２０は、遠隔位置から撮像装置１が配信するストリームデータを受信し、該受信したストリームデータと操作のためのＵＩなどを表示手段に合わせて生成し出力する表示処理手段、１２１は、ユーザによる操作を処理し、撮像装置１にコントロール要求を送信する操作処理手段、１２２は、ネットワーク４を介した通信を担うインターフェース、１２３は、ユーザの指示を入力する指示入力手段、１２４は、画像や指示内容を表示する表示手段である。また、ユーザ側端末３中、１３３は指示入力手段、１３４は表示手段である。なお、上記指示入力手段１２３、表示手段１２４のいずれか一方または両方は、上記ユーザ側端末２中に含まれない構成であってもよい。指示入力手段１３３、表示手段１３４についても同様である。 1 receives stream data distributed by the imaging apparatus 1 from a remote location, and generates and outputs the received stream data and a UI for operation in accordance with display means. A display processing unit 121 that processes an operation by a user and transmits a control request to the imaging apparatus 1, an interface 122 that performs communication via the network 4, and 123 that inputs a user instruction. The instruction input means 124 is a display means for displaying images and instruction contents. In the user terminal 3, reference numeral 133 denotes instruction input means, and 134 denotes display means. Note that one or both of the instruction input unit 123 and the display unit 124 may not be included in the user-side terminal 2. The same applies to the instruction input unit 133 and the display unit 134.

図２は、図１中の撮像装置における画角遠隔操作の概念説明図である。
本図２の場合を含めた以下の説明では、図１中の構成要素に該当する構成要素には図１で用いたと同じ符号を用いるとする。
図２において、２０は、撮像装置１の撮影している映像でメモリ１２に記憶されている映像データの模式図、２１は、ユーザ側端末２に接続された表示手段１２４に表示される画面、２２はユーザ側端末３の表示手段１３４に表示される画面である。映像データ２０中、２００は、ユーザ側端末２に配信される映像領域、２０１は、ユーザ側端末３に配信される映像領域である。映像領域２００、２０１はそれぞれ、ユーザ側端末２、３が撮像装置１に送信するコントロール要求（２１１、２２１）によって設定される。撮像装置１は、ユーザ側端末２に対しては映像領域２００の映像データを配信し（２０２）、ユーザ側端末３に対しては映像領域２０１の映像データを配信する（２０３）。また、画面２１では、ユーザ側端末２が要求した上記映像領域２００に対応する映像２１３とともに、撮像装置１が撮影している全体の画像すなわちサムネール画像２１２も表示する。サムネール画像２１２の配信を要求するかどうかもコントロール要求で設定する。サムネール画像２１２上の破線で囲まれた領域は、ユーザ側端末２が要求した映像２１３が撮影画面全体の中でどこに対応するかを示している。全体画像との対応を表示することでユーザの画角操作の操作性を向上させることが可能となる。 FIG. 2 is a conceptual explanatory diagram of a view angle remote control in the imaging apparatus in FIG.
In the following description including the case of FIG. 2, the same reference numerals as those used in FIG. 1 are used for the components corresponding to the components in FIG.
In FIG. 2, 20 is a schematic diagram of video data captured by the imaging apparatus 1 and stored in the memory 12, and 21 is a screen displayed on the display unit 124 connected to the user-side terminal 2. Reference numeral 22 denotes a screen displayed on the display unit 134 of the user terminal 3. In the video data 20, reference numeral 200 denotes a video area distributed to the user side terminal 2, and 201 denotes a video area distributed to the user side terminal 3. The video areas 200 and 201 are set by control requests (211 and 221) transmitted from the user side terminals 2 and 3 to the imaging apparatus 1, respectively. The imaging device 1 distributes the video data of the video area 200 to the user terminal 2 (202), and distributes the video data of the video area 201 to the user terminal 3 (203). In addition, on the screen 21, an entire image captured by the imaging apparatus 1, that is, a thumbnail image 212 is displayed together with the video 213 corresponding to the video area 200 requested by the user-side terminal 2. Whether to request delivery of the thumbnail image 212 is also set by the control request. A region surrounded by a broken line on the thumbnail image 212 indicates where the video 213 requested by the user-side terminal 2 corresponds in the entire shooting screen. By displaying the correspondence with the entire image, it is possible to improve the operability of the user's view angle operation.

図３は、上記図２の遠隔操作における動作アルゴリズムの説明図である。
撮像装置１による映像データの配信は、ユーザ側端末２、３からの接続要求を機に開始する。接続要求プロセスが完了した時点で、初期領域画像がユーザ側端末２、３に配信される。図３に示す動作は全て、図１の撮像装置１における制御サービス回路１１７の動作として実施される。 FIG. 3 is an explanatory diagram of an operation algorithm in the remote operation of FIG.
Distribution of video data by the imaging device 1 starts with a connection request from the user side terminals 2 and 3. When the connection request process is completed, the initial area image is distributed to the user side terminals 2 and 3. All the operations shown in FIG. 3 are implemented as operations of the control service circuit 117 in the imaging apparatus 1 of FIG.

図３において、
（１）制御サービス回路１１７は、動作開始後、ユーザ側端末２、３からのコントロール要求として接続要求を受け取ったか否かを判別する（ステップＳ１０１）。
（２）接続要求を受け取ったと判別したときは、ユーザ側端末情報を特定するユーザ識別ＩＤを生成する（ステップＳ１０２）。
（３）生成したユーザ識別ＩＤをユーザ側端末に返す（ステップＳ１０３）。
（４）以後、ユーザ側端末は割り当てられたユーザ識別ＩＤを使って、撮影方向、領域または大きさの要求である画角変更要求を行う。要求にはパラメータとして、ユーザ側端末の要求する画像解像度、メモリ読み出し領域の中心座標、及びサムネール画像の要／不要などの情報を含む。これらはユーザ情報としてユーザ識別ＩＤとともに保存される（ステップＳ１０４）。図４にユーザ情報の一例を示す。
（５）次に、メモリ読み出し座標を算出する（ステップＳ１０５）。ユーザ識別ＩＤでユーザ情報を参照し、画像解像度、メモリ読み出し領域の中心座標、水平及び垂直の移動量から、新しい中心座標とメモリ読み出し領域の座標を算出する（数１〜数３）。接続要求プロセスにおける初期画像では、新しい中心座標はメモリ読み出し領域の中心座標が撮影画像の中心座標、水平及び垂直の移動量はゼロで算出する。
新中心座標＝中心座標（ｘ、ｙ）＋移動量（ｘ、ｙ） …（数１）
メモリ読み出し領域の始点（ｘ、ｙ）＝中心座標（ｘ、ｙ）−
解像度（ｘ、ｙ）／２ …（数２）
メモリ読み出し領域の終点（ｘ、ｙ）＝中心座標（ｘ、ｙ）＋
解像度（ｘ、ｙ）／２ …（数３）
メモリ読み出し領域はユーザ側端末の画像解像度から決定する。撮像装置１の解像度が１，２８０×９６０、ユーザ側端末の要求する画像解像度が３２０×２４０の場合、新しい中心座標が（６４０、４８０）となり、それを中心に水平±１６０、垂直±１２０の領域（４８０、３６０）−（８００、６００）がメモリ読み出し領域となる。
（６）上記算出したメモリ読み出し領域の座標はユーザ識別ＩＤと共にメモリ制御手段に設定し（ステップＳ１０６）、新しい中心座標はメモリ読み出し領域の中心座標としてユーザ情報に登録する（ステップＳ１０７）。
（７）ステップＳ１０１の判別で接続要求を受け取っていないと判別したときは、コントロール要求が画角変更要求か否かを判別する（ステップＳ１１０）。
（８）ステップＳ１１０の判別で、コントロール要求が画角変更要求であると判別したときは、ユーザ情報を参照し、画角変更要求の要求元のユーザ識別ＩＤが登録されているか否かを判別する（ステップＳ１１１）。
（９）ステップＳ１１１の判別の結果、画角変更要求の要求元のユーザ識別ＩＤが登録されている場合は、画角変更要求に含まれる水平及び垂直の移動量パラメータを取得し、メモリ読み出し座標を算出する（ステップＳ１０５）。該ステップＳ１０５以下のステップは前述したとおりである。未登録の場合は処理を終了する。
（１０）上記ステップＳ１１１の判別の結果、コントロール要求が画角変更要求でない場合は、接続終了要求か否かを判別する（ステップＳ１２０）。
（１１）ステップＳ１２０の判別の結果、コントロール要求が接続終了要求の場合は、ユーザ識別ＩＤに対応するユーザ情報を削除し処理を終了する（ステップＳ１２１）。 In FIG.
(1) After starting the operation, the control service circuit 117 determines whether a connection request is received as a control request from the user side terminals 2 and 3 (step S101).
(2) When it is determined that a connection request has been received, a user identification ID that identifies user-side terminal information is generated (step S102).
(3) The generated user identification ID is returned to the user terminal (step S103).
(4) Thereafter, the user terminal uses the assigned user identification ID to make a view angle change request that is a request for the shooting direction, area, or size. The request includes, as parameters, information such as the image resolution requested by the user terminal, the center coordinates of the memory read area, and the necessity / unnecessity of the thumbnail image. These are stored as user information together with the user identification ID (step S104). FIG. 4 shows an example of user information.
(5) Next, memory read coordinates are calculated (step S105). The user information is referred to by the user identification ID, and the new center coordinates and memory reading area coordinates are calculated from the image resolution, the center coordinates of the memory reading area, and the horizontal and vertical movement amounts (Equation 1 to Expression 3). In the initial image in the connection request process, the new center coordinates are calculated with the center coordinates of the memory reading area being the center coordinates of the captured image and the horizontal and vertical movement amounts being zero.
New center coordinate = center coordinate (x, y) + movement amount (x, y) (Equation 1)
Start point (x, y) of memory read area = center coordinate (x, y) −
Resolution (x, y) / 2 (Expression 2)
End point (x, y) of memory read area = center coordinate (x, y) +
Resolution (x, y) / 2 (Expression 3)
The memory read area is determined from the image resolution of the user terminal. When the resolution of the imaging device 1 is 1,280 × 960 and the image resolution required by the user terminal is 320 × 240, the new center coordinates are (640, 480), and the horizontal ± 160 and vertical ± 120 are centered on that. Areas (480, 360)-(800, 600) are memory read areas.
(6) The calculated coordinates of the memory read area are set in the memory control means together with the user identification ID (step S106), and the new center coordinates are registered in the user information as the center coordinates of the memory read area (step S107).
(7) If it is determined in step S101 that a connection request has not been received, it is determined whether the control request is a view angle change request (step S110).
(8) If it is determined in step S110 that the control request is an angle of view change request, it is determined whether or not the user identification ID of the request source of the angle of view change request is registered by referring to the user information. (Step S111).
(9) As a result of the determination in step S111, when the user identification ID of the requester of the view angle change request is registered, the horizontal and vertical movement amount parameters included in the view angle change request are acquired, and the memory read coordinates Is calculated (step S105). The steps after step S105 are as described above. If not registered, the process is terminated.
(10) If the result of determination in step S111 is that the control request is not a view angle change request, it is determined whether or not it is a connection end request (step S120).
(11) If the result of determination in step S120 is that the control request is a connection termination request, the user information corresponding to the user identification ID is deleted and the process is terminated (step S121).

図４は、上記図３のステップＳ１０４においてユーザ識別ＩＤとともに保存されるユーザ情報の一例である。
図４において、ユーザ識別ＩＤは、撮像装置１の制御サービス回路１１７が作成し、解像度情報、メモリ読み出し領域の中心座標情報、サムネール画像の要・不要情報及び送信先アドレスは、ユーザ側端末から指示情報として撮像装置１の制御サービス回路１１７側に送信される。 FIG. 4 is an example of user information stored together with the user identification ID in step S104 of FIG.
In FIG. 4, the user identification ID is created by the control service circuit 117 of the imaging apparatus 1, and the resolution information, the center coordinate information of the memory read area, the necessity / unnecessary information of the thumbnail image, and the transmission destination address are designated from the user side terminal Information is transmitted to the control service circuit 117 side of the imaging apparatus 1 as information.

図５は、図１中の撮像装置１における動作タイミングを示す図である。
図５において、横軸は時間軸、図中の各符号は上記図２で示した映像データに対応するデータの処理を示す。５０はメモリ書き込み処理、５１はメモリ読み出し処理、５２はユーザ識別ＩＤ通知処理、５３はコーデック処理、５４はパケット生成処理の状態を示す。メモリ１１２へのデータ書き込み処理は、カメラ信号処理回路１１１からのデータ出力と同期して行われる。従って、メモリ読み出しは、次の書き込みまでの期間Ｔ_０の間になされる。メモリ制御回路１１６は、制御サービス回路１１７が設定したメモリ読み出し領域の座標とユーザ識別ＩＤとに従い、メモリ１１２の読み出しを高速駆動制御する。メモリ読み出し５１では、全体のサムネール生成用データ２０と領域２００、領域２０１の読み出しを表している。メモリ制御回路１１６は、各領域のデータを読み出す前にコーデック回路１１３にユーザ識別ＩＤを通知する（５２）。ここでは領域２００のユーザ識別ＩＤを０２、領域２０１のユーザ識別ＩＤを０１とする。サムネール生成用データのユーザ識別ＩＤはサムネールデータであることを示す番号を定めておく。 FIG. 5 is a diagram illustrating operation timings in the imaging apparatus 1 in FIG.
In FIG. 5, the horizontal axis represents the time axis, and each reference numeral in the figure represents the data processing corresponding to the video data shown in FIG. Reference numeral 50 denotes a memory write process, 51 a memory read process, 52 a user identification ID notification process, 53 a codec process, and 54 a packet generation process state. Data writing processing to the memory 112 is performed in synchronization with data output from the camera signal processing circuit 111. Therefore, the memory read is performed during the period T ₀ until the next write. The memory control circuit 116 controls the reading of the memory 112 at high speed according to the coordinates of the memory reading area set by the control service circuit 117 and the user identification ID. The memory read 51 represents reading of the entire thumbnail generation data 20, the area 200, and the area 201. The memory control circuit 116 notifies the codec circuit 113 of the user identification ID before reading the data of each area (52). Here, the user identification ID of the area 200 is 02, and the user identification ID of the area 201 is 01. The user identification ID of the thumbnail generation data defines a number indicating that it is thumbnail data.

コーデック回路１１３は、入力されたデータにそれぞれ符号化処理を施す。符号化処理は、ＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）のような動画のフレーム間の差分によって符号化する方式ではなく、ＭｏｔｉｏｎＪＰＥＧのように１フレーム毎に符号化する方式を使う。これにより、非連続な画像の領域データのコーデックも問題なく実施できる。また、符号化したデータにユーザ識別ＩＤをヘッダとして付加する。パケット生成回路１１４は、ヘッダに記されたユーザ識別ＩＤでパケットデータの送信先アドレスを制御サービス１１７に問い合わせる。制御サービス回路１１７は、ユーザ情報を参照し、送信先アドレスを取得し、パケット生成回路１１４に返す。ユーザ識別ＩＤがサムネール生成用データを示す番号の場合は、ユーザ情報でサムネール画像「要」と指定しているユーザ識別ＩＤの送信先アドレスを全て返す。パケット生成回路１１４は、取得した送信先アドレスを送信先とし、自身のＩＰアドレスを送信元として、パケットヘッダを生成し、ユーザ側端末に各々要求されている画像データパケットを配信する。ここでは、サムネール画像と領域２００の画像をユーザ側端末２に、領域２０１の画像をユーザ側端末３に送信している。 The codec circuit 113 performs an encoding process on the input data. The encoding process uses a method of encoding frame by frame, such as Motion JPEG, instead of a method of encoding by a difference between frames of moving images such as MPEG (Motion Picture Experts Group). Thereby, the codec of the discontinuous image area data can be implemented without any problem. In addition, a user identification ID is added to the encoded data as a header. The packet generation circuit 114 inquires of the control service 117 about the transmission destination address of the packet data with the user identification ID written in the header. The control service circuit 117 refers to the user information, acquires the transmission destination address, and returns it to the packet generation circuit 114. If the user identification ID is a number indicating thumbnail generation data, all the transmission destination addresses of the user identification ID designated as “necessary” for the thumbnail image in the user information are returned. The packet generation circuit 114 generates a packet header using the acquired transmission destination address as the transmission destination and its own IP address as the transmission source, and distributes each requested image data packet to the user side terminal. Here, the thumbnail image and the image of the area 200 are transmitted to the user side terminal 2, and the image of the area 201 is transmitted to the user side terminal 3.

上記本発明の実施形態によれば、撮像装置１のメモリ１２からの画像データの読み出し領域を制御することで、複数のユーザ側端末２、３のそれぞれに配信する画像データのパン、チルトを同時に実現できるようになる。複数のユーザ側端末２、３からの移動要求を記憶し、それぞれの要求する画像領域のデータを読み出して、信号処理し、対応するユーザ側端末に配信する構成のため、ユーザ操作の衝突などをなくせる。また、メモリ読み出し領域の設定により画角を移動させる構成のため、移動量の大きさに関係なく瞬時的に移動要求に対応することができ、ユーザが望む画角変更要求に瞬時に対応可能な遠隔操作型監視システムを構築することができる。 According to the above-described embodiment of the present invention, the panning and tilting of the image data distributed to each of the plurality of user-side terminals 2 and 3 can be performed simultaneously by controlling the reading area of the image data from the memory 12 of the imaging device 1. Can be realized. Because it is configured to store movement requests from a plurality of user-side terminals 2 and 3, read data of each requested image area, perform signal processing, and distribute it to the corresponding user-side terminals, user operation collisions, etc. It can be lost. In addition, since the angle of view is moved by setting the memory read area, it is possible to respond instantly to a movement request regardless of the amount of movement, and to instantly respond to a view angle change request desired by the user. A remote operation type monitoring system can be constructed.

なお、上記実施形態では、ユーザ側端末から指示された映像データをメモリ１２から読み出すためのメモリ読み出し領域を、上記数１〜数３に基づく演算により求めて設定・登録し、その後、これを読み出して上記ユーザ側端末に送出する構成としたが、本発明の実施形態としてはこの他、例えばメモリに保存した１つの映像データを、例えば縦３分割×横３分割（＝９分割）や縦４分割×横４分割（＝１６分割）などの複数個に分割して設定し、該分割した映像データのうちの１つまたは複数個を、指定された読み出し領域としてメモリ１２から選択的に読み出し、該読み出した分割映像データをユーザ側端末に送出するようにしてもよい。かかる実施形態とした場合は、特に制御サービス回路１１７における信号処理の負担が軽減され、複数のユーザ側端末からの要求に対し短時間のうちの配信が可能となる。 In the above embodiment, a memory read area for reading video data instructed from the user side terminal from the memory 12 is obtained and set / registered by calculation based on the above formulas 1 to 3, and then read out. However, as an embodiment of the present invention, for example, one video data stored in a memory is divided into, for example, vertical 3 divisions × horizontal 3 divisions (= 9 divisions) or vertical 4 Divided into a plurality of divisions such as division × horizontal division (= 16 divisions), and one or a plurality of the divided video data are selectively read out from the memory 12 as a designated readout area; The read divided video data may be sent to the user terminal. In the case of such an embodiment, in particular, the burden of signal processing in the control service circuit 117 is reduced, and distribution in a short time is possible in response to requests from a plurality of user-side terminals.

本発明の撮像装置を用いたシステムの構成例図である。1 is a configuration example diagram of a system using an imaging apparatus of the present invention. 図１中の撮像装置における画角遠隔操作の概念図である。It is a conceptual diagram of a view angle remote control in the imaging device in FIG. 図２の遠隔操作における動作アルゴリズムの説明図である。It is explanatory drawing of the operation | movement algorithm in the remote operation of FIG. ユーザ側端末からの情報例を示す図である。It is a figure which shows the example of information from a user side terminal. 図１中の撮像装置における動作タイミング図である。It is an operation | movement timing diagram in the imaging device in FIG.

Explanation of symbols

１…撮像装置、
２、３…ユーザ側端末、
４…ネットワーク、
１１０…撮像素子、
１１１…カメラ信号処理回路、
１１２…メモリ、
１１３…コーデック回路、
１１４…パケット生成回路、
１１５、１２２…インターフェース、
１１６…メモリ制御回路、
１１７…制御サービス回路、
１２０…表示処理手段、
１２１…操作処理手段、
１２３、１３３…指示入力手段、
１２４、１３４…表示手段。
1 ... Imaging device,
2, 3 ... user side terminal,
4 ... Network,
110: Image sensor,
111 ... Camera signal processing circuit,
112 ... Memory,
113 ... codec circuit,
114 ... packet generation circuit,
115, 122 ... interface,
116: Memory control circuit,
117: Control service circuit,
120 ... display processing means,
121 ... operation processing means,
123, 133 ... Instruction input means,
124, 134 ... display means.

Claims

An imaging device connected to a network and capable of remote operation from a user-side terminal and transmission of a captured video based thereon,
Camera signal processing means for processing a video signal of a photographed subject and outputting it as a digital video signal;
Memory means for storing the output digital video signal;
Memory control means for controlling reading from the memory means so that image information of a designated area is read out of the recorded digital video signal;
Codec means for performing encoding processing on the digital video signal output from the memory means;
Packet generating means for converting the encoded video signal into a data packet according to a transmission protocol of the network;
The shooting direction movement information input from the user side terminal by the network is stored, a memory read area for reading a video signal in the shooting direction instructed from the user side terminal is calculated from the shooting direction movement information, and Control service means for setting the memory control means as the designated area and controlling the packet generation means so as to send the video signal read from the set memory read area to the user side terminal;
An imaging apparatus comprising:

The imaging device according to claim 1,
The control service means stores shooting direction movement information input from a plurality of user side terminals, and calculates and sets a memory read area for reading a video signal in a shooting direction instructed from each user side terminal. In addition, the imaging apparatus controls the packet generation means so as to send a video signal in a shooting direction instructed from each user side terminal to the corresponding user side terminal.

The imaging device according to claim 1,
The image pickup apparatus, wherein the control service means is capable of setting the size of the memory read area in accordance with the image resolution of the user terminal.

The imaging device according to claim 1,
The control service means may divide the entire photographing area into a plurality of areas as the memory reading area, and set one or more of the divided areas.

The imaging device according to claim 1,
The codec means transmits both a thumbnail image obtained by reducing the entire shooting area and a video in a shooting direction instructed from the user terminal.