JP2006074441A - Device and method for receiving image, and image transmitting system - Google Patents
Device and method for receiving image, and image transmitting system Download PDFInfo
- Publication number
- JP2006074441A JP2006074441A JP2004255420A JP2004255420A JP2006074441A JP 2006074441 A JP2006074441 A JP 2006074441A JP 2004255420 A JP2004255420 A JP 2004255420A JP 2004255420 A JP2004255420 A JP 2004255420A JP 2006074441 A JP2006074441 A JP 2006074441A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- camera
- network
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、ネットワークを介して画像データを受信する画像受信装置及び画像受信方法、並びに画像伝送システムに関する。 The present invention relates to an image receiving apparatus, an image receiving method, and an image transmission system that receive image data via a network.
従来、画像伝送システムでは、映像信号を符号化し、画像データをパケットとしてネットワークに伝送する際、ネットワークにおける画像データの到着時間の揺らぎにより、受信端末で映像信号の遅延が発生することがあった。受信端末から送信端末側のカメラに対し、パン、チルト等の操作を行う場合、この映像伝送の遅延が大きい程、操作結果の受信映像への反映が遅れ、操作性が低下する。 Conventionally, in an image transmission system, when a video signal is encoded and the image data is transmitted as a packet to the network, a delay of the video signal may occur at the receiving terminal due to fluctuations in the arrival time of the image data in the network. When an operation such as panning or tilting is performed from the receiving terminal to the camera on the transmitting terminal side, the greater the delay of this video transmission, the later the operation result is reflected in the received video, and the operability decreases.
受信端末として用いられる、従来の画像受信装置は、圧縮・符号化された画像データを伸長する画像伸張部、操作に必要な指示枠を発生する指示枠発生部、指示枠に画像を合成する画像合成部、及び操作情報を解析する操作情報解析部等を有して構成されている(例えば特許文献1参照)。この画像受信装置では、操作情報及び画像の表示遅延を解析し、遅延した画面上に移動予想位置を提示することによって操作性の低下を抑制していた。 A conventional image receiving apparatus used as a receiving terminal includes an image expansion unit that expands compressed and encoded image data, an instruction frame generation unit that generates an instruction frame necessary for operation, and an image that combines an image with the instruction frame It has a composition unit and an operation information analysis unit for analyzing operation information and the like (see, for example, Patent Document 1). In this image receiving apparatus, the operation information and the display delay of the image are analyzed, and the expected movement position is presented on the delayed screen, thereby suppressing the decrease in operability.
また、他の従来例として、映像伝送の遅延による操作性の低下を回避するために、画像送信装置に画像圧縮部及び制御変化検出部を設け、符号化モードを低遅延のものに変更することによって、カメラ操作時に符号化時間の遅延を低減する方法が知られている(例えば特許文献2参照)。 As another conventional example, in order to avoid a decrease in operability due to a delay in video transmission, an image compression unit and a control change detection unit are provided in the image transmission device, and the encoding mode is changed to a low delay one. Thus, there is known a method for reducing a delay in encoding time during camera operation (see, for example, Patent Document 2).
しかしながら、上記従来の画像受信装置では、カメラ操作の予測位置を提示することにより操作の確度は向上すると期待されるが、依然として操作結果が反映された画像表示に至るまでの時間を低減できなかった。 However, in the conventional image receiving apparatus, it is expected that the accuracy of the operation is improved by presenting the predicted position of the camera operation, but the time until the image display that reflects the operation result still cannot be reduced. .
また、上記従来の映像伝送の遅延低減方法では、符号化及び復号化にかかる時間だけを短縮するものであり、受信バッファの遅延時間については低減できなかった。 Further, in the conventional video transmission delay reduction method, only the time required for encoding and decoding is shortened, and the delay time of the reception buffer cannot be reduced.
本発明は、上記事情に鑑みてなされたもので、カメラ操作が無いときには、画像データの到着時間に揺らぎがあっても安定した画像を表示でき、カメラ操作があるときには、その操作が表示画像に反映される遅延時間を低減することができる画像受信装置及び画像受信方法、並びに画像伝送システムを提供することを目的とする。 The present invention has been made in view of the above circumstances. When there is no camera operation, a stable image can be displayed even when there is fluctuation in the arrival time of image data. When there is a camera operation, the operation is displayed on the display image. An object of the present invention is to provide an image receiving apparatus, an image receiving method, and an image transmission system that can reduce the reflected delay time.
本発明は、カメラで撮影された画像データをネットワークを介して受信する画像受信装置であって、前記ネットワークを介して前記カメラから送信される画像データを受信する受信手段と、前記受信した画像データを蓄積する画像データ蓄積手段と、前記ネットワークを介して前記カメラを操作する操作手段と、前記操作手段によるカメラ操作に基づき、前記画像データ蓄積手段の蓄積量を制御するバッファ制御手段とを備えるものである。 The present invention is an image receiving device that receives image data captured by a camera via a network, the receiving means receiving image data transmitted from the camera via the network, and the received image data Image data storage means for storing the image data, operation means for operating the camera via the network, and buffer control means for controlling the storage amount of the image data storage means based on the camera operation by the operation means It is.
これにより、表示装置等に画像データを出力する際、カメラ操作が無い場合、画像データの到着時間に揺らぎがあっても安定した画像を表示しつつ、カメラ操作がある場合、その操作が表示画像に反映される遅延時間を低減できる。このように、カメラ操作に基づき、画像データ蓄積手段の蓄積量を制御することにより、カメラ操作の状態に応じて画像表示の遅延時間を設定可能である。例えば、カメラ操作が無い場合、画像データ蓄積手段の蓄積量を多く設定し、画像データの到着時間の揺らぎの影響を抑制した画像の安定表示を行うことが可能である。また、カメラ操作がある場合、画像データ蓄積手段の蓄積量を少なく設定し、その操作が画面に反映されるまでの時間を減らして操作誤りを抑制することが可能である。 Thus, when outputting image data to a display device or the like, if there is no camera operation, a stable image is displayed even if the arrival time of the image data fluctuates, and if there is a camera operation, the operation is displayed. It is possible to reduce the delay time reflected in. Thus, by controlling the accumulation amount of the image data accumulation means based on the camera operation, it is possible to set the delay time for image display according to the state of the camera operation. For example, when there is no camera operation, it is possible to set a large storage amount of the image data storage means and perform stable display of an image in which the influence of fluctuations in the arrival time of the image data is suppressed. Further, when there is a camera operation, it is possible to set a small storage amount of the image data storage means and reduce a time until the operation is reflected on the screen to suppress an operation error.
また、本発明の一態様として、上記の画像受信装置であって、前記バッファ制御手段は、前記操作手段によるカメラ操作があった場合、前記画像データ蓄積手段の蓄積量を画像データの所定のコマ数分に相当する第1のしきい値に設定し、前記操作手段によるカメラ操作が無かった場合、前記第1のしきい値より多いコマ数分に相当する第2のしきい値に設定するものとする。
これにより、画像データのコマ単位に画像データ蓄積手段の蓄積量を設定でき、画像データ蓄積手段を効率良く利用できる。
According to another aspect of the present invention, in the image receiving device described above, the buffer control unit may determine a storage amount of the image data storage unit when a camera operation is performed by the operation unit. A first threshold value corresponding to several minutes is set, and when there is no camera operation by the operating means, a second threshold value corresponding to the number of frames larger than the first threshold value is set. Shall.
Thereby, the storage amount of the image data storage means can be set for each frame of image data, and the image data storage means can be used efficiently.
また、本発明の一態様として、上記の画像受信装置であって、前記バッファ制御手段は、前記操作手段によるカメラ操作の操作内容に対応するしきい値を記憶するしきい値記憶手段を備え、前記操作手段によるカメラ操作があった場合、前記画像データ蓄積手段の蓄積量を、画像データの所定のコマ数分に相当するしきい値として、当該カメラ操作の操作内容に対応する値に設定するものとする。
これにより、例えばカメラの移動等のカメラ操作内容に適した画像データの応答性を確保することができ、操作性を高めることができる。
Further, as one aspect of the present invention, in the image receiving device described above, the buffer control unit includes a threshold value storage unit that stores a threshold value corresponding to an operation content of a camera operation by the operation unit, When the camera is operated by the operation unit, the storage amount of the image data storage unit is set to a value corresponding to the operation content of the camera operation as a threshold corresponding to a predetermined number of frames of image data. Shall.
Thereby, for example, the responsiveness of the image data suitable for the camera operation content such as the movement of the camera can be ensured, and the operability can be improved.
また、本発明の一態様として、上記の画像受信装置であって、前記操作手段によるカメラ操作は、パン、チルト、ズームのうちのいずれか一つを含む撮影画像位置変更動作を持つものとする。
これにより、パン、チルト、ズーム等のカメラ操作内容に応じて、画像データ蓄積手段の蓄積量を制御し、画像伝送の揺らぎの影響を抑制しつつカメラ操作の操作性を向上させることが可能である。
Further, as one aspect of the present invention, in the image receiving apparatus described above, the camera operation by the operation unit has a captured image position changing operation including any one of pan, tilt, and zoom. .
As a result, the amount of image data storage means can be controlled according to the camera operation details such as pan, tilt, zoom, etc., and the operability of camera operation can be improved while suppressing the influence of fluctuations in image transmission. is there.
また、本発明の一態様として、上記の画像受信装置であって、前記画像データ蓄積手段に蓄積された画像データを伸張する画像伸張手段を備え、前記画像データ蓄積手段は、前記伸張される前の画像データを蓄積するものとする。
これにより、伸張前の画像データの蓄積量を制御することができ、時間のかかる無駄な画像伸張処理を省くことができる。
According to another aspect of the present invention, the image receiving apparatus includes an image expansion unit that expands image data stored in the image data storage unit, the image data storage unit before the expansion. The image data is stored.
As a result, the storage amount of the image data before decompression can be controlled, and time-consuming useless image decompression processing can be omitted.
本発明は、カメラで撮影された画像データをネットワークを介して受信する画像受信方法であって、前記ネットワークを介して前記カメラから送信される画像データを受信する受信ステップと、前記受信した画像データを画像データ蓄積手段に蓄積する蓄積ステップと、前記ネットワークを介して前記カメラを操作する操作ステップと、前記操作ステップによるカメラ操作に基づき、前記受信した画像データを蓄積する画像データ蓄積手段の蓄積量を制御するバッファ制御ステップとを有するものである。
これにより、カメラ操作に応じて画像データ蓄積手段の蓄積量を制御し、画像伝送の揺らぎの影響を抑制しつつカメラ操作の操作性を向上させることが可能である。
The present invention is an image receiving method for receiving image data captured by a camera via a network, the receiving step for receiving image data transmitted from the camera via the network, and the received image data In the image data storage means, an operation step for operating the camera via the network, and an accumulation amount of the image data storage means for storing the received image data based on the camera operation in the operation step And a buffer control step for controlling.
Accordingly, it is possible to improve the operability of the camera operation while controlling the accumulation amount of the image data accumulating means according to the camera operation and suppressing the influence of the fluctuation of the image transmission.
本発明は、ネットワークを介してカメラ及び画像受信装置が接続され、前記カメラで撮影された画像データを前記ネットワークを介して前記画像受信装置で受信する画像伝送システムであって、前記画像受信装置は、前記ネットワークを介して前記カメラから送信される画像データを受信する受信手段と、前記受信した画像データを蓄積する画像データ蓄積手段と、前記ネットワークを介して前記カメラを操作する操作手段と、前記操作手段によるカメラ操作に基づき、前記画像データ蓄積手段の蓄積量を制御するバッファ制御手段とを備え、前記カメラは、前記画像受信装置からの操作に従って、撮影動作を変更する撮影動作変更手段と、撮影した画像データを送信する送信手段とを備えるものである。
これにより、カメラ操作に応じて画像データ蓄積手段の蓄積量を制御し、画像伝送の揺らぎの影響を抑制しつつカメラ操作の操作性を向上させることが可能である。
The present invention is an image transmission system in which a camera and an image receiving device are connected via a network, and image data taken by the camera is received by the image receiving device via the network, the image receiving device being Receiving means for receiving image data transmitted from the camera via the network; image data storage means for storing the received image data; operating means for operating the camera via the network; A buffer control unit that controls a storage amount of the image data storage unit based on a camera operation by the operation unit, and the camera changes a shooting operation according to an operation from the image receiving device; Transmission means for transmitting photographed image data.
Accordingly, it is possible to improve the operability of the camera operation while controlling the accumulation amount of the image data accumulating means according to the camera operation and suppressing the influence of the fluctuation of the image transmission.
また、本発明は、コンピュータに、上記いずれかに記載の画像受信装置の各手段の機能を実現させるためのプログラムを提供する。 The present invention also provides a program for causing a computer to realize the function of each unit of the image receiving apparatus described above.
本発明によれば、カメラ操作が無いときには、画像データの到着時間に揺らぎがあっても安定した画像を表示でき、カメラ操作があるときには、その操作が表示画像に反映される遅延時間を低減することが可能な画像受信装置及び画像受信方法、並びに画像伝送システムを提供できる。 According to the present invention, when there is no camera operation, a stable image can be displayed even if the arrival time of the image data fluctuates, and when there is a camera operation, the delay time in which the operation is reflected in the display image is reduced. An image receiving apparatus, an image receiving method, and an image transmission system can be provided.
本実施形態では、ネットワークを介して遠隔地のカメラを操作しながら画像を受信して表示等を行う映像監視システム等、遠隔操作されるカメラで撮影された画像データを伝送する画像伝送システムに適用される画像受信装置の構成例を示す。 In this embodiment, the present invention is applied to an image transmission system that transmits image data captured by a remotely operated camera, such as a video surveillance system that receives and displays an image while operating a remote camera via a network. The example of a structure of the image receiving apparatus used is shown.
(第1の実施形態)
図1は第1の実施形態における画像伝送システムの構成を示す図である。この画像伝送システムは、データ伝送を行うネットワーク2に画像受信装置1及び画像送信装置3が接続された構成を有する。
(First embodiment)
FIG. 1 is a diagram illustrating a configuration of an image transmission system according to the first embodiment. This image transmission system has a configuration in which an
画像送信装置(カメラ)3は、撮像部(カメラ本体)31の他、カメラ本体31の撮影位置制御機構(雲台)32(撮影動作変更手段の一例に相当する)、撮像部で撮影された画像データを送信する送信部33(送信手段の一例に相当する)などを備える。この画像送信装置3は、ネットワーク2を介して通知される画像受信装置1からの操作にしたがって、パン、チルト、ズーム等のカメラ撮影範囲変更動作(すなわち撮影画像位置変更動作)を含む撮影動作を行い、ネットワーク2を介して画像受信装置1へ撮影画像の画像データを送信する。
The image transmission device (camera) 3 was photographed by an imaging unit (camera body) 31, a shooting position control mechanism (head) 32 (corresponding to an example of a shooting operation changing unit), and an imaging unit of the
画像受信装置1は、画像を表示する表示部101、パン、チルト等のカメラの動きを操作する操作部102(操作手段の一例に相当する)、ネットワーク2に接続され、雲台の制御メッセージや画像データをパケットとして送受信するネットワークインタフェース(I/F)部103(受信手段の一例に相当する)、受信した画像データを一時蓄積するバッファメモリ104a(画像データ蓄積手段の一例に相当する)を有し、このバッファメモリ104a内の画像データの蓄積量を制御するバッファ制御部104(バッファ制御手段の一例に相当する)、及び圧縮・符号化された画像データを伸張する画像伸張部105(画像伸張手段の一例に相当する)を備える。なお、本実施形態では、バッファメモリは、バッファ制御部に内蔵される例を示しているが、外部メモリとして独立して設けられていてもよい。
The
バッファ制御部104は、周知のプロセッサ、後述する制御プログラム等が記憶されたROM、RAM等のメモリを有する。操作部102は、ユーザインタフェースとしてジョイスティック、マウス、キーボード等、使用者によって操作される機械的な位置を計測できる手段を備えたものである。この計測手段として、例えばスティックの移動量、ボタンの押下あるいは移動量を検出するものであってもよいし、Webブラウザや制御専用のモニタ上に表示された仮想的な操作ボタン等の押下や移動を解釈して出力するものであってもよい。
The
上記構成を有する画像伝送システムの動作を説明する。まず、画像送信装置3からネットワーク2に画像が送信される際、画像送信装置3は、撮像した画像を圧縮・符号化し、生成された画像データをパケットとしてネットワーク2に送信する。ネットワークIF部103は、画像送信装置3から送信された画像データを含むパケットを受信し、バッファ制御部104に転送する。バッファ制御部104は、画像データを一旦、内部のバッファメモリ104aに蓄積し、その蓄積量が所定のしきい値(規定量)に達するまで画像データを画像伸張部105に出力しない。そして、画像データの蓄積量が規定量に達すると、バッファ制御部104は、画像伸張部105に画像データを出力する。画像伸張部105は、圧縮・符号化された画像データを伸張して表示部101に送る。表示部101は、画像伸張部105から送られた画像データを表示する。
The operation of the image transmission system having the above configuration will be described. First, when an image is transmitted from the image transmission device 3 to the
また、操作部102は、使用者からの指示によるカメラ操作を検出し、ネットワークIF部103を介して画像送信装置3に対し、そのカメラ操作を制御パケットとして送信する。また、操作部102は、そのカメラ操作情報をバッファ制御部104に通知する。この操作部102から通知された操作情報を基に、バッファ制御部104は、バッファメモリ104aのしきい値(規定量)を変更する。つまり、画像データの蓄積量を、カメラ操作の状態に適したしきい値に設定する。
The
図2は第1の実施形態のカメラ操作におけるバッファ制御を説明する図である。通常、画像送信装置3から送信された画像データを含むパケットを、ネットワーク2を介して画像受信装置1で受信する場合、パケットの受信間隔に揺らぎが発生する。画像の表示は一定間隔ごとに行われるので、この受信間隔の揺らぎが大きいと、コマ落ちなど画像表示に乱れが発生する場合がある。このような画像表示の乱れを抑制するため、画像データをバッファメモリ104aに一定量蓄積し、バッファメモリ104aから一定間隔で画像伸張部105及び表示部101に画像データを供給する。これにより、画像伝送に揺らぎが生じた場合のコマ落ちや画像表示の乱れを抑制する。
FIG. 2 is a diagram for explaining buffer control in the camera operation of the first embodiment. Normally, when a packet including image data transmitted from the image transmission device 3 is received by the
一方、画像データの蓄積は、撮像時刻と実際に表示される時刻との間にずれを生じ、蓄積量に比例してその差が増大する。表示画像を参照しながらカメラを遠隔操作する場合、時間差によって所望の位置に移動させる操作に誤りが生じるおそれがある。このため、本実施形態では、バッファ制御部104は、カメラ操作の状態に応じて画像データの蓄積量を変更する。具体的に、バッファ制御部104は、カメラの操作の「移動」を検出すると、画像データの一時蓄積量を削減し、予め定められたカメラ移動時の蓄積量(しきい値)となるように、古いデータから削除し、削除された次のデータから画像伸張部105に転送する。
On the other hand, in the accumulation of image data, there is a difference between the imaging time and the actual display time, and the difference increases in proportion to the accumulation amount. When the camera is remotely operated while referring to the display image, there is a possibility that an error occurs in the operation of moving the camera to a desired position due to a time difference. For this reason, in the present embodiment, the
図2には、バッファメモリ104aから画像伸張部105に画像データが供給される場合が示されている。ここで、1つの四角のマスは画像の符号化単位(1コマ)を表しており、番号順に画像受信装置1に入力されているものとする。カメラ操作無しの状態の場合、バッファメモリ104aの蓄積量をしきい値A(第2のしきい値)とし、しきい値Aに達した後、先入れ先出し法で画像データを画像伸張部105に供給する。一方、カメラ操作有りの状態に移行した場合、バッファメモリ104aの蓄積量をしきい値B(第1のしきい値)に変更する。このしきい値Bへの変更に際し、既に蓄積された画像データの余剰分を、古いものから全て破棄するか、あるいはコマ落しで画像伸張部105に供給する。なお、本実施形態では、しきい値Aは、8コマ分に相当する蓄積量であり、しきい値Bは2コマ分に相当する蓄積量としているが、それぞれの蓄積量は特に限定されるものではなく、任意に設定してもよいことは勿論である。
FIG. 2 shows a case where image data is supplied from the
このように、カメラ操作の状態には、例えばカメラのパン、チルト、ズーム等の画面の移動を伴う操作が発生した状態(カメラ操作有りの状態)、及び画面の移動を伴う操作が発生していない状態(カメラ操作無しの状態)の2つの状態が存在する。カメラ操作無しの状態の場合、ネットワークの揺らぎに起因する画面表示の乱れを抑制できる十分な蓄積量(しきい値)、例えばパケット到着間隔の揺らぎの平均値以上等、統計的基準量によって蓄積量を確保する。一方、カメラ操作有りの状態の場合、操作開始から画面表示に反映される遅延時間を抑制するため、カメラ操作無しの状態に比べて蓄積量を減少させる。 As described above, the camera operation state includes, for example, a state in which operations such as panning, tilting, and zooming of the camera are accompanied by movements of the screen (a state in which the camera is operated) and operations involving movements of the screen. There are two states, that is, no state (state without camera operation). When there is no camera operation, the amount of accumulation (threshold value) that can suppress disturbance of the screen display due to network fluctuations, for example, more than the average value of fluctuation of packet arrival interval, the accumulation amount by statistical reference amount Secure. On the other hand, in the state with camera operation, in order to suppress the delay time reflected in the screen display from the start of the operation, the accumulation amount is reduced compared to the state without camera operation.
例えば、しきい値(蓄積量)を値0に設定し、受信した画像データを即座に画像伸張部105に送るようにしてもよい。この場合、撮像時刻と表示時刻の差を自動的に削減し、操作に対する画像表示の応答を縮めることができ、操作停止時の位置ずれ、行き過ぎ等の操作ミスを抑制する。一方、操作が停止し、カメラ操作無しの状態に移行すると、バッファ制御部104はバッファメモリ104aの蓄積量を元に戻す。なお、このカメラ操作無しの状態には、使用者によって操作されずにカメラが固定された状態の他、予め定められたカメラ操作を実行するプリセット動作状態等も含まれる。
For example, the threshold value (accumulation amount) may be set to 0 and the received image data may be sent immediately to the
図3は第1の実施形態におけるバッファ制御処理手順を示すフローチャートである。この処理プログラムは、バッファ制御部104内のROMに格納されており、同じくバッファ制御部104内のCPUによって所定時間毎に実行される。まず、操作部102から通知されるカメラ操作の状態がカメラ操作有りの状態であるか否かを判別する(ステップS1)。カメラ操作無しの状態の場合、バッファメモリ104aの蓄積量をしきい値Aに設定し(ステップS2)、本処理を終了する。一方、ステップS1でカメラ操作有りの状態の場合、バッファメモリ104aの蓄積量をしきい値Bに設定し(ステップS3)、本処理を終了する。
FIG. 3 is a flowchart showing a buffer control processing procedure in the first embodiment. This processing program is stored in the ROM in the
このように、第1の実施形態の画像受信装置によれば、バッファ制御部により、カメラの操作状態に応じて、受信する画像データの蓄積量を変化させ、カメラ操作が無いときには、画像データの到達時間の揺らぎの影響を抑制した画像の安定表示を行うことができ、一方、カメラ操作があるときには、画面に操作が反映されるまでの時間を自動的に削減し、操作誤りを抑制することができる。 As described above, according to the image receiving apparatus of the first embodiment, the buffer control unit changes the accumulation amount of received image data according to the operation state of the camera. Stable display of images that suppress the effect of fluctuations in arrival time can be performed. On the other hand, when there is a camera operation, the time until the operation is reflected on the screen is automatically reduced to suppress operation errors. Can do.
(第2の実施形態)
前述した第1の実施形態では、カメラ操作の有無によって、しきい値を2段階に設定していたが、第2の実施形態では、カメラ操作の有無の他、カメラ操作の操作内容によっても、バッファメモリのしきい値を変更する場合を示す。なお、画像伝送システムの構成は図1に示した第1の実施形態と同じである。第2の実施形態では、バッファ制御部104内のROMには、しきい値テーブルが格納されている。
(Second Embodiment)
In the first embodiment described above, the threshold value is set in two stages depending on whether or not the camera is operated. However, in the second embodiment, in addition to the presence or absence of the camera operation, depending on the operation content of the camera operation, The case where the threshold value of the buffer memory is changed is shown. The configuration of the image transmission system is the same as that of the first embodiment shown in FIG. In the second embodiment, the threshold value table is stored in the ROM in the
図4は第2の実施形態におけるバッファ制御部104内のROMに格納されたしきい値テーブルを示す図である。このしきい値テーブルには、カメラ操作内容がパンの場合、しきい値Cに設定し、チルトの場合、しきい値Dに設定し、ズームの場合、しきい値Eにそれぞれ設定することが示されている。しきい値C、D、Eの一例として、例えばそれぞれ1、2、3コマ分に相当する蓄積量に設定することが挙げられる。
FIG. 4 is a diagram illustrating a threshold value table stored in the ROM in the
図5は第2の実施形態におけるバッファ制御処理手順を示すフローチャートである。図3に示した第1の実施形態と同一のステップ処理については同一の符号を付している。この処理プログラムは、バッファ制御部104内のROMに格納されており、同じくバッファ制御部104内のCPUによって所定時間毎に実行される。まず、操作部102から通知されるカメラ操作の状態がカメラ操作有りの状態であるか否かを判別する(ステップS1)。カメラ操作無しの状態の場合、バッファメモリ104aの蓄積量をしきい値Aに設定し(ステップS2)、本処理を終了する。一方、ステップS1でカメラ操作有りの状態の場合、カメラの操作内容に応じてしきい値を変更するために、操作部102から通知される操作内容を判別する(ステップS3A)。そして、しきい値変更テーブルを参照し、通知された操作内容に応じたバッファメモリ104aのしきい値を選択して設定する(ステップS3B)。この後、本処理を終了する。
FIG. 5 is a flowchart showing a buffer control processing procedure in the second embodiment. The same step processes as those in the first embodiment shown in FIG. This processing program is stored in the ROM in the
このように、第2の実施形態の画像受信装置によれば、パン、チルト、ズーム等のカメラ操作内容に適したしきい値に最適なバッファメモリの蓄積量を設定することができる。これにより、カメラ操作内容に応じて適切に画像伝送の揺らぎの影響を抑制することができる。 As described above, according to the image receiving apparatus of the second embodiment, it is possible to set the optimum storage amount of the buffer memory to the threshold value suitable for the camera operation content such as pan, tilt, and zoom. Thereby, it is possible to appropriately suppress the influence of fluctuations in image transmission according to the contents of camera operation.
上述したように本実施形態では、カメラの操作状態によって受信する画像データの蓄積量を変化させるバッファ制御部を設けることにより、カメラ操作がない時には画像データの到達時間の揺らぎの影響を抑制した画像の安定表示を行う一方、カメラ操作時には操作の画面への反映までの時間を自動的に削減して操作誤りを抑制することができる。 As described above, in the present embodiment, an image in which the influence of fluctuations in the arrival time of image data is suppressed when there is no camera operation is provided by providing a buffer control unit that changes the accumulation amount of image data received depending on the operation state of the camera. On the other hand, when the camera is operated, it is possible to automatically reduce the time until the operation is reflected on the screen, thereby suppressing an operation error.
なお、以上が本実施形態の説明であるが、本発明は、これら実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または実施形態の構成が持つ機能を達成できる構成であれば、他の代替手段など、どのようなものであっても適用可能である。 The above is the description of the present embodiment, but the present invention is not limited to the configuration of these embodiments, and the configuration that can achieve the functions shown in the claims or the functions of the configuration of the embodiments. Any other means such as other alternative means can be applied.
本発明は、カメラ操作が無いときには、画像データの到着時間に揺らぎがあっても安定した画像を表示でき、カメラ操作があるときには、その操作が表示画像に反映される遅延時間を低減することが可能となる効果を有し、ネットワークを介して画像データを受信する画像受信装置及び画像受信方法、並びに画像伝送システム等に有用である。 According to the present invention, when there is no camera operation, a stable image can be displayed even if there is fluctuation in the arrival time of the image data, and when there is a camera operation, the delay time that the operation is reflected in the display image can be reduced. The image receiving apparatus and the image receiving method that receive the image data via the network, the image transmission system, and the like are effective.
1 画像受信装置
2 ネットワーク
3 画像送信装置(カメラ)
31 撮像部(カメラ本体)
32 撮影位置制御機構(雲台)
33 送信部
101 表示部
102 操作部
103 ネットワークインタフェース(I/F)部
104 バッファ制御部
104a バッファメモリ
105 画像伸張部
1
31 Imaging unit (camera body)
32 Shooting position control mechanism (head)
33
Claims (8)
前記ネットワークを介して前記カメラから送信される画像データを受信する受信手段と、
前記受信した画像データを蓄積する画像データ蓄積手段と、
前記ネットワークを介して前記カメラを操作する操作手段と、
前記操作手段によるカメラ操作に基づき、前記画像データ蓄積手段の蓄積量を制御するバッファ制御手段と
を備える画像受信装置。 An image receiving device that receives image data captured by a camera via a network,
Receiving means for receiving image data transmitted from the camera via the network;
Image data storage means for storing the received image data;
Operating means for operating the camera via the network;
An image receiving apparatus comprising: a buffer control unit that controls a storage amount of the image data storage unit based on a camera operation by the operation unit.
前記バッファ制御手段は、前記操作手段によるカメラ操作があった場合、前記画像データ蓄積手段の蓄積量を画像データの所定のコマ数分に相当する第1のしきい値に設定し、前記操作手段によるカメラ操作が無かった場合、前記第1のしきい値より多いコマ数分に相当する第2のしきい値に設定する画像受信装置。 The image receiving device according to claim 1,
When the camera is operated by the operation unit, the buffer control unit sets the storage amount of the image data storage unit to a first threshold value corresponding to a predetermined number of frames of image data, and the operation unit When there is no camera operation by the image receiving device, the image receiving device is set to a second threshold value corresponding to the number of frames larger than the first threshold value.
前記バッファ制御手段は、前記操作手段によるカメラ操作の操作内容に対応するしきい値を記憶するしきい値記憶手段を備え、前記操作手段によるカメラ操作があった場合、前記画像データ蓄積手段の蓄積量を、画像データの所定のコマ数分に相当するしきい値として、当該カメラ操作の操作内容に対応する値に設定する画像受信装置。 The image receiving device according to claim 1,
The buffer control means includes a threshold value storage means for storing a threshold value corresponding to an operation content of the camera operation by the operation means, and when the camera operation is performed by the operation means, the image data storage means stores An image receiving apparatus that sets the amount as a threshold corresponding to a predetermined number of frames of image data to a value corresponding to the operation content of the camera operation.
前記操作手段によるカメラ操作は、パン、チルト、ズームのうちのいずれか一つを含む撮影画像位置変更動作を持つ画像受信装置。 The image receiving device according to any one of claims 1 to 3,
An image receiving apparatus having a photographed image position changing operation in which the camera operation by the operation means includes any one of pan, tilt, and zoom.
前記画像データ蓄積手段に蓄積された画像データを伸張する画像伸張手段を備え、
前記画像データ蓄積手段は、前記伸張される前の画像データを蓄積する画像受信装置。 The image receiving device according to any one of claims 1 to 3,
Image expansion means for expanding the image data stored in the image data storage means;
The image data storage means stores the image data before being decompressed.
前記ネットワークを介して前記カメラから送信される画像データを受信する受信ステップと、
前記受信した画像データを画像データ蓄積手段に蓄積する蓄積ステップと、
前記ネットワークを介して前記カメラを操作する操作ステップと、
前記操作ステップによるカメラ操作に基づき、前記受信した画像データを蓄積する画像データ蓄積手段の蓄積量を制御するバッファ制御ステップと
を有する画像受信方法。 An image receiving method for receiving image data captured by a camera via a network,
A receiving step of receiving image data transmitted from the camera via the network;
A storage step of storing the received image data in an image data storage means;
An operation step of operating the camera via the network;
An image receiving method comprising: a buffer control step for controlling an accumulation amount of image data accumulation means for accumulating the received image data based on a camera operation in the operation step.
前記画像受信装置は、前記ネットワークを介して前記カメラから送信される画像データを受信する受信手段と、前記受信した画像データを蓄積する画像データ蓄積手段と、前記ネットワークを介して前記カメラを操作する操作手段と、前記操作手段によるカメラ操作に基づき、前記画像データ蓄積手段の蓄積量を制御するバッファ制御手段とを備え、
前記カメラは、前記画像受信装置からの操作に従って、撮影動作を変更する撮影動作変更手段と、撮影した画像データを送信する送信手段とを備える画像伝送システム。 An image transmission system in which a camera and an image receiving device are connected via a network, and image data captured by the camera is received by the image receiving device via the network,
The image receiving apparatus receives image data transmitted from the camera via the network, image data accumulation means for accumulating the received image data, and operates the camera via the network. An operation means, and a buffer control means for controlling an accumulation amount of the image data accumulation means based on a camera operation by the operation means,
An image transmission system, wherein the camera includes a photographing operation changing unit that changes a photographing operation according to an operation from the image receiving device, and a transmission unit that transmits photographed image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004255420A JP4593209B2 (en) | 2004-09-02 | 2004-09-02 | Image receiving apparatus, image receiving method, and image transmission system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004255420A JP4593209B2 (en) | 2004-09-02 | 2004-09-02 | Image receiving apparatus, image receiving method, and image transmission system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006074441A true JP2006074441A (en) | 2006-03-16 |
JP4593209B2 JP4593209B2 (en) | 2010-12-08 |
Family
ID=36154563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004255420A Expired - Fee Related JP4593209B2 (en) | 2004-09-02 | 2004-09-02 | Image receiving apparatus, image receiving method, and image transmission system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4593209B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008018156A1 (en) * | 2006-08-10 | 2008-02-14 | Sanritz Automation Co., Ltd. | Fluctuation corrected image display method and mobile object remote control system using the method |
US7668626B2 (en) | 2006-08-16 | 2010-02-23 | National Institute Of Information And Communications Technology, Incorporated Administrative Agency | Image displaying method with fluctuation correction and remote control system for moving unit using the method |
JP2017135502A (en) * | 2016-01-26 | 2017-08-03 | 矢崎総業株式会社 | Electronic equipment |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07236082A (en) * | 1994-02-25 | 1995-09-05 | Kyocera Corp | Remote camera control system |
JPH10164565A (en) * | 1996-11-29 | 1998-06-19 | Canon Inc | Image-pickup control method, its device, image-pickup system and storage medium storing program for executing the method |
JPH10164537A (en) * | 1996-11-29 | 1998-06-19 | Canon Inc | Video communication system, information processor and its control method |
JPH11205775A (en) * | 1998-01-09 | 1999-07-30 | Nippon Telegr & Teleph Corp <Ntt> | Remote monitoring device and its picture displaying method |
JP2000295601A (en) * | 1999-04-12 | 2000-10-20 | Hitachi Ltd | Picture transmission equipment |
JP2003284051A (en) * | 2002-03-26 | 2003-10-03 | Fujitsu Ltd | Video transmission system and method for controlling video transmission |
JP2004180190A (en) * | 2002-11-29 | 2004-06-24 | Hitachi Ltd | Camera controller and program for performing its control step |
-
2004
- 2004-09-02 JP JP2004255420A patent/JP4593209B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07236082A (en) * | 1994-02-25 | 1995-09-05 | Kyocera Corp | Remote camera control system |
JPH10164565A (en) * | 1996-11-29 | 1998-06-19 | Canon Inc | Image-pickup control method, its device, image-pickup system and storage medium storing program for executing the method |
JPH10164537A (en) * | 1996-11-29 | 1998-06-19 | Canon Inc | Video communication system, information processor and its control method |
JPH11205775A (en) * | 1998-01-09 | 1999-07-30 | Nippon Telegr & Teleph Corp <Ntt> | Remote monitoring device and its picture displaying method |
JP2000295601A (en) * | 1999-04-12 | 2000-10-20 | Hitachi Ltd | Picture transmission equipment |
JP2003284051A (en) * | 2002-03-26 | 2003-10-03 | Fujitsu Ltd | Video transmission system and method for controlling video transmission |
JP2004180190A (en) * | 2002-11-29 | 2004-06-24 | Hitachi Ltd | Camera controller and program for performing its control step |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008018156A1 (en) * | 2006-08-10 | 2008-02-14 | Sanritz Automation Co., Ltd. | Fluctuation corrected image display method and mobile object remote control system using the method |
JPWO2008018156A1 (en) * | 2006-08-10 | 2009-12-24 | サンリツオートメイション株式会社 | Image display method by fluctuation correction and moving object remote control system using the method |
JP5140889B2 (en) * | 2006-08-10 | 2013-02-13 | サンリツオートメイション株式会社 | Image display method by fluctuation correction and moving object remote control system using the method |
US7668626B2 (en) | 2006-08-16 | 2010-02-23 | National Institute Of Information And Communications Technology, Incorporated Administrative Agency | Image displaying method with fluctuation correction and remote control system for moving unit using the method |
JP2017135502A (en) * | 2016-01-26 | 2017-08-03 | 矢崎総業株式会社 | Electronic equipment |
Also Published As
Publication number | Publication date |
---|---|
JP4593209B2 (en) | 2010-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20140244858A1 (en) | Communication system and relaying device | |
EP2124445B1 (en) | Image display device and image display method | |
EP1835391B1 (en) | Storage apparatus and method for processing in the same | |
US7595770B2 (en) | Switch, image transmission apparatus, image transmission method, image display method, image transmitting program product, and image displaying program product | |
US20080136942A1 (en) | Image sensor equipped photographing apparatus and picture photographing method | |
JP2007025073A (en) | Data transmission method, data transmission apparatus, data receiving apparatus, and program | |
US20130215291A1 (en) | Apparatus and method for shooting moving picture in camera device | |
JP2012028950A (en) | Information processing device and control method of the same, display device and control method of the same, and image transfer system | |
JP2017097573A (en) | Image processing device, photographing device, image processing method, and image processing program | |
JP4593209B2 (en) | Image receiving apparatus, image receiving method, and image transmission system | |
JP2007036339A (en) | Image-distributing system | |
JP5230401B2 (en) | Display control device, image processing device | |
JP2008311946A (en) | Multi-spot video monitoring device | |
JP2008042702A (en) | Photographic subject photographing apparatus, photographic subject displaying apparatus, photographic subject displaying system and program | |
JP5200979B2 (en) | Image transfer apparatus, method and program | |
JP2008301191A (en) | Video monitoring system, video monitoring control device, video monitoring control method, and video monitor controlling program | |
US20090059015A1 (en) | Information processing device and remote communicating system | |
US6754178B1 (en) | Image communication apparatus and image communication method | |
US20080030608A1 (en) | Electronic camera and combined program | |
JP4588086B2 (en) | Image transmission apparatus, image transmission method, and image transmission program | |
JP2006121578A (en) | Image transmission system, image transmitting apparatus, image receiving apparatus and image transmitting method | |
JP2004282340A (en) | Video data processing system and method, and video data processor | |
JP2008131264A (en) | Monitor camera, image recording/display apparatus and monitor camera system | |
JP5278048B2 (en) | Image supply apparatus, image supply system, image supply method, and image supply program | |
JP2011123127A (en) | Image processing apparatus, image displaying device, and image transmission system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060327 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070309 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071113 |
|
RD04 | Notification of resignation of power of attorney |
Effective date: 20071120 Free format text: JAPANESE INTERMEDIATE CODE: A7424 |
|
A977 | Report on retrieval |
Effective date: 20100203 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
A521 | Written amendment |
Effective date: 20100316 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
A131 | Notification of reasons for refusal |
Effective date: 20100608 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
A521 | Written amendment |
Effective date: 20100727 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Effective date: 20100817 Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Effective date: 20100915 Free format text: JAPANESE INTERMEDIATE CODE: A61 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 3 Free format text: PAYMENT UNTIL: 20130924 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |