JP2008131185A - Network camera system and distribution method - Google Patents
Network camera system and distribution method Download PDFInfo
- Publication number
- JP2008131185A JP2008131185A JP2006311742A JP2006311742A JP2008131185A JP 2008131185 A JP2008131185 A JP 2008131185A JP 2006311742 A JP2006311742 A JP 2006311742A JP 2006311742 A JP2006311742 A JP 2006311742A JP 2008131185 A JP2008131185 A JP 2008131185A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distribution
- client
- communication amount
- camera system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、広角の光学系及び撮像装置で構成された撮像部によって取得された全体画像の一部を切り出して出力することで、仮想的なパン、チルト、ズーム制御を実現するネットワークカメラシステム、配信方法及びプログラムに関する。 The present invention relates to a network camera system that realizes virtual pan, tilt, and zoom control by cutting out and outputting a part of an entire image acquired by an imaging unit configured by a wide-angle optical system and an imaging device, The present invention relates to a distribution method and a program.
全体画像の一部を切り出して出力することによって仮想的なパン、チルト、ズーム制御を実現するネットワークカメラシステムがある。この種のとしては、カメラから受信した全体画像をクライアント側で切り出して表示するシステム（例えば、特許文献１参照）がある。また、カメラ側で全体画像からクライアントごとに切り出しの大きさと位置が異なる部分画像を切り出してクライアントに配信するシステム（例えば、特許文献２参照）が提案されている。前者のシステムには、全体画像をマルチキャストで配信することによって、同時接続クライアント数が増加した場合でも、カメラ側ネットワークの通信量を一定値以下に抑制するシステム（例えば、特許文献３参照）が提案されている。更に、予め作成済みの映像や音声から成るコンテンツをクライアントから要求された時に、コンテンツ配信の使用帯域に応じてマルチキャストとユニキャストを自動選択して配信することによって、ネットワークの通信量を抑制するシステムも提案されている。このようなシステムは、例えば、特許文献４に提案されている。 There is a network camera system that realizes virtual pan, tilt, and zoom control by cutting out and outputting a part of the entire image. As this type, there is a system (see, for example, Patent Document 1) that cuts out and displays an entire image received from a camera on the client side. Further, a system has been proposed in which a partial image having a different size and position for each client is cut out from the entire image on the camera side and distributed to the client (see, for example, Patent Document 2). In the former system, a system that suppresses the traffic on the camera side network to a certain value or less even when the number of simultaneously connected clients increases by distributing the whole image by multicast is proposed (for example, see Patent Document 3). Has been. Furthermore, a system that suppresses network traffic by automatically selecting and distributing multicast and unicast according to the bandwidth used for content distribution when a content including pre-created video and audio is requested from a client. Has also been proposed. Such a system is proposed in Patent Document 4, for example.
特許文献３のように全体画像をマルチキャストで配信するシステムで、同時接続クライアント数が多い場合には、通信帯域の使用量（以後、通信量とする。）の抑制効果が得られる。しかしながら、全体画像は部分画像に比べてほとんどの場合でデータサイズが大きくなる。このため、同時接続クライアント数が少ない場合には、部分画像をユニキャストで配信する特許文献２のようなシステムの方が通信量が少なくなる場合が多い。 In a system that distributes whole images by multicast as in Patent Document 3, when the number of simultaneously connected clients is large, an effect of suppressing the amount of communication bandwidth used (hereinafter referred to as communication amount) can be obtained. However, the data size of the entire image is larger than that of the partial image in most cases. For this reason, when the number of simultaneously connected clients is small, the amount of communication is often reduced in a system such as Patent Document 2 that distributes partial images by unicast.
また、特許文献４のようなシステムでは、マルチキャスト配信時はコンテンツの頭出しに時間が掛かる場合がある。このため、予め作成済みのコンテンツを配信する場合には適用できるが、特許文献１から３で示したような接続直後に遅延無くライブ映像が再生されることが求められるシステムには適用することができない。 In addition, in a system such as Patent Document 4, it may take time to find a content during multicast distribution. For this reason, it can be applied when distributing pre-created content, but it can be applied to a system that is required to reproduce live video without delay immediately after connection as shown in Patent Documents 1 to 3. Can not.
上記で述べたような問題に対処するために本発明は、光学系及び撮像装置で構成された撮像部によって取得された全体画像から、クライアントから指定された切り出し領域を部分画像として切り出して出力することで、パン、チルト、ズームのいずれか又は全てのカメラ制御を仮想的に実現するネットワークカメラシステムであって、全体画像から部分画像を切り出すためのカメラ側にある第１の画像切り出し手段と、クライアント側にある第２の画像切り出し手段と、全体画像のマルチキャスト配信、部分画像のユニキャスト配信、及びそれら両方を組み合わせた配信を含む各画像配信方法における現在の画像の配信条件に基づいた通信量を算出して比較するための通信量比較手段と、を備え、通信量比較手段によって算出された通信量に応じて前記各画像配信方法のうち一つを選択することを特徴とするネットワークカメラシステム等、を提供する。 In order to cope with the problems as described above, the present invention cuts out a cutout area designated by the client as a partial image from the entire image acquired by the image pickup unit configured by the optical system and the image pickup apparatus, and outputs the cutout area. A network camera system that virtually realizes camera control of any one of panning, tilting, and zooming, or all of them, a first image clipping unit on the camera side for clipping a partial image from the entire image; Traffic volume based on current image distribution conditions in each image distribution method, including second image clipping means on the client side, multicast distribution of whole images, unicast distribution of partial images, and a combination of both Communication amount comparison means for calculating and comparing the communication amount, and the communication amount calculated by the communication amount comparison means Flip said to provide a network camera system or the like, which is characterized by selecting one of the image distribution method.
本発明によれば、同時接続クライアント数の如何に関わらず、最も通信量が少ない画像配信方法を自動選択することができる。 According to the present invention, it is possible to automatically select an image delivery method with the smallest communication amount regardless of the number of simultaneously connected clients.
以下に添付の図面を参照しながら、本発明の好適な実施の形態を詳細に説明する。実施例１では、キャプチャされた画像を全体画像とするシステムについて述べる。実施例２では、ユニキャストによる部分画像の配信のみを行うクライアントを除いた、接続中の全クライアントが要求する切り出し領域を全て含んだ部分画像を全体画像とするシステムについて述べる。実施例１と２で共通の部分は実施例１の説明で示し、実施例２では異なる部分のみを述べる。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the first embodiment, a system that uses a captured image as an entire image will be described. In the second embodiment, a system is described in which a partial image including all clipped areas requested by all connected clients is used as an entire image, except for a client that only distributes partial images by unicast. Parts common to the first and second embodiments will be described in the description of the first embodiment, and in the second embodiment, only different parts will be described.
（実施例１）
図１は、キャプチャされた画像を全体画像とするシステムの内部構成図である。カメラ１−１００には、光学系１−１１１、撮像素子１−１１２、キャプチャ部１−１１３から成る撮像部１−１１０が設けられている。更に、カメラ１−１００には、撮像部１−１１０によって得られた全体画像からクライアントに指定された切り出し領域を部分画像として切り出す画像切り出し手段１−１２１を備えた画像処理部１−１２０が設けられている。画像処理部１−１２０には、更に、必要に応じて部分画像のリサイズ又はリサンプルによる拡大縮小を行うリサイズ手段１−１２２、及びクライアントに送信する通信量を圧縮するために画像の符号化を行う符号化手段１−１２３等が含まれている。
(Example 1)
FIG. 1 is an internal configuration diagram of a system that uses a captured image as an entire image. The camera 1-100 is provided with an imaging unit 1-110 including an optical system 1-111, an imaging element 1-112, and a capture unit 1-113. Further, the camera 1-100 is provided with an image processing unit 1-120 including an image clipping unit 1-121 that clips a clipping region designated by the client as a partial image from the entire image obtained by the imaging unit 1-110. It has been. The image processing unit 1-120 further performs resizing means 1-122 for resizing or resizing a partial image as necessary, and image coding to compress the amount of communication transmitted to the client. The encoding means 1-123 to perform etc. are included.
また、カメラ１−１００には、画像データを含む各種データを一時的に保持するためのメモリ１−１３０が設けられている。また、インターネットやイントラネット等のネットワーク１−３００を介してクライアントに対する画像の配信や切り出し領域に関するパラメータの受信を行う通信手段１−１４０が設けられている。更に、また、カメラの内部状態やクライアントの接続状態を管理するとともに、カメラ各部の制御を行うカメラ制御手段１−１５０が設けられている。 The camera 1-100 is provided with a memory 1-130 for temporarily storing various data including image data. In addition, a communication unit 1-140 is provided that distributes an image to a client and receives parameters relating to a clipping region via a network 1-300 such as the Internet or an intranet. Furthermore, camera control means 1-150 is provided that manages the internal state of the camera and the connection state of the client and controls each part of the camera.
ここで、クライアント装置に配信される画像データは静止画でも動画でもよく、静止画の場合はＪＰＥＧやＪＰＥＧ２０００、動画の場合はＭＰＥＧ２やＭＰＥＧ４等のコーデックによる符号化が、符号化手段１−１２３によって行われる。 Here, the image data distributed to the client device may be a still image or a moving image. The encoding means 1-123 encodes the image data using a codec such as JPEG or JPEG2000 for a still image and MPEG2 or MPEG4 for a moving image. Done.
一方、クライアント１−２００には、ユーザーインターフェース部１−２１０が設けられている。ユーザーインターフェース部１−２１０には、出力画像を表示する画像表示部１−２１１、及びユーザーによるカメラの視線方向の入力を受け付けたり、現在のカメラの視線方向を示したりする視線方向設定手段１−２１２が含まれている。ユーザーインターフェース部１−２１０には、更に、ユーザーによる画角の入力を受け付けたり、現在のカメラの画角を示したりする画角設定手段１−２１３が含まれている。 On the other hand, the client 1-200 is provided with a user interface unit 1-210. The user interface unit 1-210 includes an image display unit 1-211 that displays an output image, and a line-of-sight setting unit 1- 1 that accepts an input of the line-of-sight direction of the camera by the user or indicates the current line-of-sight direction of the camera. 212 is included. The user interface unit 1-210 further includes an angle-of-view setting unit 1-213 that accepts an input of an angle of view by the user and indicates the angle of view of the current camera.
クライアント１−２００には、更に、カメラから受信した画像データを復号する復号化手段１−２２１を備えた画像処理部１−２２０が設けられている。画像処理部１−２２０には、更に、受信画像のうち画像表示部で表示する部分の画像を切り出す画像切り出し手段１−２２２、及び画面サイズに合わせて画像のリサイズ又はリサンプルによる拡大縮小を行うリサイズ手段１−２２３等が含まれている。 The client 1-200 is further provided with an image processing unit 1-220 that includes decoding means 1-221 for decoding image data received from the camera. The image processing unit 1-220 further performs image segmenting means 1-222 for segmenting an image displayed on the image display unit in the received image, and resizing or resizing the image according to the screen size. Resizing means 1-223 and the like are included.
クライアント１−２００には、更に、画像データを含む各種データを一時的に保持するためのメモリ１−２３０が設けられている。更に、カメラからの画像の受信やカメラに対して視線方向設定手段や画角設定手段によって指定された切り出し領域に関するパラメータの送信を行う通信処理部１−２４０も設けられている。更に、クライアントの内部状態を管理するとともに、クライアント各部の制御を行うクライアント制御手段１−２５０、及びマルチキャストによる画像の受信が可能か否かを判定する受信方法判定手段１−２６０等も設けられている。 The client 1-200 is further provided with a memory 1-230 for temporarily holding various data including image data. Furthermore, a communication processing unit 1-240 is also provided that receives an image from the camera and transmits a parameter related to the clipping region specified by the line-of-sight direction setting unit and the view angle setting unit. Furthermore, a client control unit 1-250 that manages the internal state of the client and controls each part of the client, a reception method determination unit 1-260 that determines whether or not an image can be received by multicast, and the like are also provided. Yes.
但し、全てのクライアントが画像切り出し手段１−２２２を具備する必要はなく、画像切り出し手段１−２２２を具備しないクライアントでは受信方法判定手段１−２６０も不要である。 However, it is not necessary for all clients to include the image cutout unit 1-222, and the client that does not include the image cutout unit 1-222 does not need the reception method determination unit 1-260.
ここで、カメラ側の画像処理部１−１２０及びクライアント側の画像処理部１−２２０を構成する各手段は、専用のチップでも、ＣＰＵやＤＳＰによって実行されるソフトウェアでもよく、各手段が互いに独立していなくてもよい。 Here, each means constituting the image processing unit 1-120 on the camera side and the image processing unit 1-220 on the client side may be a dedicated chip or software executed by a CPU or DSP, and each means is independent of each other. You don't have to.
図２は全体画像をマルチキャストで配信する場合、図３は部分画像をユニキャストで配信する場合、図４はクライアント別に全体画像のマルチキャスト配信と部分画像のユニキャスト配信を組み合わせる場合の動作概念図である。 FIG. 2 is an operation conceptual diagram when a whole image is distributed by multicast, FIG. 3 is a case where partial images are distributed by unicast, and FIG. 4 is a conceptual diagram of operations when combining multicast distribution of whole images and unicast distribution of partial images for each client. is there.
全てのクライアントに対して全体画像をマルチキャストで配信する場合は、図２に示すように、カメラ側の画像切り出し手段１−１２１による部分画像の切り出しは行われず、全体画像２−２１０がクライアントに配信される。各クライアント側の画像切り出し手段１−２２２によって全体画像から一部２−２１１、２−２１２、２−２１３が切り出されて部分画像２−３１１、２−３２１、２−３３１となり、各クライアントの画像表示部１−２１１に表示される。 When the whole image is distributed to all clients by multicast, as shown in FIG. 2, the partial image is not cut out by the image cutout unit 1-121 on the camera side, and the whole image 2-210 is distributed to the client. Is done. Each client-side image cutout unit 1-222 cuts out parts 2-211, 2-212 and 2-213 from the whole image to become partial images 2-3 1, 2-321 and 2-331, and each client image It is displayed on the display unit 1-211.
全てのクライアントに対して部分画像をユニキャストで配信する場合は、図３に示すように、クライアント側の画像切り出し手段１−２２２による部分画像の切り出しは行われず、カメラ側の画像切り出し手段１−１２１による部分画像の切り出しが行われる。各クライアントに対する部分画像３−２１０、３−２２０、３−２３０が配信されて、各クライアントの画像表示部１−２１１に表示される。 When partial images are distributed to all clients by unicast, as shown in FIG. 3, the partial image is not cut out by the client side image cutout unit 1-222, and the camera side image cutout unit 1- The partial image is cut out by 121. Partial images 3-210, 3-220, and 3-230 for each client are distributed and displayed on the image display unit 1-211 of each client.
クライアント別に全体画像のマルチキャスト配信と部分画像のユニキャスト配信を組み合わせる場合は、一部のクライアントに対してマルチキャストによる画像配信が行えない場合のみ選択される。このとき、図４に示すように、マルチキャストによる画像配信が行えるクライアント４−３１０、４−３２０に対しては全体画像４−２１０がマルチキャストで配信される。また、その一部４−２１１、４−２１２がクライアント側の画像切り出し手段１−２２２によって切り出されて表示される。マルチキャストによる画像配信が行えないクライアント４−３３０に対しては、カメラ側の画像切り出し手段１−１２１による部分画像４−２３０の切り出しが行われてクライアントに配信され、クライアントは受信した部分画像をそのまま表示する。 When the multicast distribution of the entire image and the unicast distribution of the partial image are combined for each client, it is selected only when the multicast image distribution cannot be performed for some clients. At this time, as shown in FIG. 4, the entire image 4-210 is distributed by multicast to the clients 4-310 and 4-320 that can perform image distribution by multicast. Further, portions 4-211 and 4-212 are cut out and displayed by the image cutout unit 1-222 on the client side. For the client 4-330 that cannot perform image distribution by multicast, the partial image 4-230 is cut out by the image cutout unit 1-121 on the camera side and distributed to the client, and the client keeps the received partial image as it is. indicate.
上記それぞれの通信量は、図２の場合は全体画像２−２１１の１ストリーム分、図３の場合は、部分画像３−２１０、３−２２０、３−２３０の３ストリーム分となる。また、図４の場合は全体画像４−２１０の１ストリームと部分画像４−２３０の１ストリームの合計分となる。 In the case of FIG. 2, the respective communication amounts are for one stream of the entire image 2-211, and in the case of FIG. In the case of FIG. 4, this is the total of one stream of the entire image 4-210 and one stream of the partial image 4-230.
図５は各画像配信方法における通信量の同時接続クライアント数に対する変化を表す図である。各クライアントに対する部分画像のデータサイズが等しいと仮定したとき、全クライアントに対して全体画像をマルチキャストで配信する場合の通信量はグラフ５−００１のようにクライアント数に対して一定になる。全クライアントに対して部分画像をユニキャストで配信する場合の通信量はグラフ５−００２のようにクライアント数に比例する。この場合、グラフ５−００１及び５−００２はクライアント数Ｎで互いに交差するので、通信量比較手段１−１６０は、クライアント数がＮ未満の場合は部分画像のユニキャストによる配信を選択する。そして、クライアント数がＮ以上の場合は全体画像のマルチキャストによる配信を選択する。 FIG. 5 is a diagram illustrating a change in communication amount with respect to the number of simultaneously connected clients in each image distribution method. Assuming that the data sizes of the partial images for each client are equal, the communication amount when the entire image is distributed to all clients by multicast is constant with respect to the number of clients as shown in graph 5-001. The traffic when distributing partial images to all clients by unicast is proportional to the number of clients as shown in graph 5-002. In this case, since the graphs 5-001 and 5-002 intersect with each other by the number of clients N, the communication amount comparison unit 1-160 selects partial image distribution by unicast when the number of clients is less than N. When the number of clients is N or more, distribution of the entire image by multicast is selected.
また、全クライアントに占めるマルチキャスト配信可能なクライアントの割合が一定であると仮定したとき、一部のクライアントに対してマルチキャストによる画像配信が行えない。 Also, assuming that the ratio of clients that can be distributed by multicast to all clients is constant, image distribution by multicast cannot be performed for some clients.
部分画像をユニキャストで配信し、その他のクライアントに対しては全体画像をマルチキャストで配信する場合の通信量はグラフ５−００３のようになる。この場合、グラフ５−００２及び５−００３はクライアント数Ｎ’で互いに交差するので、通信量比較手段１−１６０は、クライアント数がＮ’未満の場合は全クライアントに対して部分画像のユニキャストによる配信を選択する。一方、クライアント数がＮ’以上の場合は一部クライアントに対して部分画像のユニキャスト、その他のクライアントに対しては全体画像のマルチキャストで配信する画像配信方法を選択する。 The traffic amount when the partial image is distributed by unicast and the entire image is distributed by multicast to other clients is as shown in graph 5-003. In this case, since the graphs 5-002 and 5-003 intersect each other with the number of clients N ′, the traffic comparison unit 1-160 unicasts partial images to all clients when the number of clients is less than N ′. Select distribution by. On the other hand, when the number of clients is N ′ or more, an image distribution method is selected for distributing partial images to some clients and multicasting all images to other clients.
図６はカメラにおける画像配信方法の選択処理の流れを表すフローチャートである。 FIG. 6 is a flowchart showing the flow of image distribution method selection processing in the camera.
クライアントから通信量が変化する可能性のある要求を受け付けた場合、通信量比較手段１−１６０は選択対象の各画像配信方法における通信量を比較する（ステップ６−００１）。クライアントから通信量が変化する可能性のある要求を受け付けた場合の例としては、同時接続クライアント数の増減、切り出し領域の位置や大きさの変更、出力画像の画質の変更等が挙げられる。 When a request that may change the communication amount from the client is received, the communication amount comparison unit 1-160 compares the communication amount in each image distribution method to be selected (step 6-001). Examples of a case in which a request that may change the amount of communication from a client is received include an increase / decrease in the number of simultaneously connected clients, a change in the position and size of a cut-out area, and a change in image quality of an output image.
このとき、算出される通信量は実測値又は推測値であり、実測値の場合は異なる画像配信方法で配信される画像データを同時に生成する手段が必要になる。推測値の場合は、部分画像を生成するためのパラメータと予め決められた推測式によって求められた値であり、実際の値と多少異なってもよい。また、通信量が短時間で大きく変動する場合に備えて、予め決められた一定時間の実測値又は推測値の平均値を算出してもよい。 At this time, the calculated communication amount is an actually measured value or an estimated value, and in the case of the actually measured value, means for simultaneously generating image data distributed by different image distribution methods is required. The estimated value is a value obtained by a parameter for generating a partial image and a predetermined estimation formula, and may be slightly different from the actual value. Further, an average value of actually measured values or estimated values for a predetermined period of time may be calculated in preparation for a case where the communication amount greatly fluctuates in a short time.
次に、算出された各画像配信方法における通信量の比較が行われる（ステップ６−００２）。ここで、現在の画像配信方法における通信量よりも他の画像配信方法における通信量の方が小さく、かつその差が予め決められた閾値を越えている場合は、画像配信方法の切り替えが行われる。閾値は、画像配信方法が頻繁に切り替わらないようにするためのものであり、一定の値としてもよいし、カメラ側の通信帯域や現在の通信量に対する一定の割合としてもよい。 Next, the communication amount in each calculated image distribution method is compared (step 6-002). Here, when the communication amount in other image distribution methods is smaller than the communication amount in the current image distribution method and the difference exceeds a predetermined threshold, the image distribution method is switched. . The threshold value is for preventing the image distribution method from being frequently switched, and may be a constant value or a constant ratio with respect to the communication band on the camera side or the current communication amount.
図７はクライアントにおける画像配信方法の指定処理の流れを表すフローチャートである。 FIG. 7 is a flowchart showing the flow of the image distribution method designation process in the client.
クライアントがカメラへの接続を開始すると、まずカメラに対して接続を開始したことが通知される（ステップ７−００１）。 When the client starts connection to the camera, the camera is first notified that the connection has been started (step 7-001).
次に、マルチキャストによる画像データの受信が可能であるか否かの判定が行われる（ステップ７−００２）。ステップ７−００２では、例えば、接続開始の通知を受け取った時点でカメラがマルチキャストパケットの送信を開始していない場合にマルチキャストパケットの送信を開始する。そして、クライアントが接続開始の通知を送信してから一定時間内に前記パケットを受信できるかどうかによって判定する。このとき、送信されるマルチキャストパケットは全体画像データのパケットでもよいし、判定用の特別なパケットでもよい。但し、他の方法で判定してもよい。 Next, it is determined whether or not image data can be received by multicast (step 7-002). In step 7-002, for example, when the camera has not started transmission of the multicast packet at the time of receiving the connection start notification, transmission of the multicast packet is started. Then, the determination is made based on whether or not the packet can be received within a predetermined time after the client transmits a connection start notification. At this time, the multicast packet to be transmitted may be a whole image data packet or a special packet for determination. However, it may be determined by other methods.
ステップ７−００２でマルチキャストによる画像データの受信が可能であると判定された場合は、マルチキャストによる全体画像の受信を開始して処理を終了する（ステップ７−００３）。このとき、ステップ７−００２で判定用のパケットが使用された場合は、カメラにマルチキャストによる全体画像の送信要求が行われて配信が開始される。 If it is determined in step 7-002 that image data can be received by multicast, reception of the entire image by multicast is started and the process is terminated (step 7-003). At this time, if a determination packet is used in step 7-002, a transmission request for the entire image is made by multicast to the camera, and distribution is started.
また、マルチキャストパケットによる画像データの受信が不可であると判定された場合は、カメラに対してマルチキャストによる画像データの受信が不可であることが通知される（７−００４）。このとき、ステップ７−００２のためにマルチキャストパケットの送信が開始されていた場合は、送信を停止する。 If it is determined that the image data cannot be received by the multicast packet, the camera is notified that the image data cannot be received by the multicast (7-004). At this time, if the transmission of the multicast packet has been started for step 7-002, the transmission is stopped.
次に、ユニキャストによる部分画像の受信を開始して処理を終了する（ステップ７−００５）。 Next, reception of a partial image by unicast is started and the process is terminated (step 7-005).
（実施例２）
図８は、ユニキャストによる部分画像の配信のみを行うクライアントを除いた、接続中の全クライアントが要求する切り出し領域を全て含んだ部分画像を全体画像するシステムにおける動作概念図である。この図８には、クライアント別に全体画像のマルチキャスト配信と部分画像のユニキャスト配信を組み合わせる場合を示してある。
(Example 2)
FIG. 8 is a conceptual diagram of an operation in a system that captures an entire partial image including all clipped areas requested by all connected clients, excluding clients that only distribute partial images by unicast. FIG. 8 shows a case where multicast distribution of the entire image and unicast distribution of the partial image are combined for each client.
実施例１のシステムでは、図４で示したように、キャプチャした画像を画像切り出し手段１−１２１で切り出さずに全体画像としてマルチキャスト配信する。これに対して、実施例２のシステムでは、キャプチャした画像を画像切り出し手段１−１２１で切り出した上で全体画像としてマルチキャスト配信する。このとき、全体画像８−２１０は、ユニキャストによる部分画像８−２３０の配信のみを行うクライアント８−３４０を除くクライアント８−３２０、８−３３０から要求された切り出し領域８−２１１、８−２１２を全て含む最小の部分画像になっている。 In the system according to the first embodiment, as shown in FIG. 4, the captured image is multicasted as an entire image without being cut out by the image cutout unit 1-121. On the other hand, in the system according to the second embodiment, the captured image is cut out by the image cutout unit 1-121 and then multicasted as an entire image. At this time, the entire image 8-210 includes the cut-out areas 8-211 and 8-212 requested from the clients 8-320 and 8-330 except the client 8-340 that only distributes the partial image 8-230 by unicast. Is the smallest partial image including all of
実施例２のシステムでは実施例１のシステムに比べて全体画像のデータサイズが小さくなるため、より小さい通信量で同様の出力画像８−３２１、８−３３１、８−３４１を得ることが可能である。但し、切り出し領域の位置と大きさが変化するたびに全体画像のキャプチャ画像からの切り出し領域が変化するので、通信量比較手段による通信量の算出が複雑になる。 Since the data size of the entire image is smaller in the system of the second embodiment than in the system of the first embodiment, it is possible to obtain the same output images 8-321, 8-331, and 8-341 with a smaller communication amount. is there. However, every time the position and size of the cutout area change, the cutout area from the captured image of the entire image changes, which complicates the calculation of the communication amount by the communication amount comparison unit.
なお、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。 The embodiment of the present invention can be realized by, for example, a computer executing a program. Also, means for supplying a program to a computer, for example, a computer-readable recording medium such as a CD-ROM recording such a program, or a transmission medium such as the Internet for transmitting such a program is also applied as an embodiment of the present invention. Can do. The above program can also be applied as an embodiment of the present invention. The above program, recording medium, transmission medium, and program product are included in the scope of the present invention.
１−１００：ネットワークカメラ
１−１１０：撮像部
１−１１１：光学系
１−１１２：撮像素子
１−１１３：キャプチャ部
１−１２０：画像処理部（画像処理手段）
１−１２１：画像切り出し手段
１−１２２：リサイズ手段
１−１２３：符号化手段
１−２００：クライアント
１−２１０：ユーザーインターフェース部
１−２１１：画像表示部
１−２１２：視線方向設定手段
１−２１３：画角設定手段
１−２２０：画像処理部（画像処理手段）
１−２２１：復号化手段
１−２２２：画像切り出し手段
１−２２３：リサイズ手段
1-100: Network camera 1-110: Imaging unit 1-111: Optical system 1-112: Image sensor 1-113: Capture unit 1-120: Image processing unit (image processing means)
1-121: Image clipping unit 1-122: Resizing unit 1-123: Encoding unit 1-200: Client 1-210: User interface unit 1-211: Image display unit 1-212: Line-of-sight direction setting unit 1-213 : Angle setting means 1-220: Image processing unit (image processing means)
1-221: Decoding unit 1-222: Image clipping unit 1-223: Resizing unit
Claims (15)
全体画像から部分画像を切り出すためのカメラ側にある第１の画像切り出し手段と、
クライアント側にある第２の画像切り出し手段、
全体画像のマルチキャスト配信、部分画像のユニキャスト配信、及びそれら両方を組み合わせた配信を含む各画像配信方法における現在の画像の配信条件に基づいた通信量を算出して比較するための通信量比較手段と、
を備え、
前記通信量比較手段によって算出された通信量に応じて前記各画像配信方法のうち一つを選択することを特徴とするネットワークカメラシステム。 By controlling the panning, tilting, and zooming of all or all of the cameras by cutting out and outputting the cutout area specified by the client as a partial image from the entire image acquired by the image pickup unit composed of the optical system and image pickup device A network camera system that virtually realizes
First image cutout means on the camera side for cutting out a partial image from the whole image;
Second image clipping means on the client side;
Traffic volume comparison means for calculating and comparing the traffic volume based on the current image distribution conditions in each image distribution method including multicast distribution of whole images, unicast distribution of partial images, and a combination of both. When,
With
A network camera system, wherein one of the image distribution methods is selected according to the communication amount calculated by the communication amount comparison unit.
全体画像から部分画像を切り出すためのカメラ側にある第１の画像切り出し工程と、
クライアント側にある第２の画像切り出し工程と、
全体画像のマルチキャスト配信、部分画像のユニキャスト配信、及びそれら両方を組み合わせた配信を含む各画像配信方法における現在の画像の配信条件に基づいた通信量を算出して比較するための通信量比較工程と、
を備え、
前記通信量比較工程において算出した通信量に応じて前記各画像配信方法のうち一つを選択することを特徴とする配信方法。 By extracting and outputting the clipping region specified by the client as a partial image from the entire image acquired by the imaging unit configured by the wide-angle optical system and the imaging device, any or all of pan, tilt, and zoom A distribution method in a network camera system that virtually realizes camera control,
A first image cut-out step on the camera side for cutting out a partial image from the whole image;
A second image clipping step on the client side;
A traffic volume comparison step for calculating and comparing the traffic volume based on the current image distribution conditions in each image distribution method including multicast distribution of the entire image, unicast distribution of the partial image, and a combination of both. When,
With
A distribution method, wherein one of the image distribution methods is selected according to the communication amount calculated in the communication amount comparison step.
コンピュータに、
全体画像から部分画像を切り出すためのカメラ側にある第１の画像切り出し処理と、
クライアント側にある第２の画像切り出し処理と、
全体画像のマルチキャスト配信、部分画像のユニキャスト配信、及びそれら両方を組み合わせた配信を含む各画像配信方法における現在の画像の配信条件に基づいた通信量を算出して比較するための通信量比較処理と、
を実行させ、
前記コンピュータに、前記通信量比較処理において算出した通信量に応じて前記各画像配信方法のうち一つを選択させることを特徴とするプログラム。 By extracting and outputting the cutout area specified by the client as a partial image from the entire image acquired by the imaging unit configured by the wide-angle optical system and the imaging device, any or all of pan, tilt, and zoom A distribution program in a network camera system that virtually realizes camera control,
On the computer,
A first image cutout process on the camera side for cutting out a partial image from the whole image;
A second image clipping process on the client side;
Traffic volume comparison processing for calculating and comparing the traffic volume based on the current image distribution conditions in each image distribution method including multicast distribution of whole images, unicast distribution of partial images, and a combination of both. When,
And execute
A program causing the computer to select one of the image distribution methods according to the communication amount calculated in the communication amount comparison process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006311742A JP2008131185A (en) | 2006-11-17 | 2006-11-17 | Network camera system and distribution method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006311742A JP2008131185A (en) | 2006-11-17 | 2006-11-17 | Network camera system and distribution method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008131185A true JP2008131185A (en) | 2008-06-05 |
Family
ID=39556633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006311742A Pending JP2008131185A (en) | 2006-11-17 | 2006-11-17 | Network camera system and distribution method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008131185A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012005049A (en) * | 2010-06-21 | 2012-01-05 | Panasonic Electric Works Co Ltd | Video transmission system |
| JP2014007468A (en) * | 2012-06-21 | 2014-01-16 | Canon Inc | Monitor camera system and monitor camera |
| KR20170055455A (en) * | 2015-07-22 | 2017-05-19 | 주식회사 케이티앤씨 | Camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it |
| JP2020017862A (en) * | 2018-07-25 | 2020-01-30 | キヤノン株式会社 | Information processing device, control method, and network camera |
-
2006
- 2006-11-17 JP JP2006311742A patent/JP2008131185A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012005049A (en) * | 2010-06-21 | 2012-01-05 | Panasonic Electric Works Co Ltd | Video transmission system |
| JP2014007468A (en) * | 2012-06-21 | 2014-01-16 | Canon Inc | Monitor camera system and monitor camera |
| KR20170055455A (en) * | 2015-07-22 | 2017-05-19 | 주식회사 케이티앤씨 | Camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it |
| KR102009988B1 (en) | 2015-07-22 | 2019-08-12 | 주식회사 케이티앤씨 | Method for compensating image camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it |
| JP2020017862A (en) * | 2018-07-25 | 2020-01-30 | キヤノン株式会社 | Information processing device, control method, and network camera |
| JP7097772B2 (en) | 2018-07-25 | 2022-07-08 | キヤノン株式会社 | Information processing equipment, control methods and programs |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106068495B (en) | Streaming multiple encodings encoded using different encoding parameters | |
| US10958697B2 (en) | Approach to live multi-camera streaming of events with hand-held cameras | |
| WO2020259448A1 (en) | Data processing method and apparatus, computer-readable storage medium, and electronic device | |
| US8176199B2 (en) | Content delivery system, communicating apparatus, communicating method, and program | |
| US10721537B2 (en) | Bandwidth efficient multiple user panoramic video stream delivery system and method | |
| US9007426B2 (en) | Comparison-based selection of video resolutions in a video call | |
| US9888049B2 (en) | Transmission apparatus, instruction apparatus, transmission method, instruction method, and storage medium | |
| CN110582012B (en) | Video switching method, video processing device and storage medium | |
| US20220279254A1 (en) | Facilitating Video Streaming and Processing By Edge Computing | |
| CN111988560B (en) | Method and apparatus for encoding and streaming video sequences over multiple network connections | |
| JP6861484B2 (en) | Information processing equipment and its control method, computer program | |
| US20220329883A1 (en) | Combining Video Streams in Composite Video Stream with Metadata | |
| US20160277462A1 (en) | Apparatus, system, and method of controlling output of content data, and recording medium | |
| US10785511B1 (en) | Catch-up pacing for video streaming | |
| JP2005191949A (en) | Video image distribution apparatus and video image browsing apparatus | |
| JP2008131185A (en) | Network camera system and distribution method | |
| US20020056122A1 (en) | Network system for distributing video information to clients | |
| US20040105030A1 (en) | Information processing system, information processing apparatus, information processing method, program storage medium, and program | |
| CN114245196A (en) | Screen recording stream pushing method and device, electronic equipment and storage medium | |
| TW202143740A (en) | Adaptive video streaming systems and methods | |
| JP2013012833A (en) | Transmission apparatus and control method for transmission apparatus | |
| US10136072B2 (en) | Image pickup apparatus, image pickup system, method for controlling image pickup apparatus, method for controlling image pickup system, and program | |
| US10270832B1 (en) | Method and system for modifying a media stream having a variable data rate | |
| JP2012137900A (en) | Image output system, image output method and server device | |
| JP5997439B2 (en) | Method and input / output device for rendering at least one of audio, video and computer graphics content, and at least one of pre-rendered audio, pre-rendered video and pre-rendered computer graphics content Devices that provide services to deliver |