JP2000324474A - Method and system for transmitting camera image - Google Patents

Method and system for transmitting camera image

Info

Publication number
JP2000324474A
JP2000324474A JP13266399A JP13266399A JP2000324474A JP 2000324474 A JP2000324474 A JP 2000324474A JP 13266399 A JP13266399 A JP 13266399A JP 13266399 A JP13266399 A JP 13266399A JP 2000324474 A JP2000324474 A JP 2000324474A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
camera
transmission
camera image
means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP13266399A
Other languages
Japanese (ja)
Other versions
JP3550046B2 (en )
Inventor
Akito Akutsu
Taketo Miyaoku
Yoshinobu Tonomura
佳伸 外村
健人 宮奥
明人 阿久津
Original Assignee
Nippon Telegr & Teleph Corp <Ntt>
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To reduce the period from the moment when an image receiving side transmits a transmission request for a camera image until the moment when a visual field spatial panorama image is outputted by transmitting an image data frame obtained by dividing the camera image into a plurality of partial area images and encoding them on a camera image transmitting side and making the image receiving side perform decoding processing of the image data frame and correction processing of image distortion. SOLUTION: The terminal device 1 at a camera image transmitting side communicates with an image receiving side device 2 with a radio data transmitting means 10 by using a radio data communication line 3 and transmits a camera image inputted from a fisheye lens camera 4. The transmitting side terminal device 1 divides the fisheye lens camera image into a plurality of partial areas, encodes each partial area and also forms and transmits an image data frame to which area position range information is attached. The device 2 performs decoding processing of the image data frame and reconstructs a camera image obtained by correcting image distortion depending on the characteristics of the fisheye lens a partial area image has by using the area position range information.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、カメラ装置により画像を撮影し、撮影した画像を所定のデータ通信回線により伝送するカメラ画像伝送方法及びカメラ画像伝送システムに関し、特に、魚眼レンズ等を用いたカメラ装置により入力される高解像度で画像歪みを有するカメラ画像を、PHS(Personal Hand-Phone System)等の低速なデータ通信回線を用いて伝送し、画像受信側装置に接続される画像表示装置等に、画像歪みが補正された視野空間パノラマ画像を表示するカメラ画像伝送システムに適用して有効な技術に関するものである。 The present invention relates captures an image by the camera device, a camera image transmission method and a camera image transmission system for transmitting a photographed image by a predetermined data communication line, in particular, a camera using a fisheye lens, etc. the camera image with an image distortion at high resolution inputted by the device, and transmitted using the low-speed data communication line such as PHS (Personal Hand-Phone system), an image display device or the like connected to the image receiving device , and applied to a camera image transmission system that displays the viewing space panoramic image image distortion has been corrected to a technique effectively.

【0002】 [0002]

【従来の技術】CCTV(Closed Circuit Te1evisi BACKGROUND OF THE INVENTION CCTV (Closed Circuit Te1evisi
on)システムの分野においては、カメラ装置の監視可能範囲を向上するためカメラ装置にカメラ視点を変更する電動式雲台等の装置を具備したカメラ装置が開発されている。 In the field of on) system, a camera apparatus having an apparatus such as an electric pan head to change the camera viewpoint to a camera apparatus for improving the monitoring range of the camera devices have been developed. また、近年、魚眼レンズを用いることにより上下左右180°以上の視野空間画像(以下、魚眼レンズカメラ画像という)を同時に撮影可能としたカメラ装置が提案されている。 In recent years, vertical and horizontal 180 ° or more viewing space image by using a fisheye lens (hereinafter, fisheye referred to as a camera image) camera device capable shooting at the same time is proposed. 魚眼レンズを用いる場合は、カメラ視点を変更するための装置を具備しなくても広範囲の可視領域を得ることができる。 When using a fisheye lens, without including a device for changing the camera viewpoint can obtain a wide range in the visible region. 魚眼レンズカメラ画像等は、 Fisheye lens camera image or the like,
レンズの特性に依存して、撮影された画像は撮影対象となる実像に対して歪みを有している。 Depending on the characteristics of the lens, captured image has distortion relative to the real image to be photographed subject. このため、魚眼レンズカメラ画像を、通常のレンズを用いたカメラ画像と同様に利用するためには、レンズの特性に依存して生じる画像歪みを補正する処理を行う必要があり、魚眼レンズカメラ画像の有する画像歪みを補正して上下左右18 Therefore, the fisheye camera image, in order to use like the camera image using a normal lens, it is necessary to perform processing to correct image distortion caused depending on the characteristics of the lens, with a fisheye lens camera image up, down, left, and right to correct the image distortion 18
0°以上の視野空間のパノラマ画像(以下、視野空間パノラマ画像という)を生成するアルゴリズムが提案されている。 0 panoramic image ° or more viewing space (hereinafter, field referred space panorama image) algorithm for generating have been proposed. また、従来、カメラ装置により撮影されたカメラ画像は、一画像フレーム毎に有線回線を利用して伝送されていたが、PHS等の無線データ通信技術の発展に伴い、カメラ画像を無線データ通信回線により伝送するシステムも開発されている。 Conventionally, a camera image captured by the camera apparatus, first image for each frame had been transmitted using a wired line, with the development of wireless data communication technologies such as PHS, a camera image wireless data communication line It has been developed a system for transmitting by.

【0003】 [0003]

【発明が解決しようとする課題】しかしながら、通常のレンズを用いたカメラ装置にカメラ視点を変更する電動式雲台等の装置を具備し、遠隔繰作によりカメラ視点を変更し、撮影した画像をPHS等の低速なデータ通信回線を用いて伝送するシステムにおいて、目的位置のカメラ画像を得るためには、目的位置にカメラ視点が移動するまでの時間、及び目的位置にカメラ視点が移動するまでに送信される複数の画像の伝送遅延時間から、目的位置の画像を得るための待ち時間が長くなるという問題があった。 [SUMMARY OF THE INVENTION However, comprises a device, such as a motorized pan head to change the camera viewpoint to a camera apparatus using a normal lens, the camera viewpoint change by remote Repetitive operation, a photographed image a system for transmitting using a low-speed data communication lines such as PHS, in order to obtain a camera image of the target position, the time until the camera viewpoint to the target position moves, and until the camera viewpoint is moved to a target position from the transmission delay time of a plurality of images to be transmitted, there is a problem that waiting time for obtaining the image of the target position is long. また、カメラ装置に電動式雲台等のカメラ視点変更用の装置を具備するとカメラ装置構成が複雑化するため、装置の保守における負担が増加することや、カメラ装置の小型化を実現することが困難であるという問題があった。 Moreover, since obtained if a device for the camera viewpoint change of the electric pan head or the like to the camera apparatus a camera device configured is complicated, and that the burden on the maintenance of the apparatus is increased, it possible to realize the downsizing of the camera apparatus there has been a problem that it is difficult.

【0004】前述したカメラ視点の移動に起因する問題は、魚眼レンズ等を利用することで解決される。 A problem caused by the movement of the camera viewpoint described above is solved by utilizing a fisheye lens or the like. しかしながら、魚眼レンズを用いて撮影される画像歪みを有した魚眼レンズカメラ画像から、十分な画像品質を維持した視野空間パノラマ画像を得るためには、元となる魚眼レンズカメラ画像の解像度を極めて高くする必要があり、画像一枚あたりのデータ量が大きくなる。 However, the fisheye camera image having an image distortion to be taken with a fisheye lens, in order to obtain a view volume panoramic image maintaining adequate image quality, need to be very high resolution of the fisheye camera image as a source Yes, the amount of data per one image becomes larger. そのため、PHS等の低速なデータ通信回線を介して画像を伝送する場合に、画像一枚辺りの伝送に要する時間が長くなる。 Therefore, when transmitting an image through a low-speed data communication lines such as PHS, the time required for transmission of one image Atari longer. したがって、高解像度の魚眼レンズカメラ画像等を、PHS等を介して伝送する場合には、画像受信側装置より画像を撮影するための制御情報をカメラ画像送信側端末装置に送った後、画像受信側端末装置に接続される画像表示装置等に画像が表示されるまでの遅延時間が大きくなる。 Therefore, the high-resolution fisheye camera image or the like, when transmitted through the PHS or the like, after sending the control information for capturing an image from the image receiving apparatus in the camera image transmitting terminal device, the image receiving side delay time until the image is displayed on the image display device or the like connected to the terminal device becomes larger. また、魚眼レンズカメラ画像を、連続的に撮影し伝送する場合には、画像伝送遅延時間が大きくなるとともに、画像フレームレートが低くなるという問題があった。 Also, the fisheye camera image, in the case of continuous shooting transmitted together with the image transmission delay time increases, the image frame rate is disadvantageously low. さらに、魚眼レンズカメラ画像等の有する画像歪みを補正するための処理時間も、画像受信側装置に接続される画像表示装置等にカメラ画像が表示されるまでの遅延時間の増加や画像フレームレートの低下の要因となる。 Further, the processing time for correcting image distortion possessed by such fisheye camera image, reduction in the growth and image frame rate of the delay time until the camera image is displayed on the image display device or the like connected to the image receiving device It becomes a factor.

【0005】本発明の目的は、カメラ画像伝送システムにおいて、画像受信側装置がカメラ画像送信側端末装置に対してカメラ画像の送信を指示する制御情報を送信してから、画像受信側装置に接続された画像表示装置等に視野空間パノラマ画像が出力されるまでの遅延時間を短縮することが可能な技術を提供することにある。 An object of the present invention is connected in the camera image transmission system, from the transmission of the control information the image receiving side apparatus instructs the transmission of the camera image to the camera image transmitting terminal device, the image receiving device by viewing space panoramic image on the image display device or the like has is to provide a technique capable of shortening the delay time until the output. 本発明の他の目的は、カメラ画像伝送システムにおいて、連続的にカメラ画像を伝送する場合に、高い画像フレームレートを得ることが可能な技術を提供することにある。 Another object of the present invention is the camera image transmission system, when transmitting continuous camera image, is to provide a technique capable of obtaining a high image frame rate. 本発明の前記ならびにその他の目的及び新規な特徴は、本明細書の記述及び添付図面によって明らかにする。 The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.

【0006】 [0006]

【課題を解決するための手段】本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、以下のとおりである。 To briefly explain the summary of typical inventions among the inventions disclosed in the present application Means for Solving the Problems], it is as follows. (1)撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影し、 (1) taking a high-resolution camera image with an image distortion that depends on the characteristics of the lens with respect to the real image to be photographed subject,
この撮影された画像を符号化し、所定のデータ通信回線を用いて伝送する画像伝送方法において、カメラ画像送信側で、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に符号化して画像データフレームを構成し、この構成された画像データフレームを画像受信側に送信し、この送信された画像データフレームを画像受信側で受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行うとともに、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行う方法である。 The captured image is encoded, the image transmission method for transmitting using a predetermined data communication line, the camera image transmission side divides the captured camera image into a plurality of partial-area image, is the division It encodes the image data includes a frame for each partial region image, and transmits the constructed image data frame to the image receiving side, receiving the transmitted image data frame by the image receiving side, are the received performs decoding processing for each partial area images included in each image frame, a method of performing correction processing of the image distortion by using the area position range information included in the image data frame.

【0007】(2)前記手段(1)のカメラ画像伝送方法において、前記画像歪みの補正処理は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、 [0007] (2) in the camera image transmission method of the means (1), correction processing of the image distortion, based on the area position range information included in the image data frame,
前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正し、前記領域位置範囲情報で規定される位置に部分領域画像をはめ込み、歪み補正されたカメラ画像を再構築する方法である。 The image obtain the position information of each pixel of the partial-area image included in the data frame, the position information of each pixel is thus determined, to correct the image distortion that depends on the characteristics of the lens having the said partial region image, the area fit the partial region image at a position defined by the position range information, a method for reconstructing the camera images distortion correction.

【0008】(3)前記手段(1)又は(2)のカメラ画像伝送方法において、前記画像受信側で、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記カメラ画像送信側が前記撮影されたカメラ画像を分割して送信する場合に、前記画像受信側は、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、1個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームの送信を行う方法である。 [0008] (3) in the camera image transmission method of the means (1) or (2), in the image receiving side transmits control information to the desired one of the camera image transmission side, or a plurality of the transmits the control information for the camera image transmission side at the same time, when said camera image transmitting side transmits by dividing a camera image that is the shot, the image receiving side, the image data frame of each partial region image is the divided the transmission order control information defining the order of transmission of, and transmitted to one or a plurality of the camera image transmission side, the camera image transmission side, when the transmission order control information has been received, said received a method for transmitting image data frame according to the transmission order defined by said transmission order control information.

【0009】(4)前記手段(1)乃至(3)のうちいずれか1個のカメラ画像伝送方法において、前記画像受信側は、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記画像受信側は、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、1個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームの送信を行う方法である。 [0009] (4) In any one of the camera image transmission method of the means (1) to (3), wherein the image receiving side transmits the control information for a desired one of the camera image transmission side or transmits the control information for a plurality of the camera image transmission side at the same time, the image receiving side, the desired time, the division type control information defining the division type of the camera image, one or a plurality of the camera transmits the image transmitting side, the camera image transmission side, when said division type control information has been received, transmission of image data frame in accordance with separate format defined by the received the divided form control information it is a way to do.

【0010】(5)カメラ画像送信手段と、該カメラ画像送信手段と通信回線を介して通信する画像受信手段とを具備する画像伝送システムにおいて、カメラ画像送信手段は、撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影するカメラ装置と、該カメラ装置で撮影された画像データを符号化する画像符号化手段と、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に前記画像符号化手段により符号化するとともに各部分領域画像に対応する領域位置範囲を示す情報を付加した画像データフレームを構築する画像分割制御手段と、前記構築された画像データフレームの送信制御を行う画像送信制御手段とを具備し、前記画像受信手段は、前記送 [0010] (5) and the camera image transmission means, the image transmission system comprising image reception means for communicating via a communication line with the camera image transmission means, a camera image transmission means, with respect to the real image to be photographed subject multiple camera apparatus for capturing a high-resolution camera image, the image encoding means for encoding image data captured by the camera device, the captured camera image with an image distortion that depends on the characteristics of the lens Te divided into pieces of partial-area image, constructing the image data frame which has been added information indicating the area position range corresponding to each partial area image with coding by the image coding means for each of the divided partial areas images comprising an image dividing control means, and an image transmission control means for performing transmission control of image data frames said built to the image receiving means, said feeding された画像データフレームを受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行う画像復号化手段と、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行う画像歪み補正手段と、画像歪みが補正されたカメラ画像を再構築する画像再構築手段とを具備するシステムである。 Has been received image data frame image by using an image decoding means for performing decoding processing for each partial area images included in each image frame the received, a region position range information included in the image data frame an image distortion correction means for performing correction processing of the distortion is a system comprising an image reconstruction means for reconstructing the camera image the image distortion has been corrected.

【0011】(6)前記手段(5)のカメラ画像伝送システムにおいて、前記画像歪みの補正手段は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正する手段からなり、前記画像再構築手段は、前記画像歪みが補正された部分領域画像を前記領域位置範囲情報で規定される位置にはめ込んで、 [0011] (6) In the camera image transmission system means (5), the correction means of the image distortion, based on the area position range information included in the image data frame, the partial area included in the image data frame obtain the position information of each pixel of the image, the position information of each pixel is thus determined, consists means for correcting the image distortion that depends on the characteristics of the lens having the above partial-area image, wherein the image reconstruction means, said fit the partial region image image distortion has been corrected to a position defined by the area position range information,
歪み補正されたカメラ画像を再構築する手段からなるシステムである。 It is a system consisting of means for reconstructing the distortion-corrected camera image.

【0012】(7)前記手段(5)又は(6)のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、前記カメラ画像送信手段が前記撮影されたカメラ画像を分割して送信する場合に、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、1個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームを送信する手段を具備するシステムである。 [0012] (7) In the camera image transmission system means (5) or (6), wherein the image receiving means transmits control information for a desired one of the camera image transmission side, or a plurality of the means for transmitting control information for the camera image transmission side at the same time, when the camera image transmission means for transmitting by dividing a camera image that is the photographing, the transmission order of the image data frame of each partial region image is the divided the transmission order control information defining, and means for transmitting to one or a plurality of the camera image transmission means, the camera image transmission unit, when the transmission sequence control information is received, the receiving a system comprising means for transmitting an image data frame according to the transmission order defined by said transmission order control information.

【0013】(8)前記手段(5)乃至(7)のうちいずれか1個のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、1個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記分割形式制御情報が受信された場合に、 [0013] (8) In any one of the camera image transmission system of the means (5) to (7), wherein the image receiving means transmits control information for a desired one of the camera image transmission side or means for transmitting simultaneously a control information for a plurality of the camera image transmission side, to a desired time point, the division type control information defining the division type of the camera image, one or a plurality of the camera image transmission and means for transmitting to the means, the camera image transmission unit, when the division type control information has been received,
前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームを送信する手段を具備するシステムである。 A system comprising means for transmitting an image data frame in accordance with separate format defined by the split format control information the receiver.

【0014】前記手段(1)によれば、画像受信側装置からカメラ画像送信側端末装置に対してカメラ画像の送信が要求されてから、画像受信側装置に接続される画像表示装置に対して画像を出力するまでの遅延時間の低減が図れるとともに、カメラ画像を連続的に伝送する場合の画像フレームレートの向上が図れる。 According to the means (1), since the transmission of the camera images are required for the image receiving device camera image sending terminal apparatus, the image display device connected to the image receiving device together it can be reduced delay time until outputting the image, thereby improving the image frame rate when transmitting camera images sequentially.

【0015】前記手段(4)乃至(6)によれば、画像受信側装置において、特定の部分領域画像を迅速に取得する必要が生じた場合、制御情報送信手段により、カメラ画像を必要な部分領域画像へ分割することを指示する第一の制御情報を、カメラ画像送信側端末装置に送信するとともに、前記第一の制御情報にしたがってカメラ画像を分割し構築された画像データフレームの送信順序を規定する第二の制御情報を、カメラ画像送信側端末装置に送信し、必要な画像データフレームの送信を優先させることによって、画像受信側装置は、必要とする部分領域画像を迅速に取得することが可能となる。 According to the means (4) to (6), the image receiving apparatus, if the need to obtain quickly a specific partial-area image generated by the control information transmitting unit, a necessary part of the camera image a first control information for instructing to divide the area image, and transmits the camera image sending terminal apparatus, the transmission order of the first camera image is divided in accordance with the control information image data frames constructed a second control information defining, and transmitted to the camera image sending terminal apparatus, by giving priority to the transmission of the necessary image data frame, the image receiving device, to obtain the partial-area image that requires rapid it is possible.

【0016】前記手段(7)のカメラ画像伝送システムによれば、カメラ画像送信側端末装置は、画像受信側装置より、任意の枚数のカメラ画像を一定の画像フレームレートで連続撮影することを指示する第三の制御情報を受信した場合、前記第三の制御情報に基いた撮影タイミングでカメラ画像を連続撮影し、画像データ記憶手段にバッファリングする。 According to the camera image transmission system of the means (7), a camera image transmission side terminal apparatus, an instruction from the image receiving device, to continuously captured camera images of an arbitrary number at a constant image frame rate when receiving the third control information, the camera image at the photographing timing based on the third control information continuous shooting, buffering the image data storage means. その後、画像データ記憶手段にバッファリングされているカメラ画像を逐次伝送する。 Then, sequentially transmits the camera image that is buffered in the image data storage means.

【0017】これにより、伝送可能な画像フレームレートより、高い画像フレームレートで連続撮影された複数のカメラ画像が必要な場合に、画像受信側装置からの指示に従って一時的に画像データ記憶手段にバッファリング可能な任意の枚数分だけ、任意の画像フレームレートで連続撮影したカメラ画像を送信することが可能となる。 [0017] Thus, in the case than the image frame rate that can be transmitted, require multiple cameras images continuously captured at a high image frame rate, temporarily image data storing means in accordance with an instruction from the image receiving device buffer by any number of sheets that can be ring, it is possible to transmit a camera image taken continuously by the arbitrary image frame rate. 以下、本発明について、図面を参照して、発明の実施形態(実施例)とともに詳細に説明する。 Hereinafter, the present invention, with reference to the drawings will be described in detail with embodiments of the invention (Example).

【0018】 [0018]

【発明の実施の形態】以下の本発明の実施形態(実施例)は、カメラ画像を送信するカメラ画像送信側端末装置が魚眼レンズカメラを用いることを仮定した場合について説明している。 Embodiments of the present invention DETAILED DESCRIPTION OF THE INVENTION The following EXAMPLES are described a case where the camera image transmission side terminal apparatus that transmits a camera image is assumed to be used a fisheye lens camera. 図1は、本発明の実施形態(実施例)のカメラ画像伝送システムを利用する通信システムの一構成例を示す模式図である。 Figure 1 is a schematic diagram showing an example of the configuration of a communication system utilizing a camera image transmission system according to the embodiment (examples) of the present invention. この図1の構成例は、 Configuration example of Figure 1,
カメラ画像の伝送に無線データ通信回線を利用する場合について示している。 Shows a case in which wireless data communication line for transmission of the camera images.

【0019】図1に示すように、カメラ画像送信側端末装置1は、無線データ送信手段10によりPHS非制限デジタルベアラやIEEE802.11に準拠する無線LAN(Local Area Network)等の無線データ通信回線3を用いて画像受信側装置2と通信し、魚眼レンズカメラ4より入力されるカメラ画像を送信する。 As shown in FIG. 1, camera image sending terminal apparatus 1, wireless data communication line such as a wireless LAN (Local Area Network) conforming to the PHS unrestricted digital bearer or IEEE802.11 by wireless data transmission means 10 3 communicates with the image receiving side apparatus 2 is used to transmit the camera image input from the fish-eye lens camera 4. 画像受信側装置2は、画像受信側装置2の無線データ受信手段2 The image receiving side apparatus 2, the image receiving side apparatus 2 of the radio data receiving means 2
0により、1個または複数個のカメラ画像送信側端末装置1と無線データ通信回線3を介して通信を行う。 The 0, communicate over one or a plurality of camera image sending terminal apparatus 1 and the wireless data communication line 3.

【0020】無線データ送信手段10と無線データ受信手段20は、無線データ通信回線において発生する伝送誤りを訂正し、伝送誤りのない透過なデータ通信を実現するためのデータリンク層データ伝送制御機能を提供する。 The wireless data transmission means 10 and the radio data receiving means 20, correct the transmission error occurring in a wireless data communication line, the data link layer data transmission control function for implementing the free transmission of data communications transmission errors provide. 例えば、PHS非制限デジタルベアラを利用する場合においては、PIAFS(PHS Internet Access For example, in a case of using a PHS unrestricted digital bearer, PIAFS (PHS Internet Access
Forum Standard)手順や、HDLC(High-1evel Forum Standard) procedure and, HDLC (High-1evel
Data Link Control)手順等のデータ伝送制御機能を提供する。 It provides data transmission control function such as Data Link Control) procedure.

【0021】画像受信側装置2には、受信された画像を表示するための画像表示装置5や、任意のカメラ画像送信側端末装置1あるいは複数個のカメラ画像送信側端末装置1に対する制御を行うための制御パネル6が接続される。 [0021] The image receiving apparatus 2, performs, image display device 5 for displaying the received image, a control for an arbitrary camera image sending terminal apparatus 1 or a plurality of camera image sending terminal apparatus 1 control panel 6 for are connected.

【0022】また、画像受信側装置2を通信ネットワーク7に接続し、通信ネットワーク7に接続されるPC Further, PC to connect the image receiving side apparatus 2 to the communication network 7, are connected to the communication network 7
(Personal Computer)端末8と通信し、カメラ画像送信側装置1より受信した画像をPC端末8に送信し表示するとともに、PC端末8からカメラ画像送信側端末装置1を制御するための信号を受信する場合もある。 (Personal Computer) communicates with the terminal 8, with sending the image received from the camera image transmitting apparatus 1 to the PC terminal 8 displays, receives a signal for controlling the camera image sending terminal apparatus 1 from the PC terminal 8 there is also a case to be. 例えば、ISDN(Integrated Service Digital Net For example, ISDN (Integrated Service Digital Net
work)回線に接続する場合には、画像受信側装置2は、 When connecting to the work) line, the image receiving side apparatus 2,
H.320に準拠するTV会議端末等と通信し、LAN To communicate with the TV conference terminal or the like that conforms to the H.320, LAN
やWAN(Wide Area Network)等のIP(Interne Or a WAN (Wide Area Network) such as IP (Interne
t Protocol)パケット通信ネットワークに接続される場合には、画像受信側装置は、H.320に準拠するT When connected to t Protocol) packet communication network, the image receiving device, compliant with H.320 T
V(Television)会議通信システム等を実装したPC V (Television) PC that implements the conference communication systems, etc.
端末8と通信する。 To communicate with the terminal 8.

【0023】また、画像受信側装置2は、該画像受信側装置2に直接接続されるデータ蓄積装置9、あるいは、 Further, the image receiving side apparatus 2, or the data storage device 9 is directly connected to the image receiving apparatus 2,
通信ネットワーク7を介して接続されるデータ蓄積装置9に受信した画像データを蓄積することが可能である。 It is possible to store image data received in the data storage device 9 connected via the communication network 7.

【0024】図2は、本発明による一実施形態のカメラ画像伝送システムの概略構成を示すブロック構成図である。 FIG. 2 is a block diagram showing a schematic configuration of a camera image transmission system of an embodiment according to the present invention. 本実施形態のカメラ画像伝送システムは、図2に示すように、魚眼レンズを有するカメラ画像送信側端末装置1と、1個のカメラ画像送信側端末装置1と無線データ通信回線3を介して通信する画像受信側装置2とで構成されている。 Camera image transmission system of this embodiment, as shown in FIG. 2, the camera image sending terminal apparatus 1 having a fisheye lens, communicate via a single camera image sending terminal apparatus 1 and the wireless data communication line 3 It is composed of an image receiving device 2.

【0025】前記カメラ画像送信側装置1は、上下左右180°以上の視野角を有する魚眼レンズ11と、CC [0025] The camera image transmitting device 1 includes a fisheye lens 11 having a viewing angle of vertical and horizontal 180 ° or more, CC
D(Charge Coupled Device)やCMOS(Complem D (Charge Coupled Device) or CMOS (Complem
entary Metal Oxide Semiconductor)等の固体撮影素子により魚眼レンズより入力される画像を電気信号に変換するイメージセンサ12と、イメージセンサ12によって電気信号に変換された画像のデジタル量子化等を行うDSP(DigitalSignal Processor)13と、このDSP13によりデジタル化された画像データを記憶する画像データ記憶手段14と、画像データをJPEG entary Metal Oxide Semiconductor) or the like of an image sensor 12 for converting the image into an electric signal input from the fish-eye lens by a solid imaging element, DSP of the image sensor 12 performs digital quantization or the like of the converted image into an electrical signal (Digital Signal Processor ) and 13, an image data storage means 14 for storing the image data digitized by the DSP 13, the image data JPEG
(Joint Photographic Coding Experts Group)により符号化する画像符号化手段15と、魚眼レンズカメラ画像を複数の部分領域に分割し、各部分領域画像毎に前記画像符号化手段15により符号化するとともに領域位置範囲情報を付加した画像データフレーム30を構成する画像分割制御手段16と、画像データフレーム30 And (Joint Photographic Coding Experts Group) image encoding unit 15 for encoding by, dividing the fisheye camera image into a plurality of partial areas, area position range with coding by the image coding unit 15 for each partial region image the image split control unit 16 of the image data frame 30 added with the information, the image data frame 30
を無線データ通信回線3により送信する無線データ送信手段10と、画像データフレームの送信制御を行う画像送信制御手段17から構成される。 The wireless data transmission means 10 for transmitting by wireless data communication line 3, and an image transmission control unit 17 for controlling transmission of the image data frames.

【0026】前記画像受信側装置2には、受信した画像を表示する画像表示装置5と、カメラ画像送信側端末装置の制御を行うための制御パネル6が接続されている。 [0026] The image receiving device 2 includes an image display device 5 for displaying the received image, the control panel 6 for controlling the camera image transmitting terminal devices are connected.
画像受信側装置2は、カメラ画像送信側端末装置1から無線データ通信回線3を介して送信される画像データフレーム30等を受信する無線データ受信手段20と、受信された画像データフレームに含まれる符号化データに対する復号化処理を行う画像復号化手段21と、前記画像データフレームに含まれる領域位置範囲情報を用いて、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、前記各画素の位置情報を魚眼レンズの特性に対応する位置依存型歪み補正関数に代入することで、前記部分領域画像の有する魚眼レンズの特性に依存した画像歪みを補正する画像歪み補正手段22 Image receiving device 2 includes a wireless data receiving means 20 for receiving image data frame 30 or the like transmitted from the camera image sending terminal apparatus 1 via the wireless data communication line 3, contained in the received image data frame an image decoding unit 21 which performs decoding of coded data, using said area position range information included in the image data frame, obtains the positional information of each pixel of the partial-area image included in the image data frame, by substituting the position-dependent distortion correction function corresponding to the characteristics of the location information a fisheye lens of each pixel, the image distortion correcting section 22 for correcting the image distortion that depends on the characteristics of the fish-eye lens having the above partial region image
と、領域位置範囲情報で規定される位置に歪みが補正された前記部分領域画像をはめ込むことで、歪み補正されたカメラ画像を再構築する画像再構築手段23と、画像データを記憶する受信画像データ記憶手段24と、画像を画像表示装置や所定の通信ネットワーク等に出力するための出力インタフェース25と、さらに、制御パネルや所定の通信ネットワーク等からの制御情報35を入力するための制御情報の入力インタフェース26と、制御情報35をカメラ画像送信側端末装置1に送信するための制御情報送信手段27から構成される。 When, by fitting the partial region image distortion has been corrected to a position defined by the area position range information, an image reconstruction unit 23 to reconstruct the camera images the distortion correction, the received image storing image data a data storage unit 24, an output interface 25 for outputting the image to the image display device or a predetermined communication network such as, further, the control information for inputting control information 35 from the control panel or a predetermined communication network such as an input interface 26, and the control information 35 from the control information transmitting unit 27 for transmitting the camera image sending terminal apparatus 1.

【0027】一般に、カメラ画像送信側端末装置1は、 [0027] Generally, the camera image sending terminal apparatus 1,
小型化が求められるとともに、図1及び図2に示したように無線データ通信回線3を利用して画像受信側装置2 Downsizing is required, the image receiving side apparatus 2 by wireless data communication line 3, as shown in FIGS. 1 and 2
と通信を行う場合等では、可搬性を維持するためにカメラ画像送信側端末装置1内に具備されるバッテリーにより動作するため、消費電力が少ないことが求められる。 And in the case or the like for communication, to operate by a battery that is provided in the camera image transmission side terminal device 1 in order to maintain the portability, it is required the power consumption is small.
このことから、カメラ画像送信側端末装置1において高い演算処理能力を実現することは困難である。 Therefore, it is difficult to achieve a high processing power in the camera image sending terminal apparatus 1. これに対して画像受信側装置2は、一般に、コンセント等から電源を供給できることから消費電力等に対する制限がなく、高い演算処理能力を実現できる。 The image receiving side apparatus 2 contrast, generally, no restrictions on power consumption, etc. because it can supply the power from the wall outlet or the like, can achieve a high processing power.

【0028】本実施形態のカメラ画像伝送システムは、 The camera image transmission system of this embodiment,
図2に示したように、比較的処理量の大きい画像歪み補正処理をカメラ画像送信側端末装置1で行わず、処理能力の高い画像受信側装置2に画像歪み補正手段22を有する構成としている。 As shown in FIG. 2, it is relatively processes a large amount of image distortion correction processing without performing the camera image sending terminal apparatus 1, the configuration having an image distortion correcting section 22 high image receiving apparatus 2 processing capacity . これにより、画像歪み補正処理に要する処理時間の短縮が図れる。 Thus, reducing the processing time required for image distortion correction process is achieved.

【0029】また、魚眼レンズ11によるカメラ画像等では、画像歪み補正処理を施した後の視野空間パノラマ画像の方が、画像歪み補正処理を施さない魚眼レンズ1 [0029] In addition, in the camera image or the like by the fish-eye lens 11, a fish-eye lens 1 toward the viewing space panoramic image after the image distortion correction process is not subjected to image distortion correction processing
1によるカメラ画像に比較してデータ量が増加するため、画像受信側装置2で画像歪み補正処理を行う構成にすることにより、カメラ画像送信側端末装置1で画像歪み補正処理を行う場合に比較して、データ通信回線3を効率的に利用できる。 The amount of data compared to the camera image by 1 is increased by the configuration in which the image distortion correction process in the image receiving side apparatus 2, compared to a case of performing image distortion correction processing in the camera image sending terminal apparatus 1 to, can use the data communication line 3 efficiently.

【0030】なお、画像歪み補正手段22による画像歪み補正処理は、画像データフレームに付加される領域位置範囲情報を用いて、部分領域画像内の各画素の位置情報、すなわち、各画素の画像全体における座標位置、及び各画素の魚眼レンズ11より入力される円形画像の中心点からの距離を算出し、これらの数値を文献「Shish [0030] Note that the image distortion correction process performed by the image distortion correction unit 22 uses the area position range information added to the image data frame, the position information of each pixel in the partial-area image, that is, the entire image of each pixel coordinates, and calculates the distance from the center point of the circular image input from the fisheye lens 11 of each pixel, the document "Shish these values ​​in
ir Shah,J. ir Shah, J. K. K. Aggarwel,″Intrinsic Paramet Aggarwel, "Intrinsic Paramet
er Calibration Procedure for A(High-Distorti er Calibration Procedure for A (High-Distorti
on)Fish-Eye Lens Camera With Distortion Mo on) Fish-Eye Lens Camera With Distortion Mo
del and Accuracy Estimation,″Pattern Recogni del and Accuracy Estimation, "Pattern Recogni
tion,29,pp.1775〜1788」等に記載の魚眼レンズの位置依存型歪み補正関数に入力していくことにより実現する。 tion, 29, realized by you type the position-dependent distortion correcting function of the fish-eye lens according to pp.1775~1788 "or the like.

【0031】図3乃至図7は、本実施形態のカメラ画像伝送システムにおける各種カメラ画像伝送の手順について説明するための図である。 [0031] FIGS. 3 to 7 are views for explaining the procedure of the various camera image transmission in the camera image transmission system of this embodiment. 本実施形態のカメラ画像伝送システムは、図2に示すように、画像受信側装置2の制御情報送信手段27から無線データ通信回線3を介してカメラ画像送信側端末装置1の画像送信制御手段17 Camera image transmission system of this embodiment, as shown in FIG. 2, from the control information transmitting unit 27 of the image receiving apparatus 2 via the wireless data communication line 3 of the camera image sending terminal apparatus 1 image transmission control means 17
に制御情報35を送信し、カメラ画像送信側端末装置1 Transmits the control information 35, the camera image sending terminal apparatus 1
を制御することにより、任意の時点で撮影された魚眼レンズカメラ画像の全体、もしくは、魚眼レンズカメラ画像の部分領域画像を伝送する。 By controlling the overall fisheye camera images shot at any time, or transmits the partial-area image of the fish-eye lens camera image. これにより逐次撮影された魚眼レンズカメラ画像の全体、もしくは、魚眼レンズカメラ画像の部分領域画像を連続的に伝送することが可能である。 Whole thereby sequentially captured fisheye camera image, or, it is possible to transmit the partial-area image of the fish-eye lens camera images sequentially.

【0032】図3乃至図5に示す例は、カメラ画像送信側端末装置1において、任意の時点で撮影されたカメラ画像の全体を送信する場合、及び逐次撮影されたカメラ画像の全体を連続的に送信する場合について説明している。 The example shown in FIGS. 3-5, the camera image sending terminal apparatus 1, continuously the entire case, and sequentially captured camera image of sending the entire camera image taken at any time It has described the case to be sent to. 図3は、カメラ画像送信側端末装置1に具備される画像分割制御手段16によるカメラ画像31の分割形式の一例を示す図である。 Figure 3 is a diagram showing an example of a divided form of the camera image 31 by the image division control unit 16 which is provided in the camera image sending terminal apparatus 1.

【0033】本実施形態のカメラ画像伝送システムにおいて、カメラ画像送信側端末装置1の画像分割制御手段16は、撮影されるカメラ画像を、画像受信側装置2より送信される第1の制御情報により規定される分割方式にしたがって1個以上の部分領域に分割する。 [0033] In the camera image transmission system of the present embodiment, the image split control unit 16 of the camera image sending terminal apparatus 1, the camera image captured by the first control information transmitted from the image receiving apparatus 2 It is divided into one or more partial areas in accordance with division scheme defined. ただし、 However,
画像受信側装置2よりカメラ画像の分割方式を指示する第1の制御情報が送信されない場合、カメラ画像送信側端末装置1の画像分割制御手段16は既知の分割方式にしたがってカメラ画像を分割する。 If the first control information indicating the division of the camera image from the image receiving apparatus 2 is not transmitted, the image split control unit 16 of the camera image sending terminal apparatus 1 divides the camera image according to known resolution methods.

【0034】前記図3に示す分割形式は、魚眼レンズカメラより撮影されるカメラ画像31の分割形式の一例であり、この図3の例では、カメラ画像31を34個の部分領域画像32に分割しており、カメラ画像31の中央上部に位置する斜線で示した1個の部分領域画像32に対応する領域位置範囲情報33は(3,1)である。 The division type shown in FIG. 3 is an example of a divided form of the camera image 31 to be captured from the fisheye camera, in the example of FIG. 3, by dividing the camera image 31 to 34 pieces of the partial-area image 32 and which, area-position range information 33 corresponding to one partial area image 32 shown by hatching is located at the top center of the camera image 31 is (3,1).

【0035】図3の例では、各部分領域画像が正方形となるように分割しているが、分割形式として、各部分領域画像をそれぞれ任意の大きさの長方形や台形などの多角形型にする形式や、各部分領域画像を任意の曲線により規定される範囲で分割する形式等を適用することができる。 [0035] In the example of FIG. 3, each partial area image is divided to have a square, as divided form, into a polygonal form such as a rectangle or trapezoid any size of each partial region images respectively format and, each partial area image can be applied format or the like to divide a range defined by any curve.

【0036】図4は、前記画像分割制御手段16により生成される画像データフレーム30の一構成例を示す図である。 [0036] FIG. 4 is a diagram showing a configuration example of an image data frame 30 which is generated by the image division control unit 16. 図4に示すように、画像データフレーム30 4, the image data frame 30
は、画像符号化手段15により符号化された部分領域画像符号化データ41に、その部分領域画像に対応する領域位置範囲情報33を付加した構成となる。 Is a partial area image coded data 41 which is encoded by the image encoding means 15, a configuration obtained by adding the area position range information 33 corresponding to the partial-area image.

【0037】図5は、カメラ画像送信側端末装置1に具備される画像送信制御手段17による部分領域画像32 [0037] Figure 5 is a partial area image 32 by the image transmission control means 17 are provided in the camera image sending terminal apparatus 1
の送信順序の一例を示す図である。 Is a diagram illustrating an example of a transmission order. 本実施形態のカメラ画像伝送システムにおいて、カメラ画像送信側端末装置1の画像送信制御手段17は、画像受信側装置2の制御情報送信手段27より送信される画像データフレームの送信順序を規定する第2の制御情報にしたがって画像データフレームを送信する。 In the camera image transmission system of this embodiment, the image transmission controller 17 of the camera image sending terminal apparatus 1, first defines the transmission order of the image data frames transmitted from the control information transmitting unit 27 of the image receiving apparatus 2 transmitting the image data frame in accordance with second control information. ただし、画像受信側装置2より画像データフレームの送信を制御する第2の制御情報が送信されない場合、カメラ画像送信側端末装置1の画像送信制御手段17は既知の送信順序にしたがって画像データフレームを送信する。 However, if the second control information for controlling transmission of the image data frames from the image receiving apparatus 2 is not transmitted, the image transmission control unit 17 of the camera image sending terminal apparatus 1 image data frame according to known transmission order Send.

【0038】図5は、カメラ画像31を図3の例にしたがって分割した場合における各部分領域画像の送信順序の一例を示し、図5中の各部分領域画像32の中に記載された数字が送信順序34を示している。 [0038] Figure 5 shows an example of a transmission sequence of each partial area image in case of dividing a camera image 31 according to the example of FIG. 3, the number described in each partial area image 32 in FIG. 5 It shows the transmission order 34. この図5の例では、カメラ画像31の中央上部に位置する斜線で示した一つの部分領域画像32の送信順序34は10番目である。 In the example of FIG. 5, the transmitting sequence 34 of one partial area image 32 shown by hatching is located at the top center of the camera image 31 is 10 th.

【0039】また、魚眼レンズカメラ画像は、円形の画像となるため、一般の正方形に固体撮影素子が敷き詰められたイメージセンサにより入力される正方形のカメラ画像31の角部には画像情報を含まない部分が存在する。 Further, fisheye camera image, since the circular image, the corners of the camera image 31 of square generally square solid imaging element is input by the image sensor which is spread does not contain image information part there exist. このため、図5に示すように、正方形のカメラ画像の角部に相当する部分領域画像、すなわち、図3中の領域位置範囲情報(11,11),(12,11),(1 Therefore, as shown in FIG. 5, the partial-area image corresponding to the corners of the square of the camera image, i.e., area position range information in FIG. 3 (11, 11), (12, 11), (1
1,12),(51,11),(52,11),(5 1,12), (51,11), (52,11), (5
1,12),(11,51),(11,52),(1 1, 12), (11, 51), (11, 52), (1
2,52),(52,51),(51,52),(5 2, 52), (52, 51), (51, 52), (5
2,52)に対応する部分領域画像32には、送信順序を割り当てず、これらの部分領域画像32は送信の対象としない。 The partial-area image 32 corresponding to 2, 52) is not assigned a transmission sequence, these partial-area image 32 is not subject to transmission. これにより、正方形のカメラ画像を全て送信する場合に比較して、送信するデータ量が削減され、魚眼レンズカメラ画像の伝送効率の向上が図れる。 Thus, as compared with the case of transmitting all the squares of the camera image, the data amount is reduced to be transmitted, thus improving the transmission efficiency of the fisheye camera image.

【0040】図2乃至図5に示す例において、本実施形態のカメラ画像伝送システムのカメラ画像送信側端末装置1は、画像分割制御手段16により、カメラ画像31 [0040] In the example shown in FIGS. 2 to 5, the camera image sending terminal apparatus 1 of the camera image transmission system of the present embodiment, the image split control unit 16, camera image 31
を図3に示した複数の部分領域画像32に分割し、一つの部分領域画像32に対応する画像データを画像符号化手段15により符号化し、図4に示した画像データフレーム30を構築する。 Was divided into a plurality of partial region images 32 shown in FIG. 3, the image data corresponding to one partial area image 32 is encoded by the image encoding means 15, to construct an image data frame 30 shown in FIG. そして、画像送信制御手段17により各画像データフレーム30を、図5に示す送信順序に従って無線データ送信手段10により、画像受信側装置2へ送信する。 Then, each image data frame 30 by the image transmission controller 17, the wireless data transmitting unit 10 according to the transmission order shown in FIG. 5, is transmitted to the image receiving side apparatus 2.

【0041】画像受信側装置2は、受信された画像データフレーム30に含まれる部分領域画像符号化データ4 The image receiving apparatus 2, the partial-area image coded data 4 included in the image data frame 30 which is received
1を画像復号化手段21により復号化し、画像歪み補正手段22は、画像データフレームに含まれる領域位置範囲情報33を用いて部分領域画像32が有する歪みの特性を算出し、画像歪みを補正する処理を行う。 1 decoded by the image decoding unit 21, image distortion correction unit 22 calculates the characteristics of the strain with the partial-area image 32 using the area-position range information 33 included in the image data frame, correcting the image distortion processing is carried out. そして、 And,
画像再構築手段23により、歪みが補正された部分領域画像32を領域位置範囲情報33により規定される位置にはめ込む画像再構築処理を行う。 The image reconstruction unit 23 performs image reconstruction processing to fit the partial-area image 32 whose distortion has been corrected to the position defined by the area position range information 33.

【0042】前述の手順でカメラ画像の伝送処理を行うことにより、最後の画像データフレーム30に対する処理が終了した時点で、即座に、魚眼レンズカメラ画像の対応する視野空間パノラマ画像が、受信画像データ記憶手段24内に構築され、出力インタフェース25を介して画像表示装置5に前記視野空間パノラマ画像を出力することができる。 [0042] By performing the transmission processing of the camera image in the previous step, at the time the process is completed for the last image data frame 30, immediately, the corresponding field space panoramic image fisheye camera image, received image data storing built means 24, the view volume panoramic image to the image display device 5 via the output interface 25 can output.

【0043】また、最後の画像データフレームが受信されるまでの間に、既に画像受信側装置2に受信され、画像再構築手段23による画像再構築処理までが終了し、 [0043] Further, until the last image data frame is received, already received in the image receiving side apparatus 2, by the image reconstruction unit 23 to the image reconstruction process is completed,
受信画像データ記憶手段24に保持されている画像データを用いることにより、逐次、部分的な視野空間パノラマ画像を画像表示装置5に出力し利用することができる。 By using the image data stored in the received image data storage means 24, sequentially, can be used to output the partial view volume panoramic image to the image display device 5.

【0044】ただし、この時点で、画像表示装置5に出力される視野空間パノラマ画像は、部分的にまだ受信されていない画像を含むため、受信されていない部分については、特定の色で覆い補完する、もしくは、魚眼レンズカメラ画像を連続的に受信する場合においては、直前に受信された魚眼レンズカメラ画像中の同じ領域の部分領域画像から生成される画像により補完する等の処理を画像再構築手段23により行う。 [0044] However, at this point, the viewing space panoramic image is output to the image display device 5, in order to include the partially not yet received image, the portion that has not been received, complemented covered with a particular color to, or fisheye lens when the camera images received continuously, the process such as to complement the image an image reconstruction means which is generated from the partial-area image of the same region in the fisheye camera image received immediately before 23 carried out by.

【0045】特に、VGA(Video Graphics Arra [0045] In particular, VGA (Video Graphics Arra
y)やSVGAの解像度を有する一般の画像表示装置5 Generally the image display apparatus having a y) and SVGA resolution 5
を用いる場合においては、視野空間パノラマ画像全体を同時に表示することは不可能であることから、画像表示装置5には視野空間パノラマ画像が部分的に表示されており、適時、制御パネル6に対するユーザ操作に応じて表示する部分領域を変更する。 In the case of using, since it is impossible to display the viewing space panoramic entire image at the same time, the image display device 5 and the viewing space panoramic image is partially displayed, the user timely, to the control panel 6 changing the partial area to be displayed according to the operation.

【0046】図3及び図5に示した例は、VGAやSV The examples shown in FIGS. 3 and 5, VGA and SV
GAの解像度を有する一般の画像表示装置を用いる場合において、図3中の領域位置範囲情報(3,3)に対応する部分領域画像が、画像受信側装置2の画像表示装置における表示の対象となっている場合に対応する。 In the case of using a general image display device having a GA resolution, the partial-area image corresponding to the area location range information in FIG. 3 (3,3), and the target display in the image display apparatus of an image receiving apparatus 2 it corresponds to the case are.

【0047】この場合には、図5に示すように領域位置範囲情報(3,3)に対応する部分領域画像32の送信順序34を1番に設定する。 [0047] In this case, it sets the transmission order 34 of the partial-area image 32 corresponding to the area position range information (3,3) as shown in FIG. 5 to No. 1. 画像受信側装置2は、1番目に受信される領域位置範囲情報(3,3)の画像データフレームに対して復号化処理及び画像歪み補正処理を行ったうえ、この画像データを即座に画像表示装置に出力する。 The image receiving side apparatus 2, after performing decoding processing and image distortion correction processing on the image data frame area position range information received in the first (3,3), the image display the image data immediately to output to the device. これにより、画像受信側装置2からカメラ画像31の送信を要求する処理を行った後から、画像表示装置5に視野空間パノラマ画像が表示されるまでの遅延時間が効果的に短縮される。 Thus, from after the process of requesting the transmission of the camera image 31 from the image receiving side apparatus 2, the delay time of the image display device 5 to the field space panoramic image is displayed it is effectively shortened.

【0048】また、本実施形態のカメラ画像伝送システムにおいては、画像受信側装置2は、受信された画像データフレーム30に含まれる部分領域画像符号化データ41を画像復号化手段21により復号化した後、画像歪み補正手段22による画像歪み補正処理を行わず、画像再構築手段23により領域位置範囲情報33により規定される位置にはめ込む処理を行うことも可能である。 [0048] In the camera image transmission system of the present embodiment, the image receiving side apparatus 2, the partial-area image encoded data 41 included in the image data frame 30 which is received and decoded by the image decoding unit 21 after, without image distortion correction process performed by the image distortion correction unit 22, it is also possible to perform the process of fitting the image reconstruction unit 23 in a position which is defined by the area position range information 33. この場合、受信画像データ記憶手段24には、視野空間パノラマ画像ではなく、魚眼レンズカメラ画像がそのまま再構築され、これを画像表示装置5に出力することができる。 In this case, the received image data storage means 24, rather than the view volume panoramic image, fisheye camera image is reconstructed as can be outputted to the image display device 5.

【0049】さらに、前述の視野空間パノラマ画像を生成する場合と同様に、最後の画像データフレームが受信されるまでの間に、画像受信側装置2に受信され、既に画像再構築処理が終了し受信画像データ記憶手段24に保持されている画像データを利用して、逐次、部分的な魚眼レンズカメラ画像を画像表示装置5に出力することができる。 [0049] Further, similarly to the case of generating a view volume panorama image described above, until the last image data frame is received, is received in the image receiving side apparatus 2, already an image reconstruction process is completed using the image data stored in the received image data storage means 24, sequentially, it is possible to output the partial fisheye camera image on the image display device 5.

【0050】この時点で、画像表示装置5に出力される魚眼レンズカメラ画像は、部分的にまだ受信されていない画像を含むため、受信されていない部分については、 [0050] At this point, fish-eye lens camera image to be output to the image display device 5, in order to include the partially images that have not yet been received, the portions which are not received,
特定の色で覆い補完する。 To complement covered with a particular color. もしくは、魚眼レンズカメラ画像を連続的に受信する場合においては、直前に受信された魚眼レンズカメラ画像中の同じ領域の部分領域画像により補完する等の処理を画像再構築手段23により行う。 Or, in the case of continuously receiving the fisheye camera image is performed by processing the image reconstructing means 23, such as to complement the partial area image of the same region in the fisheye camera image received immediately before.

【0051】本実施形態のカメラ画像伝送システムは、 The camera image transmission system of this embodiment,
一枚のカメラ画像を複数の画像データフレームに分割し送信している途中に、画像データフレームの送信順序を変更することができる。 In the middle of sending dividing the single camera image into a plurality of image data frames, it is possible to change the transmission order of the image data frames.

【0052】図6は、一枚のカメラ画像の送信中に画像データフレームの送信順序を変更する場合における画像送信制御手段17の動作フロチャート例を示す図である。 [0052] Figure 6 is a diagram showing an operation flow chart of the image transmission controller 17 in the case of changing the order of transmission of the image data frame during transmission of a single camera image. 図6の動作フロチャートは、カメラ画像送信側端末装置1が、一枚のカメラ画像31全体を送信した後、連続して次に撮影されたカメラ画像31全体を送信する場合について示している。 Operation flow chart of FIG. 6, the camera image transmission side terminal 1, after sending the entire single camera image 31 shows the case of sending the entire camera image 31 is then taken continuously.

【0053】通常、画像送信制御手段17は、図6に示すように、既知の、もしくは、画像受信側端末装置1から送信された送信順序を制御する第2の制御情報により規定される送信順序に従って画像データフレーム30を送信して行く(S601)。 [0053] Normally, the image transmission controller 17, as shown in FIG. 6, the known, or transmission order defined by the second control information for controlling the transmission order which has been transmitted from the image receiving terminal apparatus 1 It is going to send the image data frame 30 in accordance with (S601). 画像受信側装置2は、一枚のカメラ画像31の受信中に、制御パネル6から特定の部分領域画像32の送信を要求する信号が入力された場合、制御情報送信手段27により対応する部分領域画像32の領域位置範囲情報33を含む送信順序変更を目的とした第2の制御情報を、カメラ画像送信側端末装置1 The image receiving side device 2, during the reception of a single camera image 31, when a signal requesting the transmission of a specific partial-area image 32 from the control panel 6 is inputted, the corresponding partial regions the control information transmitting unit 27 a second control information for the purpose of transmitting sequence changes, including area position range information 33 of the image 32, the camera image sending terminal apparatus 1
に送信する。 To send to.

【0054】前記画像送信制御手段17が、前記第2の制御情報を画像受信側装置2より受信したかを調べ(S [0054] The image transmission control means 17 checks whether the second control information received from the image receiving apparatus 2 (S
602)、前記第2の制御情報を受信していた場合(Y 602), when having received the second control information (Y
es)、受信した制御情報に対応する画像データフレームは未送信かを調べる(S603)。 es), the image data frame corresponding to the received control information find out unsent (S603). 未送信であれば(Yes)、受信した制御情報に対応する画像データフレームの送信を行う(S604)。 If untransmitted (Yes), performs transmission of the image data frame corresponding to the received control information (S604). 送信していなければ(No)、画像データフレーム30の送信順序を変更し、受信した第2の制御情報に含まれる領域位置範囲情報33に対応する画像データフレーム30を優先して送信する(S605)。 If not transmitted (No), and change the order of transmission of the image data frame 30, and transmits the priority image data frame 30 corresponding to the area location range information 33 included in the second control information received (S605 ).

【0055】次に、全ての画像データフレームの送信が完了したかを調べ(S606)、完了していれば(Ye Next, examine whether the transmission of all the image data frame has been completed (S606), if completed (Ye
s)、魚眼レンズ視野空間画像の送信を終了し(S60 s), and it ends the transmission of the fish-eye lens view space image (S60
7)、魚眼レンズ視野空間画像の撮影処理を行う(S6 7), the imaging process of the fisheye view volume image (S6
08)。 08). 全ての画像データフレームの送信が完了していなければ(No)、前記ステップS602に戻り、前記の処理動作を繰り返す。 If the transmission of all image data frames have been completed (No), it returns to step S602, and repeats the processing operation.

【0056】これにより、画像受信側装置2に接続される制御パネル6から特定の部分領域画像32の送信が要求された場合に、即座に、カメラ画像送信側端末装置1 [0056] Thus, when the transmission of the image receiving device specific partial-area image 32 from the control panel 6 connected to the 2 has been requested, in real camera image sending terminal apparatus 1
が、要求される部分画像領域32に対応する画像データフレーム30を送信し、画像受信側装置2において復号化処理等を行い、画像表示装置5に出力することができる。 But transmits the image data frame 30 corresponding to the partial image area 32 is required, it performs decoding processing or the like in the image receiving side apparatus 2 can be output to the image display device 5.

【0057】例えば、視野空間パノラマ画像全体を同時に表示することは不可能であるVGAやSVGAの解像度を有する一般の画像表示装置5を用いる場合、一枚のカメラ画像の送信中に、ユーザ繰作により表示する部分領域画像が変更された時に、前述した手順を用いて、新たに表示の対象となった部分領域画像の送信を優先することにより、低遅延時間で新たに表示の対象となった部分領域画像を画像表示装置5に出力することができる。 [0057] For example, when using a general image display device 5 having a VGA or SVGA resolution is not possible to display the viewing space panoramic entire image simultaneously, during the transmission of a single camera image, the user Repetitive work when the partial-area image to be displayed is changed by using the procedure described above, by giving priority to the transmission of new display target became partial-area image, it was subject to newly displayed with low delay it is possible to output a partial area image in the image display device 5.

【0058】前述の本実施形態では、カメラ画像送信側端末装置1が、常に撮影された魚眼レンズカメラ画像全体を送信する場合について述べたが、本発明のカメラ画像伝送システムでは、画像受信側装置2に接続される画像表示装置5に、カメラ画像の特定の部分領域画像をできる限り高い画像フレームレートで表示させる必要がある場合等には、カメラ画像全体ではなく、必要な部分領域画像のみを送信する。 [0058] In the foregoing embodiment, the camera image sending terminal apparatus 1 has dealt with the case of transmitting always captured the entire fisheye camera image, the camera image transmission system of the present invention, the image receiving side apparatus 2 the image display device 5 which is connected to, the like if it is necessary to display at a high image frame rate as much as possible the specific partial area image of the camera image, not the entire camera image, sending only the necessary partial area image to.

【0059】図7は、カメラ画像の一部の部分領域画像のみを送信する場合の、画像受信側装置2から送信される第2の制御情報35により規定される部分領域画像3 [0059] Figure 7, when sending only a part of the partial area image of the camera image, the partial-area image 3 defined by the second control information 35 transmitted from the image receiving side apparatus 2
2の送信順序の一例を示す図である。 Is a diagram illustrating an example of a second transmission sequence.

【0060】図7は、カメラ画像31を図3の例にしたがって分割した場合における各部分領域画像の送信順序の一例を示している。 [0060] Figure 7 shows an example of a transmission sequence of each partial area image in case of dividing a camera image 31 according to the example of FIG. 図7中の各部分領域画像32の中に記載された数字が送信順序34を示しており、この図7の例では、カメラ画像31の中央に位置する斜線で示した一つの部分領域画像32の送信順序34は1番目である。 Figure number described in each partial area image 32 in the 7 indicates the transmission order 34, in the example of FIG. 7, one of the partial-area image 32 shown by oblique lines located in the center of the camera image 31 the order of transmission 34 is first.

【0061】図7の例では、図3における領域位置範囲情報(3,2),(4,2),(3,3),(4,3) [0061] In the example of FIG. 7, area-position range information in FIG. 3 (3,2), (4,2), (3,3), (4,3)
に対応する部分領域画像以外には送信順序を割り当てず、領域位置範囲情報(3,2),(4,2),(3, Without assigning a transmission order is other than the corresponding partial region image, the area position range information (3,2), (4,2), (3,
3),(4,3)に対応する部分領域画像以外は送信の対象としない。 3), it is not used for transmission other than the partial region image corresponding to the (4,3).

【0062】以下に、図2乃至図4及び図7により、本実施形態のカメラ画像伝送システムにおいて、カメラ画像の一部の部分領域画像のみを送信する場合のカメラ画像伝送の手順について説明する。 [0062] Hereinafter, referring to FIGS. 2 through 4 and 7, in the camera image transmission system of the present embodiment, a procedure of the camera image transmission for sending only a part of the partial area image of the camera image will be described.

【0063】カメラ画像送信側端末装置1は、画像分割制御手段16により、カメラ画像31を図3に示した複数の部分領域画像32に分割し、一つの部分領域画像3 [0063] The camera image sending terminal apparatus 1, the image split control unit 16, the camera image 31 is divided into a plurality of partial region images 32 shown in FIG. 3, one of the partial-area image 3
2に対応する画像データを画像符号化手段15により符号化し、図4に示した画像データフレーム30を構築する。 The image data corresponding to 2 encoded by the image encoding means 15, to construct an image data frame 30 shown in FIG. そして、画像送信制御手段17により各画像データフレーム30を、図7に示す送信順序に従って無線データ送信手段10により、画像受信側装置2へ送信する。 Then, each image data frame 30 by the image transmission controller 17, the wireless data transmitting unit 10 according to the transmission order shown in FIG. 7, transmitted to the image receiving side apparatus 2.

【0064】画像受信側装置2は、受信された画像データフレーム30に含まれる部分領域画像符号化データ4 [0064] the image receiving side apparatus 2, the partial-area image coded data 4 included in the image data frame 30 which is received
1を画像復号化手段21により復号化し、画像歪み補正手段22は、画像データフレームに含まれる領域位置範囲情報33を用いて部分領域画像32が有する歪みの特性を算出し、画像歪みを補正する処理を行う。 1 decoded by the image decoding unit 21, image distortion correction unit 22 calculates the characteristics of the strain with the partial-area image 32 using the area-position range information 33 included in the image data frame, correcting the image distortion processing is carried out. そして、 And,
画像再構築手段23により、歪みが補正された部分領域画像32を領域位置範囲情報33により規定される位置にはめ込む画像再構築処理を行う。 The image reconstruction unit 23 performs image reconstruction processing to fit the partial-area image 32 whose distortion has been corrected to the position defined by the area position range information 33.

【0065】また、画像受信側装置2は、受信された画像データフレーム30に含まれる部分領域画像符号化データ41を画像復号化手段21により復号化した後、画像歪み補正手段22による画像歪み補正処理を行わず、 [0065] Also, the image receiving side device 2, after decoding by the image decoding unit 21 a partial-area image encoded data 41 included in the image data frame 30 which is received, the image distortion correction by the image distortion correcting section 22 without performing the processing,
画像再構築手段23により領域位置範囲情報33により規定される位置にはめ込む処理を行う。 It performs processing to fit the position defined by the area position range information 33 by the image reconstruction unit 23. 前記画像再構築手段23で再構築された画像は受信画像データ記憶手段24に記憶される。 The reconstructed image by the image reconstruction unit 23 is stored in the received image data storage means 24.

【0066】また、カメラ画像送信側端末装置1は、画像受信側装置2より、任意の枚数のカメラ画像を一定の画像フレームレートで連続撮影することを指示する第3 [0066] Also, the camera image sending terminal apparatus 1, the third to instruction from the image receiving side apparatus 2, the continuous shooting camera image of any number in a certain image frame rate
の制御情報35を受信した場合、前記第3の制御情報3 If the control information 35 have been received by the third control information 3
5により指定された撮影タイミングでカメラ画像31を連続撮影し、画像データ記憶手段14にバッファリングする。 5 a camera image 31 taken continuously at the specified photographing timing by buffers in the image data storage unit 14. その後、画像データ記憶手段14にバッファリングされているカメラ画像31を逐次伝送する。 Then, sequentially transmits the camera image 31 in the image data storage unit 14 is buffered.

【0067】この際、画像データ記憶手段14にバッファリングされている各カメラ画像31の伝送手順は、前述したカメラ画像31の伝送手順と同様であり、各カメラ画像31全体を伝送すること、もしくは、各カメラ画像31の一部の部分領域画像32を伝送することが可能である。 [0067] At this time, the transmission procedure of each camera image 31 is buffered in the image data storage unit 14 is the same as the transmission procedure of the camera image 31 as described above, transmitting the entire each camera image 31, or , it is possible to transmit a portion of the partial-area image 32 of the camera image 31.

【0068】以上の手順により、低速なデータ通信回線で伝送可能な画像フレームレートよりも高い画像フレームレートで連続撮影された複数のカメラ画像が必要な場合に、一時的に画像データ記憶手段14にバッファリング可能な任意の枚数分だけ、任意の画像フレームレートで連続撮影したカメラ画像を伝送することが可能となる。 [0068] By the above procedure, when a plurality of camera images continuously captured at a high image frame rate than the image frame rate can be transmitted at low-speed data communication lines are required, temporarily image data storing means 14 buffering can be any number of sheets only, it is possible to transmit a camera image taken continuously by the arbitrary image frame rate.

【0069】 [0069]

【発明の効果】本願において開示される発明のうち代表的なものによって得られる効果は以下のとおりである。 Effects obtained by representative ones of the inventions disclosed in the present application, according to the present invention are as follows. (1)魚眼レンズ等を用いたカメラ装置により入力される高解像度かつ画像歪みを有するカメラ画像を、PHS (1) a high resolution and a camera image with an image distortion is input by a camera device using a fisheye lens or the like, PHS
等の低速なデータ通信回線を用いて伝送し、画像受信側装置の画像表示装置等に、視野空間パノラマ画像等を表示する場合に、カメラ画像送信側端末装置が撮影されたカメラ画像を複数の部分領域に分割し画像データフレームを構築し送信すること、及び処理量の多い画像歪み補正処理を処理能力の高い画像受信側装置で処理することにより、カメラ画像の分割方式及び画像データフレームの送信順序を適時、画像受信側装置から制御することができるので、低速なデータ通信回線を効率良く利用することができる。 Transmitted with low-speed data communication lines etc., of the image receiving device to an image display device or the like, to display the view volume panoramic image or the like, a camera image camera image transmitting terminal device is taken a plurality of be divided into partial areas to construct an image data frame transmission, and by treating process a large amount of image distortion correction processing in the image receiving side apparatus with high processing capability, the camera image division and transmission of image data frames it is possible to control the order timely, from the image receiving device, it is possible to efficiently utilize the low-speed data communication lines. (2)画像受信側装置がカメラ画像送信側端末装置に対してカメラ画像の送信を指示してから、画像受信側装置の画像表示装置に視野空間パノラマ画像等が出力されるまでの遅延時間を低減(短縮)することができる。 (2) after the instruction to transmit the camera image to an image receiving device camera image transmitting terminal device, the delay time until the viewing space panoramic image or the like on the image display device of the image receiving device is output it can be reduced (shortened). (3)カメラ画像送信側端末装置の画像データ記憶部に複数のカメラ画像をバッファリングした後に、バッファリングされたカメラ画像を送信することにより、高い画像フレームレートでのカメラ画像を得ることができる。 (3) a plurality of camera images after buffering the image data storage unit of the camera image transmitting terminal device, by transmitting the camera image that is buffered, it is possible to obtain a camera image at a high image frame rate .

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明によるカメラ画像伝送システムを利用する通信システムの構成例を示す模式図である。 1 is a schematic view showing a configuration example of a communication system utilizing the camera image transmission system according to the present invention.

【図2】本発明による実施形態のカメラ画像伝送システムの概略構成を示すブロック構成図である。 2 is a block diagram showing a schematic configuration of a camera image transmission system according to an embodiment of the present invention.

【図3】本実施形態のカメラ画像の領域分割の一例を示す図である。 3 is a diagram showing an example of segmentation of a camera image of the present embodiment.

【図4】本実施形態の画像データフレームの一構成例を示す図である。 4 is a diagram showing a configuration example of an image data frame of this embodiment.

【図5】本実施形態の部分領域画像の送信順序の一例を示す図である。 5 is a diagram showing an example of the transmission order of the partial-area image of the present embodiment.

【図6】本実施形態の画像送信制御手段の動作フロチャートの一例を示す図である。 6 is a diagram showing an example of an operation flow chart of the image transmission control means of the present embodiment.

【図7】本実施形態のカメラ画像の領域分割の別の例を示す図である。 7 is a diagram showing another example of segmentation of a camera image of the present embodiment.

【符号の説明】 DESCRIPTION OF SYMBOLS

1…カメラ画像送信側端末装置、2…画像受信側装置、 1 ... camera image transmitting terminal device, 2 ... image receiving device,
3…無線データ通信回線、4…魚眼レンズカメラ、5… 3 ... wireless data communication lines, 4 ... fisheye lens camera, 5 ...
画像表示装置、6…制御パネル、7…通信ネットワーク、8…PC端末、9…データ蓄積装置、10…無線データ送信手段、11…魚眼レンズ、12…イメージセンサ、13…DSP、14…画像データ記憶手段、15… Image display device, 6 ... control panel, 7 ... communication network, 8 ... PC terminal, 9 ... data storage device, 10 ... wireless data transmission means, 11 ... fisheye lens, 12 ... image sensor, 13 ... DSP, 14 ... image data storage I mean, 15 ...
画像符号化手段、16…画像分割制御手段、17…画像送信制御手段、20…無線データ受信手段、21…画像復号化手段、22…画像歪み補正手段、23…画像再構築手段、24…受信画像データ記憶手段、25…出力インタフェース、26…入力インタフェース、27…制御情報送信手段、30…画像データフレーム、31…カメラ画像、32…部分領域画像、33…領域情報、34… Image encoding means, 16 ... image split control unit, 17 ... image transmission control unit, 20 ... wireless data receiving means, 21 ... image decoding unit, 22 ... image distortion correction means, 23 ... image reconstruction means, 24 ... Receive image data storage means, 25 ... output interface, 26 ... input interface, 27 ... control information transmitting unit, 30 ... image data frame, 31 ... camera image, 32 ... partial-area image, 33 ... area information 34 ...
送信順序、35…制御情報、41…部分領域画像符号化データ。 Transmission order, 35 ... control information, 41 ... partial area image coded data.

フロントページの続き (72)発明者 外村 佳伸 東京都新宿区西新宿三丁目19番2号 日本 電信電話株式会社内 Fターム(参考) 5B047 AA30 BB04 BC05 CA14 CB09 5C022 AA01 AB68 AC00 AC01 AC54 5C053 FA07 FA11 FA30 GB36 HA40 LA01 LA11 LA14 5C054 CC03 CC05 DA01 DA07 DA09 EA03 EA05 EG04 EG06 EH00 EH07 FC12 FD02 HA00 HA18 5K034 AA03 AA04 CC02 FF15 HH01 HH02 HH12 HH16 Front page of the continuation (72) inventor Yoshinobu Tonomura Tokyo Nishi-Shinjuku, Shinjuku-ku, Third Street No. 19 No. 2, Nippon Telegraph and Telephone Corporation in the F-term (reference) 5B047 AA30 BB04 BC05 CA14 CB09 5C022 AA01 AB68 AC00 AC01 AC54 5C053 FA07 FA11 FA30 GB36 HA40 LA01 LA11 LA14 5C054 CC03 CC05 DA01 DA07 DA09 EA03 EA05 EG04 EG06 EH00 EH07 FC12 FD02 HA00 HA18 5K034 AA03 AA04 CC02 FF15 HH01 HH02 HH12 HH16

Claims (8)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影し、この撮影された画像を符号化し、所定のデータ通信回線を用いて伝送する画像伝送方法において、カメラ画像送信側で、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に符号化して画像データフレームを構成し、この構成された画像データフレームを画像受信側に送信し、この送信された画像データフレームを画像受信側で受信し、 1. A photographing a high-resolution camera image with an image distortion that depends on the characteristics of the lens with respect to the real image to be photographed subject, the photographed image is encoded, transmitted using a predetermined data communication line an image transmission method for, in a camera image transmission side, said dividing a captured camera image into a plurality of partial-area image, encodes the image data includes frame every the divided partial areas images, this It transmits the constructed image data frame to the image receiving side, receiving the transmitted image data frame by the image receiving side,
    この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行うとともに、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行うことを特徴とするカメラ画像伝送方法。 Performs a decoding process for each partial region image included in the received each image frame, the camera image and performs a correction process of the image distortion by using the area position range information included in the image data frame transmission method.
  2. 【請求項2】 請求項1に記載のカメラ画像伝送方法において、前記画像歪みの補正処理は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正し、前記領域位置範囲情報で規定される位置に部分領域画像をはめ込み、歪み補正されたカメラ画像を再構築することを特徴とするカメラ画像伝送方法。 2. A camera image transmission method according to claim 1, correction processing of the image distortion, the image based on the area position range information included in the data frame, the partial area image included in the image data frame part position calculated position information of each pixel, the position information of each pixel is thus determined, the image distortion that depends on the characteristics of the lens having the above partial-area image is corrected, which is defined by the area position range information camera image transmission method characterized by fitting an area image, to reconstruct the camera images distortion correction.
  3. 【請求項3】 請求項1又は2に記載のカメラ画像伝送方法において、前記画像受信側で、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記カメラ画像送信側が前記撮影されたカメラ画像を分割して送信する場合に、前記画像受信側は、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、1個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記送信順序制御情報が受信された場合に、 3. The camera image transmission method according to claim 1 or 2, in the image receiving side transmits control information to the desired one of the camera image transmission side, or a plurality of the camera image transmission transmits the control information for the side at the same time, when the camera image transmission side transmits by dividing a camera image that is the shot, the image receiving side, the transmitting sequence of image data frames of each partial region image is the divided the transmission order control information defining the, transmitted to one or a plurality of the camera image transmission side, the camera image transmission side, when the transmission sequence control information is received,
    前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームの送信を行うことを特徴とするカメラ画像伝送方法。 Camera image transmission method and performing the transmission of the image data frame according to the transmission order defined by said transmission order control information the receiver.
  4. 【請求項4】 請求項1乃至3のうちいずれか1項に記載のカメラ画像伝送方法において、前記画像受信側は、 4. A camera image transmission method according to any one of claims 1 to 3, wherein the image receiving side,
    所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記画像受信側は、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、1個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームの送信を行うことを特徴とするカメラ画像伝送方法。 Transmits the control information for a desired one of the camera image transmission side, or transmits control information for a plurality of the camera image transmission side at the same time, the image receiving side, the desired time, the division of the camera image the division type control information defining the format, and transmitted to one or a plurality of the camera image transmission side, the camera image transmission side, when the division form control information is received, the division that is the received camera image transmission method and performing the transmission of the image data frame in accordance with separate format defined by the format control information.
  5. 【請求項5】 カメラ画像送信手段と、該カメラ画像送信手段と通信回線を介して通信する画像受信手段とを具備する画像伝送システムにおいて、カメラ画像送信手段は、撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影するカメラ装置と、該カメラ装置で撮影された画像データを符号化する画像符号化手段と、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に前記画像符号化手段により符号化するとともに各部分領域画像に対応する領域位置範囲を示す情報を付加した画像データフレームを構築する画像分割制御手段と、前記構築された画像データフレームの送信制御を行う画像送信制御手段とを具備し、前記画像受信手段は、前記送信され 5. A camera image transmission means, the image transmission system comprising image reception means for communicating via a communication line with the camera image transmission means, a camera image transmission means, to the real image to be photographed subject plurality a camera apparatus, an image coding means for coding the image data photographed by the camera device, the captured camera images for photographing a high-resolution camera image with an image distortion that depends on the characteristics of the lens partial region is divided into images, to construct an image data frame which has been added information indicating the area position range corresponding to each partial area image with coding by the image coding means for each of the divided partial areas images comprising an image dividing control means, and an image transmission control means for performing transmission control of image data frames the constructed, the image receiving means, the transmitted た画像データフレームを受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行う画像復号化手段と、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行う画像歪み補正手段と、画像歪みが補正されたカメラ画像を再構築する画像再構築手段とを具備することを特徴とするカメラ画像伝送システム。 Receiving the image data frame, the image distortion by using an image decoding means for performing decoding processing for each partial area images included in each image frame that is the receiving, the area position range information included in the image data frame camera image transmission system characterized by comprising an image distortion correcting means for performing correction processing, and image reconstruction means for reconstructing the camera image the image distortion has been corrected.
  6. 【請求項6】 請求項5に記載のカメラ画像伝送システムにおいて、前記画像歪みの補正手段は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、 6. The camera image transmission system according to claim 5, means for correcting the image distortion, based on the area position range information included in the image data frame,
    前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正する手段からなり、前記画像再構築手段は、前記画像歪みが補正された部分領域画像を前記領域位置範囲情報で規定される位置にはめ込んで、歪み補正されたカメラ画像を再構築する手段からなることを特徴とするカメラ画像伝送システム。 The calculated position information of each pixel of the partial-area image included in the image data frame, the position information of each pixel is thus determined, it consists means for correcting the image distortion that depends on the characteristics of the lens having the said partial region image the image reconstruction means includes a comprises a means wherein the image distortion by fitting the corrected partial region image at a position defined by the area position range information to reconstruct the camera images distortion correction camera image transmission system.
  7. 【請求項7】 請求項5又は6に記載のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、前記カメラ画像送信手段が前記撮影されたカメラ画像を分割して送信する場合に、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、1個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームを送信する手段を具備することを特徴とするカメラ画像伝送システム 7. The camera image transmission system according to claim 5 or 6, wherein the image receiving means transmits control information for a desired one of the camera image transmission side, or a plurality of the camera image transmission defining means for transmitting control information for the side at the same time, when the camera image transmission means for transmitting by dividing a camera image that is the photographing, the transmission order of the image data frame of each partial region image is the divided the transmission order control information, and means for transmitting to one or a plurality of the camera image transmission means, the camera image transmission unit, when the transmission order control information has been received, said received the camera image transmission system characterized by comprising means for transmitting an image data frame according to the transmission order defined by the sending order control information .
  8. 【請求項8】 請求項5乃至7のうちいずれか1項に記載のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、1個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームを送信する手段を具備することを特徴とするカメラ画像伝送システム。 8. The camera image transmission system according to any one of claims 5-7, wherein the image receiving means transmits control information for a desired one of the camera image transmission side, or more means for simultaneously transmitting control information for pieces of the camera image transmission side, the desired time transmission, the division type control information defining the division type of the camera image, the one or a plurality of the camera image transmission means and means for, the camera image transmission means, means for transmitting when said division format control information is received, the image data frame in accordance with separate format defined by the received the divided form control information camera image transmission system characterized by comprising a.
JP13266399A 1999-05-13 1999-05-13 Camera image transmission method and a camera image transmission system Expired - Fee Related JP3550046B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13266399A JP3550046B2 (en) 1999-05-13 1999-05-13 Camera image transmission method and a camera image transmission system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13266399A JP3550046B2 (en) 1999-05-13 1999-05-13 Camera image transmission method and a camera image transmission system

Publications (2)

Publication Number Publication Date
JP2000324474A true true JP2000324474A (en) 2000-11-24
JP3550046B2 JP3550046B2 (en) 2004-08-04

Family

ID=15086595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13266399A Expired - Fee Related JP3550046B2 (en) 1999-05-13 1999-05-13 Camera image transmission method and a camera image transmission system

Country Status (1)

Country Link
JP (1) JP3550046B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007013239A1 (en) * 2007-03-15 2008-09-18 Mobotix Ag supervision order
JP2008227562A (en) * 2007-03-08 2008-09-25 Sony Corp Image processor, camera apparatus and camera system
WO2014148173A1 (en) * 2013-03-19 2014-09-25 クラリオン株式会社 Camera image display system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129403A (en) * 2005-11-02 2007-05-24 Olympus Corp Image encoder and image processing system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227562A (en) * 2007-03-08 2008-09-25 Sony Corp Image processor, camera apparatus and camera system
DE102007013239A1 (en) * 2007-03-15 2008-09-18 Mobotix Ag supervision order
WO2008110158A2 (en) 2007-03-15 2008-09-18 Mobotix Ag Surveillance system
JP2010521844A (en) * 2007-03-15 2010-06-24 モボティックス アクチエンゲゼルシャフトMobotix Ag Monitoring system
US9065996B2 (en) 2007-03-15 2015-06-23 Mobotix Ag Surveillance system
WO2014148173A1 (en) * 2013-03-19 2014-09-25 クラリオン株式会社 Camera image display system
JP2014183440A (en) * 2013-03-19 2014-09-29 Clarion Co Ltd The camera image display system
CN105009573B (en) * 2013-03-19 2016-08-17 歌乐牌株式会社 The camera image display system
US9467913B2 (en) 2013-03-19 2016-10-11 Clarion Co., Ltd. Camera image display system

Also Published As

Publication number Publication date Type
JP3550046B2 (en) 2004-08-04 grant

Similar Documents

Publication Publication Date Title
US6833863B1 (en) Method and apparatus for still image capture during video streaming operations of a tethered digital camera
US5706290A (en) Method and apparatus including system architecture for multimedia communication
US5710590A (en) Image signal encoding and communicating apparatus using means for extracting particular portions of an object image
US7139015B2 (en) Method and apparatus for mixing compressed video
US20020147991A1 (en) Transmission of panoramic video via existing video infrastructure
US6438587B2 (en) Imaging apparatus and network system using the same
US6005613A (en) Multi-mode digital camera with computer interface using data packets combining image and mode data
US20080084482A1 (en) Image-capturing system and method
US6535240B2 (en) Method and apparatus for continuously receiving frames from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels
US20030169818A1 (en) Video transcoder based joint video and still image pipeline with still burst mode
US6466254B1 (en) Method and apparatus for electronically distributing motion panoramic images
US5689800A (en) Video feedback for reducing data rate or increasing quality in a video processing system
US6108027A (en) Progressive still frame mode
US20100238264A1 (en) Three dimensional video communication terminal, system, and method
US6404928B1 (en) System for producing a quantized signal
US20050053131A1 (en) Video encoding using parallel processors
US6665006B1 (en) Video system for use with video telephone and video conferencing
US6331869B1 (en) Method and apparatus for electronically distributing motion panoramic images
US6456335B1 (en) Multiple picture composing method and multiple picture composing apparatus
US20050280720A1 (en) Apparatus for identifying a photographer of an image
US20040086186A1 (en) Information providing system and method, information supplying apparatus and method, recording medium, and program
US20030025803A1 (en) Image processing apparatus and method, storage medium, and communication system
US6043837A (en) Method and apparatus for electronically distributing images from a panoptic camera system
US20090274378A1 (en) Encoding device and method, decoding device and method, and transmission system
US6931658B1 (en) Image on-demand transmitting device and a method thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040420

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040422

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090430

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090430

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100430

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100430

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110430

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120430

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140430

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees