JP2010239221A - Image communication system - Google Patents
Image communication system Download PDFInfo
- Publication number
- JP2010239221A JP2010239221A JP2009082399A JP2009082399A JP2010239221A JP 2010239221 A JP2010239221 A JP 2010239221A JP 2009082399 A JP2009082399 A JP 2009082399A JP 2009082399 A JP2009082399 A JP 2009082399A JP 2010239221 A JP2010239221 A JP 2010239221A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- unit
- area
- angle lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Description
本発明は、広角レンズを備えた撮像装置と、撮像装置から画像を受信する画像受信装置とを備えた画像通信システムに関する。 The present invention relates to an image communication system including an imaging device including a wide-angle lens and an image receiving device that receives an image from the imaging device.
従来、超広角レンズ又は魚眼レンズを利用してパンチルトズーム機能を擬似的に提供する画像通信システムが提案されている。この種のシステムでは、カメラが、超広角レンズ等を備えており、画角が大きい画像を生成する。例えば、画角が１８０°近い画像が生成される。但し、撮像画像は歪んだものとなる。ユーザの指定等に従って、撮像画像から一部の領域が切り出され、歪みが補正され、そして補正後の領域画像が表示される。 2. Description of the Related Art Conventionally, there has been proposed an image communication system that artificially provides a pan / tilt / zoom function using an ultra-wide-angle lens or a fish-eye lens. In this type of system, the camera includes an ultra-wide angle lens or the like, and generates an image with a large angle of view. For example, an image having an angle of view close to 180 ° is generated. However, the captured image is distorted. In accordance with user designation or the like, a part of the region is cut out from the captured image, distortion is corrected, and the corrected region image is displayed.
実際にパンチルト機構を備えたシステムの場合、所望の撮影方向を向くようにパンチルト機構がカメラを回動させる。上記の広角レンズを備えたシステムでは、撮影方向に対応する領域が撮像画像から切り出される。これにより、実際にカメラが回動しないにも拘わらず、ユーザにとってはカメラが回動して所望の方向を撮影しているように見える。さらに、画像処理によって画像を拡大縮小することにより、ズーム効果が得られる。こうして、擬似的にパンチルトズーム機能を提供することができる。このような擬似的なパンチルトズームは、画像処理によって実現されることから、ソフトウエアパンチルトズーム（以下、ソフトウエアＰＴＺ）と呼ばれる。 In the case of a system that actually includes a pan / tilt mechanism, the pan / tilt mechanism rotates the camera so as to face a desired shooting direction. In the system including the wide-angle lens described above, a region corresponding to the shooting direction is cut out from the captured image. Thereby, although the camera does not actually rotate, it seems to the user that the camera is rotating and photographing a desired direction. Furthermore, a zoom effect can be obtained by enlarging or reducing the image by image processing. Thus, a pseudo pan / tilt zoom function can be provided. Since such pseudo pan / tilt zoom is realized by image processing, it is called software pan / tilt zoom (hereinafter, software PTZ).
このようなソフトウエアＰＴＺシステムは、例えば、特許文献１に開示されている。同文献は、魚眼レンズを用いたカメラシステムを開示しており、このシステムは、撮像された領域の一部を切り出し、歪みを補正し、半球状の視野のパン、チルト、ズームを実現している。 Such a software PTZ system is disclosed in Patent Document 1, for example. This document discloses a camera system using a fisheye lens, which cuts out a part of an imaged region, corrects distortion, and realizes panning, tilting, and zooming of a hemispheric field of view. .
ところで、画像通信システムでは、画像が符号化されて、符号化データが送信される。通信データ量を減らすためには、符号量を削減することが重要である。 By the way, in an image communication system, an image is encoded and encoded data is transmitted. In order to reduce the amount of communication data, it is important to reduce the amount of codes.
例えば、特許文献２に記載の人物画像圧縮装置は、カメラで撮像された画像の中から、人物画像の領域を抽出して関心領域とする。映像符号化部は、関心領域の圧縮率のみを低く抑えることで画質を高く保つ一方、他の背景画像の領域を圧縮率を高く設定して、画像を圧縮する。このような処理により、中心となる人物画像を高画質にしながらも、全体として圧縮率を高めて、圧縮処理後の画像の全データ量を低減している。 For example, the human image compression apparatus described in Patent Document 2 extracts a human image area from an image captured by a camera and sets it as a region of interest. The video encoding unit keeps the image quality high by keeping only the compression rate of the region of interest low, while compressing the image by setting the compression rate of other background image regions high. By such processing, while the central person image has high image quality, the overall compression rate is increased and the total data amount of the image after compression processing is reduced.
また例えば、特許文献３に記載の符号化処理装置は、顔領域検出部、顔検証部、ＲＯＩ決定処理部及び映像符号化部を備える。顔領域検出部が、映像中から顔領域を検出する。顔検証部は、検出された顔領域の妥当性を画像内での顔の位置および大きさの少なくとも一方にもとづいて検証する。ＲＯＩ決定処理部は、顔検証部により妥当と判定された顔領域に基づいて注目領域（ＲＯＩ：Region of interest）を決定する。映像符号化部は、注目領域を他の領域とは画質を異ならせて符号化して、動画の符号化ストリームを生成する。 Further, for example, the encoding processing device described in Patent Document 3 includes a face area detection unit, a face verification unit, an ROI determination processing unit, and a video encoding unit. The face area detection unit detects a face area from the video. The face verification unit verifies the validity of the detected face area based on at least one of the position and size of the face in the image. The ROI determination processing unit determines a region of interest (ROI) based on the face region determined to be appropriate by the face verification unit. The video encoding unit encodes the region of interest with a different image quality from other regions, and generates an encoded stream of the moving image.
このように、従来は、画像認識結果、画像中の注目領域を決定し、注目領域に対して非注目領域と比べて、より多くの符号を割り当てる。これにより、特定の注目領域を高画質にしつつ、符号量を削減している。
しかしながら、従来の画像通信システムは、超広角レンズや魚眼レンズの射影方式の特性を考慮しておらず、そのようなレンズ特性を考慮した領域内の符号量の割り当ても行っていない。そのため、超広角レンズ等を用いるシステムに従来の符号化技術を適用すると、歪み補正後の画像の画質が劣化するという問題がある。ここでいう歪み補正とは、前述したように、超広角レンズの大きな歪みを補正して、通常のカメラで撮影されたような画像を生成する処理である。 However, the conventional image communication system does not consider the characteristics of the projection method of the super-wide-angle lens and the fisheye lens, and does not assign the code amount in the region considering such lens characteristics. Therefore, when the conventional encoding technique is applied to a system using an ultra-wide angle lens or the like, there is a problem that the image quality of the image after distortion correction is deteriorated. The distortion correction here is a process of generating an image that is captured by a normal camera by correcting a large distortion of the super wide-angle lens as described above.
上記の問題について更に説明する。超広角レンズや魚眼レンズの射影方式としては、例えば、正射影や等距離射影が知られている。こうした射影方式により、極端に大きい画角の画像が得られる。その反面、通常のカメラ画像には見られない画像の歪みが現れる。前述したソフトウエアＰＴＺにおいては、このような撮像画像の歪みが補正される。 The above problem will be further described. As projection methods for super wide-angle lenses and fish-eye lenses, for example, orthographic projection and equidistant projection are known. With such a projection method, an image with an extremely large angle of view can be obtained. On the other hand, image distortion that cannot be seen in a normal camera image appears. In the software PTZ described above, such distortion of the captured image is corrected.
超広角レンズの歪み補正は、歪みのある撮像画像空間から、歪みをとり除いた補正画像空間への座標変換によって実現される。ところが、撮像画像では、撮像中心から遠ざかるほど、被写体が半径方向に大きく圧縮されている。そのため、座標変換においては、参照される補正前の単位面積当たりの座標データ数が、撮像画像空間中で均一ではなく、撮像中心から離れるほど小さくなる。 The distortion correction of the super-wide-angle lens is realized by coordinate conversion from a distorted captured image space to a corrected image space from which distortion is removed. However, in the captured image, the subject is greatly compressed in the radial direction as the distance from the imaging center increases. Therefore, in coordinate conversion, the number of coordinate data per unit area before correction referred to is not uniform in the captured image space, and decreases as the distance from the imaging center increases.
このような被参照データ数の変化は、超広角レンズや魚眼レンズの射影方式によって定まるものであり、つまり超広角レンズや魚眼レンズの特性ということができる。このような特性を、ここでは広角レンズ特性という。 Such a change in the number of referenced data is determined by the projection method of the super-wide-angle lens or fish-eye lens, that is, it can be said to be a characteristic of the super-wide-angle lens or fish-eye lens. Such characteristics are referred to herein as wide-angle lens characteristics.
従来は、広角レンズ特性が考慮されず、注目領域内に一律に符号量が割り当てられる。そのため、撮像中心から遠い部分では、元から少ない情報量が、符号化により更に減ってしまう。その結果、歪み補正後の画像において、画質が劣化してしまう。 Conventionally, a wide-angle lens characteristic is not taken into consideration, and a code amount is uniformly assigned within a region of interest. Therefore, in a portion far from the imaging center, the originally small amount of information is further reduced by encoding. As a result, the image quality of the image after distortion correction is degraded.
本発明は、従来の問題を解決するためになされたもので、その目的は、超広角レンズや魚眼レンズ等の広角レンズを用いた撮影により生じた歪みを補正した画像における画質の劣化を低減できる画像通信システムを提供することにある。 The present invention has been made to solve the conventional problems, and an object of the present invention is to reduce image quality deterioration in an image in which distortion caused by photographing using a wide-angle lens such as a super-wide-angle lens or a fish-eye lens is corrected. It is to provide a communication system.
本発明は、撮像装置と、前記撮像装置から画像を受信する画像受信装置とを備えた画像通信システムであって、前記撮像装置は、広角レンズを用いて撮像画像を生成する撮像部と、前記撮像画像から注目領域を切り出す領域切出部と、前記注目領域を符号化する符号化部とを有し、前記画像受信装置は、前記撮像装置から受信される前記注目領域の符号化データを復号する復号部と、撮像画像空間から補正画像空間への座標変換によって、前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有し、前記広角レンズは、前記座標変換において参照される補正前画像の単位面積当たりの座標データの数が、前記撮像画像の撮像中心からの距離に応じて異なる特性を有し、前記符号化部は、前記撮像中心から前記注目領域の各符号化ブロックまでの距離に応じて、前記各符号化ブロックへの符号量を割り当てる。 The present invention is an image communication system including an imaging device and an image receiving device that receives an image from the imaging device, wherein the imaging device uses a wide-angle lens to generate a captured image; and A region extraction unit that extracts a region of interest from the captured image; and an encoding unit that encodes the region of interest, wherein the image reception device decodes encoded data of the region of interest received from the imaging device And a distortion correction unit that corrects distortion caused by photographing using the wide-angle lens by coordinate conversion from the captured image space to the corrected image space, and the wide-angle lens is referred to in the coordinate conversion. The number of coordinate data per unit area of the pre-correction image is different depending on the distance from the imaging center of the captured image, and the encoding unit includes each of the region of interest from the imaging center. According to the distance to Goka block, it assigns a code amount of the each coding block.
この構成により、広角レンズの特性に基づき、撮像中心から注目領域内の各符号化ブロックまでの距離に応じて、各符号化ブロックへ符号量が割り当てられる。超広角レンズ等の広角レンズが上述のような特性を有するため、撮像中心から遠い符号化ブロックでは、歪み補正の座標変換にて参照される単位面積当たりの座標データ数が少なくなる。本発明によれば、このような撮像中心から遠い符号化ブロックに多くの符号量が割り当てられる。これにより、歪み補正後の画像における画質の劣化を低減できる。 With this configuration, based on the characteristics of the wide-angle lens, a code amount is assigned to each coding block according to the distance from the imaging center to each coding block in the region of interest. Since a wide-angle lens such as an ultra-wide-angle lens has the above-described characteristics, the number of coordinate data per unit area referred to in the coordinate conversion for distortion correction is reduced in an encoded block far from the imaging center. According to the present invention, a large amount of code is allocated to such an encoded block far from the imaging center. Thereby, it is possible to reduce deterioration in image quality in the image after distortion correction.
また、本発明の撮像装置は、広角レンズを用いて撮像画像を生成する撮像部と、前記撮像画像から注目領域を切り出す領域切出部と、前記注目領域を符号化する符号化部とを有し、前記符号化部は、前記撮像画像の撮像中心から前記注目領域の各符号化ブロックまでの距離が大きくなるほど符号量を多く割り当てるように、前記各符号化ブロックの符号量を制御する。 The imaging apparatus of the present invention includes an imaging unit that generates a captured image using a wide-angle lens, a region extraction unit that extracts a region of interest from the captured image, and an encoding unit that encodes the region of interest. Then, the encoding unit controls the code amount of each encoded block so that the code amount is assigned more as the distance from the imaging center of the captured image to each encoded block in the region of interest increases.
この構成によっても、広角レンズの特性に基づいて符号量の制御を好適に行うことができ、本発明の利点が好適に得られる。 Also with this configuration, the code amount can be suitably controlled based on the characteristics of the wide-angle lens, and the advantages of the present invention can be suitably obtained.
また、本発明の撮像装置において、前記領域切出部は、前記注目領域を表示する変換対象領域と、前記変換対象領域を取り囲み送信画像の外形を有する変換不要領域とに分け、符号化処理でデータ量が低減するように前記変換不要領域の画像を変換する。 In the imaging apparatus of the present invention, the area cutout unit is divided into a conversion target area that displays the attention area and a conversion unnecessary area that surrounds the conversion target area and has an outline of a transmission image. The image in the conversion unnecessary area is converted so that the data amount is reduced.
この構成により、変換不要領域から発生する符号量を低減できる。したがって、変換対象領域の画質を維持しつつ、全体の符号量を低減できる。 With this configuration, the amount of codes generated from the conversion unnecessary area can be reduced. Therefore, the overall code amount can be reduced while maintaining the image quality of the conversion target region.
また、本発明の撮像装置において、前記領域切出部は、前記変換不要領域を単色で塗りつぶす。この構成により、変換不要領域から発生する符号量を更に低減でき、したがって、変換対象領域の画質を維持しつつ、全体の符号量を低減できる。 In the imaging apparatus according to the aspect of the invention, the area cutout unit may paint the conversion unnecessary area with a single color. With this configuration, it is possible to further reduce the amount of code generated from the conversion unnecessary area, and therefore, it is possible to reduce the entire code amount while maintaining the image quality of the conversion target area.
また、本発明の撮像装置において、前記符号化部は、前記変換不要領域の符号量を最低量とする。この構成により、変換不要領域から発生する符号量を更に低減でき、したがって、変換対象領域の画質を維持しつつ、全体の符号化量を低減できる。 In the imaging apparatus of the present invention, the encoding unit sets the code amount of the conversion unnecessary area to the minimum amount. With this configuration, it is possible to further reduce the amount of code generated from the conversion unnecessary area, and thus to reduce the overall encoding amount while maintaining the image quality of the conversion target area.
また、本発明の撮像装置において、前記符号化部は、前記変換対象領域と前記変換不要領域の境界を含む符号化ブロックの符号量を、前記符号化ブロックに前記変換対象領域が占める割合に応じて制御する。この構成により、境界領域の重要度に応じて符号量を調整でき、符号量を抑えつつ、歪み補正時の画質劣化を低減できる。 In the imaging apparatus according to the aspect of the invention, the encoding unit may determine a code amount of an encoding block including a boundary between the conversion target region and the conversion unnecessary region according to a ratio of the conversion target region to the encoding block. Control. With this configuration, the code amount can be adjusted according to the importance of the boundary region, and image quality deterioration during distortion correction can be reduced while suppressing the code amount.
また、本発明の撮像装置において、前記領域切出部は、撮像画像空間内での前記注目領域の代表的サイズへと、前記注目領域のサイズを変換する。この構成により、通信データ量の変動を好適に低減できる。 In the imaging apparatus of the present invention, the area cutout unit converts the size of the attention area into a representative size of the attention area in the captured image space. With this configuration, fluctuations in the communication data amount can be suitably reduced.
本発明の別の態様は画像受信装置であり、広角レンズを用いて得られた撮像画像の撮像中心から注目領域の各符号化ブロックまでの距離に応じて、前記各符号化ブロックの符号量割り当てが異なる前記注目領域の符号化データを受信する通信部と、前記注目領域の符号化データを復号する復号部と、復号化データから前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有する。この態様によっても上述した本発明の利点が同様に得られる。 Another aspect of the present invention is an image receiving apparatus, in which code amount allocation of each coding block is performed according to the distance from the imaging center of a captured image obtained using a wide-angle lens to each coding block of a region of interest. A communication unit that receives the encoded data of the region of interest having different values, a decoding unit that decodes the encoded data of the region of interest, and distortion correction that corrects distortion caused by photographing using the wide-angle lens from the decoded data Part. This aspect also provides the above-described advantages of the present invention.
本発明の別の態様は、画像処理方法であり、広角レンズを用いて生成した撮像画像から注目領域を切り出し、切り出された前記注目領域を符号化し、前記撮像画像の撮像中心から前記注目領域の各符号化ブロックまでの距離に応じて、前記各符号化ブロックへの符号量の割り当てを変更する。この態様によっても上述した本発明の利点が同様に得られる。 Another aspect of the present invention is an image processing method, in which a region of interest is cut out from a captured image generated using a wide-angle lens, the extracted region of interest is encoded, and the region of interest from the imaging center of the captured image is encoded. The allocation of the code amount to each coding block is changed according to the distance to each coding block. This aspect also provides the above-described advantages of the present invention.
本発明は、撮像中心から注目領域内の各ブロックまでの距離に応じて各ブロックへ符号量を割り当てる構成を設けたことにより、超広角レンズや魚眼レンズ等の広角レンズを用いた撮影により生じた歪みを補正した画像における画質の劣化を低減できるという効果を有する画像通信システムを提供することができる。 The present invention provides a configuration in which a code amount is assigned to each block according to the distance from the imaging center to each block in the region of interest, thereby causing distortion caused by shooting using a wide-angle lens such as a super-wide-angle lens or a fish-eye lens. Therefore, it is possible to provide an image communication system having an effect of reducing the deterioration of image quality in an image corrected for the above.
以下、本発明の実施の形態の画像通信システムについて、図面を用いて説明する。 Hereinafter, an image communication system according to an embodiment of the present invention will be described with reference to the drawings.
本発明の実施の形態に係る画像通信システムを図１に示す。まず、図１を参照し、本実施の形態の概要を説明する。図１において、画像通信システム１は、カメラ３と端末装置５とがネットワーク７を介して通信可能に接続された構成を有する。カメラ３及び端末装置５はそれぞれ本発明の撮像装置及び画像受信装置に相当する。またネットワーク７は例えばＩＰネットワークである。カメラ３は、ネットワーク７を介して画像を通信する機能を有するので、ネットワークカメラとも呼ばれる。 An image communication system according to an embodiment of the present invention is shown in FIG. First, the outline of the present embodiment will be described with reference to FIG. In FIG. 1, the image communication system 1 has a configuration in which a camera 3 and a terminal device 5 are communicably connected via a network 7. The camera 3 and the terminal device 5 correspond to the imaging device and the image receiving device of the present invention, respectively. The network 7 is an IP network, for example. Since the camera 3 has a function of communicating images via the network 7, it is also referred to as a network camera.
カメラ３には、超広角レンズ又は魚眼レンズが備えられる。超広角レンズ又は魚眼レンズは、本発明の広角レンズに相当し、画角（視野）が非常に大きく、ただし、大きな画角に起因して画像の歪みも大きいレンズである。以下の説明では、カメラ３が超広角レンズを備えるものとする。カメラ３は、超広角レンズを用いて、画角が１８０°に近く、半球に相当する範囲の撮像画像１１を生成する。カメラ３は、撮像画像１１の一部を切り出して注目領域１３を生成し、注目領域１３を符号化し、ネットワーク７を介して端末装置５に伝送する。端末装置５では、注目領域１３が復号され、歪みが補正され、補正画像１５が得られる。補正画像１５は例えばモニタに表示される。 The camera 3 is provided with a super wide angle lens or a fisheye lens. The super-wide-angle lens or fish-eye lens corresponds to the wide-angle lens of the present invention, and has a very large angle of view (field of view), but is also a lens with a large image distortion due to a large angle of view. In the following description, it is assumed that the camera 3 includes a super wide angle lens. The camera 3 uses a super-wide-angle lens to generate a captured image 11 having a field angle close to 180 ° and corresponding to a hemisphere. The camera 3 cuts out a part of the captured image 11 to generate the attention area 13, encodes the attention area 13, and transmits it to the terminal device 5 via the network 7. In the terminal device 5, the attention area 13 is decoded, distortion is corrected, and a corrected image 15 is obtained. The corrected image 15 is displayed on a monitor, for example.
上記の画像通信システム１は、ソフトウエアパンチルトズーム（ソフトウエアＰＴＺ）機能を実現する。通常の機械的ＰＴＺ機構では、回転機構により機械的にカメラがパン方向及びチルト方向に回動される。そして、ズームレンズにより機械的にズーム機能が実現される。一方、図１の構成では、撮像画像１１から注目領域１３が切り出される。これにより、注目領域１３に対応する方向にカメラ３が回動したのと同様の効果が得られる。また、注目領域１３を拡大又は縮小することにより、ズームレンズと同様の効果が得られる。こうして、機械的なパンチルト機構及びズームレンズが備えられていなくても、パンチルトズーム機能を実現できる。このようなＰＴＺ機能を、上記のようにソフトウエアＰＴＺと呼ぶ。 The image communication system 1 realizes a software pan / tilt / zoom (software PTZ) function. In a normal mechanical PTZ mechanism, the camera is mechanically rotated in the pan direction and the tilt direction by the rotation mechanism. A zoom function is mechanically realized by the zoom lens. On the other hand, in the configuration of FIG. 1, the attention area 13 is cut out from the captured image 11. Thereby, the same effect as the camera 3 rotating in the direction corresponding to the attention area 13 can be obtained. Further, by enlarging or reducing the attention area 13, the same effect as that of the zoom lens can be obtained. In this way, a pan / tilt zoom function can be realized without a mechanical pan / tilt mechanism and zoom lens. Such a PTZ function is called software PTZ as described above.
次に、図２及び図３を参照し、カメラ３及び端末装置５の構成について説明する。 Next, the configuration of the camera 3 and the terminal device 5 will be described with reference to FIGS.
図２は、カメラ３の構成を示している。カメラ３は、超広角レンズ３１、撮像部３３、領域切出部３５、映像符号化部３７、ネットワーク送受信部３９、画像認識部４１及びレンズ特性保持部４３で構成されている。 FIG. 2 shows the configuration of the camera 3. The camera 3 includes an ultra-wide-angle lens 31, an imaging unit 33, an area extraction unit 35, a video encoding unit 37, a network transmission / reception unit 39, an image recognition unit 41, and a lens characteristic holding unit 43.
撮像部３３は、ＣＣＤ又はＣＭＯＳ等の固体撮像素子を有し、超広角レンズ３１によって得られる光学像から電気的な画像信号を生成する。領域切出部３５は、撮像部３３により生成された撮像画像１１から注目領域１３を切り出す。 The imaging unit 33 includes a solid-state imaging device such as a CCD or a CMOS, and generates an electrical image signal from an optical image obtained by the super wide-angle lens 31. The area cutout unit 35 cuts out the attention area 13 from the captured image 11 generated by the imaging unit 33.
注目領域１３は、ユーザにより指定されてよい。この場合、注目領域１３を特定するデータが、端末装置５からネットワーク送受信部３９に受信され、領域切出部３５に供給される。また、注目領域１３は、画像認識による検出結果を基に決定されてよい。本実施の形態では、画像認識部４１が撮像画像１１の動き検出を行い、撮像画像１１中の移動物体を特定する。この動き検出結果が領域切出部３５に供給される。領域切出部３５は、移動物体を含むように注目領域１３を決定する。また、ユーザ指定と認識結果が組み合わされて、注目領域１３が決定されてよい。 The attention area 13 may be designated by the user. In this case, data specifying the region of interest 13 is received by the network transmission / reception unit 39 from the terminal device 5 and supplied to the region extraction unit 35. The attention area 13 may be determined based on a detection result by image recognition. In the present embodiment, the image recognition unit 41 detects the motion of the captured image 11 and identifies a moving object in the captured image 11. This motion detection result is supplied to the area cutout unit 35. The area cutout unit 35 determines the attention area 13 so as to include the moving object. Further, the attention area 13 may be determined by combining the user designation and the recognition result.
映像符号化部３７は、本発明の符号化部に相当し、領域切出部３５によって切り出された注目領域１３を符号化する。映像符号化部３７は、符号化制御部４５及びピクチャ符号化部４７を有し、符号化制御部４５がピクチャ符号化部４７を制御する。符号化制御部４５は、注目領域１３内の符号化ブロック毎に符号量の割り当てを制御する。本実施の形態では、符号化処理がＭＰＥＧ等であり、符号化ブロックがマクロブロックである。そして、マクロブロック毎にマクロブロック符号化特性が制御され、これにより符号量が制御される。レンズ特性保持部４３は、カメラ３の記憶装置で構成されてよく、本発明のレンズ特性記憶部に相当する。レンズ特性保持部４３は、広角レンズ特性を記憶している。広角レンズ特性は、映像符号化部３７の符号量制御に利用される。広角レンズ特性及びそれを用いた符号量制御の詳細は後述する。 The video encoding unit 37 corresponds to the encoding unit of the present invention, and encodes the region of interest 13 cut out by the region cutout unit 35. The video encoding unit 37 includes an encoding control unit 45 and a picture encoding unit 47, and the encoding control unit 45 controls the picture encoding unit 47. The encoding control unit 45 controls the allocation of the code amount for each encoding block in the attention area 13. In the present embodiment, the encoding process is MPEG or the like, and the encoded block is a macroblock. Then, the macroblock coding characteristic is controlled for each macroblock, and thereby the code amount is controlled. The lens characteristic holding unit 43 may be configured by a storage device of the camera 3 and corresponds to the lens characteristic storage unit of the present invention. The lens characteristic holding unit 43 stores wide-angle lens characteristics. The wide-angle lens characteristic is used for code amount control of the video encoding unit 37. Details of the wide-angle lens characteristics and code amount control using the characteristics will be described later.
ネットワーク送受信部３９は、ネットワーク７を介して端末装置５とデータを送受信する構成であり、通信部に相当する。ネットワーク送受信部３９は、端末装置５から各種の指示を受信する。また、ネットワーク送受信部３９は、映像符号化部３７で符号化された注目領域１３を端末装置５へ送信する。 The network transmission / reception unit 39 is configured to transmit / receive data to / from the terminal device 5 via the network 7 and corresponds to a communication unit. The network transmission / reception unit 39 receives various instructions from the terminal device 5. The network transmission / reception unit 39 transmits the attention area 13 encoded by the video encoding unit 37 to the terminal device 5.
図３は、端末装置５の構成を示している。端末装置５は、ネットワーク送受信部５１、映像復号部５３、歪み補正部５５、表示部５７及びユーザ指示入力部５９を有する。 FIG. 3 shows the configuration of the terminal device 5. The terminal device 5 includes a network transmission / reception unit 51, a video decoding unit 53, a distortion correction unit 55, a display unit 57, and a user instruction input unit 59.
ネットワーク送受信部５１は、カメラ３のネットワーク送受信部３９と同様に通信部であり、ネットワーク７を介して端末装置５とデータを送受信する。ネットワーク送受信部５１は、ユーザの指示や、その他の制御関連の指示をカメラ３に送信する。また、ネットワーク送受信部５１は、カメラ３から注目領域１３の符号化データを受信する。 The network transmission / reception unit 51 is a communication unit similarly to the network transmission / reception unit 39 of the camera 3, and transmits / receives data to / from the terminal device 5 via the network 7. The network transmission / reception unit 51 transmits a user instruction and other control-related instructions to the camera 3. Further, the network transmission / reception unit 51 receives the encoded data of the attention area 13 from the camera 3.
映像復号部５３は、本発明の復号部に相当し、ネットワーク送受信部５１により受信された注目領域１３の符号化データを復号する。歪み補正部５５は、映像復号部５３により復号された注目領域１３の歪みを補正する。歪み補正は後述のように座標変換により実現される。 The video decoding unit 53 corresponds to the decoding unit of the present invention, and decodes the encoded data of the attention area 13 received by the network transmission / reception unit 51. The distortion correction unit 55 corrects the distortion of the attention area 13 decoded by the video decoding unit 53. The distortion correction is realized by coordinate transformation as will be described later.
表示部５７は、モニタであり、歪み補正後の画像を表示する。また、ユーザ指示入力部５９は、キーボード、ポインティングデバイス等により実現され、ユーザの指示を入力する。本実施の形態では、モニタの表示を利用して、注目領域１３の位置と大きさが指定される。 The display unit 57 is a monitor and displays an image after distortion correction. The user instruction input unit 59 is realized by a keyboard, a pointing device, or the like, and inputs a user instruction. In the present embodiment, the position and size of the attention area 13 are designated using the monitor display.
次に、図４を参照し、画像空間と注目領域１３について説明する。図示のように、撮像画像空間および補正画像空間という２つの画像空間が定義される。撮像画像空間は、歪み補正前の画像空間である。超広角レンズ３１の画角が１８０°近いので、撮像画像１１は円で示されている。撮像画像空間では、超広角レンズ３１の特性に応じた歪みが存在する。一方、補正画像空間は、歪み補正後の画像空間であり、撮像画像空間の歪みが取り除かれた画像空間である。歪み補正は、上記の撮像画像空間から補正画像空間への座標変換によって実現される。 Next, the image space and the attention area 13 will be described with reference to FIG. As illustrated, two image spaces, a captured image space and a corrected image space, are defined. The captured image space is an image space before distortion correction. Since the angle of view of the super wide-angle lens 31 is close to 180 °, the captured image 11 is indicated by a circle. In the captured image space, there is distortion according to the characteristics of the super wide-angle lens 31. On the other hand, the corrected image space is an image space after distortion correction, and is an image space from which the distortion of the captured image space is removed. The distortion correction is realized by coordinate conversion from the captured image space to the corrected image space.
また、図４に示されるように、本実施の形態では、注目領域（ＲＯＩ領域）１３が、変換対象領域２１及び変換不要領域２３に分けられる。変換対象領域２１は、歪み補正後に表示領域２５になる。変換不要領域２３は、変換対象領域２１を取り囲む。変換不要領域２３の外形は、カメラ３から端末装置５に送信されるべき画像データの外形に相当する。 As shown in FIG. 4, in the present embodiment, the attention area (ROI area) 13 is divided into a conversion target area 21 and a conversion unnecessary area 23. The conversion target area 21 becomes the display area 25 after distortion correction. The conversion unnecessary area 23 surrounds the conversion target area 21. The outer shape of the conversion unnecessary area 23 corresponds to the outer shape of the image data to be transmitted from the camera 3 to the terminal device 5.
より詳細には、図示のように、撮像画像空間の変換対象領域２１は、補正画像空間の表示領域２５と対応する領域である。ここで、表示領域２５は矩形であるが、変換対象領域２１は歪み補正前であるために矩形でない。一方、送信画像データの外形は矩形である。そのため、送信画像データと変換対象領域２１の間には隙間がある。この隙間領域が、変換不要領域２３に相当する。 More specifically, as illustrated, the conversion target area 21 in the captured image space is an area corresponding to the display area 25 in the corrected image space. Here, the display area 25 is rectangular, but the conversion target area 21 is not rectangular because it is before distortion correction. On the other hand, the outer shape of the transmission image data is rectangular. Therefore, there is a gap between the transmission image data and the conversion target area 21. This gap area corresponds to the conversion unnecessary area 23.
本実施の形態では、領域切出部３５が、変換不要領域２３を単色（画素値０）で塗りつぶす。映像符号化部３７は、変換不要領域２３のマクロブロックをスキップマクロブロックに設定して、変換不要領域２３の符号量を最低量とする。 In the present embodiment, the region cutout unit 35 fills the conversion unnecessary region 23 with a single color (pixel value 0). The video encoding unit 37 sets the macro block of the conversion unnecessary area 23 to the skip macro block, and sets the code amount of the conversion unnecessary area 23 to the minimum amount.
上記の変換不要領域２３は、送信画像データの形状を確保する役目を果たしている。しかし、変換不要領域２３は、表示側では不要な領域である。そこで、本実施の形態は、上記の処理を行うことにより、変換不要領域２３のデータ量を削減し、注目領域１３の全体のデータ量を削減している。 The conversion unnecessary area 23 serves to ensure the shape of the transmission image data. However, the conversion unnecessary area 23 is an unnecessary area on the display side. Therefore, in the present embodiment, by performing the above processing, the data amount of the conversion unnecessary area 23 is reduced, and the entire data amount of the attention area 13 is reduced.
一方、変換対象領域２１については、領域内のマクロブロック毎に符号量が制御される。この点について以下に詳細に説明する。 On the other hand, for the conversion target region 21, the code amount is controlled for each macroblock in the region. This point will be described in detail below.
図５及び図６は、超広角レンズ３１の射影方式の例を示している。図５は、正射影方式を示している。この方式では、仮想球面の各点が撮像面に垂直に射影される。像高をｒ、焦点距離をｆ、天球の頂点からの角度をβとすると、ｒ＝ｆｓｉｎβである。図６は、等距離射影方式を示している。この方式では、像高が天頂角と比例する。像高をｒ、焦点距離をｆ、天頂角をθとすると、ｒ＝ｆθである。その他の射影方式としては、例えば、立体角射影方式、等立体角射影方式などがある。 5 and 6 show examples of the projection method of the super wide-angle lens 31. FIG. FIG. 5 shows an orthogonal projection method. In this method, each point on the virtual spherical surface is projected perpendicularly to the imaging surface. If the image height is r, the focal length is f, and the angle from the top of the celestial sphere is β, then r = fsinβ. FIG. 6 shows an equidistant projection method. In this method, the image height is proportional to the zenith angle. If the image height is r, the focal length is f, and the zenith angle is θ, then r = fθ. Other projection methods include, for example, a solid angle projection method and a solid angle projection method.
超広角レンズ３１の射影方式では、撮像中心から離れた部分が半径方向に大幅に圧縮される。そのため、撮像画像空間から補正画像空間への座標変換では、単位面積当たりの被参照数が、撮像中心からの距離に応じて異なる。被参照数とは、座標変換で参照される変換元の座標データの数である。ここでは、単位面積として符号化ブロックを考える。符号化ブロックは具体的にはマクロブロックである。符号化ブロック（マクロブロック）当たりの被参照データ数を「密度情報」と呼ぶ。密度情報は、補正後の画像と対応付けられる画素の密度といえる。 In the projection method of the super-wide-angle lens 31, a portion away from the imaging center is greatly compressed in the radial direction. Therefore, in the coordinate conversion from the captured image space to the corrected image space, the number of referenced per unit area differs according to the distance from the imaging center. The referred number is the number of coordinate data of the conversion source that is referred to in the coordinate conversion. Here, an encoded block is considered as a unit area. Specifically, the coding block is a macroblock. The number of referenced data per coding block (macroblock) is called “density information”. The density information can be said to be the density of pixels associated with the corrected image.
図７は、密度情報の概念を示している。撮像画像空間において、注目領域１３は、変換対象領域２１と変換不要領域２３を含む。変換対象領域２１が、座標変換により、補正画像空間の表示領域２５になる。 FIG. 7 shows the concept of density information. In the captured image space, the attention area 13 includes a conversion target area 21 and a conversion unnecessary area 23. The conversion target area 21 becomes the display area 25 of the corrected image space by coordinate conversion.
ここで、２つのマクロブロック２７、２９が図７に示されている。マクロブロック２７の方が、マクロブロック２９よりも、撮像中心（撮像画像空間の中心）から遠い。この場合、マクロブロック２７の方が、座標変換で参照される座標データの数が少なく、密度情報が小さい。すなわち、補正後の画像と対応付けられる画素の密度が小さい。 Here, two macroblocks 27 and 29 are shown in FIG. The macro block 27 is farther from the imaging center (the center of the captured image space) than the macro block 29. In this case, the macro block 27 has a smaller number of coordinate data referred to in the coordinate conversion and smaller density information. That is, the density of pixels associated with the corrected image is small.
本実施の形態は、上記のような密度情報に着目する。マクロブロック２７では、密度情報が少ない。これは、座標変換で参照される情報量が少ないことを意味する。このようなマクロブロック２７のデータが符号化処理でさらに圧縮されると、情報量がさらに減り、画質が劣化する。 The present embodiment focuses on the density information as described above. In the macro block 27, there is little density information. This means that the amount of information referred to in coordinate conversion is small. When such data of the macroblock 27 is further compressed by the encoding process, the amount of information is further reduced and the image quality is deteriorated.
このような事態を避けるため、本実施の形態は、撮像中心からマクロブロックまでの距離に応じて、符号量の割り当てを変更する。具体的には、符号化のマクロブロック符号化特性が調整される。本実施の形態は、量子化ステップを小さくすることにより、符号量の割り当てを増大する。しかし、本発明の範囲で、符号量の制御は、上記構成に限定されなくてよい。量子化ステップ以外のパラメータが制御されてよい。 In order to avoid such a situation, the present embodiment changes the code amount assignment according to the distance from the imaging center to the macroblock. Specifically, the coding macroblock coding characteristics are adjusted. In the present embodiment, code amount allocation is increased by reducing the quantization step. However, within the scope of the present invention, the control of the code amount may not be limited to the above configuration. Parameters other than the quantization step may be controlled.
図８（ａ）及び図８（ｂ）は、上記の符号量制御を示している。図８（ａ）は、撮像中心からの距離に応じた密度情報を示す。密度情報は、Ａ０＞Ａ１＞Ａ２である。このような撮像中心からの距離に応じた密度情報の変化は、超広角レンズ３１の射影方式に基づく性質であり、本実施の形態では広角レンズ特性と呼ぶ。広角レンズ特性は、図３のレンズ特性保持部４３に記憶されている。 FIG. 8A and FIG. 8B show the code amount control described above. FIG. 8A shows density information corresponding to the distance from the imaging center. The density information is A0> A1> A2. Such a change in density information according to the distance from the imaging center is a property based on the projection method of the super-wide-angle lens 31, and is referred to as a wide-angle lens characteristic in the present embodiment. The wide-angle lens characteristic is stored in the lens characteristic holding unit 43 in FIG.
映像符号化部３７は、レンズ特性保持部４３の広角レンズ特性を参照し、注目領域１３内の各マクロブロックの密度情報を求める。この処理では、各マクロブロックの撮像画像空間内の位置に対応する密度情報が読み取られる。そして、映像符号化部３７は、密度情報が大きいほど符号量が増大するように、量子化ステップを決定する。 The video encoding unit 37 refers to the wide-angle lens characteristic of the lens characteristic holding unit 43 and obtains density information of each macroblock in the attention area 13. In this process, density information corresponding to the position of each macroblock in the captured image space is read. Then, the video encoding unit 37 determines the quantization step so that the code amount increases as the density information increases.
図８（ｂ）は、密度情報から量子化ステップを決定するためのマップの例を示している。密度情報が小さいほど、量子化ステップが小さくなり、符号量が増大する。このマップはカメラ３の記憶装置に記憶されていてよく、映像符号化部３７はマップを参照して密度情報に対応する量子化ステップを決定する。 FIG. 8B shows an example of a map for determining the quantization step from the density information. The smaller the density information, the smaller the quantization step and the more the code amount. This map may be stored in the storage device of the camera 3, and the video encoding unit 37 determines a quantization step corresponding to the density information with reference to the map.
実際の処理としては、量子化ステップ等のマクロブロック符号化特性は、各種の要因で決定される。この決定処理において、マクロブロック毎に、密度情報に応じて量子化ステップが調整されてよい。したがって、図８（ｂ）の縦軸は、量子化ステップの調整量でもよい。調整量は、量子化ステップに加算又は減算される補正量でよい。また、調整量は、量子化ステップに乗算又は割り算により適用される補正係数でよい。その他の関数が適用されてよい。 In actual processing, macroblock coding characteristics such as a quantization step are determined by various factors. In this determination process, the quantization step may be adjusted for each macroblock according to the density information. Therefore, the vertical axis in FIG. 8B may be the adjustment amount of the quantization step. The adjustment amount may be a correction amount that is added to or subtracted from the quantization step. The adjustment amount may be a correction coefficient applied to the quantization step by multiplication or division. Other functions may be applied.
図８（ａ）及び図８（ｂ）では、密度情報が３つのクラスＡ０〜Ａ３に分けられている。しかし、密度情報のクラス数は３つに限定されない。より多くのクラスが設定されてよい。実際の密度情報は撮像中心からの距離に応じて連続的に変化するので、レンズ特性保持部４３に保持される広角レンズ特性においても、実際と同様に密度情報が連続的に変化してよい。 In FIG. 8A and FIG. 8B, the density information is divided into three classes A0 to A3. However, the number of density information classes is not limited to three. More classes may be set. Since the actual density information continuously changes according to the distance from the imaging center, the density information may continuously change in the wide-angle lens characteristics held in the lens characteristic holding unit 43 as in the actual case.
また、図８（ａ）では、レンズ特性を概念的に説明するために、密度情報の境界が円形で示されている。実際には、密度情報はブロック単位で定義される。したがって、レンズ特性保持部４３に保持される広角レンズ特性においては、密度情報の境界は滑らかな曲線ではなくてよい。 Further, in FIG. 8A, in order to conceptually explain the lens characteristics, the boundary of the density information is shown as a circle. In practice, the density information is defined in units of blocks. Therefore, in the wide-angle lens characteristic held by the lens characteristic holding unit 43, the boundary of the density information may not be a smooth curve.
以上に、注目領域１３のマクロブロック毎の符号量制御について説明した。次に、本実施の形態に係る画像通信システム１の動作を説明する。 The code amount control for each macroblock in the attention area 13 has been described above. Next, the operation of the image communication system 1 according to the present embodiment will be described.
カメラ３では、撮像部３３が、超広角レンズ３１を用いて撮像画像１１を生成し、領域切出部３５及び画像認識部４１に供給する。画像認識部４１は、撮像画像１１の動き検出処理を行い、検出結果を領域切出部３５に供給する。 In the camera 3, the imaging unit 33 generates the captured image 11 using the super-wide-angle lens 31 and supplies the captured image 11 to the region extraction unit 35 and the image recognition unit 41. The image recognition unit 41 performs a motion detection process on the captured image 11 and supplies the detection result to the region cutout unit 35.
領域切出部３５は、撮像画像１１から注目領域１３を切り出す。注目領域１３は、ユーザにより指定されてよい。この場合、ユーザがユーザ指示入力部５９に対して注目領域１３を特定する情報を入力する。本実施の形態では、ソフトウエアＰＴＺ機能が実現される。そこで、ソフトウエアＰＴＺにて表示すべき領域が、ユーザ指示入力部５９を使って特定されてよい。入力情報が、ネットワーク送受信部５１からカメラ３に送信され、ネットワーク送受信部３９に受信され、符号化制御部４５に供給される。こうして、領域切出部３５は、注目領域１３を特定する情報を取得する。 The area cutout unit 35 cuts out the attention area 13 from the captured image 11. The attention area 13 may be designated by the user. In this case, the user inputs information for specifying the attention area 13 to the user instruction input unit 59. In the present embodiment, a software PTZ function is realized. Therefore, an area to be displayed by the software PTZ may be specified using the user instruction input unit 59. Input information is transmitted from the network transmission / reception unit 51 to the camera 3, received by the network transmission / reception unit 39, and supplied to the encoding control unit 45. In this way, the area cutout unit 35 acquires information for specifying the attention area 13.
また、注目領域１３は、画像認識部４１による画像認識による検出結果を基に自動的に決定されてよい。この場合、画像認識部４１が撮像画像１１の移動物体を特定する。この動き検出結果が領域切出部３５に供給される。領域切出部３５は、移動物体を含むように注目領域１３を決定する。上記のユーザ指定と自動検出が組み合わされてもよい。 The attention area 13 may be automatically determined based on the detection result by the image recognition by the image recognition unit 41. In this case, the image recognition unit 41 identifies the moving object of the captured image 11. This motion detection result is supplied to the area cutout unit 35. The area cutout unit 35 determines the attention area 13 so as to include the moving object. The above user designation and automatic detection may be combined.
注目領域１３は、図４及び図７に示されるように、変換対象領域２１と変換不要領域２３を含む。領域切出部３５は、切り出した注目領域１３のうちの変換不要領域２３を単色で塗りつぶす。 As shown in FIGS. 4 and 7, the attention area 13 includes a conversion target area 21 and a conversion unnecessary area 23. The area cutout unit 35 fills the conversion unnecessary area 23 in the cut out attention area 13 with a single color.
領域切出部３５は、注目領域１３のデータを映像符号化部３７に供給する。そして、映像符号化部３７は、注目領域１３を符号化する。映像符号化部３７では、符号化制御部４５がピクチャ符号化部４７を制御する。 The area extracting unit 35 supplies the data of the attention area 13 to the video encoding unit 37. Then, the video encoding unit 37 encodes the attention area 13. In the video encoding unit 37, the encoding control unit 45 controls the picture encoding unit 47.
図９は、符号化処理を示している。符号化制御部４５は、イベントがあるか否かを判定し（Ｓ１）、イベントがなければステップＳ１の判定を繰り返す。イベントは、カメラ３の上位の制御部で発生し、符号化制御部４５等の各種構成がイベントに従って動作する。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ３）。終了イベントであれば、処理を終了する。 FIG. 9 shows the encoding process. The encoding control unit 45 determines whether there is an event (S1), and if there is no event, repeats the determination in step S1. An event is generated in a higher-level control unit of the camera 3, and various components such as the encoding control unit 45 operate according to the event. If there is an event, it is determined whether or not the event is an end event (S3). If it is an end event, the process ends.
イベントが終了イベントでなければ、符号化制御部４５は、発生イベントが映像入力イベントであるか否かを判定する（Ｓ５）。領域切出部３５から映像符号化部３７に注目領域１３が入力されると、映像入力イベントが発生し、ステップＳ５がＹＥＳになる。そして、映像符号化部３７は、マクロブロックを生成する（Ｓ７）。 If the event is not an end event, the encoding control unit 45 determines whether the generated event is a video input event (S5). When the attention area 13 is input from the area cutout section 35 to the video encoding section 37, a video input event occurs, and step S5 becomes YES. Then, the video encoding unit 37 generates a macroblock (S7).
符号化制御部４５は、レンズ特性保持部４３の広角レンズ特性の情報（図８（ａ））を参照し、各マクロブロックの密度情報を取得する（Ｓ９）。そして、符号化制御部４５は、密度情報に基づいてマクロブロック符号化特性を算出する（Ｓ１１）。ここで、既に説明したように、マクロブロック符号化特性は、各種の要因に基づき算出される。この算出処理にて、密度情報が参照される。そして、図８（ｂ）のマップに基づき、マクロブロック符号化特性が調整される。具体的には、量子化ステップが調整される。 The encoding control unit 45 refers to the information on the wide-angle lens characteristic (FIG. 8A) of the lens characteristic holding unit 43 and acquires the density information of each macroblock (S9). And the encoding control part 45 calculates a macroblock encoding characteristic based on density information (S11). Here, as already described, the macroblock coding characteristics are calculated based on various factors. In this calculation process, density information is referenced. Then, the macroblock coding characteristics are adjusted based on the map of FIG. Specifically, the quantization step is adjusted.
符号化制御部４５は、ステップＳ１１で算出されたマクロブロック符号化特性をピクチャ符号化部４７に供給し、ピクチャ符号化部４７に符号化を行わせる（Ｓ１３）。こうして得られたピクチャデータが、ネットワーク送受信部３９へと出力される（Ｓ１５）。 The encoding control unit 45 supplies the macroblock encoding characteristic calculated in step S11 to the picture encoding unit 47, and causes the picture encoding unit 47 to perform encoding (S13). The picture data obtained in this way is output to the network transmitting / receiving unit 39 (S15).
図１０は、図９のピクチャ符号化ステップＳ１３の詳細を示している。図１０の処理は、ピクチャ符号化部４７により実行される。図１０では、符号化制御部４５からピクチャ符号化部４７にマクロブロック符号化特性が入力され、また、マクロブロックが入力される（ｘ０１、ｘ０２）。 FIG. 10 shows details of the picture encoding step S13 of FIG. The process of FIG. 10 is executed by the picture encoding unit 47. In FIG. 10, a macroblock coding characteristic is input from the encoding control unit 45 to the picture encoding unit 47, and a macroblock is input (x01, x02).
次に、ピクチャ符号化部４７は、マクロブロック毎に、フレームメモリに格納されている前後数フレーム内でマッチング処理を行なって動きベクトルを検出し、動きベクトル情報に基づいて動き補償を行い予測画像を生成する（ｘ０３）。また、ピクチャ符号化部４７は、動き補償予測を行なったマクロブロックに対して、面内予測を行い予測画像を生成する（ｘ０４）。そして、ピクチャ符号化部４７は、ステップｘ０３とステップｘ０４それぞれの予測画像に対して予測誤差計算を行い、より小さな誤差を持つ予測画像を選択する（ｘ０５）。 Next, for each macroblock, the picture encoding unit 47 performs a matching process within several frames before and after stored in the frame memory to detect a motion vector, performs motion compensation based on the motion vector information, and performs a prediction image Is generated (x03). In addition, the picture encoding unit 47 performs intra prediction for the macroblock for which motion compensation prediction has been performed, and generates a predicted image (x04). Then, the picture encoding unit 47 performs prediction error calculation for each predicted image at step x03 and step x04, and selects a predicted image having a smaller error (x05).
次に、ピクチャ符号化部４７は、ステップｘ０５で選択された予測画像と入力されたピクチャを比較して、予測差分信号の生成を行う（ｘ０６）。さらに、ピクチャ符号化部４７は、予測差分信号を２次元の周波数成分に分解するＤＣＴ変換を行い、そして、ＤＣＴ変換係数を、ステップｘ０１で入力されたマクロブロック符号化特性を用いて、離散的な代表値に対応付け、量子化係数を出力する（ｘ０７）。 Next, the picture encoding unit 47 compares the predicted image selected in step x05 with the input picture and generates a prediction difference signal (x06). Further, the picture coding unit 47 performs DCT transform that decomposes the prediction difference signal into two-dimensional frequency components, and uses the macroblock coding characteristics input in step x01 to convert the DCT transform coefficient into discrete values. The quantization coefficient is output in association with a representative value (x07).
マクロブロック符号化特性は量子化ステップを含む。本実施の形態の特徴として、各マクロブロックの密度情報に応じて量子化ステップが調整されている。量子化ステップが小さい値に調整されたマクロブロックでは、発生符号量が増大する。逆に量子化ステップが大きい値に調整されたマクロブロックでは、発生符号量が減少する。 The macroblock coding characteristic includes a quantization step. As a feature of the present embodiment, the quantization step is adjusted according to the density information of each macroblock. In the macroblock in which the quantization step is adjusted to a small value, the generated code amount increases. On the other hand, the amount of generated code decreases in a macroblock whose quantization step is adjusted to a large value.
次に、ピクチャ符号化部４７は、ステップｘ０７で出力された量子化係数に対して、エントロピー符号化を行い（ｘ０８）、符号化されたピクチャデータとして出力する。符号化制御部４５は、エントロピー符号化の結果発生した符合量のフィードバックを受けながら、目標とする基準値（例えば１秒間あたりの符号量）を満たせるようにマクロブロック符号化特性の制御を行なう。 Next, the picture encoding unit 47 performs entropy encoding on the quantized coefficient output at step x07 (x08), and outputs the encoded picture data. The encoding control unit 45 controls the macroblock encoding characteristics so as to satisfy a target reference value (for example, the code amount per second) while receiving feedback of the code amount generated as a result of entropy encoding.
また、ピクチャ符号化部４７は、ステップｘ０７で出力された量子化係数に対して、逆量子化および逆ＤＣＴ変換を行い、予測差分信号を生成する（ｘ０９）。さらに、ピクチャ符号化部４７は、動き補償処理あるいはイントラ予測処理（どちらが選択されるかはステップｘ０５の判定結果により決定する）により生成される予測画像とステップｘ０９で生成される予測差分信号を加算して、復号画像を生成する（ｘ１０）。さらに、ピクチャ符号化部４７は、ステップｘ１０で生成された復号画像のマクロブロック境界に対して、ブロック境界が目立たないようにデブロッキングフィルタをかける（ｘ１１）。そして、ピクチャ符号化部４７は、デブロッキング処理が施された復号画像をフレームメモリへと格納する（ｘ１２）。 In addition, the picture encoding unit 47 performs inverse quantization and inverse DCT transform on the quantized coefficient output in step x07 to generate a prediction difference signal (x09). Further, the picture encoding unit 47 adds the prediction image generated by the motion compensation process or the intra prediction process (which is selected based on the determination result of step x05) and the prediction difference signal generated by step x09. Then, a decoded image is generated (x10). Further, the picture encoding unit 47 applies a deblocking filter to the macroblock boundary of the decoded image generated in step x10 so that the block boundary is not conspicuous (x11). Then, the picture encoding unit 47 stores the decoded image subjected to the deblocking process in the frame memory (x12).
以上にピクチャ符号化部４７による符号化処理を説明した。上述のように、符号化処理は、符号化制御部４５により決定されたマクロブロック符号化特性に従って行われる。マクロブロック符号化特性が密度情報に応じて算出されており、これにより、密度情報に応じた符号量制御が実現される。 The encoding process by the picture encoding unit 47 has been described above. As described above, the encoding process is performed according to the macroblock encoding characteristics determined by the encoding control unit 45. The macroblock coding characteristics are calculated according to the density information, thereby realizing code amount control according to the density information.
また、注目領域１３の変換不要領域２３は、符号化処理の前に単色で塗りつぶされている。さらに、変換不要領域２３のマクロブロックは、発生符号量が最低量になるように、スキップマクロブロックに設定される。これにより、変換不要領域２３のデータ量が最低限になり、符号化データが削減される。 Further, the conversion unnecessary area 23 of the attention area 13 is filled with a single color before the encoding process. Further, the macroblocks in the conversion unnecessary area 23 are set to skip macroblocks so that the generated code amount is the minimum amount. As a result, the amount of data in the conversion unnecessary area 23 is minimized, and the encoded data is reduced.
注目領域１３の符号化データは、映像符号化部３７からネットワーク送受信部３９に供給され、ネットワーク送受信部３９からネットワーク７を介して端末装置５に送信される。 The encoded data of the attention area 13 is supplied from the video encoding unit 37 to the network transmission / reception unit 39 and transmitted from the network transmission / reception unit 39 to the terminal device 5 via the network 7.
端末装置５では、ネットワーク送受信部５１がネットワーク７から符号化データを受信する。符号化データは、映像復号部５３に供給され、映像復号部５３にて復号される。そして、復号後の注目領域１３が歪み補正部５５に供給され、歪み補正が行われる。 In the terminal device 5, the network transmission / reception unit 51 receives encoded data from the network 7. The encoded data is supplied to the video decoding unit 53 and decoded by the video decoding unit 53. Then, the region of interest 13 after decoding is supplied to the distortion correction unit 55, and distortion correction is performed.
前述したように、本実施の形態では、密度情報に応じて符号量が制御されている。これにより、歪み補正後の画像における画質劣化を低減できる。歪み補正後の注目領域１３が、表示部５７に出力され、表示される。 As described above, in this embodiment, the code amount is controlled according to the density information. Thereby, image quality deterioration in the image after distortion correction can be reduced. The attention area 13 after distortion correction is output to the display unit 57 and displayed.
以上に、本発明の実施の形態に係る画像通信システム１の動作を説明した。次に、本発明に係る別の実施の形態について説明する。この実施の形態において、システムの全体構成及び動作は、上述の画像通信システム１と同様である。さらに、この実施の形態では、注目領域１３における変換対象領域２１と変換不要領域２３の境界部分の符号化処理が改良されている。 The operation of the image communication system 1 according to the embodiment of the present invention has been described above. Next, another embodiment according to the present invention will be described. In this embodiment, the overall configuration and operation of the system are the same as those of the image communication system 1 described above. Furthermore, in this embodiment, the encoding process of the boundary portion between the conversion target area 21 and the conversion unnecessary area 23 in the attention area 13 is improved.
図１１は、注目領域１３の一部であり、変換対象領域２１と変換不要領域２３の境界部分を示している。各々の四角形はマクロブロックを示している。上側の４つのマクロブロックが、変換対象領域２１と変換不要領域２３の境界を含んでいる。ここでは、これら境界を含むマクロブロックを、境界ブロックと呼ぶ。本実施の形態は、境界ブロックへの符号量の割り当てを、境界ブロックに変換対象領域２１が占める割合に応じて行う。 FIG. 11 shows a part of the attention area 13 and a boundary portion between the conversion target area 21 and the conversion unnecessary area 23. Each square represents a macroblock. The upper four macroblocks include the boundary between the conversion target area 21 and the conversion unnecessary area 23. Here, a macroblock including these boundaries is referred to as a boundary block. In the present embodiment, the code amount is assigned to the boundary block according to the ratio of the conversion target region 21 to the boundary block.
より詳細に説明すると、図１１において、「有効画素割合」は、各々のマクロブロック１５に全画素数に対する、変換対象領域２１の画素数の割合である。図１１の下段の４つのマクロブロックは、完全に変換対象領域２１に含まれている。したがって、図示のように、有効画素割合が１００％である。このようなマクロブロックに対しては、上述の実施の形態で説明した処理により符号量が割り当てられる。 More specifically, in FIG. 11, “effective pixel ratio” is the ratio of the number of pixels in the conversion target area 21 to the total number of pixels in each macro block 15. The four macroblocks in the lower part of FIG. 11 are completely included in the conversion target area 21. Therefore, as shown in the figure, the effective pixel ratio is 100%. For such macroblocks, a code amount is assigned by the processing described in the above embodiment.
一方、図示されないが、全体が完全に変換不要領域２３に含まれるマクロブロックでは、「有効画素割合」が０％である。このようなマクロブロックは、領域切出部３５で単色（０）に塗りつぶされており、そして、スキップマクロブロックに設定される。 On the other hand, although not shown, the “effective pixel ratio” is 0% in the macroblock that is entirely included in the conversion unnecessary area 23. Such a macroblock is painted in a single color (0) by the area cutout unit 35 and is set as a skip macroblock.
次に、４つの境界ブロックについて説明する。図１１に示されるように、変換対象領域２１と変換不要領域２３の境界線は、４つの境界ブロックを斜めに横切っている。そのため、４つの境界ブロックでは、「有効画素割合」が異なっている。映像符号化部３７は、境界ブロックに対する符号量の割り当てを、有効画素割合に応じて制御するように構成されている。そして、映像符号化部３７は、有効画素割合が大きいほど符号量の割り当てを多くする。符号化制御部４５が、有効画素割合が大きいほど符号量が多くなるようにマクロブロック符号化特性を調整してよい。 Next, the four boundary blocks will be described. As shown in FIG. 11, the boundary line between the conversion target area 21 and the conversion unnecessary area 23 obliquely crosses the four boundary blocks. Therefore, the “effective pixel ratio” is different in the four boundary blocks. The video encoding unit 37 is configured to control the allocation of the code amount to the boundary block according to the effective pixel ratio. Then, the video encoding unit 37 increases the code amount allocation as the effective pixel ratio increases. The encoding control unit 45 may adjust the macroblock encoding characteristics so that the code amount increases as the effective pixel ratio increases.
図１２は、上記の処理を行うための符号化制御部４５の動作を示している。図１２の処理では、図９の処理に対して、ステップＳ１０が追加されている。ステップＳ１０では、符号化制御部４５が、変換対象領域２１と変換不要領域２３の境界部分の有効画素割合を算出する。この有効画素割合は、次のステップＳ１１におけるマクロブロック符号化特性の算出処理にて利用される。これにより、境界ブロックの符号量が、有効画素割合に応じて制御される。例えば、有効画素割合が９０％であったとする。この場合、変換対象領域２１のマクロブロックの９０％程度の符号量が割り当てられるように、マクロブロック符号化特性が設定される。 FIG. 12 shows the operation of the encoding control unit 45 for performing the above processing. In the process of FIG. 12, step S10 is added to the process of FIG. In step S <b> 10, the encoding control unit 45 calculates the effective pixel ratio of the boundary portion between the conversion target area 21 and the conversion unnecessary area 23. This effective pixel ratio is used in the calculation process of the macroblock coding characteristic in the next step S11. Thereby, the code amount of the boundary block is controlled according to the effective pixel ratio. For example, assume that the effective pixel ratio is 90%. In this case, the macroblock coding characteristics are set so that about 90% of the code amount of the macroblock in the conversion target area 21 is allocated.
このように、本実施の形態では、マクロブロック内で変換対象領域２１が占める割合の大きさに応じて、符号量の割り当てが制御される。変換対象領域２１のマクロブロックと比べて境界ブロックの符号量を低減でき、全体として符号量を抑えられる。さらに、境界ブロックでは、変換対象領域２１の割合が大きいほど、符号量が増大する。変換対象領域２１の割合の大きさは、該当するマクロブロックの重要性と対応する。したがって、重要度が大きいほど符号量を増大し、画質の劣化を低減できる。 As described above, according to the present embodiment, the allocation of the code amount is controlled according to the size of the ratio occupied by the conversion target area 21 in the macroblock. The code amount of the boundary block can be reduced as compared with the macroblock in the conversion target area 21, and the code amount can be suppressed as a whole. Further, in the boundary block, the code amount increases as the ratio of the conversion target region 21 increases. The size of the ratio of the conversion target area 21 corresponds to the importance of the corresponding macroblock. Therefore, the greater the importance, the greater the amount of codes, and the deterioration of image quality can be reduced.
このようにして、本実施の形態によれば、境界領域の重要度に応じて符号量を調整でき、符号量を抑えつつ、歪み補正時の画質劣化を低減できる。 In this way, according to the present embodiment, the code amount can be adjusted according to the importance of the boundary region, and image quality deterioration during distortion correction can be reduced while suppressing the code amount.
次に、更に別の実施の形態について説明する。この実施の形態においても、システムの全体構成及び動作は、上述の画像通信システム１と同様である。さらに、この実施の形態では、通信データ量を考慮して、領域切出部３５の処理が改良されている。 Next, another embodiment will be described. Also in this embodiment, the overall configuration and operation of the system are the same as those of the image communication system 1 described above. Furthermore, in this embodiment, the processing of the area extracting unit 35 is improved in consideration of the communication data amount.
撮像画像空間には、超広角レンズ３１の射影方式に応じた歪みがある。そのため、カメラ側で注目領域１３を切り出すときに、注目領域１３の大きさが、撮像画像空間内の切出位置によって変化する。この点に関し、特定形状の領域（例えば矩形領域）を、超広角レンズ３１の仮想球面に沿って動かしたとする。この特定領域は、補正画像空間の補正画像に相当する。この場合、天頂からの位置に応じて、撮像面上の投影像のサイズが変化する。この変化が、上述したような撮像画像空間内の位置に応じた注目領域１３の大きさの変化に相当する。 The captured image space has a distortion corresponding to the projection method of the super wide-angle lens 31. Therefore, when the attention area 13 is cut out on the camera side, the size of the attention area 13 changes depending on the cutting position in the captured image space. In this regard, it is assumed that a region having a specific shape (for example, a rectangular region) is moved along the virtual spherical surface of the super-wide-angle lens 31. This specific area corresponds to a corrected image in the corrected image space. In this case, the size of the projected image on the imaging surface changes according to the position from the zenith. This change corresponds to a change in the size of the attention area 13 according to the position in the captured image space as described above.
上記のように注目領域１３の大きさが変わると、符号化データのデータ量が変わり、ネットワーク７の伝送量が変わる。そこで、本実施の形態は、ネットワーク伝送量の変動を抑えるため、以下の処理を行う。 When the size of the attention area 13 changes as described above, the amount of encoded data changes, and the transmission amount of the network 7 changes. Therefore, in the present embodiment, the following processing is performed in order to suppress fluctuations in the network transmission amount.
本実施の形態では、撮像画像空間内での注目領域１３の代表的サイズが算出される。代表的サイズとは、撮像画像空間内で変化する注目領域１３のサイズの代表値である。本実施の形態の例では、代表的サイズが、平均サイズである。平均サイズは、例えば、注目領域１３のサイズの最大値及び最小値の平均である。また、平均サイズは中間値でよい。この場合、注目領域１３を少しずつ動かしたときのサイズの値が取得される。多数のサイズ値のうちで、順位が真中の値が、中間値として求められる。 In the present embodiment, a representative size of the attention area 13 in the captured image space is calculated. The representative size is a representative value of the size of the attention area 13 that changes in the captured image space. In the example of the present embodiment, the representative size is the average size. The average size is, for example, the average of the maximum value and the minimum value of the size of the attention area 13. The average size may be an intermediate value. In this case, the value of the size when the attention area 13 is moved little by little is acquired. Of the large number of size values, the middle value is obtained as the intermediate value.
領域切出部３５は、注目領域１３が平均サイズになるように、注目領域１３を拡大又は縮小する。そして、平均サイズの注目領域１３が、映像符号化部３７により符号化され、端末装置５へと送信される。端末装置５では、歪み補正部５５が、平均サイズの注目領域１３を拡大又は縮小し、元のサイズの注目領域１３を取得する。そして、注目領域１３の歪みが補正される。 The area cutout unit 35 enlarges or reduces the attention area 13 so that the attention area 13 has an average size. Then, the attention area 13 having the average size is encoded by the video encoding unit 37 and transmitted to the terminal device 5. In the terminal device 5, the distortion correction unit 55 enlarges or reduces the attention area 13 having the average size, and acquires the attention area 13 having the original size. Then, the distortion of the attention area 13 is corrected.
図１３及び図１４は、本実施の形態に係る動作を示している。図１３は、領域切出部３５の動作である。領域切出部３５は、イベントがあるか否かを判定し（Ｓ２１）、イベントがなければステップＳ２１の判定を繰り返す。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ２３）。終了イベントであれば、処理を終了する。 13 and 14 show an operation according to the present embodiment. FIG. 13 shows the operation of the region cutout unit 35. The area cutout unit 35 determines whether or not there is an event (S21), and if there is no event, repeats the determination in step S21. If there is an event, it is determined whether or not the event is an end event (S23). If it is an end event, the process ends.
イベントが終了イベントでなければ、領域切出部３５は、発生イベントが領域切出イベントであるか否かを判定する（Ｓ２５）。ステップＳ２５がＹＥＳであれば、領域切出部３５は、超広角レンズ３１の射影方式の仮想球面上で補正画像（切出し領域に対応する補正画像空間の画像）を移動させながら切出し領域の最大／最小サイズを取得し（Ｓ２７）、平均サイズを算出する（Ｓ２９）。この例では、最大／最小サイズの平均が算出される。別の例では上述のように多数のサイズ値の中間値が求められる。次に、領域切出部３５は、撮像画像空間で領域画像を切り出し（Ｓ３１）、切り出した領域を平均サイズに合わせて拡大又は縮小し（Ｓ３３）、平均サイズの切出領域を注目領域１３として映像符号化部３７に出力する（Ｓ３５）。 If the event is not an end event, the region extraction unit 35 determines whether the generated event is a region extraction event (S25). If step S25 is YES, the area cutout unit 35 moves the correction image (the image of the correction image space corresponding to the cutout area) on the projection type virtual sphere of the super-wide-angle lens 31 and moves the maximum / maximum cutout area. The minimum size is acquired (S27), and the average size is calculated (S29). In this example, the average of the maximum / minimum sizes is calculated. In another example, an intermediate value of a large number of size values is obtained as described above. Next, the area cutout unit 35 cuts out the area image in the captured image space (S31), enlarges or reduces the cutout area according to the average size (S33), and sets the cutout area of the average size as the attention area 13. The video is output to the video encoding unit 37 (S35).
次に、図１４は、端末装置５の歪み補正部の動作を示している。歪み補正部５５は、イベントがあるか否かを判定し（Ｓ４１）、イベントがなければステップＳ４１の判定を繰り返す。イベントは、端末装置５の上位の制御部で発生し、歪み補正部５５の各種構成がイベントに従って動作する。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ４３）。終了イベントであれば、処理を終了する。 Next, FIG. 14 shows the operation of the distortion correction unit of the terminal device 5. The distortion correction unit 55 determines whether there is an event (S41), and if there is no event, repeats the determination in step S41. An event is generated in a higher-level control unit of the terminal device 5, and various configurations of the distortion correction unit 55 operate according to the event. If there is an event, it is determined whether or not the event is an end event (S43). If it is an end event, the process ends.
イベントが終了イベントでなければ、歪み補正部５５は、発生イベントが歪み補正イベントであるか否かを判定する（Ｓ４５）。ステップＳ４５がＹＥＳであれば、歪み補正部５５は、復号された画像を縮小又は拡大して、元のサイズの注目領域１３を復元する（Ｓ４７）。そして、歪み補正部５５は、歪み補正を行って表示領域２５の画像を生成し（Ｓ４９）、歪み補正後の表示領域２５を表示部５７に出力する（Ｓ５１）。 If the event is not an end event, the distortion correction unit 55 determines whether the generated event is a distortion correction event (S45). If step S45 is YES, the distortion correction unit 55 reduces or enlarges the decoded image to restore the attention area 13 of the original size (S47). Then, the distortion correction unit 55 performs distortion correction to generate an image of the display region 25 (S49), and outputs the display region 25 after distortion correction to the display unit 57 (S51).
上記のように、本実施の形態によれば、領域切出部３５が、撮像画像１１から切り出される注目領域１３のサイズを、代表的サイズへと変換する。これにより、ネットワーク伝送量の変動を抑えられる。 As described above, according to the present embodiment, the region cutout unit 35 converts the size of the attention region 13 cut out from the captured image 11 into a representative size. Thereby, the fluctuation | variation of network transmission amount can be suppressed.
以上に本発明の実施の形態に係る画像通信システム１について説明した。本実施の形態によれば、上述のように広角レンズの特性に基づき、撮像中心から注目領域内の各符号化ブロックまでの距離に応じて、各符号化ブロックへ符号量が割り当てられる。超広角レンズ等の広角レンズが上述のような特性を有するため、撮像中心から遠い符号化ブロックでは、歪み補正の座標変換にて参照される単位面積当たりの座標データ数が少なくなる。本実施の形態によれば、このような撮像中心から遠い符号化ブロックに多くの符号量が割り当てられる。これにより、歪み補正後の画像における画質の劣化を低減できる。 The image communication system 1 according to the embodiment of the present invention has been described above. According to the present embodiment, based on the characteristics of the wide-angle lens as described above, a code amount is assigned to each coding block according to the distance from the imaging center to each coding block in the region of interest. Since a wide-angle lens such as an ultra-wide-angle lens has the above-described characteristics, the number of coordinate data per unit area referred to in the coordinate conversion for distortion correction is reduced in an encoded block far from the imaging center. According to the present embodiment, a large amount of code is allocated to such an encoded block far from the imaging center. Thereby, it is possible to reduce deterioration in image quality in the image after distortion correction.
また、本実施の形態によれば、広角レンズ特性として、図８（ａ）に示した密度情報が記憶されており、図８（ｂ）を参照して説明したように密度情報に応じて符号量が制御される。このような処理により、広角レンズ特性に基づいた符号量の制御を好適に行うことができ、歪み補正後の画像における画質の劣化を低減できる。 In addition, according to the present embodiment, the density information shown in FIG. 8A is stored as the wide-angle lens characteristic, and as described with reference to FIG. The amount is controlled. By such processing, it is possible to suitably control the code amount based on the wide-angle lens characteristics, and it is possible to reduce image quality deterioration in the image after distortion correction.
また、本実施の形態によれば、注目領域１３が変換対象領域２１と変換不要領域２３に分けられ、符号化処理でデータ量が低減するように変換不要領域２３の画像が変換される。上記の実施の形態では、変換不要領域２３が単色で塗りつぶされる。そして、変換不要領域２３の符号量が最低量に設定される。これにより、変換不要領域２３から発生する符号量を低減できる。したがって、変換対象領域２１の画質を維持しつつ、全体の符号量を低減できる。 Further, according to the present embodiment, the attention area 13 is divided into the conversion target area 21 and the conversion unnecessary area 23, and the image of the conversion unnecessary area 23 is converted so that the data amount is reduced by the encoding process. In the above embodiment, the conversion unnecessary area 23 is filled with a single color. The code amount of the conversion unnecessary area 23 is set to the minimum amount. Thereby, the amount of codes generated from the conversion unnecessary area 23 can be reduced. Therefore, the entire code amount can be reduced while maintaining the image quality of the conversion target area 21.
また、本実施の形態によれば、変換対象領域２１と変換不要領域２３の境界を含む符号化ブロックの符号量が、符号化ブロックに変換対象領域２１が占める割合に応じて制御される。これにより、境界領域の重要度に応じて符号量を調整でき、符号量を抑えつつ、歪み補正時の画質劣化を低減できる。 Moreover, according to this Embodiment, the code amount of the encoding block containing the boundary of the conversion object area | region 21 and the conversion unnecessary area | region 23 is controlled according to the ratio for which the conversion object area | region 21 occupies in an encoding block. As a result, the code amount can be adjusted according to the importance of the boundary region, and image quality deterioration during distortion correction can be reduced while suppressing the code amount.
また、本実施の形態によれば、撮像画像空間内での注目領域１３の代表的サイズへと、注目領域１３のサイズが変換される。これにより、通信データ量の変動を好適に低減できる。 Further, according to the present embodiment, the size of the attention area 13 is converted into the representative size of the attention area 13 in the captured image space. Thereby, the fluctuation | variation of communication data amount can be reduced suitably.
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments, and it goes without saying that those skilled in the art can modify the above-described embodiments within the scope of the present invention.
以上のように、本発明にかかる画像通信システムは、超広角レンズや魚眼レンズ等の広角レンズを用いた撮影により生じた歪みを補正した画像における画質の劣化を低減できるという効果を有し、監視カメラ等の画像通信システムとして有用である。 As described above, the image communication system according to the present invention has an effect of reducing deterioration in image quality in an image in which distortion caused by photographing using a wide-angle lens such as a super-wide-angle lens or a fish-eye lens is corrected. It is useful as an image communication system.
１ 画像通信システム
３ カメラ
５ 端末装置
７ ネットワーク
１１ 撮像画像
１３ 注目領域
１５ 補正画像
２１ 変換対象領域
２３ 変換不要領域
２５ 表示領域
２７、２９ マクロブロック
３１ 超広角レンズ
３３ 撮像部
３５ 領域切出部
３７ 映像符号化部
３９、５１ ネットワーク送受信部
４１ 画像認識部
４３ レンズ特性保持部
４５ 符号化制御部
４７ ピクチャ符号化部
５３ 映像復号部
５５ 歪み補正部
５７ 表示部
５９ ユーザ指示入力部
DESCRIPTION OF SYMBOLS 1 Image communication system 3 Camera 5 Terminal apparatus 7 Network 11 Captured image 13 Attention area 15 Correction | amendment image 21 Conversion object area | region 23 Conversion unnecessary area | region 25 Display area 27, 29 Macroblock 31 Super wide-angle lens 33 Imaging part 35 Area extraction part 37 Image | video Encoding unit 39, 51 Network transmission / reception unit 41 Image recognition unit 43 Lens characteristic holding unit 45 Encoding control unit 47 Picture encoding unit 53 Video decoding unit 55 Distortion correction unit 57 Display unit 59 User instruction input unit
Claims (9)
前記撮像装置は、
広角レンズを用いて撮像画像を生成する撮像部と、
前記撮像画像から注目領域を切り出す領域切出部と、
前記注目領域を符号化する符号化部とを有し、
前記画像受信装置は、
前記撮像装置から受信される前記注目領域の符号化データを復号する復号部と、
撮像画像空間から補正画像空間への座標変換によって、前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有し、
前記広角レンズは、前記座標変換において参照される補正前画像の単位面積当たりの座標データの数が、前記撮像画像の撮像中心からの距離に応じて異なる特性を有し、
前記符号化部は、前記撮像中心から前記注目領域の各符号化ブロックまでの距離に応じて、前記各符号化ブロックへの符号量を割り当てることを特徴とする画像通信システム。 An image communication system comprising an imaging device and an image receiving device that receives an image from the imaging device,
The imaging device
An imaging unit that generates a captured image using a wide-angle lens;
A region cutout unit that cuts out a region of interest from the captured image;
An encoding unit that encodes the region of interest;
The image receiving device includes:
A decoding unit that decodes the encoded data of the region of interest received from the imaging device;
A distortion correction unit that corrects distortion caused by photographing using the wide-angle lens by coordinate conversion from the captured image space to the corrected image space;
The wide-angle lens has a characteristic that the number of coordinate data per unit area of the pre-correction image referred to in the coordinate conversion varies depending on the distance from the imaging center of the captured image,
The image communication system, wherein the encoding unit assigns a code amount to each coding block according to a distance from the imaging center to each coding block of the region of interest.
前記撮像画像から注目領域を切り出す領域切出部と、
前記注目領域を符号化する符号化部とを有し、
前記符号化部は、前記撮像画像の撮像中心から前記注目領域の各符号化ブロックまでの距離が大きくなるほど符号量を多く割り当てるように、前記各符号化ブロックの符号量を制御することを特徴とする撮像装置。 An imaging unit that generates a captured image using a wide-angle lens;
A region cutout unit that cuts out a region of interest from the captured image;
An encoding unit that encodes the region of interest;
The encoding unit controls the code amount of each encoded block such that a larger code amount is assigned as the distance from the imaging center of the captured image to each encoded block of the region of interest increases. An imaging device.
前記注目領域の符号化データを復号する復号部と、
復号化データから前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有する画像受信装置。 Communication for receiving encoded data of the attention area in which the code amount allocation of each encoding block differs according to the distance from the imaging center of the captured image obtained using the wide-angle lens to each encoding block of the attention area And
A decoding unit for decoding the encoded data of the region of interest;
An image receiving apparatus comprising: a distortion correction unit configured to correct distortion caused by photographing using the wide-angle lens from decoded data.
前記撮像画像の撮像中心から前記注目領域の各符号化ブロックまでの距離に応じて、前記各符号化ブロックへの符号量の割り当てを変更することを特徴とする画像処理方法。 Cut out the region of interest from the captured image generated using the wide-angle lens, encode the extracted region of interest,
An image processing method comprising: changing a code amount allocation to each coding block according to a distance from an imaging center of the captured image to each coding block of the region of interest.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009082399A JP5268743B2 (en) | 2009-03-30 | 2009-03-30 | Image communication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009082399A JP5268743B2 (en) | 2009-03-30 | 2009-03-30 | Image communication system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010239221A true JP2010239221A (en) | 2010-10-21 |
| JP5268743B2 JP5268743B2 (en) | 2013-08-21 |
Family
ID=43093212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009082399A Expired - Fee Related JP5268743B2 (en) | 2009-03-30 | 2009-03-30 | Image communication system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5268743B2 (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013133456A1 (en) * | 2012-03-09 | 2013-09-12 | Ricoh Company, Limited | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium |
| KR101407119B1 (en) | 2012-09-03 | 2014-06-13 | 멀티펠스 주식회사 | Camera system using super wide angle camera |
| JP2015037279A (en) * | 2013-08-15 | 2015-02-23 | 株式会社リコー | Image processing system, image processing method, and image communication system |
| JP2015173420A (en) * | 2014-03-12 | 2015-10-01 | キヤノン株式会社 | Image recording apparatus, image recording method, program, and storage medium |
| JP2015207909A (en) * | 2014-04-21 | 2015-11-19 | 日本電信電話株式会社 | Encode method, encode device and encode program |
| JP2016127377A (en) * | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | Image processing apparatus and image processing method, image reproducer and image reproducing method and program |
| US9412149B2 (en) | 2011-02-10 | 2016-08-09 | Panasonic Intellectual Property Management Co., Ltd. | Display device, computer program, and computer-implemented method |
| JP2016158160A (en) * | 2015-02-25 | 2016-09-01 | パイオニア株式会社 | Imaging device, control method, program and storage medium |
| WO2017204185A1 (en) * | 2016-05-27 | 2017-11-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Encoding device, decoding device, encoding method, and decoding method |
| JP2018038087A (en) * | 2012-03-09 | 2018-03-08 | 株式会社リコー | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
| WO2018092409A1 (en) * | 2016-11-15 | 2018-05-24 | Kddi株式会社 | Moving image coding device, moving image decoding device, and program |
| JP2019009508A (en) * | 2017-06-20 | 2019-01-17 | キヤノン株式会社 | Image processing apparatus, control method thereof, imaging apparatus, and monitoring system |
| JP2019121905A (en) * | 2018-01-04 | 2019-07-22 | 富士通株式会社 | Moving image encoding device, moving image encoding method and computer program for moving image encoding |
| JPWO2020202881A1 (en) * | 2019-03-29 | 2020-10-08 | ||
| JP2020179251A (en) * | 2020-07-30 | 2020-11-05 | 株式会社バンダイナムコエンターテインメント | Game system, imaging apparatus, game apparatus, and program |
| WO2024117148A1 (en) * | 2022-11-30 | 2024-06-06 | 興和株式会社 | Multiplexer |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104516189A (en) * | 2014-12-26 | 2015-04-15 | 广东光阵光电科技有限公司 | 180-degree wide-angle shooting camera module of VTM machine and shooting method of 180-degree wide-angle shooting camera module |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003023553A (en) * | 2001-07-06 | 2003-01-24 | Saibuaasu:Kk | Remote operation camera and image providing apparatus |
| JP2004080185A (en) * | 2002-08-13 | 2004-03-11 | Ricoh Co Ltd | Image processing apparatus, image processing method, electronic camera, program, and recording medium |
| JP2005167397A (en) * | 2003-11-28 | 2005-06-23 | Canon Inc | Server apparatus and control method thereof, and storage medium |
| JP2005236459A (en) * | 2004-02-18 | 2005-09-02 | Nippon Hoso Kyokai <Nhk> | Motion picture encoder, encoding method, and program |
| JP2006345055A (en) * | 2005-06-07 | 2006-12-21 | Olympus Corp | Image pickup apparatus |
| JP2007104645A (en) * | 2005-09-06 | 2007-04-19 | Megachips Lsi Solutions Inc | Compressing encoder, compressing encoding method and program |
| JP2008193735A (en) * | 2002-04-19 | 2008-08-21 | Matsushita Electric Ind Co Ltd | Image decoding method and device |
-
2009
- 2009-03-30 JP JP2009082399A patent/JP5268743B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003023553A (en) * | 2001-07-06 | 2003-01-24 | Saibuaasu:Kk | Remote operation camera and image providing apparatus |
| JP2008193735A (en) * | 2002-04-19 | 2008-08-21 | Matsushita Electric Ind Co Ltd | Image decoding method and device |
| JP2004080185A (en) * | 2002-08-13 | 2004-03-11 | Ricoh Co Ltd | Image processing apparatus, image processing method, electronic camera, program, and recording medium |
| JP2005167397A (en) * | 2003-11-28 | 2005-06-23 | Canon Inc | Server apparatus and control method thereof, and storage medium |
| JP2005236459A (en) * | 2004-02-18 | 2005-09-02 | Nippon Hoso Kyokai <Nhk> | Motion picture encoder, encoding method, and program |
| JP2006345055A (en) * | 2005-06-07 | 2006-12-21 | Olympus Corp | Image pickup apparatus |
| JP2007104645A (en) * | 2005-09-06 | 2007-04-19 | Megachips Lsi Solutions Inc | Compressing encoder, compressing encoding method and program |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9412149B2 (en) | 2011-02-10 | 2016-08-09 | Panasonic Intellectual Property Management Co., Ltd. | Display device, computer program, and computer-implemented method |
| US11651471B2 (en) | 2011-02-10 | 2023-05-16 | Panasonic Intellectual Property Management Co., Ltd. | Display device, computer program, and computer-implemented method |
| JP2013214947A (en) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
| WO2013133456A1 (en) * | 2012-03-09 | 2013-09-12 | Ricoh Company, Limited | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium |
| JP2018038087A (en) * | 2012-03-09 | 2018-03-08 | 株式会社リコー | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
| US11049215B2 (en) | 2012-03-09 | 2021-06-29 | Ricoh Company, Ltd. | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium |
| US9607358B2 (en) | 2012-03-09 | 2017-03-28 | Ricoh Company, Limited | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium |
| KR101407119B1 (en) | 2012-09-03 | 2014-06-13 | 멀티펠스 주식회사 | Camera system using super wide angle camera |
| US9253411B2 (en) | 2013-08-15 | 2016-02-02 | Ricoh Company, Limited | Image processing apparatus, image processing method and image communication system |
| JP2015037279A (en) * | 2013-08-15 | 2015-02-23 | 株式会社リコー | Image processing system, image processing method, and image communication system |
| JP2015173420A (en) * | 2014-03-12 | 2015-10-01 | キヤノン株式会社 | Image recording apparatus, image recording method, program, and storage medium |
| JP2015207909A (en) * | 2014-04-21 | 2015-11-19 | 日本電信電話株式会社 | Encode method, encode device and encode program |
| JP2016127377A (en) * | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | Image processing apparatus and image processing method, image reproducer and image reproducing method and program |
| JP2016158160A (en) * | 2015-02-25 | 2016-09-01 | パイオニア株式会社 | Imaging device, control method, program and storage medium |
| US11985350B2 (en) | 2016-05-27 | 2024-05-14 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| CN114979648B (en) * | 2016-05-27 | 2024-02-13 | 松下电器（美国）知识产权公司 | Encoding method, decoding method, and encoding and decoding methods |
| CN114979650B (en) * | 2016-05-27 | 2024-02-13 | 松下电器（美国）知识产权公司 | Encoding device and decoding device |
| JPWO2017204185A1 (en) * | 2016-05-27 | 2019-03-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Encoding device, decoding device, encoding method, and decoding method |
| CN115037939B (en) * | 2016-05-27 | 2024-02-13 | 松下电器（美国）知识产权公司 | Encoding device and decoding device |
| CN115150619B (en) * | 2016-05-27 | 2024-02-13 | 松下电器（美国）知识产权公司 | Encoding device and decoding device |
| CN115150630B (en) * | 2016-05-27 | 2024-02-20 | 松下电器（美国）知识产权公司 | Encoding device and decoding device |
| CN109155854A (en) * | 2016-05-27 | 2019-01-04 | 松下电器（美国）知识产权公司 | Code device, decoding apparatus, coding method and coding/decoding method |
| US11985349B2 (en) | 2016-05-27 | 2024-05-14 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| WO2017204185A1 (en) * | 2016-05-27 | 2017-11-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Encoding device, decoding device, encoding method, and decoding method |
| US11134270B2 (en) | 2016-05-27 | 2021-09-28 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| CN114979647B (en) * | 2016-05-27 | 2024-02-13 | 松下电器（美国）知识产权公司 | Encoding device and decoding device |
| US11962804B2 (en) | 2016-05-27 | 2024-04-16 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| CN114979650A (en) * | 2016-05-27 | 2022-08-30 | 松下电器（美国）知识产权公司 | Encoding device and decoding device |
| CN114979648A (en) * | 2016-05-27 | 2022-08-30 | 松下电器（美国）知识产权公司 | Encoding method, decoding method, and encoding and decoding method |
| CN114979647A (en) * | 2016-05-27 | 2022-08-30 | 松下电器（美国）知识产权公司 | Encoding device and decoding device |
| CN115037939A (en) * | 2016-05-27 | 2022-09-09 | 松下电器（美国）知识产权公司 | Encoding device and decoding device |
| CN115150619A (en) * | 2016-05-27 | 2022-10-04 | 松下电器（美国）知识产权公司 | Encoding device and decoding device |
| CN115150630A (en) * | 2016-05-27 | 2022-10-04 | 松下电器（美国）知识产权公司 | Encoding device and decoding device |
| US10819980B2 (en) | 2016-11-15 | 2020-10-27 | Kddi Corporation | Moving image coding device, moving image decoding device, and program |
| WO2018092409A1 (en) * | 2016-11-15 | 2018-05-24 | Kddi株式会社 | Moving image coding device, moving image decoding device, and program |
| JP2018082274A (en) * | 2016-11-15 | 2018-05-24 | Kddi株式会社 | Moving image encoding apparatus, moving image decoding apparatus, and program |
| JP2019009508A (en) * | 2017-06-20 | 2019-01-17 | キヤノン株式会社 | Image processing apparatus, control method thereof, imaging apparatus, and monitoring system |
| JP6996300B2 (en) | 2018-01-04 | 2022-01-17 | 富士通株式会社 | Video coding device, video coding method, and computer program for video coding |
| US10757421B2 (en) | 2018-01-04 | 2020-08-25 | Fujitsu Limited | Information processing device, moving image coding method, and recording medium on which computer program for moving image coding is recorded |
| JP2019121905A (en) * | 2018-01-04 | 2019-07-22 | 富士通株式会社 | Moving image encoding device, moving image encoding method and computer program for moving image encoding |
| JP7211492B2 (en) | 2019-03-29 | 2023-01-24 | 日本電気株式会社 | Imaging system and imaging method |
| JPWO2020202881A1 (en) * | 2019-03-29 | 2020-10-08 | ||
| JP7079822B2 (en) | 2020-07-30 | 2022-06-02 | 株式会社バンダイナムコエンターテインメント | Game system and video generation method for posting |
| JP2020179251A (en) * | 2020-07-30 | 2020-11-05 | 株式会社バンダイナムコエンターテインメント | Game system, imaging apparatus, game apparatus, and program |
| WO2024117148A1 (en) * | 2022-11-30 | 2024-06-06 | 興和株式会社 | Multiplexer |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5268743B2 (en) | 2013-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5268743B2 (en) | Image communication system | |
| EP2002649B1 (en) | Electronic video image stabilization | |
| JP3870124B2 (en) | Image processing apparatus and method, computer program, and computer-readable storage medium | |
| US9756328B2 (en) | System, terminal, and method for dynamically adjusting video | |
| US11330262B2 (en) | Local image enhancing method and apparatus | |
| US9544616B2 (en) | Video transmission apparatus | |
| US8953046B2 (en) | Information processing apparatus for selecting a camera to be used to generate a virtual viewpoint video from images shot by a plurality of cameras | |
| JP6160357B2 (en) | Image processing apparatus, image processing method, and image communication system | |
| JP5583992B2 (en) | Signal processing device | |
| US10593013B2 (en) | Image processing apparatus and method for controlling the same, imaging apparatus, and monitoring system | |
| JP5340772B2 (en) | Image communication system | |
| JP2019106708A (en) | Efficient blending using encoder | |
| JP2013187769A (en) | Encoder | |
| JP2011023885A (en) | Video encoder and video encoding method | |
| JP5473903B2 (en) | Method and system for processing images | |
| JP7299690B2 (en) | Image processing device and its control method | |
| JP2008011079A (en) | Moving picture encoding device, moving picture decoding device, and moving picture transmission system | |
| WO2019167546A1 (en) | Video coding device and video coding method | |
| JP6857088B2 (en) | Image processing equipment and its control method, imaging equipment, monitoring system | |
| JP7336185B2 (en) | Image processing device and image processing method | |
| JP2014110509A (en) | Image encoding device and image encoding method | |
| JP2018107683A (en) | Dynamic image coding device and dynamic image decoding device | |
| JP2019075685A (en) | Image encoding apparatus, image encoding method, and program | |
| JP2004297266A (en) | Moving picture compressor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120910 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121009 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130326 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130507 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5268743 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |