JP2019075685A - Image encoding apparatus, image encoding method, and program - Google Patents

Image encoding apparatus, image encoding method, and program Download PDF

Info

Publication number
JP2019075685A
JP2019075685A JP2017200397A JP2017200397A JP2019075685A JP 2019075685 A JP2019075685 A JP 2019075685A JP 2017200397 A JP2017200397 A JP 2017200397A JP 2017200397 A JP2017200397 A JP 2017200397A JP 2019075685 A JP2019075685 A JP 2019075685A
Authority
JP
Japan
Prior art keywords
image
partial image
partial
coding
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017200397A
Other languages
Japanese (ja)
Inventor
剛 横溝
Takeshi Yokomizo
剛 横溝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017200397A priority Critical patent/JP2019075685A/en
Publication of JP2019075685A publication Critical patent/JP2019075685A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

To reduce image quality deterioration at a time of changing a position of a partial image corresponding to a partial region of a captured image.SOLUTION: The image encoding apparatus includes: encoding means for encoding a frame of a partial image corresponding to a partial area of a captured image captured by imaging means using at least either of intra-frame encoding and inter-frame encoding; and output means for outputting the partial image encoded by the encoding means. The encoding means encodes a second partial image without using the inter-frame encoding when a state is changed from a state where a first partial image is output by the output means to a state where the second partial image of a region different form the first partial image is output by the output means.SELECTED DRAWING: Figure 5

Description

本発明は、画像符号化装置、画像符号化方法及びプログラムに関する。   The present invention relates to an image coding apparatus, an image coding method, and a program.

従来、ネットワークや専用線を介して、遠隔操作により監視カメラを制御し、映像を監視する監視システムが知られている。この監視システムの中には、長時間録画やスムーズな映像配信を行うため、動画像の符号化を行い配信データサイズの削減を実現するものが存在する。符号化方式としては、例えば、同一フレーム内の相関を用いたフレーム内符号化方式(イントラ予測を用いた符号化方式)と、前後のフレーム間の相関を用いたフレーム間符号化方式(インター予測を用いた符号化方式)が知られている。   2. Description of the Related Art Conventionally, there is known a monitoring system which controls a monitoring camera by remote control via a network or a dedicated line to monitor an image. Among such monitoring systems, there are systems for encoding moving images to realize reduction of the distribution data size in order to perform long-time recording and smooth video distribution. As a coding method, for example, an intra-frame coding method using an intra-frame correlation (coding method using intra prediction) and an inter-frame coding method using an inter-frame correlation (inter prediction) Encoding method using the.

この映像配信方式では、フレーム内符号化された少なくとも一枚のIフレームと、フレーム間符号化された複数枚のPフレーム及びBフレームから成るグループをグループオブピクチャ(GOP)と呼び、GOP毎に出力する。また、Iフレームは単独で復号されるが、PフレームはIフレーム及びこれより前のPフレームを基に復号される。BフレームはIフレーム及び前後のPフレームを基に復号される。さらに、GOP長が短い場合、映像の再生または停止などのシークをスムーズに行うことが可能だが、情報量が多いIフレームの間隔が短くなるためデータサイズが大きくなる。そこで、GOP長を数十秒と長くすることでデータサイズをより小さくする機能がある。   In this video delivery method, a group consisting of at least one intraframe encoded I frame and a plurality of interframe encoded P frames and B frames is called a group of pictures (GOP), and each GOP is Output. Also, I-frames are decoded alone, but P-frames are decoded based on I-frames and P-frames prior to this. B frames are decoded based on I frames and P frames before and after. Furthermore, when the GOP length is short, it is possible to smoothly perform seek such as reproduction or stop of video, but the data size becomes large because the interval of I frames having a large amount of information becomes short. Therefore, there is a function to make the data size smaller by lengthening the GOP length to several tens of seconds.

このような機能を有する監視システムでは、配信する映像のデータサイズを抑えることができ、スムーズな映像配信が可能となる。しかし、Pフレームにおいてシーンチェンジ等が発生し、大きく映像が変化すると、フレーム間符号化方式の高い圧縮率を維持することができなくなる。結果として、データ量が増加し、画質も劣化する場合がある。これに対し、特許文献1には、シーンチェンジを検知した場合、フレーム間符号化ではなく、フレーム内符号化によって映像を圧縮する技術が公開されている。   In the monitoring system having such a function, the data size of the video to be distributed can be suppressed, and smooth video distribution becomes possible. However, if a scene change or the like occurs in the P frame and the image changes significantly, it is not possible to maintain the high compression rate of the interframe coding scheme. As a result, the amount of data may increase and the image quality may also deteriorate. On the other hand, Patent Document 1 discloses a technique for compressing an image by intraframe coding instead of interframe coding when a scene change is detected.

特開平10−51784号公報Unexamined-Japanese-Patent No. 10-51784

しかしながら、特許文献1に開示された技術は、シーンチェンジ後のフレームがBフレームの場合に、その後に現れるIフレームまたはPフレームに変更するため、シーンが変更された直後の映像そのものはIフレームにならない。したがって、シーン変更直後の映像を配信することができない。また、Pフレームの場合はそのまま配信されるため、差分の大きい映像がPフレームになってしまい、画質が劣化するという課題が残る。特に、全方位カメラにおけるデジタルPTZ画像の位置を連続して変更した場合、位置変更直後の差分の大きいPフレームが多数送信されてしまうという問題がある。   However, when the frame after the scene change is a B frame, the technique disclosed in Patent Document 1 changes to an I frame or a P frame that appears later, so the video itself immediately after the scene change is an I frame. It does not. Therefore, the video immediately after the scene change can not be distributed. Further, in the case of the P frame, since the image is distributed as it is, the video having a large difference becomes the P frame, and the problem of the image quality deteriorating remains. In particular, when the position of the digital PTZ image in the omnidirectional camera is continuously changed, there is a problem that many P frames having a large difference immediately after the position change are transmitted.

本発明はこのような問題点に鑑みなされたもので、撮像画像の一部の領域に対応する部分画像から他の領域に対応した部分画像に切り替わる際の画質劣化を低減することを目的とする。   The present invention has been made in view of such problems, and it is an object of the present invention to reduce image quality deterioration when switching from a partial image corresponding to a partial region of a captured image to a partial image corresponding to another region. .

そこで、本発明は、画像符号化装置であって、撮像手段によって撮像された撮像画像の一部の領域に対応する部分画像のフレームをフレーム内符号化又はフレーム間符号化の少なくとも何れかを用いて符号化する符号化手段と、前記符号化手段によって符号化された前記部分画像を出力する出力手段とを有し、前記符号化手段は、前記出力手段によって第1の部分画像が出力された状態から、前記出力手段によって前記第1の部分画像と異なる領域の第2の部分画像が出力される状態へと変わる場合に、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする。   Therefore, the present invention is an image coding apparatus, which uses at least one of intraframe coding and interframe coding for a frame of a partial image corresponding to a partial region of a captured image captured by an imaging unit. Encoding means for encoding the image and output means for outputting the partial image encoded by the encoding means, the encoding means outputting the first partial image by the output means When the state is changed to a state in which a second partial image of an area different from the first partial image is output by the output unit, the second partial image may be output without using the interframe coding. It is characterized by encoding.

本発明によれば、撮像画像の一部の領域に対応する部分画像の位置変更の際の画質劣化を低減することができる。   According to the present invention, it is possible to reduce image quality deterioration at the time of changing the position of a partial image corresponding to a partial region of a captured image.

第1の実施形態に係るカメラシステムの全体図である。FIG. 1 is an overall view of a camera system according to a first embodiment. カメラサーバ装置のハードウェア構成図である。It is a hardware block diagram of a camera server apparatus. カメラサーバ装置の機能構成図である。It is a function block diagram of a camera server apparatus. ビューワの一例を示す図である。It is a figure which shows an example of a viewer. 位置指定の場合の符号化方式決定処理を示すフローチャートである。It is a flow chart which shows coding method decision processing in the case of position specification. 方向指定の場合の符号化方式決定処理を示すフローチャートである。It is a flow chart which shows coding method decision processing in the case of direction specification. 第2の実施形態に係る符号化方式決定処理を示すフローチャートである。It is a flowchart which shows the encoding method decision processing which concerns on 2nd Embodiment. 第3の実施形態に係る符号化方式決定処理を示すフローチャートである。It is a flow chart which shows coding method decision processing concerning a 3rd embodiment. 閾値テーブルの一例を示す図である。It is a figure which shows an example of a threshold value table.

以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態において、Iフレームとは当該フレーム内の各ブロックにおいてインター予測を用いずに、イントラ予測のみを用いて符号化されるフレームである。このようなフレームはイントラフレームやキーフレームとも呼ばれる。また、Pフレーム及びBフレームは、当該フレームの少なくとも一部においてインター予測を用いて符号化されるフレームである。このようなフレームはインターフレームとも呼ばれる。   Hereinafter, embodiments of the present invention will be described based on the drawings. In the embodiment, an I frame is a frame encoded using only intra prediction without using inter prediction in each block in the frame. Such a frame is also called an intra frame or a key frame. In addition, P frame and B frame are frames encoded using inter prediction in at least a part of the frame. Such a frame is also called an inter frame.

(第1の実施形態)
図1は、第1の実施形態に係るカメラシステムの全体図である。カメラシステムは、カメラサーバ装置100とクライアント装置110とを有している。カメラサーバ装置100とクライアント装置110は、ネットワーク120を介して相互に接続されている。カメラサーバ装置100は、画像符号化装置の一例である。カメラサーバ装置100は、撮影画角可変のカメラを備え、撮影した画像を、ネットワーク120を介して配信する。クライアント装置110は、カメラサーバ装置100にアクセスし、画像を取得しながら、パン(P)・チルト(T)・ズーム(Z)及びフォーカスや露出等の画質パラメータを制御し、プリセット設定する。それぞれの詳細については後述する。なお、説明の簡略化のためにカメラサーバ装置100は、1台としているが、2台以上であってもよい。またクライアント装置110以外にもカメラサーバ装置100にアクセスして画像の受信や蓄積を行う他のクライアントがあってもよい。ネットワーク120はEthernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワークの通信規格、規模、構成は、実施形態に限定されるものではない。他の例としては、ネットワーク120は、インターネットやLAN(Local Ara Network)等であってもよい。
First Embodiment
FIG. 1 is an overall view of a camera system according to the first embodiment. The camera system includes a camera server device 100 and a client device 110. The camera server apparatus 100 and the client apparatus 110 are mutually connected via the network 120. The camera server device 100 is an example of an image coding device. The camera server device 100 includes a camera with a variable shooting angle of view, and distributes a captured image via the network 120. The client device 110 accesses the camera server device 100, controls image quality parameters such as pan (P) / tilt (T) / zoom (Z) and focus and exposure while acquiring an image, and performs preset setting. The details of each will be described later. In addition, although the camera server apparatus 100 is set to one for simplification of description, two or more may be sufficient. In addition to the client device 110, there may be other clients that access the camera server device 100 to receive and store images. The network 120 is configured of a plurality of routers, switches, cables, and the like that satisfy communication standards such as Ethernet (registered trademark). The communication standard, the scale, and the configuration of the network are not limited to the embodiment. As another example, the network 120 may be the Internet, a LAN (Local Ara Network), or the like.

図2は、カメラサーバ装置100のハードウェア構成図である。CPU200、一次記憶装置201、二次記憶装置202、画像キャプチャI/F203、雲台制御I/F204、ネットワークI/F205が内部バス210を介して相互に接続されている。一次記憶装置201は、RAMに代表される書き込み可能な高速の記憶装置で、OSや各種プログラム及び各種データがロードされ、またOSや各種プログラムの作業領域としても使用される。二次記憶装置202は、HDD、フラッシュメモリ、SSD(Solid State Drive)等に代表される不揮発性を持った記憶装置で、OSや各種プログラム及び各種データの永続的な記憶領域として使用される。また、二次記憶装置202は、短期的な各種データの記憶領域としても使用される。なお、後述するカメラサーバ装置100の機能や処理は、CPU200が二次記憶装置202に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。   FIG. 2 is a hardware configuration diagram of the camera server device 100. As shown in FIG. A CPU 200, a primary storage device 201, a secondary storage device 202, an image capture I / F 203, a camera platform control I / F 204, and a network I / F 205 are mutually connected via an internal bus 210. The primary storage device 201 is a writable high-speed storage device represented by a RAM. The primary storage device 201 is loaded with an OS, various programs and various data, and is also used as a work area of the OS and various programs. The secondary storage device 202 is a non-volatile storage device represented by an HDD, a flash memory, an SSD (Solid State Drive), etc., and is used as a permanent storage area of the OS, various programs and various data. The secondary storage device 202 is also used as a storage area for various types of data in the short term. The functions and processing of the camera server device 100 described later are realized by the CPU 200 reading a program stored in the secondary storage device 202 and executing this program.

画像キャプチャI/F203には、CCDやCMOSからなる画像センサ206が接続されている。画像キャプチャI/F203は、画像センサ206から取得した画像データを画質パラメータに従って画像処理し、所定のフォーマットに変換・圧縮して一次記憶装置201に転送する。雲台制御I/F204には、レンズ/雲台207が接続されている。雲台制御I/F204は、パン・チルト・ズーム機構を制御して撮影位置や撮影画角を変更する。ネットワークI/F205は前述のネットワーク120と接続するためのI/Fであり、Ethernet等の通信媒体を介してクライアント装置110等との通信を担う。   Connected to the image capture I / F 203 is an image sensor 206 composed of a CCD or CMOS. The image capture I / F 203 performs image processing on the image data acquired from the image sensor 206 according to the image quality parameter, converts it into a predetermined format, compresses it, and transfers it to the primary storage device 201. A lens / head unit 207 is connected to the head control I / F 204. A pan head control I / F 204 controls a pan / tilt / zoom mechanism to change a shooting position and a shooting angle of view. A network I / F 205 is an I / F for connecting to the above-described network 120, and is responsible for communication with the client apparatus 110 or the like via a communication medium such as Ethernet.

図3は、カメラサーバ装置100の機能構成図である。カメラサーバ装置100は、撮像処理部300と、PTZ処理部301と、プリセット制御部302と、通信処理部303と、を有している。撮像処理部300は、画像センサ206で生成された画像データを画像キャプチャI/F203を経由して取得する。なお、本実施形態においては、画像データは、動画データであるものとする。但し、画像データは連続した静止画であってもよい。撮像処理部300はさらに、プリセット制御部302から指定された画質パラメータに従って画像処理と符号化処理を行い、一次記憶装置201に保存する。また、撮像処理部300は、符号化処理を行う前に、画像データの一部を切り出すことで、指定された切り出し位置及び切り出し画角のデジタルPTZ画像を生成する。また、カメラサーバ装置100は、レンズ/雲台207として全周魚眼レンズを搭載した全方位カメラの場合、360度円環あるいは円形などの魚眼画像を撮影することができる。この場合、撮像処理部300は、撮影された魚眼画像に対して幾何変換処理を行なうことにより、パノラマ展開画像や平面透視投影画像へ変換することができる。   FIG. 3 is a functional block diagram of the camera server apparatus 100. As shown in FIG. The camera server device 100 includes an imaging processing unit 300, a PTZ processing unit 301, a preset control unit 302, and a communication processing unit 303. The imaging processing unit 300 acquires image data generated by the image sensor 206 via the image capture I / F 203. In the present embodiment, the image data is moving image data. However, the image data may be continuous still images. The imaging processing unit 300 further performs image processing and encoding processing in accordance with the image quality parameters specified by the preset control unit 302, and stores the image processing and encoding processing in the primary storage device 201. In addition, the imaging processing unit 300 cuts out part of the image data before performing encoding processing, thereby generating a digital PTZ image of the specified cutout position and cutout angle of view. Further, in the case of an omnidirectional camera equipped with an all-around fisheye lens as the lens / head unit 207, the camera server apparatus 100 can capture a fisheye image such as a 360 degree circular or circular shape. In this case, the imaging processing unit 300 can convert the captured fisheye image into a panoramic developed image or a planar perspective projection image by performing a geometric conversion process.

PTZ処理部301は、クライアント装置110上のビューワ等で指定されたデジタルPTZ画像の切り出し位置や切り出し画角の情報をネットワーク120経由で取得し、撮像処理部300にその情報を設定する。これにより、カメラサーバ装置100は、所定のデジタルPTZ画像を生成することができる。PTZ処理部301が切り出し位置及び切り出し画角を撮像処理部300に再設定するまで、撮像処理部300は、前回設定した切り出し位置及び切り出し画角のデジタルPTZ画像を生成する。また、PTZ処理部301は、フレームの符号化方式を、フレーム内符号化にするかフレーム間符号化にするかを判断し、決定した符号化方式を撮像処理部300に設定する。カメラサーバ装置100が全方位カメラである場合、PTZ処理部301は、魚眼画像から切り出したデジタルPTZ画像を生成する。   The PTZ processing unit 301 acquires information on the cutout position and cutout angle of view of the digital PTZ image designated by the viewer or the like on the client device 110 via the network 120, and sets the information in the imaging processing unit 300. Thereby, the camera server apparatus 100 can generate a predetermined digital PTZ image. The imaging processing unit 300 generates a digital PTZ image of the cutout position and the cutout angle of view set previously, until the PTZ processing unit 301 resets the cutout position and the cutout angle of view to the imaging processing unit 300. In addition, the PTZ processing unit 301 determines whether the frame coding method is intraframe coding or interframe coding, and sets the determined coding method in the imaging processing unit 300. When the camera server apparatus 100 is an omnidirectional camera, the PTZ processing unit 301 generates a digital PTZ image cut out from a fisheye image.

プリセット制御部302は、クライアント装置110から予め設定されたプリセット位置やプリセット巡回設定、またはイベントによるプリセット移動設定に応じて、雲台制御I/F204を経由しレンズ/雲台207を制御する。これにより、パン・チルト・ズーム位置を制御することができる。プリセット制御部302はまた、プリセットとして保存されているフォーカス、露出、ホワイトバランス、デイナイト、暗部補正、ノイズリダクション、シャープネス、色の濃さ等の画質パラメータを、撮像処理部300に設定する。   The preset control unit 302 controls the lens / camera platform 207 via the camera platform control I / F 204 in accordance with a preset position and preset traveling setting preset from the client apparatus 110 or a preset movement setting based on an event. Thereby, the pan, tilt and zoom positions can be controlled. The preset control unit 302 also sets image quality parameters, such as focus, exposure, white balance, darkening, dark area correction, noise reduction, sharpness, and color saturation, stored in the preset, in the imaging processing unit 300.

通信処理部303は、各種クライアントからのリクエストに応じ、一次記憶装置201に保存されている画像データを、ネットワークI/F205を制御し、ネットワーク120を介して各種クライアントへ送信する。また、通信処理部303は、各種クライアントから送られるパン・チルト・ズーム位置や画質パラメータをプリセット制御部302に伝え、受信したプリセット設定やプリセット巡回設定を二次記憶装置202に保存する。   The communication processing unit 303 controls the network I / F 205 and transmits the image data stored in the primary storage device 201 to the various clients via the network 120 in response to requests from the various clients. Further, the communication processing unit 303 transmits pan / tilt / zoom positions and image quality parameters sent from various clients to the preset control unit 302, and stores the received preset settings and preset tour settings in the secondary storage device 202.

図4は、クライアント装置110に表示されるビューワの一例を示す図である。ユーザは、ビューワ400を操作することで、デジタルPTZの切り出し位置や画角を設定し、撮像画像の一部をデジタルPTZ画像として切り出して、ビューワ400上に表示することができる。ここで、デジタルPTZ画像は、撮像画像の一部の領域に対応する部分画像の一例である。ユーザは、クライアント装置110上のビューワ400を操作することで、デジタルPTZの切り出し位置や切り出し画角を変更することができる。   FIG. 4 is a view showing an example of a viewer displayed on the client device 110. As shown in FIG. By operating the viewer 400, the user can set the cut-out position and the angle of view of the digital PTZ, cut out a part of the captured image as a digital PTZ image, and display it on the viewer 400. Here, the digital PTZ image is an example of a partial image corresponding to a partial area of a captured image. By operating the viewer 400 on the client device 110, the user can change the cutout position and the cutout angle of view of the digital PTZ.

デジタルPTZの切り出し位置や切り出し画角を変更する方法としては、主に移動後の切り出し位置と切り出し画角を指定する「位置指定」と、移動する方向を指定する「方向指定」、ズーム倍率(画角)を変更する「ズーム指定」がある。クライアント装置110からネットワーク120経由で「位置指定」のコマンドを受信した場合、PTZ処理部301は、指定された切り出し位置及び切り出し画角を撮像処理部300に設定する。これにより、撮像処理部300は、指定された切り出し位置及び切り出し画角の映像を直ちに生成する。   As a method of changing the cutout position and cutout angle of view of the digital PTZ, “position specification” mainly specifying the cutout position and cutout angle after movement, “direction specification” to specify movement direction, zoom magnification ( There is a "zoom specified" to change the angle of view. When a “position designation” command is received from the client device 110 via the network 120, the PTZ processing unit 301 sets the designated cutout position and cutout angle in the imaging processing unit 300. Thereby, the imaging processing unit 300 immediately generates an image of the specified cutout position and cutout angle of view.

受信したコマンドが「方向指定」の場合、PTZ処理部301は、指定された方向に移動させた切り出し位置を一定の間隔で撮像処理部300に設定する。PTZ処理部301は、クライアント装置110からネットワーク120経由で取得するスピード値から移動させる大きさを算出する。そして、PTZ処理部301は、クライアント装置110から停止コマンドを受信すると、指定された方向への切り出し位置の移動を停止する。これにより、撮像処理部300は、切り出し位置がフレーム毎に徐々に移動していくような連続的なデジタルPTZ画像(映像)を生成することができる。   When the received command is “direction designation”, the PTZ processing unit 301 sets the cutout position moved in the designated direction in the imaging processing unit 300 at a constant interval. The PTZ processing unit 301 calculates the size to be moved from the speed value acquired from the client apparatus 110 via the network 120. Then, when the PTZ processing unit 301 receives the stop command from the client device 110, the PTZ processing unit 301 stops the movement of the cutout position in the designated direction. Thus, the imaging processing unit 300 can generate a continuous digital PTZ image (video) in which the cutout position gradually moves for each frame.

受信したコマンドが「ズーム指定」の場合、PTZ処理部301は、指定された変化量に応じて、切り出し画角を一定の間隔で撮像処理部300に設定する。PTZ処理部301は、クライアント装置110から停止コマンドを受信すると、指定された変化量での倍率の変化を停止する。これにより、撮像処理部300は、ズーム倍率がフレーム毎に徐々に増加又は減少するような連続的なデジタルPTZ画像(映像)を生成することができる。   When the received command is “zoom designation”, the PTZ processing unit 301 sets the cutout view angle in the imaging processing unit 300 at a constant interval according to the designated change amount. When the PTZ processing unit 301 receives the stop command from the client device 110, the PTZ processing unit 301 stops the change of the magnification with the specified change amount. Thereby, the imaging processing unit 300 can generate a continuous digital PTZ image (video) in which the zoom magnification gradually increases or decreases for each frame.

次に、ビューワ400を用いて位置指定、方向指定及びズーム指定を行う方法について説明する。ビューワ400の下側には、魚眼画像410が表示されている。さらに、ビューワ400の上側には、魚眼画像410における切出し位置411で切り出されたデジタルPTZ画像420が表示されている。ここで、デジタルPTZ画像420は、撮像画像としての魚眼画像410の一部の領域に対応する部分画像である。   Next, a method of performing position specification, direction specification, and zoom specification using the viewer 400 will be described. Below the viewer 400, a fisheye image 410 is displayed. Furthermore, on the upper side of the viewer 400, the digital PTZ image 420 cut out at the cut-out position 411 in the fisheye image 410 is displayed. Here, the digital PTZ image 420 is a partial image corresponding to a partial area of the fisheye image 410 as a captured image.

ユーザは、切り出し位置411を変更することで、デジタルPTZ画像420のパン、チルト位置を変更することができる。また、切り出し位置411の円の大きさを変更することで、デジタルPTZ画像420のズームを変更することができる。ユーザは、パン用位置指定バー430のスライダー431及びチルト用位置指定バー440のスライダー441を移動させることで、デジタルPTZ画像420のパン、チルト位置を変更することができる。また、ユーザは、ズーム用位置指定バー450のスライダー451を移動させることで、デジタルPTZ画像420のズームを変更することができる。スライダー451を上方向に移動させるとズームイン、下方向に移動させるとズームアウトする。以上の方法により、位置指定を行うことができる。   The user can change the pan and tilt positions of the digital PTZ image 420 by changing the cutout position 411. Further, by changing the size of the circle at the cutout position 411, the zoom of the digital PTZ image 420 can be changed. The user can change the pan and tilt positions of the digital PTZ image 420 by moving the slider 431 of the pan position specification bar 430 and the slider 441 of the tilt position specification bar 440. Also, the user can change the zoom of the digital PTZ image 420 by moving the slider 451 of the zoom position specification bar 450. When the slider 451 is moved upward, it zooms in, and when it is moved downward, it zooms out. Position specification can be performed by the above method.

なお、図示していないが、他の方法によって位置指定を行ってもよい。例えば、デジタルPTZ画像420上で表示する位置を取り囲むことで、切り出し位置及び切り出し画角を指定させてもよい。また、PTZ処理部301は、プリセット制御部302から通知されたプリセット位置を撮像処理部300に設定してもよい。   Although not shown, position designation may be performed by another method. For example, by surrounding the position to be displayed on the digital PTZ image 420, the cutout position and the cutout angle of view may be specified. Further, the PTZ processing unit 301 may set the preset position notified from the preset control unit 302 in the imaging processing unit 300.

次に、方向指定の方法について説明する。ユーザは、ベクトル460の向きを指定することで、デジタルPTZ画像420の移動方向を指定することができる。また、ユーザは、ベクトル460の長さを変更することによって、スピード値を指定することができる。以上の方法により方向指定を行うことができるが、他の方法を用いてもよい。例えば、ベクトル460のかわりに、パン、チルトの方向を指定可能なボタンと、スピード値を指定可能なスライダーを用意してもよい。また、ズーム指定の場合、倍率を指定可能なボタンと、スピード値を指定可能なスライダーを用意し、これらを用いることにより、倍率の変化量(スピード)を指定することができる。   Next, the method of direction specification will be described. The user can specify the moving direction of the digital PTZ image 420 by specifying the direction of the vector 460. Also, the user can specify a speed value by changing the length of the vector 460. Although the direction specification can be performed by the above method, other methods may be used. For example, instead of the vector 460, a button capable of specifying the pan and tilt directions and a slider capable of specifying the speed value may be prepared. Further, in the case of zoom designation, a button capable of designating magnification and a slider capable of designating a speed value can be prepared, and the change amount (speed) of magnification can be designated by using these.

図5は、カメラサーバ装置100による、ユーザの指定方法が位置指定の場合の符号化方式決定処理を示すフローチャートである。S500において、PTZ処理部301は、受信したコマンドが位置指定か否かを確認する。PTZ処理部301は、位置指定の場合には(S500でYES)、処理をS501へ進める。PTZ処理部301は、位置指定でない場合には(S500でNO)、処理を終了する。なお、受信したコマンドが方向指定の場合については、図6を参照しつつ後述する。S501において、PTZ処理部301は、撮像処理部300に対してデジタルPTZの切り出し位置及び切り出し画角の設定と同時にフレーム符号化方式を、フレーム内符号化に設定する。これに対応し、撮像処理部300は、位置指定に係るデジタルPTZ画像を、フレーム内符号化を用いて符号化する。すなわち、撮像処理部300は、位置指定に係るデジタルPTZ画像を、フレーム間符号化を用いずに符号化する。   FIG. 5 is a flowchart showing the coding method determination process by the camera server apparatus 100 when the user specification method is position specification. In S500, the PTZ processing unit 301 confirms whether or not the received command is position specification. In the case of position designation (YES in S500), the PTZ processing unit 301 advances the process to S501. If the PTZ processing unit 301 does not specify a position (NO in S500), the process ends. The case where the received command is direction designation will be described later with reference to FIG. In step S501, the PTZ processing unit 301 sets the frame coding method to intraframe coding simultaneously with the setting of the cutout position and cutout angle of the digital PTZ in the imaging processing unit 300. In response to this, the imaging processing unit 300 encodes the digital PTZ image relating to the position specification using intra-frame coding. That is, the imaging processing unit 300 encodes the digital PTZ image relating to the position specification without using interframe coding.

このように、カメラサーバ装置100は、切り出し位置及び切り出し画角の設定と同時にフレーム内符号化に切り替える。したがって、シーンが大きく変更することが多いデジタルPTZの切り出し位置及び切り出し画角を変更した際に、変更後の画像を差分の大きいフレーム間符号化のPフレームではなく、フレーム内符号化のIフレームとして生成することができる。   As described above, the camera server apparatus 100 switches to intraframe coding simultaneously with setting of the cutout position and the cutout angle of view. Therefore, when the cutout position and the cutout angle of view of the digital PTZ where the scene is often largely changed, the image after the change is not the P frame of inter-frame coding with a large difference, but the I frame of intra-frame coding Can be generated as

図6は、カメラサーバ装置100による、ユーザの指定方法が方向指定の場合の符号化方式決定処理を示すフローチャートである。S600において、PTZ処理部301は、受信したコマンドが方向指定か否かを確認する。ここで、方向指定は、デジタルPTZ画像とする一部の領域の位置を徐々に移動する移動指示の一例である。PTZ処理部301は、方向指定の場合には(S600でYES)、処理をS601へ進める。PTZ処理部301は、受信したコマンドが方向指定でない場合には(S600でNO)、処理を終了する。S601において、PTZ処理部301は、処理時点における画質パラメータを一次記憶装置201に保存した上で、画質を落とすように、撮像処理部300に設定する画質パラメータを変更する。本実施形態においては、PTZ処理部301は、処理時点における画質から10%画質を落とすように画質パラメータを変更することとする。なお、画質パラメータの変更方法は実施形態に限定されるものではない。他の例としては、PTZ処理部301は、処理時点における画質が既に一定以下の画質の場合はそのままにすることとしてもよい。なお、S601の処理は、移動指示としての方向指定を受け付けたタイミング以降に出力するデジタルPTZ画像の画質を、方向指定を受け付けたタイミングより前に出力したデジタルPTZ画像に比べて低くなるように変更する画質変更処理の一例である。   FIG. 6 is a flowchart showing a coding method determination process performed by the camera server apparatus 100 when the user specification method is direction specification. In S600, the PTZ processing unit 301 confirms whether or not the received command is direction specification. Here, the direction specification is an example of a movement instruction to gradually move the position of a partial area to be a digital PTZ image. In the case of direction specification (YES in S600), the PTZ processing unit 301 advances the process to S601. If the received command is not direction designation (NO in S600), the PTZ processing unit 301 ends the process. In step S601, the PTZ processing unit 301 saves the image quality parameters at the time of processing in the primary storage device 201, and then changes the image quality parameters set in the imaging processing unit 300 so as to degrade the image quality. In the present embodiment, the PTZ processing unit 301 changes the image quality parameter so as to reduce the image quality by 10% from the image quality at the time of processing. The method of changing the image quality parameter is not limited to the embodiment. As another example, the PTZ processing unit 301 may leave the image quality as it is when the image quality at the processing time is already less than a certain level. In the process of S601, the image quality of the digital PTZ image output after the timing at which the direction designation as the movement instruction is accepted is changed to be lower than that of the digital PTZ image output before the timing at which the direction designation is accepted. Image quality change processing.

次に、S602において、PTZ処理部301は、方向指定に応じた、S602の処理時点における移動後のデジタルPTZ画像の切り出し位置と、移動開始時のデジタルPTZ画像の切り出し位置と、の差分を求める。PTZ処理部301はまた、方向指定に応じた、S602の処理時点における移動後のデジタルPTZ画像の切り出し位置と、S602の処理時点に最も近いタイミングで出力されたIフレームとしてのデジタルPTZ画像の切り出し位置と、の差分を求める。ここで、Iフレームは、フレーム内符号化が行われた部分画像の一例である。以下においては、S602の処理時点に最も近いタイミングで出力されたIフレームを前回のIフレームと称することとする。そして、PTZ処理部301は、より小さい差分を選択し、選択した差分と予め設定された閾値とを比較する。ここで、閾値は、一次記憶装置201に予め設定されているものとする。PTZ処理部301は、差分が閾値以上の場合には(S602でYES)、処理をS603へ進める。PTZ処理部301は、差分が閾値未満の場合には(S602でNO)、処理をS605へ進める。   Next, in S602, the PTZ processing unit 301 obtains a difference between the cutout position of the digital PTZ image after movement at the processing time of S602 and the cutout position of the digital PTZ image at the start of movement according to direction specification. . Also, the PTZ processing unit 301 cuts out the digital PTZ image as the I-frame, which is output at the timing closest to the processing time of the processing timing of S602 and the processing position of the digital PTZ image after movement at the processing time of S602. Find the difference between position and Here, the I frame is an example of a partial image subjected to intraframe coding. In the following, the I frame output at the timing closest to the processing time of S602 will be referred to as the previous I frame. Then, the PTZ processing unit 301 selects a smaller difference, and compares the selected difference with a preset threshold. Here, it is assumed that the threshold is preset in the primary storage device 201. If the difference is equal to or larger than the threshold (YES in S602), the PTZ processing unit 301 advances the process to S603. If the difference is smaller than the threshold (NO in S602), the PTZ processing unit 301 advances the process to S605.

S603において、PTZ処理部301は、S603の処理時点において、前回のIフレームの生成のタイミングから一定時間以上経過しているか否かを判定する。ここで、一定時間は一次記憶装置201に予め設定されているものとする。なお、一定時間は、PTZ処理部301によって予め設定されているIフレーム間隔よりも短い期間とする。PTZ処理部301は、一定時間以上経過している場合には(S603でYES)、処理をS604へ進める。PTZ処理部301は、一定時間以上経過していない場合には(S603でNO)、処理をS605へ進める。S604において、PTZ処理部301は、フレーム符号化方式を、フレーム内符号化に設定する。   In step S603, the PTZ processing unit 301 determines whether or not a predetermined time or more has elapsed from the previous generation timing of the I frame at the processing time of step S603. Here, it is assumed that the predetermined time is set in advance in the primary storage device 201. Note that the fixed time is a period shorter than the I-frame interval preset by the PTZ processing unit 301. If the predetermined time or more has elapsed (YES in S603), the PTZ processing unit 301 advances the process to S604. The PTZ processing unit 301 advances the process to step S605 when the predetermined time or more has not elapsed (NO in step S603). In S604, the PTZ processing unit 301 sets the frame coding method to intraframe coding.

次に、S605において、PTZ処理部301は、クライアント装置110から、方向指定に応じた移動の停止指示を受け付けたか否かを判定する。PTZ処理部301は、停止指示を受け付けた場合には(S605でYES)、処理をS606へ進める。PTZ処理部301は、停止指示を受け付けなかった場合には(S605でNO)、処理をS602へ進める。S606において、PTZ処理部301は、一次記憶装置201に保存された画質パラメータを取得し、撮像処理部300に設定することで、画質パラメータを元の値に戻すことで画質を基に戻す。次に、S607において、PTZ処理部301は、停止時の映像生成時にフレーム符号化方式をフレーム内符号化に設定する。以上で処理が終了する。これにより、PTZ処理部301は、画質を元に戻す変更とIフレームを生成する変更を同時に行うことができる。なお、PTZ処理部301は、デジタルPTZ画像を切り出す領域に制限がある場合は、領域の端に到達した時点でS606へ処理を進めることとする。   Next, in step S605, the PTZ processing unit 301 determines whether an instruction to stop movement according to direction specification has been received from the client device 110. If the PTZ processing unit 301 receives a stop instruction (YES in S605), the PTZ processing unit 301 advances the process to S606. If the PTZ processing unit 301 does not receive the stop instruction (NO in S605), the PTZ processing unit 301 advances the process to S602. In step S606, the PTZ processing unit 301 obtains the image quality parameter stored in the primary storage device 201, and sets the image quality processing parameter to the original value by setting in the imaging processing unit 300, thereby restoring the image quality to the basis. Next, in S607, the PTZ processing unit 301 sets the frame coding method to intraframe coding at the time of video generation at the time of stop. Thus, the process ends. As a result, the PTZ processing unit 301 can simultaneously perform the change to restore the image quality and the change to generate the I frame. If there is a limitation in the area from which the digital PTZ image is cut out, the PTZ processing unit 301 advances the process to step S606 when the end of the area is reached.

なお、ズーム指定の場合の符号化方式決定処理は、図6を参照しつつ説明した方向指定の場合の符号化方式とほぼ同様である。ズーム指定の場合には、S602において、切り出し位置の差分に替えて、倍率(画角)の差分と閾値との比較を行えばよい。   The coding method determination process in the case of zoom specification is substantially the same as the coding method in the case of direction specification described with reference to FIG. In the case of zoom specification, in S602, the difference between the magnification (field angle) and the threshold value may be compared with the difference between the cutout positions.

以上のように、カメラサーバ装置100は、方向指定の場合には、重要度が低いと考えられる方向移動中の映像に対してデータサイズを抑えつつ、適切なタイミングでIフレームを生成することができる。そして、カメラサーバ装置100は、停止時には画質を戻し、Iフレームを生成することで、重要度が高い映像を鮮明に表示することができる。なお、本実施形態においては、S603において、一定時間経過した場合にIフレームを生成することとしたが、PTZ処理部301はさらに、この一定期間を、移動速度に応じて変更してもよい。   As described above, in the case of direction specification, the camera server apparatus 100 can generate an I frame at an appropriate timing while suppressing the data size for a moving image in a direction that is considered to be of low importance. it can. Then, the camera server apparatus 100 can clearly display the video with high importance by returning the image quality at the time of stopping and generating the I frame. In the present embodiment, the I frame is generated when a predetermined time has elapsed in S603, but the PTZ processing unit 301 may further change the predetermined period according to the moving speed.

以上のように、第1の実施形態に係るカメラサーバ装置100は、切り出し位置や切り出し画角の変更に応じて、符号化方式をフレーム内符号化に設定する。したがって、カメラサーバ装置100は、撮像画像の一部の領域に対応する第1の部分画像(デジタルPTZ画像)が出力された状態から他の領域に対応した第2の部分画像が出力される状態へと変わる際の画質劣化を低減することができる。   As described above, the camera server apparatus 100 according to the first embodiment sets the encoding scheme to intraframe encoding according to the change of the cutout position and the cutout angle of view. Therefore, in the camera server apparatus 100, a state in which a first partial image (digital PTZ image) corresponding to a partial area of a captured image is output and a second partial image corresponding to another area is output It is possible to reduce the image quality deterioration when changing to another.

第1の実施形態の第1の変形例としては、図6を参照しつつ説明した、方向指定の場合の符号化方式決定処理において画質を落とす処理は行わなくともよい。例えば、移動中の映像も重要である場合に有効である。   As a first modified example of the first embodiment, the process of reducing the image quality in the coding method determination process in the case of direction specification described with reference to FIG. 6 may not be performed. For example, it is effective when moving images are also important.

また、第2の変形例としては、PTZ処理部301は、映像情報の差分を用いてIフレームに切り替えるような機能を実行している間は、移動時又は停止時のIフレームへの切り替えを実行しないこととしてもよい。   Also, as a second modification, the PTZ processing unit 301 performs switching to the I frame at the time of movement or stop while executing the function of switching to the I frame using the difference of the video information. It is good not to execute.

また、第3の変形例としては、PTZ処理部301は、S602において、方向指定に応じた、S602の処理時点における移動後のデジタルPTZ画像の切り出し位置と、移動開始時のデジタルPTZ画像の切り出し位置と、の差分のみを求めてもよい。そして、PTZ処理部301は、この差分と閾値との比較を行ってもよい。また、他の例としては、PTZ処理部301は、方向指定に応じた、S602の処理時点における移動後のデジタルPTZ画像の切り出し位置と、前回のIフレームとしてのデジタルPTZ画像の切り出し位置と、の差分のみを求めることとしてもよい。そして、PTZ処理部301は、この差分と閾値との比較を行ってもよい。   As a third modification, the PTZ processing unit 301 cuts out the digital PTZ image cutout position after movement and the digital PTZ image at movement start time at the processing point of S602 in accordance with the direction specification in S602. Only the difference between the position and may be obtained. Then, the PTZ processing unit 301 may compare this difference with a threshold. Also, as another example, the PTZ processing unit 301 determines the cut-out position of the digital PTZ image after movement at the processing time of S602 and the cut-out position of the digital PTZ image as the previous I frame according to direction specification. It is also possible to obtain only the difference of. Then, the PTZ processing unit 301 may compare this difference with a threshold.

(第2の実施形態)
次に、第2の実施形態に係るカメラシステムについて、主に第1の実施形態に係るカメラシステムと異なる点を説明する。図7は、第2の実施形態に係るカメラサーバ装置100による、位置指定の場合の符号化方式決定処理を示すフローチャートである。なお、図7に示す各処理のうち、図5を参照しつつ説明した第1の実施形態に係る符号化方式決定処理の各処理と同一の処理には、同一の番号を付している。S500において、PTZ処理部301は、位置指定の場合には(S500でYES)、処理をS700へ進める。S700において、PTZ処理部301は、位置指定に係るデジタルPTZ画像と、位置指定の直前に表示されていたデジタルPTZ画像との重なり部分の面積と閾値とを比較する。PTZ処理部301は、面積が閾値以上の場合には(S700でYES)、処理をS501へ進める。PTZ処理部301は、面積が閾値未満の場合には(S700でNO)、処理を終了する。なお、第2の実施形態に係るカメラシステムのこれ以外の構成及び処理は、第1の実施形態に係るカメラシステムの構成及び処理と同様である。
Second Embodiment
Next, differences of the camera system according to the second embodiment from the camera system according to the first embodiment will be mainly described. FIG. 7 is a flowchart showing coding method determination processing in the case of position specification by the camera server device 100 according to the second embodiment. Among the processes shown in FIG. 7, the same processes as the processes of the encoding method determination process according to the first embodiment described with reference to FIG. 5 are assigned the same reference numerals. In S500, in the case of position designation (YES in S500), the PTZ processing unit 301 advances the process to S700. In S700, the PTZ processing unit 301 compares the area of the overlapping portion of the digital PTZ image relating to the position designation and the digital PTZ image displayed immediately before the position designation with the threshold. If the area is equal to or larger than the threshold (YES in S700), PTZ processing unit 301 advances the process to S501. If the area is smaller than the threshold (NO in S700), the PTZ processing unit 301 ends the process. The remaining configuration and processing of the camera system according to the second embodiment are the same as the configuration and processing of the camera system according to the first embodiment.

以上の処理により、第2の実施形態に係るカメラサーバ装置100は、位置指定に応じた移動前後のデジタルPTZ画像の変化量が閾値未満の場合に、Pフレームを生成し、変化量が閾値以上の場合にIフレームを生成することになる。したがって、第2の実施形態に係るカメラサーバ装置100は、撮像画像の一部の領域に対応する部分画像から他の領域に対応した部分画像に切り替わる際の画質劣化を低減することができる。   By the above processing, the camera server apparatus 100 according to the second embodiment generates a P frame when the amount of change in the digital PTZ image before and after movement according to the position designation is less than the threshold, and the amount of change is equal to or more than the threshold Will generate an I frame. Therefore, the camera server apparatus 100 according to the second embodiment can reduce image quality deterioration when switching from a partial image corresponding to a partial area of a captured image to a partial image corresponding to another area.

なお、第2の実施形態の第1の変形例としては、カメラサーバ装置100は、魚眼画像410の中心からの距離に応じてS700において利用する閾値を設定することとしてもよい。   As a first modification of the second embodiment, the camera server apparatus 100 may set the threshold used in S700 according to the distance from the center of the fisheye image 410.

第2の変形例としては、カメラサーバ装置100は、位置指定に係るデジタルPTZ画像と、直前に表示されていたデジタルPTZ画像と、に基づいて、位置指定に係るデジタルPTZ画像の符号化方式を決定すればよい。すなわち、具体的な処理は実施形態に限定されるものではない。例えば、カメラサーバ装置100は、両画像の切り出し画角の差分が閾値以上の場合に符号化方式をフレーム内符号化に設定してもよい。また、他の例としては、カメラサーバ装置100は、両画像の切り出し位置の差分が閾値以上の場合に符号化方式をフレーム内符号化に設定してもよい。   As a second modification, the camera server apparatus 100 uses the digital PTZ image encoding method for position specification based on the digital PTZ image for position specification and the digital PTZ image displayed immediately before. You should decide. That is, the specific process is not limited to the embodiment. For example, the camera server apparatus 100 may set the encoding scheme to intraframe encoding when the difference between the cutout angle of view of both images is equal to or greater than a threshold. Further, as another example, the camera server apparatus 100 may set the encoding method to intra-frame encoding when the difference between the cutout positions of both images is equal to or larger than the threshold.

(第3の実施形態)
次に、第3の実施形態に係るカメラシステムについて、主に第1の実施形態に係るカメラシステムと異なる点を説明する。図8は、第3の実施形態に係るカメラサーバ装置100による、位置指定の場合の符号化方式決定処理を示すフローチャートである。なお、図8に示す各処理のうち、図5を参照しつつ説明した第1の実施形態に係る符号化方式決定処理の各処理と同一の処理には、同一の番号を付している。S500において、PTZ処理部301は、位置指定の場合には(S500でYES)、処理をS800へ進める。
Third Embodiment
Next, differences of the camera system according to the third embodiment from the camera system according to the first embodiment will be mainly described. FIG. 8 is a flowchart showing a coding method determination process in the case of position specification by the camera server device 100 according to the third embodiment. Among the processes shown in FIG. 8, the same processes as the processes of the encoding method determination process according to the first embodiment described with reference to FIG. 5 are assigned the same reference numerals. In S500, in the case of position designation (YES in S500), the PTZ processing unit 301 advances the process to S800.

S800において、PTZ処理部301は、切り出される映像から、移動先のデジタルPTZの映像の画質パラメータを予め取得する。次に、S801において、PTZ処理部301は、移動前後の画質パラメータの差分を求め、差分と閾値との比較を行う。本実施形態においては、PTZ処理部301は、画質パラメータとして、デジタルPTZの映像全体に対する輝度値とエッジ量それぞれの差分を求め、各差分をそれぞれに対応する閾値と比較する。各閾値は、一次記憶装置201に予め設定されているものとする。   In S800, the PTZ processing unit 301 acquires in advance the image quality parameter of the moving image of the digital PTZ from the image to be cut out. Next, in S801, the PTZ processing unit 301 obtains a difference between image quality parameters before and after movement, and compares the difference with a threshold. In the present embodiment, the PTZ processing unit 301 obtains, as an image quality parameter, the difference between each of the luminance value and the edge amount for the entire image of the digital PTZ, and compares each difference with the corresponding threshold. Each threshold value is assumed to be preset in the primary storage device 201.

図9は、一次記憶装置201に記憶されている閾値テーブル900の一例を示す図である。閾値テーブル900において、画質パラメータの種類と閾値とが対応付けられている。図9に示す例では、輝度値とエッジ量それぞれの閾値が設定されている。PTZ処理部301は、輝度値の差分が輝度値の閾値以上で、かつエッジ量の差分がエッジ量の閾値以上という条件を満たすか否かを判定する。PTZ処理部301は、条件を満たす場合に(S801でYES)、処理をS501へ進める。PTZ処理部301は、条件を満たさない場合に(S801でNO)、処理を終了する。なお、第3の実施形態に係るカメラシステムのこれ以外の構成及び処理は、他の実施形態に係るカメラシステムの構成及び処理と同様である。   FIG. 9 is a diagram showing an example of the threshold value table 900 stored in the primary storage device 201. As shown in FIG. In the threshold table 900, types of image quality parameters and thresholds are associated. In the example shown in FIG. 9, the threshold value of each of the luminance value and the edge amount is set. The PTZ processing unit 301 determines whether the difference in luminance value is equal to or larger than the threshold of the luminance value and the difference in edge amount is equal to or more than the threshold of the edge amount. If the PTZ processing unit 301 satisfies the condition (YES in S801), the PTZ processing unit 301 advances the process to S501. When the condition is not satisfied (NO in S801), the PTZ processing unit 301 ends the process. The other configurations and processes of the camera system according to the third embodiment are the same as the configurations and processes of the camera system according to the other embodiments.

以上の処理により、第3の実施形態に係るカメラサーバ装置100は、位置指定に応じた移動前後のデジタルPTZ画像の画質パラメータの変化量が閾値未満の場合にPフレームを生成し、変化量が閾値以上の場合にはIフレームを生成することになる。なお、画質パラメータの変化量が閾値未満の場合には、シーンがあまり変化していないと推測される。一方、画質パラメータの変化量が閾値以上の場合には、シーンが大きく変化していると推測される。すなわち、第3の実施形態に係るカメラサーバ装置100は、シーン変化に応じた符号化方式を設定しつつ、撮像画像の一部の領域に対応する部分画像から他の領域に対応した部分画像に切り替わる際の画質劣化を低減することができる。   By the above processing, the camera server apparatus 100 according to the third embodiment generates a P frame when the change amount of the image quality parameter of the digital PTZ image before and after movement according to the position specification is less than the threshold, and the change amount is If the threshold value is exceeded, an I frame will be generated. If the amount of change in the image quality parameter is less than the threshold, it is estimated that the scene has not changed much. On the other hand, when the change amount of the image quality parameter is equal to or more than the threshold value, it is estimated that the scene is largely changed. That is, the camera server apparatus 100 according to the third embodiment sets a coding method according to a scene change, and changes from a partial image corresponding to a partial area of a captured image to a partial image corresponding to another area. Image quality deterioration at the time of switching can be reduced.

なお、第3の実施形態の変形例としては、S801において利用する画質パラメータの種類及び数は実施形態に限定されるものではない。画質パラメータとしては、上記以外に、露出補正値やシャッタースピード値、絞り値等が考えられる。   As a modification of the third embodiment, the type and number of image quality parameters used in S801 are not limited to those of the embodiment. As the image quality parameters, in addition to the above, an exposure correction value, a shutter speed value, an aperture value, and the like can be considered.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。   Although the preferred embodiments of the present invention have been described above in detail, the present invention is not limited to the specific embodiments, and various modifications may be made within the scope of the present invention as set forth in the claims.・ Change is possible.

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.

100 カメラサーバ装置
120 クライアント装置
200 CPU
201 一時記憶装置
206 画像センサ
100 Camera server device 120 Client device 200 CPU
201 Temporary storage device 206 Image sensor

Claims (14)

撮像手段によって撮像された撮像画像の一部の領域に対応する部分画像のフレームをフレーム内符号化又はフレーム間符号化の少なくとも何れかを用いて符号化する符号化手段と、
前記符号化手段によって符号化された前記部分画像を出力する出力手段と
を有し、
前記符号化手段は、前記出力手段によって第1の部分画像が出力された状態から、前記出力手段によって前記第1の部分画像と異なる領域の第2の部分画像が出力される状態へと変わる場合に、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする画像符号化装置。
Encoding means for encoding a frame of a partial image corresponding to a partial area of a captured image captured by the imaging means using at least either of intra-frame encoding and inter-frame encoding;
And output means for outputting the partial image encoded by the encoding means,
When the encoding unit changes from the state in which the first partial image is output by the output unit to a state in which a second partial image in an area different from the first partial image is output by the output unit An image coding apparatus characterized in that the second partial image is coded without using the interframe coding.
前記符号化手段は、前記第2の部分画像を前記フレーム内符号化を用いて符号化することを特徴とする請求項1に記載の画像符号化装置。   The image coding apparatus according to claim 1, wherein the coding unit codes the second partial image using the intraframe coding. 前記第1の部分画像及び前記第2の部分画像は、1つの動画に含まれるフレームであることを特徴とする請求項1又は2に記載の画像符号化装置。   The image coding apparatus according to claim 1, wherein the first partial image and the second partial image are frames included in one moving image. 前記符号化手段は、前記第1の部分画像が出力された状態において、前記第2の部分画像に対応する領域の指定を受け付けた場合に、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする請求項1乃至3の何れか1項に記載の画像符号化装置。   The encoding unit is configured to interframe encode the second partial image when the specification of the area corresponding to the second partial image is received in a state in which the first partial image is output. The image coding apparatus according to any one of claims 1 to 3, wherein coding is performed without using. 前記第2の部分画像と前記第1の部分画像との位置の差分に基づいて、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化するか否かを判断する判断手段をさらに有し、
前記符号化手段は、前記判断手段が前記第2の部分画像を、前記フレーム間符号化を用いずに符号化すると判断した場合に、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする請求項1乃至4の何れか1項に記載の画像符号化装置。
Determining means for determining whether or not to encode the second partial image without using the interframe coding, based on the difference in position between the second partial image and the first partial image And have
The encoding means uses the inter-frame encoding when the determination means determines that the second partial image is to be encoded without using the inter-frame encoding. The image coding apparatus according to any one of claims 1 to 4, wherein the image coding is performed without coding.
前記出力手段は、前記一部の領域の位置を徐々に移動する移動指示を受け付けた場合に、前記移動指示に応じた領域に対応した複数の部分画像を連続して出力し、
前記第1の部分画像は、前記移動指示を受け付けたタイミングに対応して出力される部分画像であることを特徴とする請求項5に記載の画像符号化装置。
The output means continuously outputs a plurality of partial images corresponding to the area according to the movement instruction, when receiving a movement instruction to gradually move the position of the partial area,
The image coding apparatus according to claim 5, wherein the first partial image is a partial image output corresponding to a timing at which the movement instruction is received.
前記判断手段は、さらに前記第2の部分画像に最も近いタイミングで出力された、前記フレーム内符号化が行われた部分画像と前記第2の部分画像との位置の差分に基づいて、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化するか否かを判断することを特徴とする請求項6に記載の画像符号化装置。   The determination means may be further configured to output the second partial image based on a difference between positions of the partial image subjected to the intraframe coding and the second partial image, which is output at a timing closest to the second partial image. 7. The image coding apparatus according to claim 6, wherein it is determined whether to encode two partial images without using the interframe coding. 前記出力手段は、前記一部の領域の位置を徐々に移動する移動指示を受け付けた場合に、前記移動指示に応じた領域に対応した複数の部分画像を連続して出力し、
前記第1の部分画像は、前記第2の部分画像に最も近いタイミングで出力された、前記フレーム内符号化が行われた部分画像であることを特徴とする請求項6に記載の画像符号化装置。
The output means continuously outputs a plurality of partial images corresponding to the area according to the movement instruction, when receiving a movement instruction to gradually move the position of the partial area,
The image coding according to claim 6, wherein the first partial image is a partial image on which the intraframe coding has been performed, which is output at a timing closest to the second partial image. apparatus.
前記移動指示を受け付けたタイミング以降に出力する部分画像の画質を前記タイミングより前に出力した前記部分画像の画質に比べて低くなるように変更する画質変更手段をさらに有し、
前記出力手段は、前記移動指示を受け付けた場合に、前記画質変更手段による変更後の画質の前記部分画像を出力することを特徴とする請求項6乃至8の何れか1項に記載の画像符号化装置。
The apparatus further comprises image quality change means for changing the image quality of the partial image output after the timing of receiving the movement instruction to be lower than the image quality of the partial image output before the timing,
The image code according to any one of claims 6 to 8, wherein the output means outputs the partial image of the image quality after being changed by the image quality changing means when the movement instruction is received. Device.
前記出力手段は、前記移動指示を受け付けた後、前記一部の領域の移動の停止指示を受け付けた場合に、前記停止指示を受け付けたタイミングに対応した、移動後の領域に対応した部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする請求項6乃至9の何れか1項に記載の画像符号化装置。   When the output unit receives an instruction to stop movement of the partial area after receiving the movement instruction, a partial image corresponding to the area after movement corresponding to the timing at which the stop instruction is received is received. 10. The image coding apparatus according to any one of claims 6 to 9, wherein coding is performed without using the interframe coding. 前記第2の部分画像と前記第1の部分画像とに基づいて、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化するか否かを判断する判断手段をさらに有し、
前記符号化手段は、前記判断手段が前記第2の部分画像を、前記フレーム間符号化を用いずに符号化すると判断した場合に、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする請求項1乃至4の何れか1項に記載の画像符号化装置。
The image processing apparatus further includes a determination unit that determines whether the second partial image is to be encoded without using the interframe encoding, based on the second partial image and the first partial image. ,
The encoding means uses the inter-frame encoding when the determination means determines that the second partial image is to be encoded without using the inter-frame encoding. The image coding apparatus according to any one of claims 1 to 4, wherein the image coding is performed without coding.
前記判断手段は、前記第2の部分画像と前記第1の部分画像との画角の差分に基づいて、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化するか否かを判断することを特徴とする請求項11に記載の画像符号化装置。   The determination unit may encode the second partial image without using the interframe coding, based on the difference in the angle of view between the second partial image and the first partial image. The image coding apparatus according to claim 11, characterized in that: 画像符号化装置が実行する画像符号化方法であって、
撮像手段によって撮像された撮像画像の一部の領域に対応する部分画像のフレームをフレーム内符号化又はフレーム間符号化の少なくとも何れかを用いて符号化する符号化ステップと、
前記符号化ステップにおいて符号化された前記部分画像を出力手段に出力する出力ステップと
を含み、
前記符号化ステップにおいては、前記出力手段に第1の部分画像が出力された状態から、前記出力手段に前記第1の部分画像と異なる領域の第2の部分画像が出力される状態へと変わる場合に、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする画像符号化方法。
An image coding method performed by an image coding apparatus, comprising:
Encoding a frame of a partial image corresponding to a partial region of a captured image captured by the imaging unit using at least either of intra-frame encoding and inter-frame encoding;
Outputting the partial image encoded in the encoding step to an output means,
In the encoding step, the state in which the first partial image is output to the output means is changed to a state in which a second partial image of an area different from the first partial image is output to the output means. In this case, the second partial image is encoded without using the interframe encoding.
コンピュータを、請求項1乃至12の何れか1項に記載の画像符号化装置の各手段として機能させるためのプログラム。   The program for functioning a computer as each means of the image coding apparatus in any one of Claims 1-12.
JP2017200397A 2017-10-16 2017-10-16 Image encoding apparatus, image encoding method, and program Pending JP2019075685A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017200397A JP2019075685A (en) 2017-10-16 2017-10-16 Image encoding apparatus, image encoding method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017200397A JP2019075685A (en) 2017-10-16 2017-10-16 Image encoding apparatus, image encoding method, and program

Publications (1)

Publication Number Publication Date
JP2019075685A true JP2019075685A (en) 2019-05-16

Family

ID=66544350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017200397A Pending JP2019075685A (en) 2017-10-16 2017-10-16 Image encoding apparatus, image encoding method, and program

Country Status (1)

Country Link
JP (1) JP2019075685A (en)

Similar Documents

Publication Publication Date Title
JP5268743B2 (en) Image communication system
JP4687807B2 (en) Movie recording apparatus, moving image tilt correction method, and program
WO2010095207A1 (en) Video image pickup device
JP4794386B2 (en) Imaging device
JP5153674B2 (en) Moving picture coding apparatus and moving picture coding method
JP4895016B2 (en) Imaging device
EP3989530A1 (en) Generating substitute image frames based on camera motion
JP6707334B2 (en) Method and apparatus for real-time encoding
JP6975121B2 (en) Methods and Encoders for Encoding Video Streams in Video Coding Formats That Support Auxiliary Frames
JP7425012B2 (en) Controlling pan-tilt-zoom camera
JP2008252685A (en) Image encoding device, and imaging apparatus using the same
JP2008035281A (en) Image coding method
JP7299690B2 (en) Image processing device and its control method
JP2008141354A (en) Image coding apparatus and imaging apparatus
JP2019075685A (en) Image encoding apparatus, image encoding method, and program
JP2000209590A (en) Image encoder, image encoding method, storage medium and image pickup device
JP4700992B2 (en) Image processing device
JP2005175974A (en) Imaging device
JP2004221744A (en) Dynamic image encoding instrument, its method and program, dynamic image decoding instrument, and its method and program
JP2006303987A (en) Image encoder and image encoding method
JP7336185B2 (en) Image processing device and image processing method
JP2018129688A (en) Video encoding device, video encoding/decoding system, and video encoding program
JP2012023768A (en) Imaging apparatus
JP5419560B2 (en) Imaging device
JP2009081727A (en) Image encoding apparatus, method of controlling therefor, and program