JP2019075685A - Image encoding apparatus, image encoding method, and program - Google Patents
Image encoding apparatus, image encoding method, and program Download PDFInfo
- Publication number
- JP2019075685A JP2019075685A JP2017200397A JP2017200397A JP2019075685A JP 2019075685 A JP2019075685 A JP 2019075685A JP 2017200397 A JP2017200397 A JP 2017200397A JP 2017200397 A JP2017200397 A JP 2017200397A JP 2019075685 A JP2019075685 A JP 2019075685A
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial image
- partial
- coding
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像符号化装置、画像符号化方法及びプログラムに関する。 The present invention relates to an image coding apparatus, an image coding method, and a program.
従来、ネットワークや専用線を介して、遠隔操作により監視カメラを制御し、映像を監視する監視システムが知られている。この監視システムの中には、長時間録画やスムーズな映像配信を行うため、動画像の符号化を行い配信データサイズの削減を実現するものが存在する。符号化方式としては、例えば、同一フレーム内の相関を用いたフレーム内符号化方式(イントラ予測を用いた符号化方式)と、前後のフレーム間の相関を用いたフレーム間符号化方式(インター予測を用いた符号化方式)が知られている。 2. Description of the Related Art Conventionally, there is known a monitoring system which controls a monitoring camera by remote control via a network or a dedicated line to monitor an image. Among such monitoring systems, there are systems for encoding moving images to realize reduction of the distribution data size in order to perform long-time recording and smooth video distribution. As a coding method, for example, an intra-frame coding method using an intra-frame correlation (coding method using intra prediction) and an inter-frame coding method using an inter-frame correlation (inter prediction) Encoding method using the.
この映像配信方式では、フレーム内符号化された少なくとも一枚のIフレームと、フレーム間符号化された複数枚のPフレーム及びBフレームから成るグループをグループオブピクチャ(GOP)と呼び、GOP毎に出力する。また、Iフレームは単独で復号されるが、PフレームはIフレーム及びこれより前のPフレームを基に復号される。BフレームはIフレーム及び前後のPフレームを基に復号される。さらに、GOP長が短い場合、映像の再生または停止などのシークをスムーズに行うことが可能だが、情報量が多いIフレームの間隔が短くなるためデータサイズが大きくなる。そこで、GOP長を数十秒と長くすることでデータサイズをより小さくする機能がある。 In this video delivery method, a group consisting of at least one intraframe encoded I frame and a plurality of interframe encoded P frames and B frames is called a group of pictures (GOP), and each GOP is Output. Also, I-frames are decoded alone, but P-frames are decoded based on I-frames and P-frames prior to this. B frames are decoded based on I frames and P frames before and after. Furthermore, when the GOP length is short, it is possible to smoothly perform seek such as reproduction or stop of video, but the data size becomes large because the interval of I frames having a large amount of information becomes short. Therefore, there is a function to make the data size smaller by lengthening the GOP length to several tens of seconds.
このような機能を有する監視システムでは、配信する映像のデータサイズを抑えることができ、スムーズな映像配信が可能となる。しかし、Pフレームにおいてシーンチェンジ等が発生し、大きく映像が変化すると、フレーム間符号化方式の高い圧縮率を維持することができなくなる。結果として、データ量が増加し、画質も劣化する場合がある。これに対し、特許文献1には、シーンチェンジを検知した場合、フレーム間符号化ではなく、フレーム内符号化によって映像を圧縮する技術が公開されている。 In the monitoring system having such a function, the data size of the video to be distributed can be suppressed, and smooth video distribution becomes possible. However, if a scene change or the like occurs in the P frame and the image changes significantly, it is not possible to maintain the high compression rate of the interframe coding scheme. As a result, the amount of data may increase and the image quality may also deteriorate. On the other hand, Patent Document 1 discloses a technique for compressing an image by intraframe coding instead of interframe coding when a scene change is detected.
しかしながら、特許文献1に開示された技術は、シーンチェンジ後のフレームがBフレームの場合に、その後に現れるIフレームまたはPフレームに変更するため、シーンが変更された直後の映像そのものはIフレームにならない。したがって、シーン変更直後の映像を配信することができない。また、Pフレームの場合はそのまま配信されるため、差分の大きい映像がPフレームになってしまい、画質が劣化するという課題が残る。特に、全方位カメラにおけるデジタルPTZ画像の位置を連続して変更した場合、位置変更直後の差分の大きいPフレームが多数送信されてしまうという問題がある。 However, when the frame after the scene change is a B frame, the technique disclosed in Patent Document 1 changes to an I frame or a P frame that appears later, so the video itself immediately after the scene change is an I frame. It does not. Therefore, the video immediately after the scene change can not be distributed. Further, in the case of the P frame, since the image is distributed as it is, the video having a large difference becomes the P frame, and the problem of the image quality deteriorating remains. In particular, when the position of the digital PTZ image in the omnidirectional camera is continuously changed, there is a problem that many P frames having a large difference immediately after the position change are transmitted.
本発明はこのような問題点に鑑みなされたもので、撮像画像の一部の領域に対応する部分画像から他の領域に対応した部分画像に切り替わる際の画質劣化を低減することを目的とする。 The present invention has been made in view of such problems, and it is an object of the present invention to reduce image quality deterioration when switching from a partial image corresponding to a partial region of a captured image to a partial image corresponding to another region. .
そこで、本発明は、画像符号化装置であって、撮像手段によって撮像された撮像画像の一部の領域に対応する部分画像のフレームをフレーム内符号化又はフレーム間符号化の少なくとも何れかを用いて符号化する符号化手段と、前記符号化手段によって符号化された前記部分画像を出力する出力手段とを有し、前記符号化手段は、前記出力手段によって第1の部分画像が出力された状態から、前記出力手段によって前記第1の部分画像と異なる領域の第2の部分画像が出力される状態へと変わる場合に、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする。 Therefore, the present invention is an image coding apparatus, which uses at least one of intraframe coding and interframe coding for a frame of a partial image corresponding to a partial region of a captured image captured by an imaging unit. Encoding means for encoding the image and output means for outputting the partial image encoded by the encoding means, the encoding means outputting the first partial image by the output means When the state is changed to a state in which a second partial image of an area different from the first partial image is output by the output unit, the second partial image may be output without using the interframe coding. It is characterized by encoding.
本発明によれば、撮像画像の一部の領域に対応する部分画像の位置変更の際の画質劣化を低減することができる。 According to the present invention, it is possible to reduce image quality deterioration at the time of changing the position of a partial image corresponding to a partial region of a captured image.
以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態において、Iフレームとは当該フレーム内の各ブロックにおいてインター予測を用いずに、イントラ予測のみを用いて符号化されるフレームである。このようなフレームはイントラフレームやキーフレームとも呼ばれる。また、Pフレーム及びBフレームは、当該フレームの少なくとも一部においてインター予測を用いて符号化されるフレームである。このようなフレームはインターフレームとも呼ばれる。 Hereinafter, embodiments of the present invention will be described based on the drawings. In the embodiment, an I frame is a frame encoded using only intra prediction without using inter prediction in each block in the frame. Such a frame is also called an intra frame or a key frame. In addition, P frame and B frame are frames encoded using inter prediction in at least a part of the frame. Such a frame is also called an inter frame.
(第1の実施形態)
図1は、第1の実施形態に係るカメラシステムの全体図である。カメラシステムは、カメラサーバ装置100とクライアント装置110とを有している。カメラサーバ装置100とクライアント装置110は、ネットワーク120を介して相互に接続されている。カメラサーバ装置100は、画像符号化装置の一例である。カメラサーバ装置100は、撮影画角可変のカメラを備え、撮影した画像を、ネットワーク120を介して配信する。クライアント装置110は、カメラサーバ装置100にアクセスし、画像を取得しながら、パン(P)・チルト(T)・ズーム(Z)及びフォーカスや露出等の画質パラメータを制御し、プリセット設定する。それぞれの詳細については後述する。なお、説明の簡略化のためにカメラサーバ装置100は、1台としているが、2台以上であってもよい。またクライアント装置110以外にもカメラサーバ装置100にアクセスして画像の受信や蓄積を行う他のクライアントがあってもよい。ネットワーク120はEthernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワークの通信規格、規模、構成は、実施形態に限定されるものではない。他の例としては、ネットワーク120は、インターネットやLAN(Local Ara Network)等であってもよい。
First Embodiment
FIG. 1 is an overall view of a camera system according to the first embodiment. The camera system includes a
図2は、カメラサーバ装置100のハードウェア構成図である。CPU200、一次記憶装置201、二次記憶装置202、画像キャプチャI/F203、雲台制御I/F204、ネットワークI/F205が内部バス210を介して相互に接続されている。一次記憶装置201は、RAMに代表される書き込み可能な高速の記憶装置で、OSや各種プログラム及び各種データがロードされ、またOSや各種プログラムの作業領域としても使用される。二次記憶装置202は、HDD、フラッシュメモリ、SSD(Solid State Drive)等に代表される不揮発性を持った記憶装置で、OSや各種プログラム及び各種データの永続的な記憶領域として使用される。また、二次記憶装置202は、短期的な各種データの記憶領域としても使用される。なお、後述するカメラサーバ装置100の機能や処理は、CPU200が二次記憶装置202に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
FIG. 2 is a hardware configuration diagram of the
画像キャプチャI/F203には、CCDやCMOSからなる画像センサ206が接続されている。画像キャプチャI/F203は、画像センサ206から取得した画像データを画質パラメータに従って画像処理し、所定のフォーマットに変換・圧縮して一次記憶装置201に転送する。雲台制御I/F204には、レンズ/雲台207が接続されている。雲台制御I/F204は、パン・チルト・ズーム機構を制御して撮影位置や撮影画角を変更する。ネットワークI/F205は前述のネットワーク120と接続するためのI/Fであり、Ethernet等の通信媒体を介してクライアント装置110等との通信を担う。
Connected to the image capture I /
図3は、カメラサーバ装置100の機能構成図である。カメラサーバ装置100は、撮像処理部300と、PTZ処理部301と、プリセット制御部302と、通信処理部303と、を有している。撮像処理部300は、画像センサ206で生成された画像データを画像キャプチャI/F203を経由して取得する。なお、本実施形態においては、画像データは、動画データであるものとする。但し、画像データは連続した静止画であってもよい。撮像処理部300はさらに、プリセット制御部302から指定された画質パラメータに従って画像処理と符号化処理を行い、一次記憶装置201に保存する。また、撮像処理部300は、符号化処理を行う前に、画像データの一部を切り出すことで、指定された切り出し位置及び切り出し画角のデジタルPTZ画像を生成する。また、カメラサーバ装置100は、レンズ/雲台207として全周魚眼レンズを搭載した全方位カメラの場合、360度円環あるいは円形などの魚眼画像を撮影することができる。この場合、撮像処理部300は、撮影された魚眼画像に対して幾何変換処理を行なうことにより、パノラマ展開画像や平面透視投影画像へ変換することができる。
FIG. 3 is a functional block diagram of the
PTZ処理部301は、クライアント装置110上のビューワ等で指定されたデジタルPTZ画像の切り出し位置や切り出し画角の情報をネットワーク120経由で取得し、撮像処理部300にその情報を設定する。これにより、カメラサーバ装置100は、所定のデジタルPTZ画像を生成することができる。PTZ処理部301が切り出し位置及び切り出し画角を撮像処理部300に再設定するまで、撮像処理部300は、前回設定した切り出し位置及び切り出し画角のデジタルPTZ画像を生成する。また、PTZ処理部301は、フレームの符号化方式を、フレーム内符号化にするかフレーム間符号化にするかを判断し、決定した符号化方式を撮像処理部300に設定する。カメラサーバ装置100が全方位カメラである場合、PTZ処理部301は、魚眼画像から切り出したデジタルPTZ画像を生成する。
The
プリセット制御部302は、クライアント装置110から予め設定されたプリセット位置やプリセット巡回設定、またはイベントによるプリセット移動設定に応じて、雲台制御I/F204を経由しレンズ/雲台207を制御する。これにより、パン・チルト・ズーム位置を制御することができる。プリセット制御部302はまた、プリセットとして保存されているフォーカス、露出、ホワイトバランス、デイナイト、暗部補正、ノイズリダクション、シャープネス、色の濃さ等の画質パラメータを、撮像処理部300に設定する。
The
通信処理部303は、各種クライアントからのリクエストに応じ、一次記憶装置201に保存されている画像データを、ネットワークI/F205を制御し、ネットワーク120を介して各種クライアントへ送信する。また、通信処理部303は、各種クライアントから送られるパン・チルト・ズーム位置や画質パラメータをプリセット制御部302に伝え、受信したプリセット設定やプリセット巡回設定を二次記憶装置202に保存する。
The
図4は、クライアント装置110に表示されるビューワの一例を示す図である。ユーザは、ビューワ400を操作することで、デジタルPTZの切り出し位置や画角を設定し、撮像画像の一部をデジタルPTZ画像として切り出して、ビューワ400上に表示することができる。ここで、デジタルPTZ画像は、撮像画像の一部の領域に対応する部分画像の一例である。ユーザは、クライアント装置110上のビューワ400を操作することで、デジタルPTZの切り出し位置や切り出し画角を変更することができる。
FIG. 4 is a view showing an example of a viewer displayed on the
デジタルPTZの切り出し位置や切り出し画角を変更する方法としては、主に移動後の切り出し位置と切り出し画角を指定する「位置指定」と、移動する方向を指定する「方向指定」、ズーム倍率(画角)を変更する「ズーム指定」がある。クライアント装置110からネットワーク120経由で「位置指定」のコマンドを受信した場合、PTZ処理部301は、指定された切り出し位置及び切り出し画角を撮像処理部300に設定する。これにより、撮像処理部300は、指定された切り出し位置及び切り出し画角の映像を直ちに生成する。
As a method of changing the cutout position and cutout angle of view of the digital PTZ, “position specification” mainly specifying the cutout position and cutout angle after movement, “direction specification” to specify movement direction, zoom magnification ( There is a "zoom specified" to change the angle of view. When a “position designation” command is received from the
受信したコマンドが「方向指定」の場合、PTZ処理部301は、指定された方向に移動させた切り出し位置を一定の間隔で撮像処理部300に設定する。PTZ処理部301は、クライアント装置110からネットワーク120経由で取得するスピード値から移動させる大きさを算出する。そして、PTZ処理部301は、クライアント装置110から停止コマンドを受信すると、指定された方向への切り出し位置の移動を停止する。これにより、撮像処理部300は、切り出し位置がフレーム毎に徐々に移動していくような連続的なデジタルPTZ画像(映像)を生成することができる。
When the received command is “direction designation”, the
受信したコマンドが「ズーム指定」の場合、PTZ処理部301は、指定された変化量に応じて、切り出し画角を一定の間隔で撮像処理部300に設定する。PTZ処理部301は、クライアント装置110から停止コマンドを受信すると、指定された変化量での倍率の変化を停止する。これにより、撮像処理部300は、ズーム倍率がフレーム毎に徐々に増加又は減少するような連続的なデジタルPTZ画像(映像)を生成することができる。
When the received command is “zoom designation”, the
次に、ビューワ400を用いて位置指定、方向指定及びズーム指定を行う方法について説明する。ビューワ400の下側には、魚眼画像410が表示されている。さらに、ビューワ400の上側には、魚眼画像410における切出し位置411で切り出されたデジタルPTZ画像420が表示されている。ここで、デジタルPTZ画像420は、撮像画像としての魚眼画像410の一部の領域に対応する部分画像である。
Next, a method of performing position specification, direction specification, and zoom specification using the
ユーザは、切り出し位置411を変更することで、デジタルPTZ画像420のパン、チルト位置を変更することができる。また、切り出し位置411の円の大きさを変更することで、デジタルPTZ画像420のズームを変更することができる。ユーザは、パン用位置指定バー430のスライダー431及びチルト用位置指定バー440のスライダー441を移動させることで、デジタルPTZ画像420のパン、チルト位置を変更することができる。また、ユーザは、ズーム用位置指定バー450のスライダー451を移動させることで、デジタルPTZ画像420のズームを変更することができる。スライダー451を上方向に移動させるとズームイン、下方向に移動させるとズームアウトする。以上の方法により、位置指定を行うことができる。
The user can change the pan and tilt positions of the
なお、図示していないが、他の方法によって位置指定を行ってもよい。例えば、デジタルPTZ画像420上で表示する位置を取り囲むことで、切り出し位置及び切り出し画角を指定させてもよい。また、PTZ処理部301は、プリセット制御部302から通知されたプリセット位置を撮像処理部300に設定してもよい。
Although not shown, position designation may be performed by another method. For example, by surrounding the position to be displayed on the
次に、方向指定の方法について説明する。ユーザは、ベクトル460の向きを指定することで、デジタルPTZ画像420の移動方向を指定することができる。また、ユーザは、ベクトル460の長さを変更することによって、スピード値を指定することができる。以上の方法により方向指定を行うことができるが、他の方法を用いてもよい。例えば、ベクトル460のかわりに、パン、チルトの方向を指定可能なボタンと、スピード値を指定可能なスライダーを用意してもよい。また、ズーム指定の場合、倍率を指定可能なボタンと、スピード値を指定可能なスライダーを用意し、これらを用いることにより、倍率の変化量(スピード)を指定することができる。
Next, the method of direction specification will be described. The user can specify the moving direction of the
図5は、カメラサーバ装置100による、ユーザの指定方法が位置指定の場合の符号化方式決定処理を示すフローチャートである。S500において、PTZ処理部301は、受信したコマンドが位置指定か否かを確認する。PTZ処理部301は、位置指定の場合には(S500でYES)、処理をS501へ進める。PTZ処理部301は、位置指定でない場合には(S500でNO)、処理を終了する。なお、受信したコマンドが方向指定の場合については、図6を参照しつつ後述する。S501において、PTZ処理部301は、撮像処理部300に対してデジタルPTZの切り出し位置及び切り出し画角の設定と同時にフレーム符号化方式を、フレーム内符号化に設定する。これに対応し、撮像処理部300は、位置指定に係るデジタルPTZ画像を、フレーム内符号化を用いて符号化する。すなわち、撮像処理部300は、位置指定に係るデジタルPTZ画像を、フレーム間符号化を用いずに符号化する。
FIG. 5 is a flowchart showing the coding method determination process by the
このように、カメラサーバ装置100は、切り出し位置及び切り出し画角の設定と同時にフレーム内符号化に切り替える。したがって、シーンが大きく変更することが多いデジタルPTZの切り出し位置及び切り出し画角を変更した際に、変更後の画像を差分の大きいフレーム間符号化のPフレームではなく、フレーム内符号化のIフレームとして生成することができる。
As described above, the
図6は、カメラサーバ装置100による、ユーザの指定方法が方向指定の場合の符号化方式決定処理を示すフローチャートである。S600において、PTZ処理部301は、受信したコマンドが方向指定か否かを確認する。ここで、方向指定は、デジタルPTZ画像とする一部の領域の位置を徐々に移動する移動指示の一例である。PTZ処理部301は、方向指定の場合には(S600でYES)、処理をS601へ進める。PTZ処理部301は、受信したコマンドが方向指定でない場合には(S600でNO)、処理を終了する。S601において、PTZ処理部301は、処理時点における画質パラメータを一次記憶装置201に保存した上で、画質を落とすように、撮像処理部300に設定する画質パラメータを変更する。本実施形態においては、PTZ処理部301は、処理時点における画質から10%画質を落とすように画質パラメータを変更することとする。なお、画質パラメータの変更方法は実施形態に限定されるものではない。他の例としては、PTZ処理部301は、処理時点における画質が既に一定以下の画質の場合はそのままにすることとしてもよい。なお、S601の処理は、移動指示としての方向指定を受け付けたタイミング以降に出力するデジタルPTZ画像の画質を、方向指定を受け付けたタイミングより前に出力したデジタルPTZ画像に比べて低くなるように変更する画質変更処理の一例である。
FIG. 6 is a flowchart showing a coding method determination process performed by the
次に、S602において、PTZ処理部301は、方向指定に応じた、S602の処理時点における移動後のデジタルPTZ画像の切り出し位置と、移動開始時のデジタルPTZ画像の切り出し位置と、の差分を求める。PTZ処理部301はまた、方向指定に応じた、S602の処理時点における移動後のデジタルPTZ画像の切り出し位置と、S602の処理時点に最も近いタイミングで出力されたIフレームとしてのデジタルPTZ画像の切り出し位置と、の差分を求める。ここで、Iフレームは、フレーム内符号化が行われた部分画像の一例である。以下においては、S602の処理時点に最も近いタイミングで出力されたIフレームを前回のIフレームと称することとする。そして、PTZ処理部301は、より小さい差分を選択し、選択した差分と予め設定された閾値とを比較する。ここで、閾値は、一次記憶装置201に予め設定されているものとする。PTZ処理部301は、差分が閾値以上の場合には(S602でYES)、処理をS603へ進める。PTZ処理部301は、差分が閾値未満の場合には(S602でNO)、処理をS605へ進める。
Next, in S602, the
S603において、PTZ処理部301は、S603の処理時点において、前回のIフレームの生成のタイミングから一定時間以上経過しているか否かを判定する。ここで、一定時間は一次記憶装置201に予め設定されているものとする。なお、一定時間は、PTZ処理部301によって予め設定されているIフレーム間隔よりも短い期間とする。PTZ処理部301は、一定時間以上経過している場合には(S603でYES)、処理をS604へ進める。PTZ処理部301は、一定時間以上経過していない場合には(S603でNO)、処理をS605へ進める。S604において、PTZ処理部301は、フレーム符号化方式を、フレーム内符号化に設定する。
In step S603, the
次に、S605において、PTZ処理部301は、クライアント装置110から、方向指定に応じた移動の停止指示を受け付けたか否かを判定する。PTZ処理部301は、停止指示を受け付けた場合には(S605でYES)、処理をS606へ進める。PTZ処理部301は、停止指示を受け付けなかった場合には(S605でNO)、処理をS602へ進める。S606において、PTZ処理部301は、一次記憶装置201に保存された画質パラメータを取得し、撮像処理部300に設定することで、画質パラメータを元の値に戻すことで画質を基に戻す。次に、S607において、PTZ処理部301は、停止時の映像生成時にフレーム符号化方式をフレーム内符号化に設定する。以上で処理が終了する。これにより、PTZ処理部301は、画質を元に戻す変更とIフレームを生成する変更を同時に行うことができる。なお、PTZ処理部301は、デジタルPTZ画像を切り出す領域に制限がある場合は、領域の端に到達した時点でS606へ処理を進めることとする。
Next, in step S605, the
なお、ズーム指定の場合の符号化方式決定処理は、図6を参照しつつ説明した方向指定の場合の符号化方式とほぼ同様である。ズーム指定の場合には、S602において、切り出し位置の差分に替えて、倍率(画角)の差分と閾値との比較を行えばよい。 The coding method determination process in the case of zoom specification is substantially the same as the coding method in the case of direction specification described with reference to FIG. In the case of zoom specification, in S602, the difference between the magnification (field angle) and the threshold value may be compared with the difference between the cutout positions.
以上のように、カメラサーバ装置100は、方向指定の場合には、重要度が低いと考えられる方向移動中の映像に対してデータサイズを抑えつつ、適切なタイミングでIフレームを生成することができる。そして、カメラサーバ装置100は、停止時には画質を戻し、Iフレームを生成することで、重要度が高い映像を鮮明に表示することができる。なお、本実施形態においては、S603において、一定時間経過した場合にIフレームを生成することとしたが、PTZ処理部301はさらに、この一定期間を、移動速度に応じて変更してもよい。
As described above, in the case of direction specification, the
以上のように、第1の実施形態に係るカメラサーバ装置100は、切り出し位置や切り出し画角の変更に応じて、符号化方式をフレーム内符号化に設定する。したがって、カメラサーバ装置100は、撮像画像の一部の領域に対応する第1の部分画像(デジタルPTZ画像)が出力された状態から他の領域に対応した第2の部分画像が出力される状態へと変わる際の画質劣化を低減することができる。
As described above, the
第1の実施形態の第1の変形例としては、図6を参照しつつ説明した、方向指定の場合の符号化方式決定処理において画質を落とす処理は行わなくともよい。例えば、移動中の映像も重要である場合に有効である。 As a first modified example of the first embodiment, the process of reducing the image quality in the coding method determination process in the case of direction specification described with reference to FIG. 6 may not be performed. For example, it is effective when moving images are also important.
また、第2の変形例としては、PTZ処理部301は、映像情報の差分を用いてIフレームに切り替えるような機能を実行している間は、移動時又は停止時のIフレームへの切り替えを実行しないこととしてもよい。
Also, as a second modification, the
また、第3の変形例としては、PTZ処理部301は、S602において、方向指定に応じた、S602の処理時点における移動後のデジタルPTZ画像の切り出し位置と、移動開始時のデジタルPTZ画像の切り出し位置と、の差分のみを求めてもよい。そして、PTZ処理部301は、この差分と閾値との比較を行ってもよい。また、他の例としては、PTZ処理部301は、方向指定に応じた、S602の処理時点における移動後のデジタルPTZ画像の切り出し位置と、前回のIフレームとしてのデジタルPTZ画像の切り出し位置と、の差分のみを求めることとしてもよい。そして、PTZ処理部301は、この差分と閾値との比較を行ってもよい。
As a third modification, the
(第2の実施形態)
次に、第2の実施形態に係るカメラシステムについて、主に第1の実施形態に係るカメラシステムと異なる点を説明する。図7は、第2の実施形態に係るカメラサーバ装置100による、位置指定の場合の符号化方式決定処理を示すフローチャートである。なお、図7に示す各処理のうち、図5を参照しつつ説明した第1の実施形態に係る符号化方式決定処理の各処理と同一の処理には、同一の番号を付している。S500において、PTZ処理部301は、位置指定の場合には(S500でYES)、処理をS700へ進める。S700において、PTZ処理部301は、位置指定に係るデジタルPTZ画像と、位置指定の直前に表示されていたデジタルPTZ画像との重なり部分の面積と閾値とを比較する。PTZ処理部301は、面積が閾値以上の場合には(S700でYES)、処理をS501へ進める。PTZ処理部301は、面積が閾値未満の場合には(S700でNO)、処理を終了する。なお、第2の実施形態に係るカメラシステムのこれ以外の構成及び処理は、第1の実施形態に係るカメラシステムの構成及び処理と同様である。
Second Embodiment
Next, differences of the camera system according to the second embodiment from the camera system according to the first embodiment will be mainly described. FIG. 7 is a flowchart showing coding method determination processing in the case of position specification by the
以上の処理により、第2の実施形態に係るカメラサーバ装置100は、位置指定に応じた移動前後のデジタルPTZ画像の変化量が閾値未満の場合に、Pフレームを生成し、変化量が閾値以上の場合にIフレームを生成することになる。したがって、第2の実施形態に係るカメラサーバ装置100は、撮像画像の一部の領域に対応する部分画像から他の領域に対応した部分画像に切り替わる際の画質劣化を低減することができる。
By the above processing, the
なお、第2の実施形態の第1の変形例としては、カメラサーバ装置100は、魚眼画像410の中心からの距離に応じてS700において利用する閾値を設定することとしてもよい。
As a first modification of the second embodiment, the
第2の変形例としては、カメラサーバ装置100は、位置指定に係るデジタルPTZ画像と、直前に表示されていたデジタルPTZ画像と、に基づいて、位置指定に係るデジタルPTZ画像の符号化方式を決定すればよい。すなわち、具体的な処理は実施形態に限定されるものではない。例えば、カメラサーバ装置100は、両画像の切り出し画角の差分が閾値以上の場合に符号化方式をフレーム内符号化に設定してもよい。また、他の例としては、カメラサーバ装置100は、両画像の切り出し位置の差分が閾値以上の場合に符号化方式をフレーム内符号化に設定してもよい。
As a second modification, the
(第3の実施形態)
次に、第3の実施形態に係るカメラシステムについて、主に第1の実施形態に係るカメラシステムと異なる点を説明する。図8は、第3の実施形態に係るカメラサーバ装置100による、位置指定の場合の符号化方式決定処理を示すフローチャートである。なお、図8に示す各処理のうち、図5を参照しつつ説明した第1の実施形態に係る符号化方式決定処理の各処理と同一の処理には、同一の番号を付している。S500において、PTZ処理部301は、位置指定の場合には(S500でYES)、処理をS800へ進める。
Third Embodiment
Next, differences of the camera system according to the third embodiment from the camera system according to the first embodiment will be mainly described. FIG. 8 is a flowchart showing a coding method determination process in the case of position specification by the
S800において、PTZ処理部301は、切り出される映像から、移動先のデジタルPTZの映像の画質パラメータを予め取得する。次に、S801において、PTZ処理部301は、移動前後の画質パラメータの差分を求め、差分と閾値との比較を行う。本実施形態においては、PTZ処理部301は、画質パラメータとして、デジタルPTZの映像全体に対する輝度値とエッジ量それぞれの差分を求め、各差分をそれぞれに対応する閾値と比較する。各閾値は、一次記憶装置201に予め設定されているものとする。
In S800, the
図9は、一次記憶装置201に記憶されている閾値テーブル900の一例を示す図である。閾値テーブル900において、画質パラメータの種類と閾値とが対応付けられている。図9に示す例では、輝度値とエッジ量それぞれの閾値が設定されている。PTZ処理部301は、輝度値の差分が輝度値の閾値以上で、かつエッジ量の差分がエッジ量の閾値以上という条件を満たすか否かを判定する。PTZ処理部301は、条件を満たす場合に(S801でYES)、処理をS501へ進める。PTZ処理部301は、条件を満たさない場合に(S801でNO)、処理を終了する。なお、第3の実施形態に係るカメラシステムのこれ以外の構成及び処理は、他の実施形態に係るカメラシステムの構成及び処理と同様である。
FIG. 9 is a diagram showing an example of the threshold value table 900 stored in the
以上の処理により、第3の実施形態に係るカメラサーバ装置100は、位置指定に応じた移動前後のデジタルPTZ画像の画質パラメータの変化量が閾値未満の場合にPフレームを生成し、変化量が閾値以上の場合にはIフレームを生成することになる。なお、画質パラメータの変化量が閾値未満の場合には、シーンがあまり変化していないと推測される。一方、画質パラメータの変化量が閾値以上の場合には、シーンが大きく変化していると推測される。すなわち、第3の実施形態に係るカメラサーバ装置100は、シーン変化に応じた符号化方式を設定しつつ、撮像画像の一部の領域に対応する部分画像から他の領域に対応した部分画像に切り替わる際の画質劣化を低減することができる。
By the above processing, the
なお、第3の実施形態の変形例としては、S801において利用する画質パラメータの種類及び数は実施形態に限定されるものではない。画質パラメータとしては、上記以外に、露出補正値やシャッタースピード値、絞り値等が考えられる。 As a modification of the third embodiment, the type and number of image quality parameters used in S801 are not limited to those of the embodiment. As the image quality parameters, in addition to the above, an exposure correction value, a shutter speed value, an aperture value, and the like can be considered.
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the preferred embodiments of the present invention have been described above in detail, the present invention is not limited to the specific embodiments, and various modifications may be made within the scope of the present invention as set forth in the claims.・ Change is possible.
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
100 カメラサーバ装置
120 クライアント装置
200 CPU
201 一時記憶装置
206 画像センサ
100
201
Claims (14)
前記符号化手段によって符号化された前記部分画像を出力する出力手段と
を有し、
前記符号化手段は、前記出力手段によって第1の部分画像が出力された状態から、前記出力手段によって前記第1の部分画像と異なる領域の第2の部分画像が出力される状態へと変わる場合に、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする画像符号化装置。 Encoding means for encoding a frame of a partial image corresponding to a partial area of a captured image captured by the imaging means using at least either of intra-frame encoding and inter-frame encoding;
And output means for outputting the partial image encoded by the encoding means,
When the encoding unit changes from the state in which the first partial image is output by the output unit to a state in which a second partial image in an area different from the first partial image is output by the output unit An image coding apparatus characterized in that the second partial image is coded without using the interframe coding.
前記符号化手段は、前記判断手段が前記第2の部分画像を、前記フレーム間符号化を用いずに符号化すると判断した場合に、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする請求項1乃至4の何れか1項に記載の画像符号化装置。 Determining means for determining whether or not to encode the second partial image without using the interframe coding, based on the difference in position between the second partial image and the first partial image And have
The encoding means uses the inter-frame encoding when the determination means determines that the second partial image is to be encoded without using the inter-frame encoding. The image coding apparatus according to any one of claims 1 to 4, wherein the image coding is performed without coding.
前記第1の部分画像は、前記移動指示を受け付けたタイミングに対応して出力される部分画像であることを特徴とする請求項5に記載の画像符号化装置。 The output means continuously outputs a plurality of partial images corresponding to the area according to the movement instruction, when receiving a movement instruction to gradually move the position of the partial area,
The image coding apparatus according to claim 5, wherein the first partial image is a partial image output corresponding to a timing at which the movement instruction is received.
前記第1の部分画像は、前記第2の部分画像に最も近いタイミングで出力された、前記フレーム内符号化が行われた部分画像であることを特徴とする請求項6に記載の画像符号化装置。 The output means continuously outputs a plurality of partial images corresponding to the area according to the movement instruction, when receiving a movement instruction to gradually move the position of the partial area,
The image coding according to claim 6, wherein the first partial image is a partial image on which the intraframe coding has been performed, which is output at a timing closest to the second partial image. apparatus.
前記出力手段は、前記移動指示を受け付けた場合に、前記画質変更手段による変更後の画質の前記部分画像を出力することを特徴とする請求項6乃至8の何れか1項に記載の画像符号化装置。 The apparatus further comprises image quality change means for changing the image quality of the partial image output after the timing of receiving the movement instruction to be lower than the image quality of the partial image output before the timing,
The image code according to any one of claims 6 to 8, wherein the output means outputs the partial image of the image quality after being changed by the image quality changing means when the movement instruction is received. Device.
前記符号化手段は、前記判断手段が前記第2の部分画像を、前記フレーム間符号化を用いずに符号化すると判断した場合に、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする請求項1乃至4の何れか1項に記載の画像符号化装置。 The image processing apparatus further includes a determination unit that determines whether the second partial image is to be encoded without using the interframe encoding, based on the second partial image and the first partial image. ,
The encoding means uses the inter-frame encoding when the determination means determines that the second partial image is to be encoded without using the inter-frame encoding. The image coding apparatus according to any one of claims 1 to 4, wherein the image coding is performed without coding.
撮像手段によって撮像された撮像画像の一部の領域に対応する部分画像のフレームをフレーム内符号化又はフレーム間符号化の少なくとも何れかを用いて符号化する符号化ステップと、
前記符号化ステップにおいて符号化された前記部分画像を出力手段に出力する出力ステップと
を含み、
前記符号化ステップにおいては、前記出力手段に第1の部分画像が出力された状態から、前記出力手段に前記第1の部分画像と異なる領域の第2の部分画像が出力される状態へと変わる場合に、前記第2の部分画像を、前記フレーム間符号化を用いずに符号化することを特徴とする画像符号化方法。 An image coding method performed by an image coding apparatus, comprising:
Encoding a frame of a partial image corresponding to a partial region of a captured image captured by the imaging unit using at least either of intra-frame encoding and inter-frame encoding;
Outputting the partial image encoded in the encoding step to an output means,
In the encoding step, the state in which the first partial image is output to the output means is changed to a state in which a second partial image of an area different from the first partial image is output to the output means. In this case, the second partial image is encoded without using the interframe encoding.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017200397A JP2019075685A (en) | 2017-10-16 | 2017-10-16 | Image encoding apparatus, image encoding method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017200397A JP2019075685A (en) | 2017-10-16 | 2017-10-16 | Image encoding apparatus, image encoding method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019075685A true JP2019075685A (en) | 2019-05-16 |
Family
ID=66544350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017200397A Pending JP2019075685A (en) | 2017-10-16 | 2017-10-16 | Image encoding apparatus, image encoding method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019075685A (en) |
-
2017
- 2017-10-16 JP JP2017200397A patent/JP2019075685A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5268743B2 (en) | Image communication system | |
JP4687807B2 (en) | Movie recording apparatus, moving image tilt correction method, and program | |
WO2010095207A1 (en) | Video image pickup device | |
JP4895016B2 (en) | Imaging device | |
JP4794386B2 (en) | Imaging device | |
JP5153674B2 (en) | Moving picture coding apparatus and moving picture coding method | |
JP6707334B2 (en) | Method and apparatus for real-time encoding | |
JP6975121B2 (en) | Methods and Encoders for Encoding Video Streams in Video Coding Formats That Support Auxiliary Frames | |
US12047690B2 (en) | Generating substitute image frames based on camera motion | |
JP7425012B2 (en) | Controlling pan-tilt-zoom camera | |
JP2008252685A (en) | Image encoding device, and imaging apparatus using the same | |
JP2008035281A (en) | Image coding method | |
JP7299690B2 (en) | Image processing device and its control method | |
JP2008141354A (en) | Image coding apparatus and imaging apparatus | |
JP2019075685A (en) | Image encoding apparatus, image encoding method, and program | |
JP2000209590A (en) | Image encoder, image encoding method, storage medium and image pickup device | |
JP4700992B2 (en) | Image processing device | |
JP2005175974A (en) | Imaging device | |
JP2006303987A (en) | Image encoder and image encoding method | |
JP7336185B2 (en) | Image processing device and image processing method | |
JP2018129688A (en) | Video encoding device, video encoding/decoding system, and video encoding program | |
JP2012023768A (en) | Imaging apparatus | |
JP5419560B2 (en) | Imaging device | |
JP2009081727A (en) | Image encoding apparatus, method of controlling therefor, and program | |
JP2006217158A (en) | Image coding apparatus and imaging apparatus |