JP2021175035A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 圧縮符号化に用いる背景画像における特定領域と非特定領域とで異なる圧縮符号化パラメータを設定するケースにおいて、特定領域においては動き量に応じた圧縮符号化パラメータを設定するための技術を提供すること。【解決手段】 複数の画像から同じ画素位置における画素値を取得し、該取得した画素値の頻度分布に基づき、背景画像における該画素位置の画素値および動き量を決定する。背景画像に対して圧縮符号化パラメータを設定する。背景画像における特定領域には、該特定領域に属する画素の動き量に応じた圧縮符号化パラメータを設定する。【選択図】 図２

Description

本発明は、画像の圧縮符号化技術に関するものである。

近年、スマートフォンやデジタルビデオカメラ等の普及に伴い、撮像を行って映像データを生成する機会が増えている。その一方、データを記録しておくストレージの容量や、データを送受信する際の通信帯域には限りがあるため、映像データを効率的に圧縮する技術が求められている。映像圧縮の方法としては、Ｈ．２６４／ＡＶＣという標準規格が知られている。また、Ｈ．２６５／ＨＥＶＣという標準規格も普及し始めている。

映像データの圧縮符号化技術において、画質を調整するために、量子化パラメータ（Quantization Parameter）等のパラメータが規定されている。これらのパラメータを用いて、必要な情報を保持したままデータ量をできるだけ少なくすることが求められている。具体的には、映像中の注目領域をＲＯＩ(Region of Interest)として抽出し、ＲＯＩとそれ以外の領域とで量子化パラメータを変える手法がある。監視を主な目的としたネットワークカメラでは、動体が重要物であることが多いため、動体を検知してＲＯＩとする方法が知られている。また、動体の中でもより重要とされる人や車などの特定物体を検知し、特定物体のみをＲＯＩとする方法も一般的である。

動体が重要物であることが多いとしたが、例外もある。例えば風にゆれる木々や、噴水や海面など常時揺れている背景物も存在する。そのような背景物は複雑な動きをもつために、正確に再現しようとすると圧縮効率が落ちてデータ量の増大を招くが、そこに含まれる情報は一般的に重要なものではない。そこで、重要な領域をＲＯＩとして高画質化すると同時に、重要ではないが動きのある領域を選択して低画質化することで、必要な情報を失わずにビットレートを低減することが可能になる。

水面や植生などの領域は、取得した映像を構成する一枚一枚の画像（以下、フレームと呼ぶ）に対して領域分割（セグメンテーションなどとも呼ばれる）手法を適応することで取得することができる。但し前景となる人や車が含まれていると正しく領域分割ができないために、前景を除いた背景画像を生成する必要がある。特許文献１には、複数のフレームを用いて背景画像を生成する方法が開示されている。また特許文献２には、重要領域とされる人の顔領域の中で、動く領域と動かない領域に分けて画質を変える方法が開示されている。

特開2012-203680号公報 特開平8-181992号公報

特許文献１の方法を用いることで、前景が含まれない背景画像を作成することができるが、特許文献１の方法では、背景画像を用いた圧縮制御は行っていない。特許文献２の方法では、背景に含まれる動き領域を対象とはしていないため、植生などの動きを想定していない。さらに、フレームごとに領域分割を行い、分割内容によって画質パラメータを変更することも可能であるが、その場合、植生であれば一律に画質が定まってしまい、動いている植生と動いていない植生とで異なる画質を設定することができないという課題がある。

本発明では、圧縮符号化に用いる背景画像における特定領域と非特定領域とで異なる圧縮符号化パラメータを設定するケースにおいて、特定領域においては動き量に応じた圧縮符号化パラメータを設定するための技術を提供する。

本発明の一様態は、複数の画像から同じ画素位置における画素値を取得し、該取得した画素値の頻度分布に基づき、背景画像における該画素位置の画素値および動き量を決定する決定手段と、前記背景画像に対して圧縮符号化パラメータを設定する設定手段とを備え、前記設定手段は、前記背景画像における特定領域には、該特定領域に属する画素の動き量に応じた圧縮符号化パラメータを設定することを特徴とする。

本発明の構成によれば、圧縮符号化に用いる背景画像における特定領域と非特定領域とで異なる圧縮符号化パラメータを設定するケースにおいて、特定領域においては動き量に応じた圧縮符号化パラメータを設定するための技術を提供することができる。

画像処理システム１０の構成例を示すブロック図。 （Ａ）は画像処理装置１００の機能構成例を示すブロック図、（Ｂ）は画像処理装置１００のハードウェア構成例を示すブロック図。 第１の実施形態のユースケースを説明する図。 分析段階にて画像処理装置１００が行う処理のフローチャート。 ヒストグラムの一例を示す図。 図３のシーンを撮像した撮像画像群から生成した背景画像の一例を示す図。 圧縮段階にて画像処理装置１００が行う処理のフローチャート。 分析段階にて画像処理装置１００が行う処理のフローチャート。 圧縮段階にて画像処理装置１００が行う処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下の各実施形態では、監視目的の撮像を例に取り説明するが、これに限らず、以下の各実施形態は、放送目的等、種々の目的の撮像に適用することも可能である。また、以下の各実施形態では、ネットワークに接続して他の装置と通信可能な撮像装置（ネットワークカメラ）として機能する画像処理装置について説明する。しかし、これに限らず、以下の各実施形態は、ネットワークに接続できない撮像装置として機能する画像処理装置にも適用することも可能である。また、以下の各実施形態では、画像処理装置が撮像機能を有しているものとして説明するが、画像処理装置が撮像機能を有することに限らず、撮像機能を画像処理装置とは別個の装置で実現させ、画像処理装置は撮像画像を該装置から取得する構成としても良い。

［第１の実施形態］
本実施形態には、撮像された動画像におけるフレームの画像の圧縮（圧縮符号化）に用いる背景画像を分析する分析段階と、該分析段階後に撮像された動画像におけるフレームの画像を該分析の結果を用いて圧縮符号化する圧縮段階と、がある。

前者の分析段階では、画角等を固定して同一シーンを撮像した動画像における複数フレームの画像から、背景画像と、該背景画像における画素位置ごとのある時間における動き量と、を求める。そして、該背景画像において特定領域と該非特定領域とで異なる圧縮符号化パラメータを設定するが、特定領域には、該特定領域における動き量に応じた圧縮符号化パラメータを設定する。以下では、圧縮符号化パラメータとして、量子化パラメータ値であるＱｐ値を用いた例を説明するが、圧縮符号化パラメータはＱｐ値に限らず、画質に影響を与える圧縮符号化パラメータであれば如何なる圧縮符号化パラメータを採用してもよい。

後者の圧縮段階では、画角等を固定して同一シーン（分析段階で撮像したシーンと同じシーン）を撮像した動画像における各フレームの画像から前景を抽出し、該抽出した前景にＲＯＩを設定する。そして、該画像において上記の特定領域に対応する対応領域には「背景画像の特定領域に設定したＱｐ値」を設定し、該画像において上記の非特定領域に対応する対応領域には「背景画像の非特定領域に設定したＱｐ値」を設定する。その際、該画像のＲＯＩには「高画質化に相当するＱｐ値（特定領域のＱｐ値および非特定領域のＱｐ値の何れよりも小さいＱｐ値）」を設定する。そして、該画像のそれぞれの領域を該領域のＱｐ値を用いて量子化して圧縮符号化することで、背景で動きが大きく、圧縮コストが高い割に重要な情報を含まない領域のみを低画質化して圧縮効率を上げつつ前景の重要な領域の画質を保った画像圧縮を可能にする。

＜画像処理システム１０の構成例＞
先ず、本実施形態に係る画像処理システム１０の構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係る画像処理システム１０は、撮像機能を有する画像処理装置１００と、クライアント装置２００と、を有し、それぞれはネットワーク３００を介して互いにデータ通信が可能なように構成されている。本実施形態では、画像処理装置１００はネットワーク３００に接続して他の装置と通信可能である装置（ネットワークカメラ等）を想定するが、ネットワーク３００に接続可能であることは必須ではない。

クライアント装置２００は、ユーザによる操作に基づいて、画像処理装置１００に対して、動画像（ストリーム）の配信を要求する配信要求コマンドや、各種パラメータやＲＯＩの情報等を設定するための設定コマンドを送信する。画像処理装置１００は、配信要求コマンドに応じて、ストリームをクライアント装置２００に配信し、設定コマンドに応じて、各種パラメータやＲＯＩの情報等を記憶する。クライアント装置２００は、パーソナルコンピュータ、タブレット端末、スマートフォンなどのコンピュータ装置である。クライアント装置２００のＣＰＵ等のプロセッサが該クライアント装置２００のメモリに格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりクライアント装置２００のプロセッサは、クライアント装置２００全体の動作制御を行うと共に、クライアント装置２００が行うものとして説明する各処理を実行若しくは制御する。

＜画像処理装置１００の構成例について＞
続いて、図２（Ａ）と図２（Ｂ）を参照して画像処理装置１００の構成例について説明する。図２（Ａ）は、画像処理装置１００の機能構成例を示すブロック図、図２（Ｂ）は、画像処理装置１００のハードウェア構成例を示すブロック図である。

先ず、画像処理装置１００の機能構成例について、図２（Ａ）のブロック図を用いて説明する。画像取得部２１１は、撮像部２２１（図２（Ｂ））や外部装置（不図示）等から動画像を取得し、該動画像から各フレームの撮像画像（画像フレーム）を取得する。例えば、画像取得部２１１は、記憶部２２２（図２（Ｂ））から取得した各種パラメータ（各種設定）を利用して、動画像から各フレームの撮像画像（画像フレーム）を生成する。

背景分析部２１４は、画像取得部２１１が取得した複数フレームの撮像画像を用いて、撮像シーンにおける前景を除いた背景の画像（背景画像）を生成するとともに、該背景画像における各画素に対応する動き量を求める。そして背景分析部２１４は、生成した背景画像を被写体ごとの領域に分割する領域分割を行い、分割領域ごとにＱｐ値を設定するのであるが、特定の被写体の分割領域については、対応する動き量に応じたＱｐ値を設定する。そして背景分析部２１４は、各領域について設定したＱｐ値を記憶部２２２に格納する。

前景抽出部２１５は、画像取得部２１１が取得した撮像画像から前景（前景領域）を抽出し、該抽出した前景にＲＯＩを設定する。圧縮符号化部２１２は、圧縮符号化対象として画像取得部２１１が取得した撮像画像を、背景分析部２１４によって記憶部２２２に格納されたＱｐ値を用いて圧縮符号化する。

通信制御部２１３は、圧縮符号化部２１２によって圧縮符号化された撮像画像を、例えばストリーム形式で、通信部２２４（図２（Ｂ））を介して、ネットワーク３００を通じてクライアント装置２００に送信する。通信制御部２１３により送信されるデータの形式や送信先については特定のデータ形式、特定の送信先に限らない。

次に、画像処理装置１００のハードウェア構成例について、図２（Ｂ）を用いて説明する。撮像部２２１は、レンズを通して結像した光を撮像素子で受光し、その受光した光を電荷に変換して、動画像を取得する。撮像素子には、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることができる。また、撮像素子には、ＣＣＤ（Charge Coupled Device）イメージセンサを用いてもよい。

記憶部２２２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリ装置を含む。記憶部２２２には、画像処理装置１００が行うものとして説明する各種の処理を制御部２２３に実行若しくは制御させるためのコンピュータプログラムやデータが格納されている。また記憶部２２２は、通信部２２４を介してクライアント装置２００等の外部装置から取得したデータ（コマンドや画像）や各種パラメータなどを記憶することができる。例えば、記憶部２２２は、撮像部２２１で取得された動画像に対するホワイトバランスや露出等の設定であるカメラパラメータや、圧縮符号化パラメータ等を記憶する。圧縮符号化パラメータには、量子化パラメータ値（Ｑｐ値）が含まれる。なおＱｐ値は、値が大きくなるほど量子化ステップが大きくなり、値が小さくなるほど量子化ステップが小さくなる。よって、より大きいＱｐ値を用いて圧縮符号化すると画質は低下し、より小さいＱｐ値を用いて圧縮符号化すると画質は向上する。また、記憶部２２２は、動画像のフレームレートや撮像画像のサイズ（解像度）等を含む、撮像画像に関するパラメータも記憶し得る。

また、記憶部２２２は、制御部２２３が各種の処理を実行する際に用いるワークエリアを提供し得る。さらに、記憶部２２２は、フレームメモリやバッファメモリとして機能することも可能である。なお、記憶部２２２として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体を用いてもよい。

制御部２２３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等を有する。制御部２２３は、記憶部２２２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これにより制御部２２３は、画像処理装置１００全体の動作制御を行うと共に、画像処理装置１００が行うものとして説明する各処理を実行若しくは制御する。なお、制御部２２３は、記憶部２２２に格納されているコンピュータプログラムとＯＳ（Operating System）との協働により画像処理装置１００全体を制御するようにしてもよい。なお、制御部２２３は、ＤＳＰ（Digital Signal Processor）等のプロセッサやＡＳＩＣ（Application Specific Integrated Circuit）により構成されてもよい。

通信部２２４は、ネットワーク３００を介してクライアント装置２００と通信するために、有線信号または無線信号の送受信を行う。なお、図２（Ａ）に示す画像処理装置１００の各機能部は、ハードウェアで実装しても良いし、ソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このコンピュータプログラムは上記の記憶部２２２に格納され、制御部２２３により実行される。

アクセラレータ部２２５は、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）などや記憶部を有する。アクセラレータ部２２５は、主にＤｅｅｐＬｅａｒｎｉｎｇによる高性能処理を行うために、撮像部２２１に付加される処理部である。背景分析部２１４や前景抽出部２１５の処理をアクセラレータ部２２５で行ってもよい。

以下では、図２（Ａ）に示した機能部を処理の主体として説明する。なお、図２（Ａ）に示した機能部をソフトウェア（コンピュータプログラム）で実装した場合、該機能部の機能を制御部２２３に実行もしくは制御させるためのコンピュータプログラムを該制御部２２３が実行することで、該機能部の機能が実現される。また、機械学習による処理を高速に行うために、アクセラレータ部２２５で処理を行ってもよい。

＜分析段階の処理について＞
分析段階にて画像処理装置１００が行う処理について、図４のフローチャートに従って説明する。ステップＳ４１０では、画像取得部２１１は、動画像を解析するために必要な設定を取得する。例えば、画像取得部２１１は、記憶部２２２から、動画像に関するパラメータやカメラパラメータ等を取得する。動画像に関するパラメータには、動画像のフレームレートや動画像のサイズ（解像度）が含まれ、カメラパラメータには、撮像部２２１のホワイトバランスや露出、カメラゲイン等の設定が含まれる。本実施形態では、一例として、動画像のサイズは１２８０画素×７２０画素、フレームレートは３０ｆｐｓとする。

また、画像取得部２１１は、記憶部２２２から圧縮符号化パラメータを取得する。画像取得部２１１が記憶部２２２から取得する圧縮符号化パラメータには、Ｈ．２６４に準拠した圧縮符号化を行うために用いる上記のＱｐ値（量子化パラメータ値）が含まれる。画像取得部２１１が取得するＱｐ値には、一般背景用のＱｐ値（非特定領域用のＱｐ値）と、特定領域用のＱｐ値と、が含まれている。本実施形態では、一例として、一般背景用のＱｐ値は「３６」、特定領域用のＱｐ値は「４０」であるものとして説明する。

ステップＳ４２０では、画像取得部２１１は、撮像部２２１によって撮像された動画像から、ステップＳ４１０で取得した各種設定に従って、所定時間分のフレームの撮像画像を生成する。本実施形態では、所定時間を例えば１０分とし、フレームレートは３０ｆｐｓである場合、動画像から１８０００フレームの撮像画像を生成することになる。

本実施形態では、図３に示すような一般道路の監視を対象としたユースケースを想定している。図３に示す撮像画像３０には、道路を左右に走る車３１０、その周囲の木立３２０、歩道を歩く通行人３３０、建物３４０、建物３４０の前にある芝生３５０などが含まれている。

ステップＳ４３０では、背景分析部２１４は、ステップＳ４２０で画像取得部２１１が取得した１８０００枚の撮像画像を用いて、背景画像と、該背景画像における小領域ごとの動き量と、を取得する。

先ず、背景画像の生成方法について説明する。背景画像は小領域ごとに、該小領域に対応する１８０００枚の撮像画像のそれぞれの対応領域の中で最も頻度の高い画素値を組み合わせて生成する。以下では小領域が画素であり、画素値が輝度値であるケースについて説明する。つまり、以下では、背景画像における画素位置（ｘ、ｙ）における輝度値を１８０００枚の撮像画像から決定する決定方法について説明する。この決定方法を背景画像における各画素位置に適用することで、背景画像における各画素位置の輝度値が決定することになり、結果として各画素位置の輝度値が決定した背景画像を生成することになる。 先ず、背景分析部２１４は、１８０００枚の撮像画像のそれぞれから画素位置（ｘ、ｙ）における輝度値を収集し、該収集した輝度値（１８０００個の画素の輝度値）の頻度分布を生成する。本実施形態では、背景分析部２１４は、輝度分布の一例として、各輝度値の頻度を表すヒストグラムを生成する。

ヒストグラムの一例を図５（ａ）、（ｂ）に示す。図５（ａ）、（ｂ）において、横軸はＲ，Ｇ，Ｂのそれぞれの輝度値を示し、縦軸は、Ｒ，Ｇ，Ｂのそれぞれの輝度値の頻度を示している。

図５（ａ）は、図３に示す撮像画像３０上の画素位置３６０（道路の領域内の画素位置）を（ｘ、ｙ）としたときに、１８０００枚の撮像画像のそれぞれにおける画素位置（ｘ、ｙ）から収集したＲ，Ｇ，Ｂのそれぞれの輝度値のヒストグラムを示す。道路の領域は、車が通過する場合にのみ異なる輝度値を取るが、それ以外では輝度変化が少なく、その結果、ヒストグラムは図５（ａ）に示す如く、高頻度の頻度値は比較的ばらつきが小さく、高頻度ではない頻度値はばらつきが大きいヒストグラムとなる。「高頻度ではない頻度値はばらつきが大きい」ことは、さまざまな色の車が道路を通過することに対応している。すなわち、図５（ａ）の画素位置３６０のケースでは、所定時間における「動き量が小さい」こととなる。

図５（ｂ）は、図３に示す撮像画像３０上の画素位置３７０（立木の領域内の画素位置）を（ｘ、ｙ）としたときに、１８０００枚の撮像画像のそれぞれにおける画素位置（ｘ、ｙ）から収集したＲ，Ｇ，Ｂのそれぞれの輝度値のヒストグラムを示す。立木の領域は、風で大きくゆれる木の領域であるため、輝度変化が大きく、その結果、ヒストグラムは図５（ｂ）に示す如く、頻度値のばらつきが比較的つきが大きい。すなわち、図５（ｂ）の画素位置３７０のケースでは、所定時間における「動き量が大きい」こととなる。

よって、背景分析部２１４は、背景画像における画素位置（ｘ、ｙ）について生成したヒストグラムにおいて頻度が最も高い輝度値を、背景画像中の画素位置（ｘ、ｙ）における画素の輝度値として決定する。

例えば、図５（ａ）のＲのヒストグラムにおいて頻度が最も高い輝度値は「１９５」、Ｇのヒストグラムにおいて頻度が最も高い輝度値は「１９１」、Ｂのヒストグラムにおいて頻度が最も高い輝度値は「１８７」である。よって、「１９５」、「１９１」、「１８７」のそれぞれを、背景画像において画素位置３６０に対応する画素位置（対応画素位置）の画素のＲの輝度値、Ｇの輝度値、Ｂの輝度値として決定する。

また例えば、図５（ｂ）のＲのヒストグラムにおいて頻度が最も高い輝度値は「９８」、Ｇのヒストグラムにおいて頻度が最も高い輝度値は「９１」、Ｂのヒストグラムにおいて頻度が最も高い輝度値は「５７」である。よって、「９８」、「９１」、「５７」のそれぞれを、背景画像において画素位置３７０に対応する画素位置の画素のＲの輝度値、Ｇの輝度値、Ｂの輝度値として決定する。

図３のシーンを撮像した撮像画像群から上記の処理によって生成した背景画像の一例を図６に示す。図６に示す背景画像６０と図３のシーンとを比較すると、図６に示す背景画像６０は、前景となる車や人はなくなり、道路や歩道、木立や建物など背景としてシーンに存在するもののみが残った画像となっている。但し、背景画像６０中の木立３２０に関しては、図５（ｂ）に示したように頻度値のばらつきが大きく、画素ごとにヒストグラムから選択される輝度値にばらつきが生じるため、図３の撮像画像３０における木立３２０と比べて、ぼやけた状態になる。それに対して、植生領域であっても、遠方の建物の前にあるような対象、例えば、撮像画像３０における芝生３５０と背景画像６０における芝生３５０とでは大きな差異は生じない。背景分析部２１４は、このようにして生成した背景画像を記憶部２２２に格納する。

次に、背景画像における画素ごとの動き量を求める方法について説明する。以下では、背景画像中の画素位置（ｘ、ｙ）における動き量を求める方法について説明する。この方法を背景画像における各画素位置に適用することで、背景画像中の各画素位置における動き量を求めることができる。

背景画像における画素位置（ｘ、ｙ）における動き量は、該画素位置（ｘ、ｙ）について生成したヒストグラムにおいて最も高い頻度を含むピークの幅の逆数や、最も高い頻度及びその周辺に分布する頻度の合計値の総頻度（頻度の総数で、ここでは１８０００）に対する割合の逆数とすることができる。ここでは後者の方法でもって、背景画像中の画素位置（ｘ、ｙ）における動き量を求める方法について説明する。

先ずは、背景画像中の画素位置（ｘ、ｙ）について生成したヒストグラムにおいて最も高い頻度（最高頻度）と、該ヒストグラムにおいて最高頻度に対応する輝度値に隣接する２つの輝度値のそれぞれの頻度と、の合計値を「ピークの幅」として求める。そして背景分析部２１４は、総頻度「１８０００」に対する「ピークの幅」の割合を求め、該求めた割合の逆数を、背景画像における画素位置（ｘ、ｙ）の動き量として求める。ここで注意する必要があるのは、前景の動きを除いた背景の動き量を取得することが目的であるため、例えば、図５（ａ）の低輝度値に広がるばらつきの影響は除きたい。

例えば、背景画像において画素位置３６０に対応する画素位置の動き量を求める場合、先ずは、図５（ａ）のヒストグラムを参照して、Ｒ，Ｇ，Ｂのそれぞれについてピークの幅を求め、該求めたピークの幅の総頻度「１８０００」に対する割合を求める。

Ｒについては、最大頻度は「３５４４」、該最大頻度に対応する輝度値に隣接する輝度値に対応する頻度は「１５３２」，「０」であるので、ピークの幅は、これらの合計値「５０７６」（＝３５４４＋１５３２＋０）となる。よって、総頻度「１８０００」に対する「ピークの幅」の割合は５０７６／１８０００＝０．２８２となる。

Ｇについては、最大頻度は「４８９８」、該最大頻度に対応する輝度値に隣接する輝度値に対応する頻度は「２７６１」，「０」であるので、ピークの幅は、これらの合計値「７６５９」（＝４８９８＋２７６１＋０）となる。よって、総頻度「１８０００」に対する「ピークの幅」の割合は７６５９／１８０００＝０．４２６となる。

Ｂについては、最大頻度は「４０５５」、該最大頻度に対応する輝度値に隣接する輝度値に対応する頻度は「３５７３」，「０」であるので、ピークの幅は、これらの合計値「７６２８」（＝４０５５＋３５７３＋０）となる。よって、総頻度「１８０００」に対する「ピークの幅」の割合は７６２８／１８０００＝０．４２４となる。

動き量は、１つの画素位置におけるＲ，Ｇ，Ｂのそれぞれについて求めてもよいし、１つの画素位置について１つ求めてもよい。ここでは後者を採用する。よって、この場合、Ｒ，Ｇ，Ｂのそれぞれについて求めた割合の平均値「０．３７７」（＝（０．２８２＋０．４２６＋０．４２４）／３）を求め、その逆数「２．６５」を、「背景画像において画素位置３６０に対応する画素位置の動き量」として求める。

また例えば、背景画像において画素位置３７０に対応する画素位置の動き量を求める場合、先ずは、図５（ｂ）のヒストグラムを参照して、Ｒ，Ｇ，Ｂのそれぞれについてピークの幅を求め、該求めたピークの幅の総頻度「１８０００」に対する割合を求める。

Ｒについては、最大頻度は「６９３」、該最大頻度に対応する輝度値に隣接する輝度値に対応する頻度は「５１２」，「３３４」であるので、ピークの幅は、これらの合計値「１５３９」（＝６９３＋５１２＋３３４）となる。よって、総頻度「１８０００」に対する「ピークの幅」の割合は１５３９／１８０００＝０．０８６となる。

Ｇについては、最大頻度は「７２７」、該最大頻度に対応する輝度値に隣接する輝度値に対応する頻度は「６３１」，「５４０」であるので、ピークの幅は、これらの合計値「１８９８」（＝７２７＋６３１＋５４０）となる。よって、総頻度「１８０００」に対する「ピークの幅」の割合は１８９８／１８０００＝０．１０５となる。

Ｂについては、最大頻度は「１０２０」、該最大頻度に対応する輝度値に隣接する輝度値に対応する頻度は「８１６」，「５１１」であるので、ピークの幅は、これらの合計値「２３４７」（＝１０２０＋８１６＋５１１）となる。よって、総頻度「１８０００」に対する「ピークの幅」の割合は２３４７／１８０００＝０．１３０となる。

そして、Ｒ，Ｇ，Ｂのそれぞれについて求めた割合の平均値「０．１０７」（＝（０．０８６＋０．１０５＋０．１３０）／３）を求め、その逆数「９．３５」を、「背景画像において画素位置３７０に対応する画素位置の動き量」として求める。

上記の如く、動きが小さいほど最大頻度の周りに大部分が分布することになるため、上記割合は大きくなる。よって本実施形態では、このような関係から、割合の平均値の逆数を動き量としている。

なお、上記で説明した、ヒストグラムから動き量を求める方法は一例であり、この方法に限らない。例えば、上記の説明では、最大頻度と、該最大頻度に対応する輝度値に隣接する輝度値の頻度と、の合計値を求めた。しかし、ピークの幅が広くなればなるほど、動きが小さい場合でもそのピークの高さが周囲と平均化されてしまう。そのような影響を防ぐために、総頻度に対する最大頻度の割合の逆数を動き量としてもよい。また、上記の合計値として、最大頻度と、該最大頻度に対応する輝度値に隣接する輝度値の頻度のうち大きい方と、の合計値を求めてもよい。なお、「隣接する輝度値」の代わりに「近傍の輝度値」としてもよい。

次に、ステップＳ４４０では、背景分析部２１４は、ステップＳ４３０で生成した背景画像に対して意味的領域分割処理（セグメンテーション）を行い、背景画像を被写体の領域ごとに分割する。なお、本実施形態では、ステップＳ４４０における領域分割で得られた分割領域のうち「植生の領域（植生領域）」を特定領域とし、「植生領域」以外の分割領域を非特定領域とする。しかし、特定領域および非特定領域の属性はそれぞれ「植生領域」、「植生領域以外の分割領域」に限らない。

セグメンテーションの方法としては複数の方法が知られているが、ここでは機械学習、特にＤｅｅｐＬｅａｒｎｉｎｇをベースとした手法である、ＤｅｅｐＬａｂ（Ｇｏｏｇｌｅ）を用いる。ＤｅｅｐＬａｂを用いて道路や空、木立や建物の領域を取得する識別器を構築するために、動画像から道路や建物が写っているフレームの画像を集めて学習用データとして準備する。具体的には、動画像中の各フレームの画像から、道路や建物の領域を抽出してラベル（道路や建物）を記載したファイルを作成する。このようにして準備した学習用データを学習し、道路や建物の領域をセグメンテーションする識別器を構築する。

次に、ステップＳ４５０では、背景分析部２１４は、ステップＳ４３０で生成した背景画像を複数の単位領域に分割する。そして背景分析部２１４は、背景画像における各単位領域に対してＱｐ値を設定する。Ｈ．２６４においては、マクロブロックとして１６×１６の単位でＱｐ値を設定することになるため、本実施形態では、マクロブロックごとにＱｐ値を設定する（つまり単位領域＝マクロブロックとする）。但し、マクロブロックをさらに小さく分割することができる場合には、より小さい単位でＱｐ値を設定するようにしてもよい。さらに、Ｈ．２６５ではＣＴＵ単位での設定が可能となるため、Ｑｐ値の設定が可能な単位領域の大きさに応じて設定する。

背景分析部２１４は、マクロブロックを構成する画素のうち１つでも、ステップＳ４４０における領域分割で得られた分割領域のうち非特定領域に属する場合には、該マクロブロックは非特定領域に属するものと判断する。そして背景分析部２１４は、非特定領域に属するものと判断したマクロブロックには、非特定領域用のＱｐ値「３６」を設定する。

一方、圧縮符号化部２１２は、マクロブロックを構成する全ての画素が、ステップＳ４４０における領域分割で得られた分割領域のうち特定領域に属する場合には、該マクロブロックは特定領域に属するものと判断する。そして背景分析部２１４は、特定領域に属するものと判断したマクロブロックには、特定領域用のＱｐ値である「４０」を該マクロブロックを構成する各画素の動き量に基づいて制御したＱｐ値を設定する。例えば、圧縮符号化部２１２は、全ての画素が特定領域に属するマクロブロックについては、該マクロブロックを構成する各画素に対応する動き量の平均値Ａｖを求め、該マクロブロックに設定するＱｐ値を「４０＋Ａｖ」とする。

例えば、図５（ｂ）で示されるようなヒストグラムをもつ画素（図３の画素位置３７０における画素など）で構成されるマクロブロックでは、動き量の平均値が〜８となるため、特定領域用のＱｐ値「４０」に動き量の８を足して、Ｑｐ値「４８」を設定する。同様に植生領域であっても、建物の前にある芝領域に存在する画素位置３８０における画素で構成されるマクロブロックでは、動き量が〜３であるため、特定領域用のＱｐ値「４０」に動き量の３を足して、Ｑｐ値「４３」を設定する。

なお、動き量の平均値に重みをつけてＱｐ値「４０」に加算することも考えられる。具体的には、重み係数をγとして、図３の画素位置３７０周辺の植生領域に設定されるＱｐ値を「４０＋８γ」、図３の画素位置３８０周辺の植生領域に設定されるＱｐ値を「４０＋３γ」としてもよい。γの大きさは１としてもよいし、動きがあるものにより大きな圧縮を行いたい場合には１より大きくしてもよい。さらに、本実施形態では、特定領域として植生領域のみを選択しているが、複数の異なる特定領域を選択して、重みに差をつけることも考えられる。具体的には、植生領域の重み係数γは１であるのに対し、水面領域も特定領域として動き量を考慮し、さらに水面領域の重み係数γを１．５とするようなケースも考えられる。但し、Ｑｐ値は整数単位でのみ設定が可能であるため、たとえ重み係数γが１．５で４０＋３γ＝４４．５となった場合でも、四捨五入などの処理を行って、整数値でＱｐ値を設定する。その場合、ここでは、４５がＱｐ値として設定されることになる。

このように、同じ植生領域であっても、より動きの大きい所により大きなＱｐ値を設定することで、重要な情報を含んでいるわけではないが、圧縮効率が低くビットレートの増大をまねくことになる背景の動き領域の画質を劣化させて、ビットレートを低減することが可能になる。そして背景分析部２１４は、背景画像における各マクロブロックに対するＱｐ値を記憶部２２２に格納する。

＜圧縮段階の処理について＞
次に、圧縮段階にて画像処理装置１００が行う処理について、図７のフローチャートに従って説明する。ステップＳ７１０では、画像取得部２１１は、上記のステップＳ４１０と同様にして、動画像を解析するために必要な設定を取得する。また、圧縮符号化部２１２は、記憶部２２２から圧縮符号化パラメータを取得する。本ステップで取得する圧縮符号化パラメータには、ＲＯＩ用（前景領域用）のＱｐ値（ここでは「３２」とする）が含まれている。

ステップＳ７２０では、制御部２２３は、図４のフローチャートに従った処理で求めた、背景画像における各マクロブロックに対するＱｐ値を記憶部２２２から取得する。ステップＳ７３０では、画像取得部２１１は、上記のステップＳ４２０と同様に、撮像部２２１によって撮像された動画像から、ステップＳ７１０で取得した各種設定に従って、連続する各フレームの撮像画像を生成する。

ステップＳ７４０では、前景抽出部２１５は、ステップＳ７３０で取得した撮像画像から検出ターゲットとなる前景（前景領域）を抽出する。ここでは、図３で示した道路のシーンを想定し、検出ターゲットは車と人とする。なお、前景の抽出は、各フレームの撮像画像について行ってもよいし、数フレーム間隔の撮像画像について行ってもよい。

画像解析による車や人の検出方法としては、機械学習、特にＤｅｅｐＬｅａｒｎｉｎｇをベースとした手法が、高精度且つリアルタイム処理に対応可能な高速化を達成している手法として知られている。具体的には、ＹＯＬＯ(Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ)やＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）などがあげられるが、ここではＳＳＤを用いた場合について示す。ＳＳＤは複数物体が写っている画像からそれぞれの物体を検出する方法の一つである。

ＳＳＤを用いて画像から人や車を検出する識別器を構築するために、複数の画像から車や人が写っている画像を集めて学習用データとして準備する。具体的には、画像中の人や車の領域を抽出し、その中心位置の座標と大きさを記載したファイルを作成する。このようにして準備した学習用データを学習し、画像から車や人を検出する識別器を構築する。

前景抽出部２１５は、このようにして生成された識別器を用いて撮像画像から車や人を検出すると、検出した車や人の領域（前景領域）の位置と大きさ（幅と高さ）を圧縮符号化部２１２に出力する。前景領域の位置は、撮像画像の左上の位置を原点とする座標系における該前景領域の中心位置とする。また、前景領域の大きさは、撮像画像の大きさ（幅と高さ）に対する該前景領域（幅と高さ）の割合とする。このようにして取得した前景領域の位置と大きさは、撮像画像内に車や人が複数検出される場合もあるので、リストとして圧縮符号化部２１２に出力される。

ステップＳ７５０では、圧縮符号化部２１２は、ステップＳ７４０で前景抽出部２１５から出力された「前景領域の位置および大きさ」で特定される「撮像画像上の前景領域」に対応する背景画像上の対応領域を特定する。そして圧縮符号化部２１２は、背景画像における各マクロブロックのうち、一部若しくは全部が該対応領域に含まれるマクロブロックを特定し、該特定したマクロブロックのＱｐ値の代わりにＲＯＩ用のＱｐ値「３２」が用いられるよう設定する。

ステップＳ７６０では、圧縮符号化部２１２は、撮像画像を複数のマクロブロックに分割し、該マクロブロックを、該マクロブロックに対応する背景画像のマクロブロックのＱｐ値を用いて圧縮符号化する。そして通信制御部２１３は通信部２２４を制御し、このようにして全てのマクロブロックが圧縮符号化された撮像画像を、ネットワーク３００を介してクライアント装置２００に配信する。なお、通信部２２４による配信先は特定の配信先に限らない。例えば通信部２２４は、圧縮符号化済みの撮像画像を、クライアント装置２００に加えて若しくは代えて他の装置に配信してもよいし、自身の記憶部２２２に格納してもよい。

ステップＳ７７０では、制御部２２３は、圧縮符号化を続ける（処理すべき撮像画像がある）か否かを判断し、続ける場合には、処理はステップＳ７３０に進み、続けない場合には、図７のフローチャートに従った処理は終了する。

このように、本実施形態では、所定時間分のフレームの撮像画像を分析することで生成及び抽出した背景画像および背景の動き量に基づいて、背景に対するＱｐ値を設定する。これにより、常時動きがある植生など、ビットレートの上昇を招くものの重要な情報を含まない領域に対して、高圧縮で圧縮符号化を行うことが可能になる。さらに、本実施形態によれば、撮像画像におけるＲＯＩをＲＯＩ用のＱｐ値を用いて圧縮符号化し、ＲＯＩを除く領域を、背景画像において該領域に対応する対応領域に設定されているＱｐ値を用いて圧縮符号化する。これにより、植生領域の前方をターゲットが通過した場合には前景の高画質化を優先し、そうでない場合には背景として低画質化することが可能となり、結果としてより効果的なビットレートの低減が可能となる。

＜背景分析処理と前景抽出処理のタイミングについて＞
本実施形態では、背景分析部２１４による背景分析に用いるフレーム数と対象とする時間（３０ｆｐｓ全てを用いるのか、間引くのか）や、背景情報（背景画像や該背景画像における画素ごとの動き量）を更新するタイミングが重要となる。

背景分析にかける時間はユースケースに合わせて変える必要がある。例えば、一日分の動画像で背景分析を行って背景情報を月１回更新する場合と、数ＧＯＰ（Group of picture）程度の動画像で分析を行って背景情報を数分ごとに更新する場合とでは、抽出したい背景の動きの意味合いが異なってくる。本実施形態では、図３に示すような一般道路の監視を対象としたユースケースを想定している。その場合、前者では、よく動く木立とあまり動きのない芝生の分布が抽出され、季節によって木立の状況が変われば背景情報を更新する。それに対して後者では、風の強さに応じた木立の動きの変化を反映させようとするが、分析に用いる時間スケールが短いために信号待ちをしている人や車も背景として処理される。本実施形態で示した１０分程度の動画像を用いた背景分析は、信号待ちをしている車や人が背景として認識されない時間の背景分析である。そして１時間おきに背景情報を更新する場合には、天候の変化による風の強さの変化を反映できると考えている。特定領域として指定する領域を、植生ではなく水面などとすれば、同様のタイミングで海水面や湖面などにも適用可能だと考えている。

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。圧縮符号化の制御には、Ｑｐ値を指定する制御だけでなく、ＣＢＲ（Ｃｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ）による制御がある。ＣＢＲによる制御は、ビットレートを一定に保つように、動画像に応じてＱｐ値を変化させるものであり、動画像を記録するための容量を制御できるなどの利点があるが、動画像の内容によっては画質が大幅に低下するなどの弊害が生じる可能性がある。また、同じシーンの撮像であっても、風が強くて木立の揺れが大きい日とそうでない日では、設定されるＱｐ値が異なることでメインの被写体の画質が変化するなどのケースも想定される。このような状況を防ぐために、本実施形態では、動きの大きな領域を選択的に低画質化してビットレートを制御する。

＜分析段階の処理について＞
分析段階にて画像処理装置１００が行う処理について、図８のフローチャートに従って説明する。なお、図８のフローチャートにおいて、図４に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ８１０では画像取得部２１１は、ステップＳ４１０で取得する設定に加え、Ｈ．２６４に準拠した符号化を行う際のＱｐ値に関し、一般背景用のＱｐ値のＲＯＩ用のＱｐ値からの差分、特定領域用のＱｐ値のＲＯＩ用のＱｐ値からの差分、を取得する。

ここでは、一般背景用のＱｐ値のＲＯＩ用のＱｐ値からの差分（以下、「△一般背景用Ｑｐ値」と称する）として「４」を、特定領域用のＱｐ値のＲＯＩ用のＱｐ値からの差分（以下、「△特定領域用Ｑｐ値」と称する）として「８」を取得する。

次に、ステップＳ８５０では、前景抽出部２１５は、ステップＳ４３０で生成した背景画像を複数の単位領域に分割する。そして前景抽出部２１５は、背景画像における各単位領域に対して差分Ｑｐ値を設定する。本実施形態でも、マクロブロックごとに差分Ｑｐ値を設定する。

前景抽出部２１５は、マクロブロックを構成する画素のうち１つでもステップＳ４４０における領域分割で得られた分割領域のうち非特定領域に属する場合、該マクロブロックは非特定領域に属すると判断する。そして前景抽出部２１５は、非特定領域に属すると判断したマクロブロックには、差分Ｑｐ値＝α×△一般背景用Ｑｐ値を圧縮符号化パラメータとして設定する。ここで、αは重み係数である。

前景抽出部２１５は、マクロブロックを構成する全ての画素がステップＳ４４０における領域分割で得られた分割領域のうち特定領域に属する場合、該マクロブロックは特定領域に属すると判断する。そして前景抽出部２１５は、特定領域に属すると判断したマクロブロックには、差分Ｑｐ値＝β×△特定領域用Ｑｐ値＋γ×ｖを圧縮符号化パラメータとして設定する。ここで、βおよびγは重み係数（γは上記の通り）、ｖはマクロブロックを構成する各画素に対応する動き量の平均値である。そして前景抽出部２１５は、背景画像における各マクロブロックについて設定した差分Ｑｐ値を記憶部２２２に格納する。

＜圧縮段階の処理について＞
次に、圧縮段階にて画像処理装置１００が行う処理について、図９のフローチャートに従って説明する。なお、図９のフローチャートにおいて、図７に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ９１０では、画像取得部２１１は、上記のステップＳ４１０と同様にして、動画像を解析するために必要な設定を取得する。また、圧縮符号化部２１２は、記憶部２２２から圧縮符号化パラメータを取得する。本ステップで取得する圧縮符号化パラメータには、ＲＯＩ用のＱｐ値（ここでは「３２」とする）、ＲＯＩ用のＱｐ値のＣＢＲの初期値（ここでは「３８」とする）、ＣＢＲの目標ビットレートとして「２Ｍｂｐｓ」、が含まれている。

ステップＳ９２０では、制御部２２３は、図８のフローチャートに従った処理で求めた、背景画像における各マクロブロックに対する差分Ｑｐ値を記憶部２２２から取得する。

次に、ステップＳ９５０では、圧縮符号化部２１２は、撮像画像におけるＲＯＩ、特定領域、非特定領域のそれぞれに対するＱｐ値を設定する。ビットレートを制御する方法には複数の方法が知られているが、ここでは最も単純な制御方法を採用する。つまり、初期Ｑｐ値を設定して圧縮符号化を行い、ビットレートが想定よりも大きければＱｐ値を大きくし、ビットレートが想定よりも小さければＱｐ値を小さくする、という制御方法を採用する。初期ｑＰ値としては、想定より非常に大きなビットレートとなってしまって配信やストレージを圧迫することを防ぐために、比較的低画質のＱｐ値とする。ここでは一例として、圧縮符号化部２１２は、撮像画像におけるＲＯＩ、特定領域、非特定領域のそれぞれに対するＱｐ値として以下のようなＱｐ値を設定する。

ＲＯＩ用のＱｐ値 ＝ Ｒ
特定領域用のＱｐ値 ＝ Ｒ＋（β×△特定領域用Ｑｐ値＋γ×ｖ）
非特定領域用のＱｐ値＝ Ｒ＋（α×△一般領域用Ｑｐ値）
ここで、特定領域用のＱｐ値における「（β×△特定領域用Ｑｐ値＋γ×ｖ）」の項は、特定領域におけるマクロブロックに対応する背景画像中のマクロブロックに設定された差分Ｑｐ値である。また、非特定領域用のＱｐ値における「（α×△一般領域用Ｑｐ値）」の項は、非特定領域におけるマクロブロックに対応する背景画像中のマクロブロックに設定された差分Ｑｐ値である。

ここで、Ｒの初期値を「３８」とし、α、β、γの初期値を「１」とする。この場合、ＲＯＩ用のＱｐ値、特定領域用のＱｐ値、非特定領域用のＱｐ値はそれぞれ以下のようになる。

ＲＯＩ用のＱｐ値 ＝ ３８
特定領域用のＱｐ値 ＝ ３８＋（８×β＋ｖ）
非特定領域用のＱｐ値＝ ３８＋（４×α）
次に、ステップＳ９６０では、圧縮符号化部２１２は、撮像画像をＲＯＩ用のＱｐ値、特定領域用のＱｐ値、非特定領域用のＱｐ値、を用いて圧縮符号化を行う。ＲＯＩはＲＯＩ用のＱｐ値を用いて圧縮符号化し、特定領域は特定領域用のＱｐ値を用いて圧縮符号化し、非特定領域は非特定領域用のＱｐ値を用いて圧縮符号化する。そして圧縮符号化部２１２は、圧縮符号化の結果のビットレートが目標ビットレートに近づくように、Ｒの値を減じる。よって、次の圧縮符号化では、この減じたＲが反映されたＱｐ値を用いて圧縮符号化が行われる。

例えば、圧縮符号化部２１２は、圧縮符号化の結果のビットレートが目標ビットレートよりも小さい場合には、Ｒの値を減じる（Ｒが３２に達した場合には、これ以上Ｒを減じない）。最初は圧縮符号化の結果が目標ビットレートより小さいことが想定されるので、Ｒを初期値である３８から１ずつ値を減らしていく。但しビットレートが目標値の半分以下の場合には２ずつ減らしてもよい。

そして、Ｒが３２に達しても、まだ現在のビットレートが目標ビットレートよりも小さい場合には、圧縮符号化部２１２は、Ｒを３２に固定したまま、α、βを小さくし、特定領域用のＱｐ値および非特定領域用のＱｐ値とＲＯＩ用のＱｐ値との差異を小さくすることで、背景の画質劣化を軽減する。

α、βが０に達しても、まだ現在のビットレートが目標ビットレートよりも小さい場合には、圧縮符号化部２１２は、Ｒを３２に固定し且つα及びβを０に固定したまま、γを小さくする（Ｑｐ値への動き量の平均値の寄与度を小さくする）。α、β、γの縮小の仕方は特定の仕方に限らず、例えば、α、βが０．５以下になったらγを小さくしたり、α、β、γを同時に決められた比率（例えばα：β：γ＝４：２：１）で小さくしたりしてもよい。

また、圧縮符号化部２１２は、Ｒが３２に達する前に現在のビットレートが目標ビットレートよりも大きくなってしまった場合には、Ｒを３２にしても現在のビットレートが目標ビットレートより小さくなるように、重み係数α、β、γを大きくして調節する。その際、最初に大きくするのは、重み係数γとする。そして重み係数γを１５まで大きくしても、現在のビットレートが目標ビットレートよりも大きい場合には、次に重み係数βを大きくし、最後に重み係数αを大きくする。ここでも、重み係数α、β、γの調整の仕方には複数の方法があり、ユースケースに応じて変更するなどしてもよい。

このように、本実施形態では、ＣＢＲでビットレート制御を行う際に、ＲＯＩの画質は下げずに動画像の配信を行うことが可能になる。その際に、動きのある背景、植生領域などの特定領域、一般背景をそれぞれ異なる重みで制御することが可能となる。特に、動きのある背景を最初に低画質化し、次に植生領域などの特定領域、最後に一般背景を低画質化することにより、より情報量が少なくビットレートを上げやすい領域から低画質化することが可能になる。

［第３の実施形態］
上記の各実施形態では、Ｈ.２６４やＨ．２６５のような動画像圧縮に特徴的な、ＩフレームとＰフレームの違いに基づくＱｐ値の制御は行っておらず、両者に共通のＱｐ値を設定してきた。しかし、Ｉフレームはフレーム内の情報を用いて圧縮するのに比べて、Ｐフレームは前フレームからの差分のみを圧縮するため、背景の動きの影響はＰフレームでより大きくなる。よって、Ｉフレームの撮像画像についてはγ＝０としたＱｐ値（動き量に依存しないＱｐ値）を用いて圧縮符号化し、Ｐフレームについては上記の実施形態と同様にγを設定したＱｐ値（動き量に依存するＱｐ値）を用いて圧縮符号化する。そのように設定することで、圧縮効果は小さくなるが、動画像の画質は大きく向上させることができる。その理由は、Ｐフレームで設定されるＱｐ値が大きくなると、対象となる単位領域（マクロブロック）がスキップになりやすくなり、前フレームの値がそのまま用いられることになる。そうすると、比較的高画質で圧縮したＩフレームの値がそのまま用いられ、木の揺れによる動きの変化は正確に反映されないが、比較的きれいな背景の動画像となる。もしくは、動き量が大きい場合には、Ｐフレームにおいてスキップとなるように設定する方法もある。

このような処理を行うと、植生領域が大きな公園などのユースシーンの場合、木々の細かい揺れなどの不必要な情報のみを失うだけで、画質が維持された動画像を取得することが可能になる。

［第４の実施形態］
上記の各実施形態では、画像処理装置１００とクライアント装置２００とがネットワーク３００を介して接続されている構成を例にとり説明したが、これに限らず、画像処理装置１００とクライアント装置２００とを一体化させてもよい。

また、上記の各実施形態では、背景分析部２１４による背景分析処理や前景抽出部２１５による前景抽出処理を、アクセラレータ部２２５を含んだ画像処理装置１００で行うケースについて説明した。しかし、特に背景分析処理に関しては、一旦動画像を配信した後でクライアント装置２００などのコンピュータ装置において行ってもよいし、外部より付加したアクセラレータ部で行ってもよい。また、画像処理装置１００にて撮像された動画像を該画像処理装置１００に挿入されているＳＤカードなどの記録媒体に記録し、ネットワーク３００に接続されていないコンピュータ装置に該記録媒体を挿入して該動画像を該コンピュータ装置にコピーしてもよい。これにより、該コンピュータ装置は、該動画像に対して上記の背景分析処理や前景抽出処理等を行うことができる。

また、上記の説明において使用した数値、処理タイミング、処理順などは、具体的な説明を行うために一例として挙げたものであり、これらの数値、処理タイミング、処理順などに限定することを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２１１：画像取得部 ２１２：圧縮符号化部 ２１３：通信制御部 ２１４：背景分析部 ２１５：前景抽出部

Claims (16)

1. 複数の画像から同じ画素位置における画素値を取得し、該取得した画素値の頻度分布に基づき、背景画像における該画素位置の画素値および動き量を決定する決定手段と、
   前記背景画像に対して圧縮符号化パラメータを設定する設定手段と
   を備え、
   前記設定手段は、
   前記背景画像における特定領域には、該特定領域に属する画素の動き量に応じた圧縮符号化パラメータを設定する
   ことを特徴とする画像処理装置。
2. 前記決定手段は、複数の画像から同じ画素位置の画素値を取得し、該取得した画素値の頻度分布において最も高い頻度の画素値を、前記背景画像における該画素位置の画素値として決定することを特徴とする請求項１に記載の画像処理装置。
   
3. 前記決定手段は、複数の画像から同じ画素位置の画素値を取得し、該取得した画素値の頻度分布において最も高い頻度の画素値およびその近傍の画素値のそれぞれに対応する頻度の合計値を求め、該頻度分布における頻度の総数に対する該合計値の割合の逆数を、前記背景画像における該画素位置の動き量として決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段は、複数の画像から同じ画素位置の画素値を取得し、該取得した画素値の頻度分布において最も高い頻度の、該頻度分布における頻度の総数に対する割合の逆数を、前記背景画像における該画素位置の動き量として決定することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記設定手段は、前記背景画像を分割した複数の単位領域のうち特定領域に属する単位領域について、該単位領域に属する画素の動き量の平均値が大きいほど大きい量子化パラメータ値を設定することを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
6. 前記特定領域に属する単位領域に設定する量子化パラメータ値は、特定領域用の量子化パラメータ値と、該単位領域に属する画素の動き量の平均値と、に基づく量子化パラメータ値であることを特徴とする請求項５に記載の画像処理装置。
7. 前記特定領域に属する単位領域に設定する量子化パラメータ値は、特定領域用の量子化パラメータ値の前景領域用の量子化パラメータ値からの差分と、該単位領域に属する画素の動き量の平均値と、に基づく量子化パラメータ値であることを特徴とする請求項５に記載の画像処理装置。
8. 更に、
   圧縮符号化の対象となる画像から前景領域を抽出する抽出手段と、
   前記前景領域を前景領域用の圧縮符号化パラメータを用いて圧縮符号化し、該画像において該前景領域を除く領域を、前記背景画像において該領域に対応する対応領域に設定されている圧縮符号化パラメータを用いて圧縮符号化する圧縮符号化手段と
   を備えることを特徴とする請求項１ないし７の何れか１項に記載の画像処理装置。
9. 前記圧縮符号化手段は、
   前記圧縮符号化手段による圧縮符号化のビットレートが目標ビットレートよりも小さい場合には、前景領域用の第１圧縮符号化パラメータ、前記圧縮符号化の対象となる画像において前記背景画像の特定領域に対応する領域用の第２圧縮符号化パラメータ、前記圧縮符号化の対象となる画像において前記背景画像の非特定領域に対応する領域用の第３圧縮符号化パラメータ、を制御する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記圧縮符号化手段は、
    前記圧縮符号化手段による圧縮符号化のビットレートが目標ビットレートよりも小さい場合には、前記第１圧縮符号化パラメータと、前記第２圧縮符号化パラメータおよび前記第３圧縮符号化パラメータと、の差異を小さくするように制御する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記圧縮符号化手段は、
    前記圧縮符号化手段による圧縮符号化のビットレートが目標ビットレートよりも小さい場合には、前記第２圧縮符号化パラメータへの、前記特定領域に属する画素の動き量の寄与度を小さくするように制御する
    ことを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記圧縮符号化手段は、
    前記圧縮符号化の対象となる画像がＩフレームの場合には、該画像において前記特定領域に対応する対応領域を、該特定領域に属する画素の動き量に依存しない圧縮符号化パラメータを用いて圧縮符号化し、
    前記圧縮符号化の対象となる画像がＰフレームの場合には、該画像において前記特定領域に対応する対応領域を、該特定領域に属する画素の動き量に依存する圧縮符号化パラメータを用いて圧縮符号化する
    ことを特徴とする請求項８に記載の画像処理装置。
13. 更に、
    前記圧縮符号化手段による圧縮符号化の結果を配信する配信手段を備えることを特徴とする請求項８ないし１２の何れか１項に記載の画像処理装置。
14. 更に、撮像手段を備え、
    前記複数の画像および前記圧縮符号化の対象となる画像は前記撮像手段によって撮像された撮像画像であることを特徴とする請求項８に記載の画像処理装置。
15. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の決定手段が、複数の画像から同じ画素位置における画素値を取得し、該取得した画素値の頻度分布に基づき、背景画像における該画素位置の画素値および動き量を決定する決定工程と、
    前記画像処理装置の設定手段が、前記背景画像に対して圧縮符号化パラメータを設定する設定工程と
    を備え、
    前記設定工程では、
    前記背景画像における特定領域には、該特定領域に属する画素の動き量に応じた圧縮符号化パラメータを設定する
    ことを特徴とする画像処理方法。
16. コンピュータを、請求項１ないし１３の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images