JP2019057828A - 画像処理装置、撮像装置および画像処理方法 - Google Patents

Abstract

【課題】ＣＢＲ制御中に領域別画質制御を実行する場合に、発生符号量が目標符号量から大きく逸脱することを防止する。
【解決手段】画像処理装置は、画像内に設定された指定領域ごとに異なる画質を設定可能な設定手段と、画像を符号化して得られる発生符号量が目標符号量となるように、符号化に用いる量子化パラメータを決定する決定手段と、設定手段における指定領域の設定に変更があるか否かを判断する判断手段と、判断手段によって指定領域の設定に変更があると判断した際に、指定領域に対応する鮮鋭度に係る情報を抽出する抽出手段と、抽出手段によって抽出された情報をもとに、符号化に用いる量子化パラメータを導出する導出手段と、を備える。
【選択図】 図５

Description

本発明は、画像を圧縮符号化するための画像処理装置、撮像装置および画像処理方法に関する。

近年、映像の圧縮符号化の分野において、画像内の領域毎に圧縮率を変えることで画質を変える技術が知られている。特許文献１には、画像の中央部分の領域内と領域外とで量子化処理を変え、画像中央部の映像を高画質とし、周辺部の映像を低画質にすることで、映像品質を下げることなくデータ容量を抑える技術が開示されている。
また、特許文献２には、被写体の高周波成分をもとに、画像全体に適用する量子化パラメータを変更することで、被写体の画質を損なうことなく適切な圧縮、記録処理を行う技術が開示されている。

特開平６−２８４３９５号公報 特開平５−３０４６７号公報

ところで、従来、符号量制御として、直前までの符号量をもとに、発生符号量が目標符号量と等しくなるように、次の画像に適用する量子化パラメータを決定する制御が知られている。この符号量制御は、固定ビットレート（ＣＢＲ：Constant Bit Rate）で画像を符号化するため、「固定ビットレート制御（ＣＢＲ制御）」とも呼ばれる。
ＣＢＲ制御中に、指定領域内の画質を指定領域外の画質よりも高画質にする、所謂「領域別画質制御」を行う場合、指定領域内の画質と指定領域外の画質とに差をつけつつ、ビットレートが一定に保たれる。しかしながら、例えば、カメラの撮像方向を変更することなどにより指定領域の大きさが急激に変化すると、ＣＢＲ制御中にもかかわらず、ビットレートが瞬間的に非常に大きくなってしまう場合がある。

ＣＢＲ制御中に領域別画質制御を実行する場合、指定領域の面積に変化があった際に、指定領域内に適用していた量子化パラメータを予め設定した固定値に一旦変更することが考えられる。しかしながら、高周波成分の多少によって圧縮後のデータ量が異なるため、量子化パラメータを固定値に変更した結果、被写体によっては必要以上にビットレートが急減し、画質変動が大きくなるおそれがある。それを回避するために、画質をあまり下げないように固定値を設定すると、逆にビットレートの急激な増加が発生してしまうおそれがある。

上記特許文献２に記載の技術のように、被写体の高周波成分をもとに量子化パラメータを決めることも可能である。しかしながら、指定領域変更後の画像に対して高周波成分を算出し、量子化パラメータを導出することになるため、適切な量子化パラメータを適用できるのは指定領域変更後数フレーム経ってからの画像になる。つまり、その間の画像に対しては、適切な量子化パラメータ値を適用できないため、ビットレートが急変するおそれがある。

そこで、本発明は、ＣＢＲ制御中に領域別画質制御を実行する場合に、発生符号量が目標符号量から大きく逸脱することを防止することを課題としている。

上記課題を解決するために、本発明に係る画像処理装置の一態様は、画像内に設定された指定領域ごとに異なる画質を設定可能な設定手段と、前記画像を符号化して得られる発生符号量が目標符号量となるように、前記符号化に用いる量子化パラメータを決定する決定手段と、前記設定手段における前記指定領域の設定に変更があるか否かを判断する判断手段と、前記判断手段によって前記指定領域の設定に変更があると判断した際に、前記指定領域に対応する鮮鋭度に係る情報を抽出する抽出手段と、前記抽出手段によって抽出された情報をもとに、前記符号化に用いる前記量子化パラメータを導出する導出手段と、を備える。

本発明によれば、ＣＢＲ制御中に領域別画質制御を実行する場合に、発生符号量が目標符号量から大きく逸脱することを防止することができる。

本実施形態における監視システムのネットワーク構成例である。 カメラおよびクライアント装置の構成例を示すブロック図である。 画像符号化装置の構成例を示すブロック図である。 ネットワークカメラのハードウェア構成例である。 第一の実施形態におけるＣＢＲ制御時の動作を示すフローチャートである。 指定領域に関する情報を格納するテーブルの一例である。 量子化パラメータの決定テーブルの一例である。 ズーム値と高周波成分の積分値との関係を示すグラフの一例である。 第二の実施形態のＣＢＲ制御時の動作を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

（第一の実施形態）
本実施形態では、ネットワークカメラからネットワーク上のクライアント装置へ画像を送信可能な監視システムについて説明する。
図１は、本実施形態における監視システム１０００のネットワーク構成例である。監視システム１０００は、ネットワークカメラ（以下、単に「カメラ」という。）１００とクライアント装置２００とを備える。カメラ１００とクライアント装置２００とは、ネットワーク３００によって相互に通信可能に接続されている。ネットワーク３００は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から構成される。
なお、ネットワーク３００は、カメラ１００とクライアント装置２００との間で通信可能な構成であれば、その通信規格、規模および構成は問わない。ネットワーク３００は、インターネットや有線ＬＡＮ（Local Area Network）、無線ＬＡＮ（Wireless LAN）、ＷＡＮ（Wide Area Network）、若しくはこれらの複合により実現してもよい。

カメラ１００は、所定の監視対象範囲を撮像する撮像装置である。カメラ１００は、本実施形態においては、パン機構、チルト機構およびズーム機構を有するＰＴＺカメラ（Pan Tilt Zoom カメラ）である。なお、カメラ１００は、ＰＴＺカメラに限定されるものではない。また、カメラ１００は、ＰｏＥ（Power over Ethernet）に対応していてもよいし、ＬＡＮケーブルを介して電力が供給される構成でもよい。
クライアント装置２００は、パーソナルコンピュータ（ＰＣ）やスマートフォン、タブレット型ＰＣといった端末装置により構成され、カメラ１００に対して各種コマンドを送信可能である。カメラ１００に対して送信するコマンドには、カメラ１００の撮像方向および画角を変更するためのコマンド、撮像パラメータを変更するためのコマンド、画像処理に関するコマンド、画像の送信を開始させるためのコマンドが含まれる。

カメラ１００は、クライアント装置２００から受信した撮像方向および画角を変更するためのコマンドに応じて、撮像方向および画角を変更する。また、カメラ１００は、画像の送信を開始させるためのコマンドに応じて、画像をクライアント装置２００に送信する。クライアント装置２００は、上記の画像の送信を開始させるためのコマンドを受けてカメラ１００が送信した画像を受信し、受信した画像を、クライアント装置２００を使用するユーザ（例えば、監視員）に提示する表示制御を行う。

図２は、カメラ１００およびクライアント装置２００の構成例を示すブロック図である。この図２に示すように、カメラ１００は、撮像部１０１と、画像処理部１０２と、システム制御部１０３と、レンズ駆動部１０４と、レンズ制御部１０５と、パン駆動部１０６と、チルト駆動部１０７と、パンチルト制御部１０８と、通信部１０９と、を備える。また、クライアント装置２００は、表示部２０１と、入力部２０２と、システム制御部２０３と、通信部２０４と、を備える。そして、カメラ１００の通信部１０９とクライアント装置２００の通信部２０４とが、ネットワーク３００を介して相互に通信可能な状態に接続されている。

まず、カメラ１００の構成および各部の機能について説明する。
撮像部１０１は、レンズおよびＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像素子を含んで構成され、被写体の撮像を行う。また、撮像部１０１は、撮像面に結像された光像を光電変換によりデジタル電気信号に変換する処理を行う。画像処理部１０２は、撮像部１０１において光電変換された信号に対して所定の画像処理を行う。上記画像処理としては、ホワイトバランス処理、シャープネス処理、階調変換処理がある。

システム制御部１０３は、画像処理部１０２によって画像処理が施された画像を圧縮符号化し、生成された画像（符号化データ）をクライアント装置２００へ配信すべく通信部１０９に出力する。圧縮符号化処理の詳細については後述する。
また、システム制御部１０３は、通信部１０９を介してクライアント装置２００から受信したコマンドを解析し、コマンドに応じた処理を行う。具体的には、システム制御部１０３は、受信したコマンドに応じて、画像処理部１０２に対する画像処理パラメータの変更指示や、レンズ制御部１０５に対するズームやフォーカス制御の指示、パンチルト制御部１０８に対するパンチルト動作の指示を行う。さらに、システム制御部１０３は、後述する圧縮符号化処理における設定変更の指示も行う。

レンズ駆動部１０４は、フォーカスレンズおよびズームレンズの駆動系、およびその駆動源のモータにより構成され、その動作はレンズ制御部１０５により制御される。レンズ制御部１０５は、システム制御部１０３による指示に基づいて、レンズ駆動部１０４を制御する。パン駆動部１０６は、パン動作を行うメカ駆動系、およびその駆動源のモータにより構成され、その動作はパンチルト制御部１０８により制御される。また、チルト駆動部１０７は、チルト動作を行うメカ駆動系、およびその駆動源のモータにより構成され、その動作はパンチルト制御部１０８により制御される。パンチルト制御部１０８は、システム制御部１０３による指示に基づいて、パン駆動部１０６およびチルト駆動部１０７を制御する。
通信部１０９は、クライアント装置２００の通信部２０４からネットワーク３００を介して送信される各種コマンドを受信し、受信したコマンドをシステム制御部１０３へ送信する。また、通信部１０９は、システム制御部１０３による指示に基づいて、ネットワーク３００を介して画像をクライアント装置２００の通信部２０４へ送信する。

クライアント装置２００の表示部２０１は、液晶ディスプレイ（ＬＣＤ）等のモニタを含んで構成されている。また、入力部２０２は、キーボードやマウス等のポインティングデバイスを含んで構成されており、クライアント装置２００のユーザは、入力部２０２を操作して各種コマンドを入力することができる。システム制御部２０３は、通信部２０４を介してカメラ１００から受信した画像を表示部２０１へ表示する表示制御を行う。また、システム制御部２０３は、入力部２０２を介して取得した上記コマンドを、カメラ１００へ送信すべく通信部２０４へ出力する。通信部２０４は、カメラ１００の通信部１０９からネットワーク３００を介して送信される画像を受信し、受信した画像をシステム制御部２０３に送信する。また、通信部２０４は、システム制御部２０３の指示に基づいて、上記コマンドを、ネットワーク３００を介してカメラ１００の通信部１０９へ送信する。

次に、カメラ１００のシステム制御部１０３によって実行される圧縮符号化処理について具体的に説明する。
本実施形態では、圧縮符号化処理として、パラメータを制御することで発生符号量を制御可能な符号化方法を用いる。具体的には、量子化パラメータによって発生符号量を制御するＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）に準拠した符号化方法を用いる。

また、システム制御部１０３は、符号量制御として、固定ビットレート制御（ＣＢＲ制御）と領域別画質制御とを併用することができる。ここで、ＣＢＲ制御は、画像を符号化して得られる発生符号量が目標符号量となるように、符号化に用いる量子化パラメータを決定する制御である。また、領域別画質制御は、画像内に設定された指定領域ごとに異なる画質を設定可能な制御である。具体的には、領域別画質制御は、指定領域内の画質が指定領域外の画質よりも高画質となるように、量子化パラメータを決定する。量子化パラメータを大きくすれば、発生符号量を減らして画質を低くすることができ、逆に、量子化パラメータを小さくすれば、発生符号量を増やして画質を高くすることができる。

領域別画質制御において高画質の設定にする指定領域は、例えば、カメラ１００に対して撮像方向の変更およびズーム制御することによって撮像可能な範囲からユーザが予め指定することができる。例えば、指定領域は、カメラ１００に対して撮像方向の変更およびズーム制御することによって得られる複数の撮像画像に基づいて生成されるパノラマ画像上で指定されてもよい。本実施形態では、ユーザが指定領域を設定および設定解除することで、システム制御部１０３が領域別画質制御の有効および無効の切り替えを行うことができるものとする。なお、以下の説明では、この領域別画質制御のことを「領域指定機能」ともいう。

また、ＣＢＲ制御の有効および無効の切り替えも、ユーザによって指示することができるものとする。ＣＢＲ制御と領域別画質制御とが共に有効である場合、システム制御部１０３は、領域別画質制御により設定された画質を維持しつつ、画像を符号化して得られる発生符号量が目標符号量となるように、符号化に用いる量子化パラメータを決定する。つまり、システム制御部１０３は、指定領域内の画質と指定領域外の画質とに差をつけつつ、ビットレートを一定に保つように符号量を制御する。

図３は、システム制御部１０３が備える画像符号化装置１１０の構成例を示すブロック図である。画像符号化装置１１０は、符号化器１１１と、量子化パラメータ算出部１１２と、割当符号量算出部１１３と、制御部１１４と、符号量計測部１１５と、誤差算出記憶部１１６と、を備える。画像符号化装置１１０は、図２の画像処理部１０２から出力される画像を入力画像データとし、入力画像データに対して符号化器１１１によって圧縮符号化処理を行い、圧縮符号化したデータ（符号化データ）を出力する。

符号化器１１１は、量子化パラメータ算出部１１２から与えられる量子化パラメータを用いて画像を圧縮符号化する。そして、符号化器１１１は、圧縮符号化した符号化データを画像符号化装置１１０の出力とすると共に、符号量計測部１１５に出力する。
符号量計測部１１５は、１フレーム毎（１画像毎）の発生符号量を計測し、計測した発生符号量を誤差算出記憶部１１６に出力する。誤差算出記憶部１１６は、符号量誤差として、符号量計測部１１５から入力された発生符号量と、制御部１１４から入力された目標符号量との差分量を算出する。そして、誤差算出記憶部１１６は、算出した差分量を累積して累積差分量を算出し、算出した累積差分量を図４のＲＡＭ１３等の記憶部に記憶すると共に、割当符号量演算部１１３に対して出力する。

制御部１１４は、画像符号化装置１１０に対する設定入力を受けて、図３の各部に対して、各種設定項目を出力する。この設定項目には、上記の目標符号量の他に、累積誤差範囲、量子化パラメータ範囲、入力画像サイズ（入力画像データの水平方向および垂直方向のピクセル数）、フレームレート、符号化方式（フレーム内予測符号化またはフレーム間予測符号化）が含まれる。なお、累積誤差範囲は、画像符号化装置１１０に対する設定入力ではなく、制御部１１４が算出してもよい。

割当符号量算出部１１３は、制御部１１４から入力される目標符号量やフレームレート、累積誤差範囲といった符号化設定値と、誤差算出記憶部１１６から入力される累積誤差量とに基づいて、次の画像に割り当てる符号量（割当符号量）を算出する。割当符号量算出部１１３は、算出した割当符号量を量子化パラメータ算出部１１２に出力する。
量子化パラメータ算出部１１２は、制御部１１４から入力される入力画像サイズや符号化方式に基づいて、割当符号量算出部１１３から入力される割当符号量に相当する量子化パラメータを算出する。量子化パラメータ算出部１１２は、算出した量子化パラメータを符号化器１１１に出力する。符号化器１１１に出力された量子化パラメータは、次の入力画像データに対する圧縮符号化処理時に使用される。

（ハードウェア構成）
図４は、カメラ１００のハードウェア構成例である。
図４に示すように、カメラ１００は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、外部メモリ１４と、撮像部１５と、入力部１６と、通信Ｉ／Ｆ１７と、システムバス１８とを備える。ＣＰＵ１１は、カメラ１００における動作を統括的に制御するものであり、システムバス１８を介して、各構成部（１２〜１７）を制御する。ＲＯＭ１２は、ＣＰＵ１１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ１４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ１３は、ＣＰＵ１１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１１は、処理の実行に際してＲＯＭ１２から必要なプログラム等をＲＡＭ１３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。なお、画像符号化装置１１に対応する専用のハードウェアの構成をカメラ１００に設けてもよい。

外部メモリ１４は、例えば、ＣＰＵ１１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ１４には、例えば、ＣＰＵ１１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。撮像部１５は、図２の撮像部１０１に対応する。入力部１６は電源ボタンなどから構成される。通信Ｉ／Ｆ１７は、図２の通信部１０９に対応する。図２および図３に示すカメラ１００の各要素の一部または全部の機能は、ＣＰＵ１１がプログラムを実行することで実現することができる。ただし、図２および図３に示すカメラ１００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。

なお、クライアント装置２００の場合、図４の撮像部１５に代えて、図２の表示部２０１に対応するハードウェア構成を具備する。また、クライアント装置２００の場合、入力部１６として、図２の入力部２０２に対応するハードウェア構成を具備する。図２に示すクライアント装置２００の各要素の一部または全部の機能は、ＣＰＵ１１に対応するクライアント装置２００のＣＰＵがプログラムを実行することで実現することができる。ただし、図２に示すクライアント装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵの制御に基づいて動作する。

本実施形態では、システム制御部１０３は、ＣＢＲ制御が無効であり、且つ領域指定機能が無効であるときに、ユーザが指定領域を設定したことを確認すると、領域指定機能を有効に切り替える。このとき、システム制御部１０３は、ユーザが設定した指定領域内に適用する量子化パラメータを、領域指定機能を有効にする前に画像全体に適用していた量子化パラメータに設定する。そして、システム制御部１０３は、指定領域外に適用する量子化パラメータを、領域指定機能を有効にする前に画像全体に適用していた量子化パラメータよりも低画質となるような値に設定する。
一方、システム制御部１０３は、ＣＢＲ制御が無効であり、且つ領域指定機能が有効であるときに、ユーザが指定領域の設定を解除したことを確認すると、領域指定機能を無効に切り替える。このとき、システム制御部１０３は、画像全体に適用する量子化パラメータを、領域指定機能を無効にする前に指定領域に適用していた量子化パラメータに設定する。

さらに、システム制御部１０３は、ＣＢＲ制御が有効であり、且つ領域指定機能が有効であるときに、領域指定機能を無効にする場合、領域指定機能を無効に切り替えた直後に画像全体に適用する量子化パラメータを、予め設定した固定値に変更する。つまり、領域指定機能を無効に切り替えた直後に画像全体に適用する量子化パラメータを、領域指定機能が有効であるときに指定領域に設定されていた量子化パラメータとしない。そして、その後は、システム制御部１０３は、変更した固定値に従って発生する符号量に基づいて、ＣＢＲ制御を継続する。すなわち、変更した固定値に基づいて発生する発生符号量が目標符号量となるように符号量制御する。
このときの上記固定値は、カメラ１００の用途に応じて適宜決定することができる。なお、この固定値は、画像全体に適用してもネットワーク３００の帯域を圧迫するようなビットレートとなったり、フレーム落ちするほどのビットレートになったりしないことが確かめられている値とする。固定値としては、ＣＢＲ制御を開始する際に設定される量子化パラメータの初期値を用いることができる。また、この固定値は、量子化パラメータの最低画質相当（もしくは画質低め相当）の値や、領域指定機能を無効にする前に指定領域外に適用していた量子化パラメータの値とすることもできる。さらに、固定値は、画像内の特定領域に対応する鮮鋭度に係る情報をもとに決定された量子化パラメータの値とすることもできる。

また、システム制御部１０３は、ＣＢＲ制御が有効であるときに、指定領域の設定に変更がある場合、指定領域の設定を変更した直後に指定領域に適用する量子化パラメータを、所定値に変更する。ここで、当該所定値は、予め設定した固定値を、指定領域に対応する鮮鋭度に関する情報に応じて増加または減少させた値である。本実施形態では、指定領域に対応する鮮鋭度に関する情報として、指定領域の高周波成分の積分値を用いる。さらに、システム制御部１０３は、指定領域外に適用する量子化パラメータを、所定値と同等か所定値よりも低画質となるような値に設定することで、瞬間的に符号量が増大しビットレートが増大することを防ぐ。その後は、システム制御部１０３は、設定された量子化パラメータ（指定領域に対して所定値、指定領域外に対して所定値あるいは所定値以下の値）に従って発生した符号量に基づいて、ＣＢＲ制御を継続する。
このとき、発生する符号量は目標符号量より下回ることが想定されるので、指定領域に対して高画質となるような量子化パラメータが上記所定値に代えて再設定されることになる。つまり、ＣＢＲ制御により、指定領域の量子化パラメータは、領域指定機能を有効にする前のＣＢＲ制御中に画像全体に適用していた量子化パラメータよりも高画質な値となる。また、指定領域外の量子化パラメータは、領域指定機能を有効にする前のＣＢＲ制御中に画像全体に適用していた量子化パラメータよりも低画質な値となる。

上記固定値は、カメラ１００の用途に応じて適宜決定することができる。なお、この固定値は、画像全体に適用してもネットワーク３００の帯域を圧迫するようなビットレートとなったり、フレーム落ちするほどのビットレートになったりしないことが確かめられている値とする。固定値としては、ＣＢＲ制御を開始する際に設定される量子化パラメータの初期値を用いることができる。また、この固定値は、量子化パラメータの最低画質相当（もしくは画質低め相当）の値とすることもできる。
さらに、指定領域が新たに設定されることで指定領域の設定が変更される場合には、固定値は、指定領域が新たに設定される前に画像全体に適用していた量子化パラメータの値とすることもできる。また、指定領域の位置やサイズが変更されることで指定領域の設定が変更される場合には、固定値は、指定領域を変更する前に指定領域外に適用していた量子化パラメータの値とすることもできる。

また、システム制御部１０３は、ＣＢＲ制御と領域指定機能とが共に有効であるときに、ＰＴＺ移動する場合、つまり撮像方向および画角の少なくとも一方の撮像条件が変更される場合、指定領域に適用する量子化パラメータを所定値に一旦変更する。ここで、上記所定値は、予め設定された固定値を、指定領域に対応する鮮鋭度に関する情報に応じて増加または減少させた値である。本実施形態では、指定領域に対応する鮮鋭度に関する情報として、指定領域の高周波成分の積分値を用いる。
さらに、システム制御部１０３は、指定領域外に適用する量子化パラメータを、所定値と同等か所定値よりも低画質となるような値に設定することで、瞬間的に符号量が増大しビットレートが増大することを防ぐ。その後は、システム制御部１０３は、設定された量子化パラメータ（指定領域に対して所定値、指定領域外に対して所定値あるいは所定値以下の値）に従って発生した符号量に基づいて、ＣＢＲ制御を継続する。
このときの上記固定値としては、ＣＢＲ制御を開始する際に設定される量子化パラメータの初期値を用いることができる。また、固定値は、量子化パラメータの最低画質相当（もしくは画質低め相当）の値や、ＰＴＺ制御を実行する前に指定領域外に適用していた量子化パラメータの値とすることもできる。

本実施形態においては、撮像装置であるカメラ１００が、画像を符号化してクライアント装置２００へ送信する符号化データを作成可能な画像処理装置として動作する。なお、撮像装置に接続されたＰＣ等の機器が、撮像装置から取得した画像を符号化してクライアント装置２００へ送信する符号化データを作成可能な画像処理装置として動作するようにしてもよい。

以下、ＣＢＲ制御時における動作について説明する。
図５は、ＣＢＲ制御時におけるシステム制御部１０３の動作を示すフローチャートである。この図５の処理は、カメラ１００のＣＰＵ１１がプログラムを実行することによって実現することができる。
先ずＳ１において、システム制御部１０３は、指定領域の設定に変更があるか否かを判定する。このＳ１では、システム制御部１０３は、クライアント装置２００を介して受信したユーザからの指示に、指定領域を新たに設定する指示や、指定領域のサイズや位置を変更する指示が含まれる場合に、指定領域の設定に変更があると判定する。そして、システム制御部１０３は、指定領域の設定に変更があると判定した場合にはＳ２に移行し、指定領域の設定に変更はないと判定した場合にはＳ６に移行する。

Ｓ２では、システム制御部１０３は、取得している画像をもとに、指定領域の鮮鋭度に関する情報として、指定領域の高周波成分の積分値を算出する。また、このときシステム制御部１０３は、取得した画像に対して、画像処理によってズーム倍率を変更する電子ズームを行うことで、内部的にワイド端とテレ端との画像をそれぞれ生成する。そして、システム制御部１０３は、生成したそれぞれの画像における指定領域の高周波成分の積分値を算出する。このように、システム制御部１０３は、複数の画角（ズーム値）について、指定領域の高周波成分の積分値をそれぞれ抽出する。

次にＳ３では、システム制御部１０３は、Ｓ２において算出された高周波成分の積分値を、指定領域の位置情報およびサイズ情報とともにメモリに保存（記憶）する。ここで、当該メモリは、ＲＡＭ１３や外部メモリ１４とすることができる。メモリに保存する指定領域情報を図６に示す。本実施形態では、システム制御部１０３は、図６に示す指定領域テーブル６０を作成し、指定領域情報を保存する。
指定領域テーブル６０は、指定領域の識別番号６１と対応付けて、当該指定領域の位置情報、サイズ情報および複数の画角における高周波成分の積分値を格納する。ここで、指定領域の位置情報は、指定領域のパン位置６２、チルト位置６３およびズーム位置６４を含む。また、指定領域のサイズ情報は、指定領域の幅６５および高さ６６を含む。さらに、指定領域の複数の画角における高周波成分の積分値は、指定領域のＰＴＺ位置（６２〜６４）における高周波成分の積分値６７、ワイド端における高周波成分の積分値６８、およびテレ端における高周波成分の積分値６９を含む。

なお、電子ズームに際しては、指定領域内の任意の位置（例えば、中央位置）に対してズームすることができる。また、指定領域が一定のサイズよりも大きい場合は、指定領域を４分割や９分割といった複数の領域に分割し、分割したそれぞれの領域の任意の位置（例えば、中央位置）に対してズームしてもよい。その場合、図６の指定領域テーブル６０には、分割したそれぞれの領域に対して作成された指定領域情報が保存される。
また、ズーム処理として、電子ズームの代わりに、レンズ駆動部１０４による光学的な変倍である光学ズームを用いてもよい。さらに、ワイド端については電子ズーム、テレ端については光学ズームを用いるというように、それぞれを使い分けてもよい。また、被写体の照度をもとに、電子ズームと光学ズームとを切り替えてもよい。

図５に戻って、Ｓ４では、システム制御部１０３は、Ｓ３において保存された指定領域の高周波成分の積分値６７に基づいて、適用する量子化パラメータを決定する。具体的には、システム制御部１０３は、図７に示すような量子化パラメータを決定するための、指定領域の高周波成分の積分値の閾値が設定された閾値テーブル７０を参照し、指定領域に適用する量子化パラメータを決定する。また、システム制御部１０３は、指定領域外に適用する量子化パラメータを、閾値テーブル７０をもとに決定された指定領域に適用する量子化パラメータと同等かそれよりも低画質となるような値に設定する。閾値テーブル７０は、ＲＡＭ１３に格納しておくことができる。

図７に示す閾値テーブル７０は、指定領域内の高周波成分の積分値の閾値７１と、指定領域に適用する量子化パラメータの増減値７２とを設定する。閾値テーブル７０の上段の閾値７１は、量子化パラメータの増減値を０に設定する高周波成分の積分値の上限値であり、閾値テーブル７０の上段の増減値７２は、高周波成分の積分値が上限用の閾値７１を上回った場合の量子化パラメータの増減値である。また、閾値テーブル７０の下段の閾値７１は、量子化パラメータの増減値を０に設定する高周波成分の積分値の下限値であり、閾値テーブル７０の下段の増減値７２は、高周波成分の積分値が下限用の閾値７１を下回った場合の量子化パラメータの増減値である。

システム制御部１０３は、ＲＡＭ１３に保存されている指定領域の高周波成分の積分値６７を、閾値テーブル７０の２つの閾値７１とそれぞれ比較する。そして、システム制御部１０３は、積分値６７が上限用の閾値７１である「６０００」よりも大きい場合、予め設定した固定値に「８」を加えた値を、指定領域に適用する量子化パラメータとして決定する。一方、積分値６７が下限用の閾値７１である「１０００」よりも小さい場合には、システム制御部１０３は、予め設定した固定値から「３」を減じた値を、指定領域に適用する量子化パラメータとして決定する。また、積分値６７が、下限用の閾値７１以上で且つ上限用の閾値７１以下である場合には、システム制御部１０３は、予め設定した固定値を、指定領域に適用する量子化パラメータとして決定する。
なお、本実施形態では、閾値７１を２種類としたが、３種類以上であってもよい。

図５に戻って、Ｓ５では、システム制御部１０３は、Ｓ４において決定された量子化パラメータを用いて、領域指定機能を実行し、Ｓ１に戻る。つまり、このＳ５では、システム制御部１０３は、指定領域に適用する量子化パラメータを、Ｓ４において決定された所定値に一旦変更する。また、システム制御部１０３は、指定領域外に適用する量子化パラメータを、上記所定値と同等か所定値よりも低画質となるような値に設定することで、瞬間的に符号量が増大しビットレートが増大することを防ぐ。
このように、システム制御部１０３は、領域指定の設定に変更があると判定した際には、指定領域テーブル６０を参照し、設定が変更された後の指定領域の高周波成分の積分値を導出する。そして、システム制御部１０３は、導出された情報をもとに、閾値テーブル７０を参照し、指定領域に適用する量子化パラメータを導出する。したがって、領域指定の設定が変更された直後の画像から適切な量子化パラメータを適用することが可能である。

領域指定機能の実行に際し、システム制御部１０３は、制御部１１４が量子化パラメータ算出部１１２に対して、指定領域内および指定領域外の量子化パラメータを上記の値とするための設定変更の指示を出力するよう制御する。その後、システム制御部１０３は、設定された量子化パラメータ（指定領域に対して所定値、指定領域外に対して所定値あるいは所定値以下の値）に基づいて発生した符号量に基づいて、ＣＢＲ制御を継続する。ＣＢＲ制御の継続後も指定領域に対して再設定される量子化パラメータは、指定領域外に対して設定される量子化パラメータよりも高画質となるような値に設定される。

Ｓ６では、システム制御部１０３は、カメラ１００をＰＴＺ移動するか否かを判定する。システム制御部１０３は、カメラ１００の撮像方向および画角（ズーム倍率）の少なくとも一方の撮像条件が変更されると判定した場合、カメラ１００をＰＴＺ移動すると判定する。そして、システム制御部１０３は、カメラ１００をＰＴＺ移動すると判定した場合にはＳ７に移行し、カメラ１００をＰＴＺ移動しないと判定した場合にはＳ１に戻る。

Ｓ７では、システム制御部１０３は、ＰＴＺ移動が、プリセット指定による移動であるか否かを判定する。ＰＴＺカメラでは、重要な被写体の望ましい撮像画角を予め登録することが広く行われ、一般にプリセットと呼称されている。このＳ７では、システム制御部１０３は、撮像方向あるいはズーム倍率の制御（ＰＴＺ制御）を実行する指示を、クライアント装置２００を介して受信していない場合、ＰＴＺ移動がプリセット指定による移動であると判定し、Ｓ８に移行する。Ｓ８では、システム制御部１０３は、移動先のプリセットにおいて、前回そのプリセットの位置において使用していた量子化パラメータを、今回適用する量子化パラメータとして決定し、Ｓ１１に移行する。なお、この前回のプリセット位置のパラメータは、そのプリセット位置情報に関連付けて、ＲＡＭ１３あるいは外部メモリ１４に保存されているものとする。

システム制御部１０３は、Ｓ７において、ＰＴＺ移動がプリセット指定による移動ではないと判定した場合、Ｓ９に移行して、ＰＴＺ移動後の撮像範囲内に存在する指定領域の高周波成分の積分値を算出する。システム制御部１０３は、ＰＴＺ移動前の段階で、ＰＴＺ移動後の撮像範囲内に存在する指定領域の高周波成分の積分値を算出するために、図６に示す指定領域テーブル６０の情報を使用する。
具体的には、システム制御部１０３は、指定領域テーブル６０の情報をもとに、図８に示すグラフを作成する。図８に示すグラフは、ズーム値と高周波成分の積分値との関係を表すグラフである。まず、システム制御部１０３は、指定領域設定時のズーム値における積分値６７に対応するポイント８１、ワイド端における積分値６８に対応するポイント８２、テレ端における積分値６９に対応するポイント８３をそれぞれプロットする。次にシステム制御部１０３は、各ポイント８１〜８３を近似的に通る曲線８４を描画する。描画された曲線８４により、全ズーム値における高周波成分の積分値を導出することが可能となる。

システム制御部１０３は、Ｓ９において、ＰＴＺ移動後の座標と、指定領域のＰＴＺ位置６２〜６４と、指定領域の幅６５および高さ６６とから、ＰＴＺ移動後に撮像範囲内に存在する指定領域の面積を算出する。また、システム制御部１０３は、ＰＴＺ移動後のズーム値と図８の曲線８４とに基づいて、高周波成分の積分値を算出する。そして、システム制御部１０３は、算出した指定領域の面積と高周波成分の積分値とから、ＰＴＺ移動後の撮像範囲内における指定領域の高周波成分の積分値を算出する。
Ｓ１０では、システム制御部１０３は、Ｓ９において算出された高周波成分の積分値に基づいて、適用する量子化パラメータを決定し、Ｓ１１に移行する。量子化パラメータを決定する方法は、Ｓ４と同様である。

Ｓ１１では、システム制御部１０３は、レンズ制御部１０５やパンチルト制御部１０８に対し、パン・チルト・ズーム動作の指示を行うことでＰＴＺ移動する。その後、システム制御部１０３は、Ｓ８もしくはＳ１０において決定された量子化パラメータを用いて、領域指定機能を実行する。
このように、システム制御部１０３は、カメラ１００の撮像方向および画角の少なくとも一方の撮像条件に変更があると判定した際には、指定領域テーブル６０を参照し、撮像条件が変更された後の指定領域の高周波成分の積分値を導出する。そして、システム制御部１０３は、導出された情報をもとに、閾値テーブル７０を参照し、指定領域に適用する量子化パラメータを導出する。その後、システム制御部１０３は、ＰＴＺ移動し、上記の導出した量子化パラメータを適用する。したがって、ＰＴＺ移動直後の画像から適切な量子化パラメータを適用することが可能である。

以上のように、本実施形態では、ＣＢＲ制御中に領域指定機能における指定領域の設定に変更がある場合や、ＰＴＺ移動する場合に、指定領域に適用する量子化パラメータを、指定領域の鮮鋭度に関する情報をもとに決定された値に一旦変更される。これにより、指定領域の設定変更時およびＰＴＺ移動時に、ビットレートが瞬間的に大きくなりすぎたり、逆にビットレートが必要以上に急減したりすることを防止することができる。以下、この点について説明する。

まず、指定領域の設定変更の一例として、ＣＢＲ制御中に指定領域を新たに設定して領域指定機能を有効にする場合について考える。領域別画質制御として、領域指定機能の有効への切り替え時に、指定領域の量子化パラメータを、領域指定機能を有効にする前に画像全体に適用していた量子化パラメータよりも高画質な値に設定する制御方式が考えられる。この場合、指定領域の面積が大きいほど、符号量は大きくなる。そのため、指定領域の面積によってはビットレートが瞬間的に非常に大きくなるおそれがある。これを防止するために、領域指定機能の有効への切り替え時に、指定領域の量子化パラメータを予め設定した固定値に一旦変更することが考えられる。
しかしながら、指定領域の高周波成分の多少によって符号量が異なるため、被写体によっては必要以上にビットレートが急減し、画質変動が大きくなるおそれがある。それを回避するために、画質をあまり下げないように上記固定値を設定すると、逆にビットレートの急激な増加が発生するおそれがある。

これに対して、本実施形態では、ＣＢＲ制御中に領域指定機能を有効にする場合、つまり、指定領域が新たに設定される場合、指定領域の量子化パラメータを所定値に一旦変更する。そして、その所定値は、設定変更後の指定領域の高周波成分の多少に応じた値とする。このように、ＣＢＲ制御中に領域指定機能を有効にする場合、指定領域の量子化パラメータを、領域指定機能を有効にする前に画像全体に適用していた量子化パラメータよりも高画質な値や、予め設定した固定値とするのではなく、上記所定値とする。したがって、領域指定機能を有効に切り替えたときに、ビットレートが急変する事態を回避することができる。
また、指定領域の設定変更の一例として、ＣＢＲ制御中に指定領域の位置やサイズを変更する場合がある。この場合にも、指定領域を新たに設定した場合と同様に、指定領域の量子化パラメータを所定値に一旦変更する。そして、その所定値は、変更後の指定領域の高周波成分の多少に応じた値とする。これにより、指定領域の位置やサイズを変更したときに、ビットレートが急変する事態を回避することができる。

次に、ＣＢＲ制御中に領域指定機能を有効にしている場合に、ユーザがＰＴＺ移動により指定領域を変化させる指示を行った場合について考える。ＰＴＺ移動により指定領域の面積が大きくなる方向に変化する場合、指定領域に適用する量子化パラメータをそのまま維持すると、発生符号量が目標符号量から大きく逸脱してビットレートが急激に大きくなる場合がある。そこで、指定領域の面積に変化があった際に、指定領域内に適用していた量子化パラメータを予め設定した固定値に変更することが考えられる。
しかしながら、圧縮後のデータ量は画像内の高周波成分の多少によって異なるため、被写体によっては必要以上にビットレートが急減し、画質変動が大きくなるおそれがある。例えば、指定領域のデータサイズが減少する方向にＰＴＺ移動された場合、指定領域に適用する量子化パラメータを予め設定した固定値とすると、必要以上にビットレートが小さくなってしまう。このような事態を回避するために、画質をあまり下げないように上記固定値を設定することも考えられるが、その場合、被写体によっては、逆にビットレートの急激な増加が発生してしまうおそれがある。例えば、単純な画像からコントラストの高い複雑な画像に変化する方向にＰＴＺ移動される場合には、ビットレートの急激な増加が発生してしまうおそれがある。

そこで、本実施形態では、ＣＢＲ制御中で且つ領域指定機能を実行中である場合に、ＰＴＺ移動が行われる場合には、指定領域の量子化パラメータを、変更後の指定領域の高周波成分の多少に応じた所定値に一旦変更する。これにより、指定領域の高周波成分が少なくなることに起因してビットレートが急激に減少したり、指定領域の高周波成分が多くなることに起因してビットレートが急激に増加したりする事態を回避することができる。

また、本実施形態では、カメラ１００は、指定領域の設定に変更があると判断した際に、取得している画像をもとに複数の画角（ズーム位置）における指定領域の高周波成分の積分値を抽出し、指定領域の位置情報等とともにメモリに記憶しておく。ここで、複数の画角における高周波成分の積分値の抽出に際し、カメラ１００は、取得している画像に対してズーム処理（電子ズームや光学ズーム）を行い、内部的に複数の画角に対応する画像を生成する。そして、カメラ１００は、生成した画像をもとに、それぞれ指定領域の高周波成分の積分値を算出する。
複数の画角における高周波成分の積分値が取得できれば、全画角（全ズーム値）における高周波成分の積分値を導出することが可能となる。そのため、ＰＴＺ移動により指定領域が変化する場合には、メモリに記憶されたズーム値と高周波成分の積分値との関係を用いて、ＰＴＺ移動後の指定領域の高周波成分の積分値を導出することができる。つまり、ＰＴＺ移動前の段階で、ＰＴＺ移動後の指定領域の高周波成分の積分値を導出することができる。したがって、その導出した値をもとに指定領域に適用する量子化パラメータを決定することで、指定領域変更直後の画像に対して適切な量子化パラメータを適用することができる。

例えば、ビットレートの急激な増加や減少を抑えるために、被写体の高周波成分をもとに量子化パラメータを決定する場合、指定領域変更後の画像に対して高周波成分を算出し、指定領域に適用する量子化パラメータを導出することも考えられる。しかしながら、この場合、導出した量子化パラメータを適用できるのは指定領域変更後数フレーム経ってからの画像となり、その間の画像については、適切な量子化パラメータ値を適用できない。そのため、ビットレートの急激な変化が発生するおそれがある。
本実施形態では、メモリに記憶されたズーム値と高周波成分の積分値との関係を用いることで、指定領域の設定変更時には、指定領域の設定変更直後の画像に対して適切な量子化パラメータを適用することができる。また、ＰＴＺ移動時には、ＰＴＺ移動直後の画像に対して適切な量子化パラメータを適用することができる。したがって、指定領域の設定変更直後やＰＴＺ移動直後におけるビットレートの急激な変化を適切に抑制することができる。

以上のように、本実施形態では、指定領域の設定が変更される場合や、ＰＴＺ移動によって被写体や指定領域が変化する場合に、適切な量子化パラメータを適切なタイミングで適用可能である。そのため、ＣＢＲ制御中に発生符号量が目標符号量を大きく逸脱してビットレートが急激に大きくなったり、画質が必要以上に低下したりすることを適切に防止することができる。

（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、指定領域の設定を変更する際に複数の画角における高周波成分の積分値を取得し保持しておくことで、被写体に合わせた適切な量子化パラメータを適用した。指定領域の設定変更時から画像（被写体）に変化がなければ適切な量子化パラメータ値となるが、被写体に変化があった場合、実際の高周波成分の積分値が変わってしまうため、不適切な値となってしまうおそれがある。第二の実施形態では、時間経過による被写体の変化に対応させる場合について説明する。

図９は、ＣＢＲ制御時におけるシステム制御部１０３の動作を示すフローチャートである。この図９の処理は、カメラ１００のＣＰＵ１１がプログラムを実行することによって実現することができる。図９の処理は、図５の処理にＳ２１〜Ｓ２３が追加されていることを除いては、図５の処理と同様である。したがって、以下、処理の異なる部分を中心に説明する。

Ｓ１１において、システム制御部１０３がＰＴＺ移動させた後、Ｓ２１において、システム制御部１０３は、図６の指定領域テーブル６０を参照し、被写体に全体が収まっている指定領域が存在するか否かを判定する。そして、システム制御部１０３は、全体が収まっている指定領域がないと判定した場合、Ｓ１に戻る。一方、システム制御部１０３は、全体が収まっている指定領域が存在すると判定した場合、Ｓ２２に移行する。
Ｓ２２では、システム制御部１０３は、Ｓ２と同様に、複数のズーム値（画角）における指定領域の高周波成分の積分値を算出する。
次に、Ｓ２３では、システム制御部１０３は、Ｓ２２において算出された高周波成分の積分値をもとに、図６の指定領域テーブル６０を更新する。つまり、システム制御部１０３は、該当する指定領域の情報（６４〜６９）を上書き保存する。

以上のように、本実施形態では、メモリに記憶された指定領域テーブル６０を定期的に更新する。このように、メモリに記憶された指定領域の高周波成分の積分値が定期的に更新されるので、時間が経過することで被写体が変化した場合であっても、量子化パラメータが不適切な値となってしまうことを防止することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…ネットワークカメラ、１０１…撮像部、１０２…画像処理部、１０３…システム制御部、１０４…レンズ駆動部、１０５…レンズ制御部、１０６…パン駆動部、１０７…チルト駆動部、１０８…パンチルト制御部、１０９…通信部、１１０…画像符号化装置、２００…クライアント装置、３００…ネットワーク

Claims (14)

1. 画像内に設定された指定領域ごとに異なる画質を設定可能な設定手段と、
   前記画像を符号化して得られる発生符号量が目標符号量となるように、前記符号化に用いる量子化パラメータを決定する決定手段と、
   前記設定手段における前記指定領域の設定に変更があるか否かを判断する判断手段と、
   前記判断手段によって前記指定領域の設定に変更があると判断した際に、前記指定領域に対応する鮮鋭度に係る情報を抽出する抽出手段と、
   前記抽出手段によって抽出された情報をもとに、前記符号化に用いる前記量子化パラメータを導出する導出手段と、を備えることを特徴とする画像処理装置。
2. 前記導出手段は、
   前記画像を撮像する撮像手段の撮像方向および画角の少なくとも一方の撮像条件が変更される場合に、前記抽出手段によって抽出された情報をもとに、前記撮像条件が変更された後の前記指定領域に対応する鮮鋭度に係る情報を導出し、
   導出された情報をもとに、前記符号化に用いる前記量子化パラメータを導出することを特徴とする請求項１に記載の画像処理装置。
3. 前記導出手段は、
   前記判断手段によって前記指定領域の設定に変更があると判断した際に、前記抽出手段によって抽出された情報をもとに、前記指定領域の設定が変更された後の前記指定領域に対応する鮮鋭度に係る情報を導出し、
   導出された情報をもとに、前記符号化に用いる前記量子化パラメータを導出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記導出手段は、
   予め設定した固定値を、前記指定領域に対応する鮮鋭度に係る情報をもとに増減した値を、前記指定領域の前記符号化に用いる前記量子化パラメータとして導出することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記抽出手段は、
   前記画像を撮像する撮像手段の複数の画角における前記指定領域に対応する鮮鋭度に係る情報を抽出することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記抽出手段は、
   前記指定領域の中央位置に対してズーム処理した前記画像をもとに、前記複数の画角における前記指定領域に対応する鮮鋭度に係る情報を抽出することを特徴とする請求項５に記載の画像処理装置。
7. 前記抽出手段は、
   前記指定領域を複数の領域に分割し、分割した各領域についてそれぞれ前記鮮鋭度に係る情報を抽出することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記抽出手段によって抽出された情報を記憶する記憶手段をさらに備えることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記記憶手段により記憶された情報を定期的に更新する更新手段をさらに備えることを特徴とする請求項８に記載の画像処理装置。
10. 前記判断手段は、
    前記指定領域が新たに設定される場合に、前記指定領域の設定に変更があると判断することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記判断手段は、
    前記指定領域の位置およびサイズの少なくとも一方が変更される場合に、前記指定領域の設定に変更があると判断することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 請求項１から１１のいずれか１項に記載の画像処理装置と、
    前記画像を撮像する撮像手段と、を備えることを特徴とする撮像装置。
13. 画像内に設定された指定領域ごとに異なる画質を設定可能なステップと、
    前記画像を符号化して得られる発生符号量が目標符号量となるように、前記符号化に用いる量子化パラメータを決定するステップと、
    前記指定領域の設定に変更があるか否かを判断するステップと、
    前記指定領域の設定に変更があると判断した際に、前記指定領域に対応する鮮鋭度に係る情報を抽出するステップと、
    抽出された前記情報をもとに、前記符号化に用いる前記量子化パラメータを導出するステップと、を含むことを特徴とする画像処理方法。
14. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images