JP2011087090A - 画像処理方法、画像処理装置、及び撮像システム - Google Patents

Abstract

【課題】顔検出により得られた顔画像領域を伝送路の帯域を極力圧迫することなく処理する画像処理方法を提供する。
【解決手段】画像処理方法は、画像データから所定の条件に適合する１以上の特定領域を検出する特定領域検出ステップ（Ｓ１１０）と、特定領域検出ステップ（Ｓ１１０）で検出された１以上の特定領域それぞれを、高画質化領域に設定するか否かを決定する高画質化領域設定ステップ（Ｓ１２０〜Ｓ１４０）と、画像データのうちの高画質化領域を第１の量子化パラメータを用いて、高画質化領域以外の領域を第１の量子化パラメータより大きい第２の量子化パラメータを用いてそれぞれ符号化する符号化ステップ（Ｓ１５０）と、符号化ステップ（Ｓ１５０）で符号化された画像データを出力する出力ステップ（Ｓ１６０）とを含む。
【選択図】図４

Description

本発明は、顔検出および顔認証により得られた領域を効率良く、かつ効果的に伝送および記録する画像処理方法、画像処理装置、及び撮像システムに関するものである。

近年、デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ、カメラ付き携帯等）や監視カメラ、インターホンカメラ等の撮像装置及び画像処理装置において、顔領域検出機能の搭載が一般的となってきている。さらに、個人を特定することができる個人認証機能も搭載されだし、インテリジェント化されたカメラが急増している。

上記のような監視カメラは、例えば、顔検出機能および個人認証機能により検出または認証した人物を記憶、解析することで不審者の発見や特定に用いられている。また、監視カメラは、カメラ部と制御部とが離れて設置されている場合が多く、ネットワークを介してカメラ部で撮影した画像を制御部に伝送し、制御室のモニタに画像を表示する、または記録媒体に記録する。

このような場合、不審者の発見や特定をするために、画像を高画質に記録しておく必要がある。しかしながら、ネットワークにおける伝送路の帯域は限られたものであり、帯域によっては、高画質な画像の伝送が不可能である場合や、高画質に伝送できたとしても同じネットワークを利用している他のシステムに影響を及ぼす場合がある。

本発明に関連する先行技術文献としては特許文献１がある。図１８に特許文献１に開示されている画像処理装置１００の構成図を示す。特許文献１に開示されている画像処理装置１００は、図１８（ａ）に示されるように、顔検出部１０１と、符号化部１０２と、顔認証部１０３と、顔ＤＢ（ＤａｔａＢａｓｅ）１０４とを備える。

顔検出部１０１は、入力画像から顔画像領域を検出し、顔画像領域を示す座標、顔サイズ等の情報を符号化部１０２に出力する。また、特定人物のみを優先的に高画質に記録する場合は、顔認証部１０３が顔ＤＢ１０４に記憶されている顔画像領域の情報を符号化部１０２に出力する。符号化部１０２においては、指定された顔画像領域の量子化パラメータを他の領域よりも小さい値に設定して、顔画像領域を極力高画質に符号化するように制御を行なう。

上記処理のように、監視カメラで撮影した画像から不審者を発見するために必要となる顔領域のみを他の領域に比べて高画質に記録することで、伝送路の帯域への負担を軽減することを可能としている。

特開２００５−１０９６０６号公報

上記のような監視カメラは、会社や店の入り口等人通りの多い場所に設置されていることが珍しくない。そこで、不審者を発見するためには、全員分の顔画像領域を高画質に記録することが望まれる。特許文献１では、顔検出部１０１や顔認証部１０３で検出または認証された領域を高画質に記録することで、不審者発見のための画像を確保し、さらに伝送路の帯域における負担を軽減している。

しかしながら、撮影する画像サイズに対して検出または認証した顔画像領域が大きい場合や、画像全体に渡って複数人の顔が検出または認証された場合は、画像全体を高画質に記録することになり、伝送路の帯域に対する負担を軽減することが出来ない。その状態が続く限り伝送路の帯域を圧迫してしまう課題が生じる。

本願発明は、上記に鑑みて為された発明であり、顔検出および顔認証により得られた顔画像領域を伝送路の帯域を極力圧迫することなく処理する画像処理方法、画像処理装置、及び撮像システムを提供することを目的とする。

本発明の一形態に係る画像処理方法は、画像データを符号化して出力する方法である。具体的には、前記画像データから所定の条件に適合する１以上の特定領域を検出する特定領域検出ステップと、前記特定領域検出ステップで検出された１以上の前記特定領域それぞれを、高画質化領域に設定するか否かを決定する高画質化領域設定ステップと、前記画像データのうちの前記高画質化領域を第１の量子化パラメータを用いて、前記高画質化領域以外の領域を前記第１の量子化パラメータより大きい第２の量子化パラメータを用いてそれぞれ符号化する符号化ステップと、前記符号化ステップで符号化された画像データを出力する出力ステップとを含む。

上記構成によれば、高画質化領域のみを選択的に低い圧縮率で符号化し、その他の領域を高い圧縮率で符号化するので、必要な領域の画質を維持したまま、伝送路の帯域の負担を軽減することができる。

例えば、前記特定領域検出ステップでは、前記１以上の特定領域それぞれについて、前記所定の条件への適合の度合いを示す検出評価値を算出する。そして、前記高画質化領域設定ステップでは、前記検出評価値が閾値αより大きい前記特定領域を高画質化領域にしてもよい。

一例として、前記閾値αは、予め定められた固定値であってもよい。他の例として、該画像処理方法は、複数の前記画像データを順次符号化して出力するものであり、前記高画質化領域設定ステップでは、一の前記画像データに含まれる全ての特定領域を前記高画質化領域に設定するか否かを決定する毎に、特定領域検出ステップで検出された１以上の前記検出評価値の最大値を用いて、前記閾値αを更新してもよい。より具体的には、前記高画質化領域設定ステップでは、前記検出評価値の最大値にオフセット値を加算した値を、前記閾値αにしてもよい。

また、時間的に連続する複数の画像データを順次符号化して出力し、前記複数の画像データのうちの一の画像データに含まれる特定領域が、前記高画質化領域設定ステップで前記高画質化領域にされた場合において、前記高画質化領域設定ステップは、前記一の画像データに続く所定の数の画像データ中の当該特定領域の前記検出評価値が前記閾値αより大きいか否かにかかわらず、当該特定領域を高画質化領域にしてもよい。

同一の特定領域は、複数のフレームに連続して存在することがあるので、一旦、高画質化領域に設定した特定領域を検出評価値の値に拘らず、その後の数フレームにわたって高画質化領域に設定し続けることにより、さらに適切に必要な領域の画質を維持することができる。

一例として、前記特定領域は、顔の領域であってもよい。但し、これに限定されるものではない。

さらに、前記特定領域検出ステップでは、前記顔の向きを検出する。そして、前記高画質化領域設定ステップは、顔の向き毎に異なる前記閾値αを保持しており、前記特定領域検出ステップで検出された前記顔の向きに対応した前記閾値αを用いて、前記特定領域を前記高画質化領域に設定するか否かを決定してもよい。これにより、高画質化領域の設定をさらに適切に実施することができる。

さらに、該画像処理方法は、前記特定領域から特徴を抽出する特徴抽出ステップと、前記特定領域から抽出された特徴と既に記憶されている特徴とを照合する特徴照合ステップと、前記特定領域から抽出された特徴が、既に記憶されている特徴のいずれとも一致しないと前記特徴照合ステップで判断された場合に、当該特徴を新たに記憶する特徴記憶ステップとを含む。そして、前記高画質化領域設定ステップは、前記１以上の特定領域のうち、既に記憶されている特徴のいずれとも一致しないと前記特徴照合ステップで判断された前記特定領域を、前記高画質化領域にしてもよい。これにより、今までに一度も検出されたことのない特定領域のみが高画質化領域に設定されるので、さらに伝送路の帯域の負担を軽減することができる。

また、前記符号化ステップでは、前記高画質化領域の大きさが予め定められた第１のサイズより大きい場合に、当該高画質化領域を前記第１の量子化パラメータより大きい第３の量子化パラメータを用いて符号化し、前記高画質化領域の大きさが前記第１のサイズより小さい第２のサイズよりさらに小さい場合に、当該高画質化領域を前記第１の量子化パラメータより小さい第４の量子化パラメータを用いて符号化してもよい。これにより、サイズの大きい高画質化領域はより高圧縮率で、サイズの小さい高画質化領域はより低圧縮率で符号化されるので、さらに伝送路の帯域の負担を軽減することができる。

また、前記特徴記憶ステップでは、既に記憶されている特徴の数が予め定められた所定の数未満である場合、前記特定領域から抽出された特徴が既に記憶されている特徴と一致するか否かにかかわらず、当該特徴を記憶してもよい。

また、前記特徴照合ステップでは、前記特定領域から抽出された特徴と既に記憶されている特徴との一致の度合いを示す照合評価値を算出する。そして、前記特徴記憶ステップでは、前記照合評価値が閾値βより小さい場合に、当該特徴を記憶してもよい。

また、該画像処理方法は、複数の前記画像データを順次符号化して出力するものであり、前記特徴記憶ステップでは、一の前記画像データに含まれる全ての特定領域の特徴と既に記憶されている特徴とを照合する毎に、前記特徴照合ステップで算出された１以上の前記照合評価値の最大値を用いて、前記閾値βを更新してもよい。より具体的には、前記特徴記憶ステップでは、前記照合評価値の最大値にオフセット値を加算した値を、前記閾値βにしてもよい。

さらに、前記特定領域検出ステップでは、前記顔の向きを検出する。そして、前記特徴記憶ステップは、顔の向き毎に異なる前記閾値βを保持しており、前記特定領域検出ステップで検出された前記顔の向きに対応した前記閾値βを用いて、前記特徴を記憶するか否かを決定してもよい。

さらに、前記高画質化領域設定ステップでは、前記特定領域の大きさが予め定められたサイズより大きい場合にのみ、当該特定領域を前記高画質化領域にしてもよい。これにより、高画質であったとしても判別の難しいような小さな特定領域を、高圧縮率で符号化することができる。

また、前記符号化ステップでは、前記第１の量子化パラメータを用いて符号化を行った場合に、当該符号化された画像データに、高画質化領域が含まれることを示す識別子を付加してもよい。これにより、復号側の装置で、当該符号化データに高画質化領域が含まれているか否かを、復号処理を実行する前に知ることができる。

本発明の一形態に係るプログラムは、上記記載の画像処理方法を、コンピュータに実行させる。なお、本発明は、画像処理方法や画像処理装置として実現できるだけでなく、これらの機能を実現する集積回路として実現したり、そのような機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

本発明の一形態に係る画像処理装置は、画像データを符号化して出力する。具体的には、前記画像データから所定の条件に適合する１以上の特定領域を検出する特定領域検出部と、前記特定領域検出部で検出された１以上の前記特定領域それぞれを、高画質化領域に設定するか否かを決定する高画質化領域設定部と、前記画像データのうちの前記高画質化領域を第１の量子化パラメータを用いて、前記高画質化領域以外の領域を前記第１の量子化パラメータより大きい第２の量子化パラメータを用いてそれぞれ符号化する符号化部と、前記符号化ステップで符号化された画像データを出力する出力部とを備える。

本発明の一形態に係る撮像システムは、上記記載の画像処理装置と、前記画像処理装置へ前記画像データを出力するセンサと、前記センサへ光を結合する光学系とを備える。

本発明によれば、高画質化領域のみを選択的に低い圧縮率で符号化し、その他の領域を高い圧縮率で符号化するので、必要な領域の画質を維持したまま、伝送路の帯域の負担を軽減することができる。

本発明の一形態に係る撮像システムのブロック図である。 本発明の実施の形態１に係る画像処理装置の機能ブロック図である。 画像処理装置に入力される画像データの例を示す図である。 画像処理装置の動作例１を示すフローチャートである。 画像処理装置の動作例２を示すフローチャートである。 画像処理装置の動作例３を示すフローチャートである。 画像処理装置の動作例４を示すフローチャートである。 画像処理装置の動作例５を示すフローチャートである。 画像処理装置の動作例６を示すフローチャートである。 本発明の実施の形態２に係る画像処理装置の機能ブロック図である。 画像処理装置の動作例７を示すフローチャートである。 画像処理装置の動作例８を示すフローチャートである。 画像処理装置の動作例９を示すフローチャートである。 画像処理装置の動作例１０を示すフローチャートである。 画像処理装置の動作例１１を示すフローチャートである。 画像処理装置の動作例１２を示すフローチャートである。 画像処理装置の動作例１３を示すフローチャートである。 従来の画像処理装置の構成図である。

以下、図面を参照して本発明の実施の形態について説明する。なお、以下で説明する実施の形態はあくまで一例であり、様々な改変を行うことが可能である。

図１は、本発明の一形態に係る撮像システム１のブロック図である。撮像システム１は、図１に示されるように、光学系１０と、センサ２０と、ＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ：アナログ・デジタル変換機）３０と、画像処理回路４０と、画像処理装置５０と、記録転送回路６０と、再生回路７０と、タイミング制御回路８０とを備える。この撮像システム１は、例えば、デジタルスチルカメラ（ＤＳＣ）である。

図１に示される撮像システム１において、光学系１０を通って入射した画像光はセンサ２０上に結像される。センサ２０は、タイミング制御回路８０によって駆動されることにより、結像された画像光を蓄積し、電気信号へと光電変換する。センサ２０から読み出された電気信号は、ＡＤＣ３０によってデジタル信号へと変換された後に、画像処理装置５０を含む画像処理回路４０に入力される。

この画像処理回路４０では、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、及び本発明を用いた画像圧縮伸張処理などの画像処理が行われる。画像処理された信号は、記録転送回路６０においてメディアへの記録あるいは転送が行われる。記録あるいは転送された信号は、再生回路７０により再生される。この撮像システム１の全体は、システム制御回路９０によって制御されている。

なお、本発明に係る画像処理装置５０における画像処理は、必ずしも光学系１０を介してセンサ２０に結像された画像光に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることは言うまでもない。

（実施の形態１）
図２は、本発明の実施の形態１に係る画像処理装置（図１の「画像処理装置５０」に対応する）５０ａの機能ブロック図である。実施の形態１に係る画像処理装置５０ａは、図２に示されるように、特定領域検出部５１と、高画質化領域設定部５２と、符号化部５３と、出力部５４とを備える。

特定領域検出部５１は、ＡＤＣ３０から取得した画像データから所定の条件に適合する１以上の特定領域を検出する。所定の条件とは、典型的には、「人の顔であること」である。より具体的には、例えば、眼、鼻、口の特徴を備えた部分が所定の範囲内に、且つ所定の位置関係で存在した場合に、当該領域を人の顔（すなわち、特定領域）であると判断する。ただし、本発明における「所定の条件」が、上記に限定されないことは言うまでもない。

また、特定領域検出部５１は、特定領域それぞれについて、所定の条件への適合の度合いを示す検出評価値を算出する。すなわち、検出評価値が高ければ、特定領域に含まれる画像が人の顔である可能性が高くなる。一方、検出評価値が低ければ、特定領域に含まれる画像が人の顔である可能性が低くなる。

高画質化領域設定部５２は、特定領域検出部５１で検出された１以上の特定領域それぞれを、高画質化領域に設定するか否かを決定する。具体的には、高画質化領域設定部５２は、閾値αを保持しており、特定領域の検出評価値と当該閾値αとを比較する。そして、検出評価値が閾値αより大きい特定領域を高画質化領域とする。

符号化部５３は、画像データを符号化する。典型的には、画像データをＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン）変換し、量子化し、エントロピー符号化することによって符号化データを生成する。ここで、符号化部５３は、量子化に使用する量子化パラメータを画像データの各部分で可変とすることができる。例えば、高画質化領域を第１の量子化パラメータを用いて量子化し、その他の領域を第２の量子化パラメータ（＞第１の量子化パラメータ）を用いて量子化する。

出力部５４は、符号化部５３で符号化された画像データ（符号化データ）を出力する。出力先は、例えば、光ディスク、半導体メモリ、ハードディスク等の記録媒体であってもよいし、有線通信路、無線通信路等の伝送路であってもよい。

以下、図４〜図９を参照して、実施の形態１に係る画像処理装置５０ａの動作例１〜６を説明する。なお、動作例１〜６の説明は、画像処理装置５０ａに、図３（ａ）〜図３（ｅ）に示される画像データ２００〜６００のいずれかが入力されたものとして行う。

（動作例１）
図４は、実施の形態１に係る画像処理装置５０ａの動作例１を示すフローチャートである。

まず、画像処理装置５０ａの特定領域検出部５１は、入力された画像データを走査し、特定領域を検出する（Ｓ１１０）。また、当該特定領域の検出評価値を算出する。例えば、図３（ａ）に示される画像データ２００が入力された場合、特定領域検出部５１は、特定領域を検出することなく処理を終了する。一方、図３（ｂ）に示される画像データ３００が入力された場合、特定領域検出部５１は、領域３１０を特定領域とし、領域３１０の検出評価値を算出する。

次に、画像処理装置５０ａは、取得した画像データから特定領域が検出されたか否かを判断する（Ｓ１２０）。例えば、画像データ２００が入力された場合、つまり、特定領域が検出されない場合（Ｓ１２０でＮｏ）、Ｓ１３０〜Ｓ１４０をスキップして、後述するＳ１５０以降の処理を実行する。

一方、画像データ３００が入力された場合、つまり、特定領域が検出された場合（Ｓ１２０でＹｅｓ）、画像処理装置５０ａの高画質化領域設定部５２は、検出された特定領域と閾値αとを比較する（Ｓ１３０）。例えば、特定領域である領域３１０の検出評価値が閾値αより大きい値（例えば、検出評価値が「１００」、閾値αが「７０」）の場合（Ｓ１３０でＹｅｓ）、高画質化領域設定部５２は、領域３１０を高画質化領域とする（Ｓ１４０）。一方、領域３１０の検出評価値が閾値α以下の値（例えば、検出評価値が「５０」、閾値αが「７０」）の場合（Ｓ１３０でＮｏ）、高画質化領域設定部５２は、Ｓ１４０をスキップして、領域３１０を高画質化領域としない。

次に、符号化部５３は、取得した画像データを符号化する（Ｓ１５０）。このとき、符号化部５３は、高画質化領域を第１の量子化パラメータを用いて、その他の領域を第２の量子化パラメータ（＞第１の量子化パラメータ）を用いて符号化する。

例えば、図３（ａ）に示される画像データ２００のように、特定領域がない場合は、高画質化領域が設定されないため、符号化部５３は、画像データ２００全体を第２の量子化パラメータを用いて符号化する。また、図３（ｂ）に示されるよう画像データ３００のように、特定領域である領域３１０が存在する場合でも、当該領域３１０が高画質化領域でなければ、画像データ３００全体を第２の量子化パラメータを用いて符号化する。その結果、高圧縮の符号化データを得ることができる。

一方、図３（ｂ）に示される画像データ３００の場合において、領域３１０が高画質化領域であれば、領域３１０のみを第１の量子化パラメータを用いて符号化し、その他の領域を第２の量子化パラメータを用いて符号化する。その結果、人の顔を含む領域３１０のみを選択的に高画質（低圧縮率）に記録することができる。

また、符号化部５３は、第１の量子化パラメータを用いて符号化を行った符号化データに、高画質化領域が含まれることを示す識別子（タグ）を付加してもよい。これにより、復号側の装置は、当該符号化データを復号せずとも、人の顔が含まれているか否かを判断することができる。そして、出力部５４は、符号化部５３で生成された符号化データを出力する（Ｓ１６０）。

（動作例２）
図５は、画像処理装置５０ａの動作例２を示すフローチャートである。なお、動作例１と共通する処理には同一の参照番号を付し、詳しい説明は省略する。動作例２は、図３（ｃ）に示される画像データ４００のように、人の顔が複数含まれている場合の動作を示している。

まず、特定領域検出部５１は、画像データ４００に含まれる全ての特定領域を検出する（Ｓ１１０）。つまり、図３（ｃ）に示される画像データ４００からは、領域４１０、４２０、４３０が特定領域として検出されることになる。

高画質化領域設定部５２は、特定領域検出部５１で検出された特定領域それぞれについて、Ｓ１３０〜Ｓ１４０の処理を実行する。すなわち、動作例２は、Ｓ１３０〜Ｓ１４０のループ処理（Ｓ１２１、Ｓ１４１）が追加されている点で、動作例１と異なる。

具体的には、高画質化領域設定部５２は、領域４１０の検出評価値が閾値αより大きい値（例えば、検出評価値が「１００」、閾値αが「７０」）の場合、領域４１０を高画質化領域に設定する。さらに、ループ処理（Ｓ１２１、Ｓ１４１）にて、領域４２０、４３０においても同様の処理を実施する。例えば、領域４２０、４３０の検出評価値がそれぞれ「８０」、「５０」で閾値αが「７０」の場合、領域４２０を高画質化領域に設定し、領域４３０を高画質化領域に設定しない。

次に、符号化部５３は、高画質化領域である領域４１０、４２０を第１の量子化パラメータを用いて符号化し、領域４３０を含む他の領域を第２の量子化パラメータを用いて符号化することにより、所望の領域のみを選択的に高画質に記録することができる。

なお、以下の動作例３〜６においては、説明を単純化するために、ループ処理（Ｓ１２１、Ｓ１４１）を省略して説明するが、適切な位置にループ処理（Ｓ１２１、Ｓ１４１）を追加することにより、図３（ｃ）に示される画像データ４００を処理できることは言うまでもない。

（動作例３）
図６は、画像処理装置５０ａの動作例３を示すフローチャートである。なお、動作例１、２と共通する処理には同一の参照番号を付し、詳しい説明は省略する。動作例３は、高画質化領域設定部５２の保持する閾値αを検出評価値で更新する例である。

まず、画像処理装置５０ａに図３（ｃ）に示される画像データ４００が入力された場合、特定領域検出部５１で領域４１０、４２０、４３０が特定領域であると判断され、それぞれの検出評価値が算出される。そして、高画質化領域設定部５２で、領域４１０、４２０、４３０の検出評価値と閾値αとが比較され、領域４１０、４２０が高画質化領域に設定される。

さらに、高画質化領域設定部５２は、閾値αを領域４１０、４２０、４３０の検出評価値の最大値に更新する（Ｓ１４２）。例えば、領域４１０、４２０、４３０の検出評価値がそれぞれ「１００」、「８０」、「５０」の場合、閾値αを「１００」に更新する。更新された閾値αは、次に入力される画像データに含まれる特定領域を、高画質化領域に設定するか否かを決定する処理に利用される。

この方法によれば、検出された特定領域の検出評価値と、以前検出された特定領域の検出評価値の最大値とを比較して、高画質化領域の設定を判断することになる。その結果、不審者の発見または特定に必要となる高画質な顔領域画像を、必要最小限に抑えて伝送・記録することが可能となる。

なお、上記の例では、検出評価値の最大値をそのまま新たな閾値αとした例を示したが、これに限ることなく、例えば、Ｓ１４２において検出評価値の最大値にオフセット値を加算（若しくは、乗算）した値で閾値αを更新してもよい。また、オフセット値は、正の値であっても負の値であってもよい（乗算する場合には、１以上でも１未満でもよい）。なお、閾値αの初期化に関しては、画像処理方法を実施し始めるタイミングのみではなく、実施後の経過時間や記録した画像の総容量等に応じて任意に初期化することができる。

（動作例４）
図７は、画像処理装置５０ａの動作例４を示すフローチャートである。なお、動作例１〜３と共通する処理には同一の参照番号を付し、詳しい説明は省略する。動作例４は、時間的に連続する複数の画像データを順次符号化して出力することを前提としている。画像処理装置５０ａにおいて顔領域が検出された場合は、連続して数フレームに渡り同じ顔が検出され続けることが多いため、不審者の発見または特定をより正確に行なうために、それらの顔領域画像を検出評価値に関わらず高画質に伝送、記録することが望ましい。

まず、画像処理装置５０ａは、フレームカウントフラグと、フレームカウント変数Ｊと、フレームカウント閾値（最大記録フレーム数）Ｉとを保持する。なお、初期状態では、フレームカウントフラグに「ＯＦＦ」が、フレームカウント変数Ｊに「０」が、フレームカウント閾値Ｉに予め定められた正の整数が設定されているものとする。

画像処理装置５０ａに図３（ｃ）に示す画像データ４００が入力された場合、特定領域検出部５１で特定領域があるか否かを判断（Ｓ１２０）し、特定領域がある場合は検出評価値と閾値αとを比較する（Ｓ１３０）。

検出評価値が閾値αより大きい値（例えば、領域４１０の検出評価値が「１００」、閾値αが「７０」）の場合（Ｓ１３０でＹｅｓ）は、高画質化領域設定部５２で当該領域４１０を高画質化領域に設定（Ｓ１４０）すると共に、フレームカウント変数Ｊをインクリメントし、フレームカウントフラグを「ＯＮ」に設定する（Ｓ１４３）。

一方、Ｓ１３０において、領域４２０の検出評価値が「５０」、閾値αが「７０」の場合は、フレームカウントフラグが「ＯＮ」か否かを判断する（Ｓ１３１）。フレームカウントフラグが「ＯＮ」の場合（Ｓ１３１でＹｅｓ）、フレームカウント閾値Ｉとフレームカウント変数Ｊとを比較する（Ｓ１３２）。

そして、フレームカウント閾値Ｉがフレームカウント変数Ｊより大きい値（例えば、フレームカウント閾値Ｉが「５」、フレームカウント変数Ｊが「１」）の場合（Ｓ１３２でＹｅｓ）、高画質化領域設定部５２で当該領域４２０を高画質化領域に設定（Ｓ１４０）すると共に、フレームカウント変数Ｊをインクリメント（Ｓ１４３）する（フレームカウントフラグは既にＯＮの状態である）。

一方、フレームカウント閾値Ｉがフレームカウント数Ｊ以下（上記の例で、フレームカウント変数Ｊが「５」）である場合（Ｓ１３２でＮｏ）、フレームカウント変数Ｊを初期化（「０」を設定）し、フレームカウントフラグに「ＯＦＦ」を設定する（Ｓ１３３）。この処理（Ｓ１３３）は、Ｓ１２０において特定領域が検出されなかった場合（Ｓ１２０でＮｏ）にも実行される。そして、領域４２０を高画質化領域に設定することなく、Ｓ１５０以降の処理を実行する。

以上の処理を繰り返すことにより、連続して数フレーム（フレームカウント閾値Ｉの数に相当するフレーム）の顔画像領域を高画質に記録することができる。

（動作例５）
図８は、画像処理装置５０ａの動作例５を示すフローチャートである。なお、動作例１〜４と共通する処理には同一の参照番号を付し、詳しい説明は省略する。特定領域が顔領域の場合、特定領域検出部５１は、正面顔のみではなく、横向き顔も検出することができる。そこで、動作例５では、不審者の発見や特定における有効な顔の向きに応じて高画質化領域の設定を判断する。

まず、特定領域検出部５１は、特定領域の検出及び検出評価値の算出に加えて、特定領域における顔の向きを検出する（Ｓ１１１）。例えば、図３（ｄ）に示す画像データ５００が入力された場合、特定領域検出部５１は、領域５１０の顔の向きを「正面顔」、領域５２０の顔の向きを「横向き顔」とする。

次に、画像処理装置５０ａは、各領域５１０、５２０の顔の向きを判断する（Ｓ１３４）。そして、「正面顔」の場合（Ｓ１３４でＹｅｓ）、高画質化領域設定部５２は、当該領域の検出評価値と、正面顔用の閾値α１（正面顔用閾値）とを比較する（Ｓ１３５）。一方、「横向き顔」の場合（Ｓ１３４でＮｏ）、高画質化領域設定部５２は、当該領域の検出評価値と、横向き顔用の閾値α２（横向き顔用閾値）とを比較する（Ｓ１３６）。

Ｓ１３５及びＳ１３６において、検出評価値が閾値α１、α２より大きい値の場合（Ｓ１３５、Ｓ１３６でＹｅｓ）、高画質化領域設定部５２は、当該領域を高画質化領域に設定する（Ｓ１４０）。例えば、正面の顔を含む領域５１０の検出評価値が「１００」、横向きの顔を含む領域５２０の評価値が「５０」、閾値α１が「７０」、閾値Ｃが「６０」の場合は、高画質化領域設定部５２で領域５１０のみを高画質化領域に設定する。また、顔の向きに関して、正面顔と横向き顔の２通りではなく、右向き３０度、左向き３０度、右傾き４５度、左傾き４５度のように細かく分類し、それぞれ閾値を設けて比較を実施してもよい。

（動作例６）
図９は、画像処理装置５０ａの動作例６を示すフローチャートである。なお、動作例１〜５と共通する処理には同一の参照番号を付し、詳しい説明は省略する。検出された顔領域のサイズが小さい場合において、高画質に記録しても元々の顔領域における情報量が少ないため不審者の発見または特定に役立たないこともある。そこで、動作例６では、顔領域のサイズにおいて高画質化するか否かを判断する。

図３（ｅ）に示す画像データ６００が入力された場合、特定領域検出部５１で特定領域があるか否かを判断（Ｓ１２０）し、領域６１０が特定領域である場合（Ｓ１２０でＹｅｓ）、領域６１０のサイズと予め定められたサイズ閾値とを比較する。領域６１０のサイズがサイズ閾値より小さい値（例えば、領域６１０のサイズが「５０」、サイズ閾値が「１００」）の場合（Ｓ１２２でＮｏ）、高画質化領域設定部５２は、領域６１０を高画質化領域に設定しない。

（実施の形態２）
図１０は、本発明の実施の形態２に係る画像処理装置（図１の「画像処理装置５０」に対応する）５０ｂの機能ブロック図である。なお、実施の形態１に係る画像処理装置５０ａと共通の構成要素には同一の参照番号を付し、詳しい説明は省略する。

実施の形態２に係る画像処理装置５０ｂは、図１０に示されるように、特定領域検出部５１と、高画質化領域設定部５２と、符号化部５３と、出力部５４とに加えて、特徴抽出部５５と、特徴照合部５６と、特徴記憶部５７とをさらに備える。

特徴抽出部５５は、特定領域検出部５１で検出された特定領域に含まれる特徴を抽出する。「特徴」の具体例は特に限定されないが、例えば、特定領域が顔領域である場合、眼、鼻、口、耳等、顔を構成する要素を特徴として抽出すればよい。

特徴照合部５６は、特定領域から抽出された特徴と、特徴記憶部５７に既に記憶されている特徴とを照合し、両者の一致の度合いを示す照合評価値を算出する。そして、抽出された特徴と特徴記憶部５７に既に記憶されている特徴とが一致しない場合、当該特徴を新たに特徴記憶部５７に記憶させる。

また、特徴照合部５６は、照合結果を、高画質化領域設定部５２に通知する。高画質化領域設定部５２は、抽出された特徴が特徴記憶部５７に既に記憶されている特徴のいずれにも一致しないと特徴照合部５６で判断された場合に、当該特定領域を高画質化領域に設定する。

ここで、「抽出された特徴と特徴記憶部５７に既に記憶されている特徴とが一致する」とは、両者が厳密に同一であることまでは要求されず、同一である蓋然性が高いと判断できる程度に類似している場合に「一致する」と判断される。典型的には、特徴照合部５６で算出される照合評価値が所定の閾値以上である場合に、「一致する」と判断することができる。

特徴記憶部５７は、特徴を記憶する記憶媒体（メモリ）である。この特徴記憶部５７には、特徴抽出部５５で抽出された特徴のうち、既に記憶されている特徴のいずれとも一致しないと特徴照合部５６で判断された特徴が新たに追加される。記憶媒体の具体例は特に限定されないが、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や不揮発性メモリの他、データの書き込みや消去が可能なあらゆる記憶媒体を採用することができる。

以下、図１１〜図１７を参照して、実施の形態２に係る画像処理装置５０ｂの動作例７〜１３を説明する。なお、動作例７〜１３の説明は、画像処理装置５０ｂに、図３（ａ）〜図３（ｅ）に示される画像データ２００〜６００のいずれかが入力されたものとして行う。

（動作例７）
図１１は、画像処理装置５０ｂの動作例７を示すフローチャートである。但し、実施の形態１に係る動作例１〜６との共通点の詳しい説明は省略し、相違点を中心に説明する。具体的には、Ｓ２１０は、図４に示されるＳ１１０に対応する。しかしながら、実施の形態２においては、検出評価値の算出処理は必須ではない。また、Ｓ２２０、Ｓ２６０、Ｓ２７０、Ｓ２８０は、図４に示されるＳ１２０、Ｓ１４０、Ｓ１５０、Ｓ１６０に対応する。

例えば、図３（ａ）に示される画像データ２００が入力された場合、特定領域検出部５１で特定領域があるか否かを判断（Ｓ２２０）する。そして、特定領域がない場合（Ｓ２２０でＮｏ）は、高画質化領域設定部５２で高画質化領域を設定せずに、符号化部５３で第２の量子化パラメータを用いて画像データ２００の全体を高い圧縮率で符号化し（Ｓ２７０）、出力する（Ｓ２８０）。

一方、図３（ｂ）に示される画像データ３００が入力された場合（Ｓ２２０でＹｅｓ）、特徴抽出部５５は、特定領域である領域３１０に含まれる特徴を抽出する（Ｓ２３０）。次に、特徴照合部５６は、領域３１０から抽出された特徴と、特徴記憶部５７に既に記憶されている特徴とが一致するか否かを判断する（Ｓ２４０）。特徴が不一致の場合（Ｓ２４０でＮｏ）、特徴照合部５６は、当該特徴を特徴記憶部６７に記憶させる。さらに、高画質化領域設定部５２は、当該領域３１０を高画質化領域に設定する。一方、特徴が一致した場合（Ｓ２４０でＹｅｓ）、Ｓ２５０〜Ｓ２６０の処理をスキップして、Ｓ２７０以降の処理を実行する。

上記処理によれば、特徴記憶部５７に既に記憶されている特徴と一致する特徴を含む領域、すなわち、以前の画像で既に高画質化領域に設定された領域を再度、高画質化領域に設定しない。一方、特徴記憶部５７に記憶されている特徴のいずれとも一致しない特徴を含む領域、すなわち、今まで高画質化領域に設定されたことのない領域のみを高画質化領域に設定する。

その結果、撮像システム１の前を何度も通過するような人の顔を、その都度高画質化するのを防止でき、新たに識別された人の顔のみを高画質化することができるので、さらに伝送路の帯域への負担を軽減することが可能となる。

（動作例８）
図１２は、画像処理装置５０ｂの動作例８を示すフローチャートである。なお、動作例７と共通する処理には同一の参照番号を付し、詳しい説明は省略する。動作例８は、図３（ｃ）に示される画像データ４００のように、人の顔が複数含まれている場合の動作を示している。

つまり、動作例８に係る画像処理装置５０ｂは、Ｓ２３０〜Ｓ２６０の処理を、特定領域検出部５１で検出された特定領域の数だけ繰り返し実行するループ処理（Ｓ２２１、Ｓ２６１）が追加されている点で、動作例７と異なる。

例えば、図３（ｃ）に示される画像データ４００が入力された場合（Ｓ２２０でＹｅｓ）、まず、特徴抽出部５５で領域４１０の特徴が抽出される（Ｓ２３０）。次に、特徴照合部５６は、領域４１０に含まれる特徴と、特徴記憶部５７に既に記憶されている特徴とが一致するか否かを判断する（Ｓ２４０）。

両者の特徴が不一致の場合（Ｓ２４０でＮｏ）は、特徴抽出部５５で抽出された特徴を特徴記憶部５７に記憶させると共に（Ｓ２５０）、さらに高画質化領域設定部５２で当該領域４１０を高画質化領域に設定する。

さらにループ処理（Ｓ２２１、Ｓ２６１）にて領域４２０、４３０においても同様の処理を実施する。具体的には、領域４２０に含まれる特徴と、特徴記憶部５７に既に記憶されている特徴とが不一致（Ｓ２４０でＮｏ）であり、領域４３０に含まれる特徴と、特徴記憶部５７に記憶されている特徴とが一致した場合（Ｓ２４０でＹｅｓ）は、領域４２０に含まれる特徴を新たに特徴記憶部５７に記憶（Ｓ２５０）し、さらに領域４２０を高画質化領域に設定する（Ｓ２６０）。一方、領域４３０に含まれる特徴は特徴記憶部５７に記憶されず、さらに領域４３０は高画質化領域に設定されない。

なお、以下の動作例９〜１３においては、説明を単純化するために、ループ処理（Ｓ２２１、Ｓ２６１）を省略して説明するが、適切な位置にループ処理（Ｓ２２１、Ｓ２６１）を追加することにより、図３（ｃ）に示される画像データ４００を処理できることは言うまでもない。

（動作例９）
図１３は、画像処理装置５０ｂの動作例９を示すフローチャートである。なお、動作例７、８と共通する処理には同一の参照番号を付し、詳しい説明は省略する。動作例９では、図９に示される動作例６と同様に、検出された特定領域のサイズが小さい場合に、当該特定領域を高画質化領域に設定しない。

例えば、図３（ｅ）に示す画像データ６００が入力された場合（Ｓ２２０でＹｅｓ）、特定領域である領域６１０のサイズと、サイズ閾値とを比較する（Ｓ２２２）。そして、領域６１０のサイズがサイズ閾値より小さい値（例えば、領域６１０のサイズが「５０」、サイズ閾値が「１００」）の場合（Ｓ２２２でＮｏ）、高画質化領域設定部５２は、当該領域６１０を高画質化領域に設定しない。

（動作例１０）
図１４は、画像処理装置５０ｂの動作例１０を示すフローチャートである。なお、動作例７〜９と共通する処理には同一の参照番号を付し、詳しい説明は省略する。検出された顔領域のサイズが大きい場合は、元々の顔領域における情報量が多いため、圧縮率を多少高めに調整しても不審者の発見または特定に支障が無い。逆に顔領域のサイズが小さい場合は、元々の顔領域における情報量が少ないため、圧縮率を低めに調整することで、より高画質な顔画像として記憶することが望ましい。そこで、動作例１０では、高画質化領域のサイズによって圧縮率を調整する。

例えば、図３（ｂ）に示す画像データ３００が入力された場合（Ｓ２２０でＹｅｓ）において、領域３１０に含まれる特徴と特徴記憶部５７に記憶されている特徴とが不一致の場合（Ｓ２４０でＮｏ）、領域３１０に含まれる特徴を特徴記憶部５７に記憶し（Ｓ２５０）、領域３１０を高画質化領域に設定する（Ｓ２６０）と共に、画像処理装置５０ｂが保持する調整フラグを初期化（「ＯＦＦ」を設定）する（Ｓ２６２）。

次に、高画質化領域設定部５２は、領域３１０のサイズを、予め定められた第１及び第２のサイズと比較する（Ｓ２６３、Ｓ２６５）。例えば、領域３１０のサイズが「１００」、第１のサイズが「７０」、第２の閾値が「５０」であった場合（すなわち、Ｓ２６３でＹｅｓ）、高画質化領域設定部５２は、調整フラグに「高圧縮」を設定する（Ｓ２６４）。

一方、図３（ｅ）に示される画像データ６００が入力された場合（Ｓ２２０でＹｅｓ）において、領域６１０のサイズが「３０」であった場合（すなわち、Ｓ２６３でＮｏ、且つＳ２６５でＹｅｓ）、高画質化領域設定部５２は、調整フラグに「低圧縮」を設定する（Ｓ２６６）。

そして、符号化部５３は、符号化対象の画像の各領域が高画質化領域に設定されているか否か、及び調整フラグの設定値に基づいて異なる圧縮率で符号化を行う。具体的には、高画質化領域でない領域は最も圧縮率の高い第２の量子化パラメータを用いて符号化する。一方、高画質化領域に設定されている領域のうち、調整フラグが「ＯＦＦ」の領域は第１の量子化パラメータを用いて、調整フラグが「高圧縮」の領域は第３の量子化パラメータを用いて、調整フラグが「低圧縮」の領域は第４の量子化パラメータを用いてそれぞれ符号化を行う。

なお、第１〜第４の量子化パラメータの大小関係は、例えば、（第４の量子化パラメータ）＜（第１の量子化パラメータ）＜（第３の量子化パラメータ）＜（第２の量子化パラメータ）である。これにより、高画質化領域のうち、サイズが大きい領域はより高圧縮率で、サイズが小さい領域はより低圧縮率で符号化することができる。

（動作例１１）
図１５は、画像処理装置５０ｂの動作例１１を示すフローチャートである。なお、動作例７〜１０と共通する処理には同一の参照番号を付し、詳しい説明は省略する。特徴記憶部５７に記憶させる特徴の数を増やすことにより、認証の性能を向上させることができる。そこで、動作例１１では、特徴記憶部５７に既に記憶されている特徴の数に応じて、新たな特徴を記憶するか否かを判断する。

まず、動作例１１に係る画像処理装置５０ｂは、特徴数閾値ｍと、特徴数ｎとを保持している。特徴数閾値ｍは、特徴記憶部５７に記憶すべき特徴の最大数を示す値であって、予め設定されている。一方、特徴数ｎは、現時点で特徴記憶部５７に記憶されている特徴の数を示す。

例えば、図３（ｂ）に示される画像データ３００が入力された場合（Ｓ２０２でＹｅｓ）において、領域３１０から抽出された特徴と特徴記憶部５７に記憶されている特徴とが一致した場合（Ｓ２４０でＹｅｓ）、画像処理装置５０ｂは、特徴数ｎと特徴数閾値ｍとの比較を行なう（Ｓ２４１）。

特徴数ｎが特徴数閾値ｍより小さい値（例えば、特徴数ｎが「１」、特徴数閾値ｍが「３」）の場合（Ｓ２４１でＹｅｓ）、特徴記憶部５７に領域３１０の特徴を記憶させる（Ｓ２５０）と共に、特徴数ｎをインクリメントする（Ｓ２５１）。さらに、当該領域３１０が高画質化領域に設定される（Ｓ２６０）。一方、特徴数ｎが特徴数閾値ｍ以上の値の場合（Ｓ２４１でＹｅｓ）、Ｓ２５０〜Ｓ２６０の処理をスキップして、Ｓ２７０以降の処理を実行する。なお、Ｓ２５１の処理は、Ｓ２４０でＮｏとなった場合にも実行されることは言うまでもない。

なお、複数人の特徴を記憶し、認証する場合は、人物毎に記憶した特徴数ｎをカウントし、それぞれを特徴数閾値ｍと比較することで、人物毎の特徴の数を調整するようにしても構わない。

（動作例１２）
図１６は、画像処理装置５０ｂの動作例１２を示すフローチャートである。なお、動作例７〜１１と共通する処理には同一の参照番号を付し、詳しい説明は省略する。動作例１２では、特徴の照合において算出される照合評価値により、特徴の一致の度合いを判断する。照合評価値が高い場合は、より照合精度が高いと判断できるため、不審者の発見または特定に有効な顔画像となり得る。

例えば、図３（ｂ）に示される画像データ３００が入力された場合（Ｓ２２０でＹｅｓ）において、領域３１０に含まれる特徴が特徴記憶部５７に記憶されている特徴と一致した場合（Ｓ２４０でＹｅｓ）、特徴照合部５６は、照合評価値と閾値β（評価閾値）とを比較する（Ｓ２４２）。なお、照合評価値は、例えば、抽出された特徴と既に記憶されている特徴との共通点が多い程高い値となり、相違点が多い（相違の度合いが大きい）程低い値となる。

照合評価値が閾値βより小さい値（例えば、照合評価値が「３００」、閾値βが「５００」）の場合（Ｓ２４２でＮｏ）、特徴照合部５６は、領域３１０の特徴を特徴記憶部５７に記憶させる（Ｓ２５０）。また、高画質化領域設定部５２は、領域３１０を高画質化領域に設定する。一方、照合評価値が閾値β以上の値の場合（Ｓ２４２でＹｅｓ）、Ｓ２５０〜Ｓ２６０の処理をスキップして、Ｓ２７０以降の処理を実行する。

なお、閾値βは固定値であってもよいし、処理中に逐次更新される値であってもよい。例えば、照合評価値が閾値βより大きい値の場合（Ｓ２４２でＹｅｓ）、閾値βを照合評価値の値に更新することも可能である（例えば、照合評価値が「８００」、閾値βが「５００」の場合、閾値βを「８００」に更新する）。また、特定領域が複数存在する場合には、各特定領域に含まれる特徴の照合評価値のうちの最大の値に更新してもよい。さらに、照合評価値そのものではなく、照合評価値にオフセット値を加算した値に更新してもよい。

（動作例１３）
図１７は、画像処理装置５０ｂの動作例１３を示すフローチャートである。なお、動作例７〜１２と共通する処理には同一の参照番号を付し、詳しい説明は省略する。動作例１３では、図８に示される動作例５と同様に、不審者の発見や特定における有効な顔の向きに応じて、高画質化領域に設定するか否かを判断することが望ましい。

例えば、図３（ｄ）に示される画像データ５００が入力された場合（Ｓ２２０でＹｅｓ）において、特定領域検出部５１は、さらに、検出した特定領域に含まれる顔の向きをも検出する（Ｓ２１１）。また、特徴記憶部５７には、正面顔の特徴と横向き顔の特徴とが区別された状態で記憶されている。

特徴照合部５６は、特定領域から抽出された特徴と、特徴記憶部５７に記憶されている特徴とを比較するのに先立って、当該特定領域に含まれる顔が正面顔であるか横向き顔であるかを判断する（Ｓ２４３）。そして、顔の向きに応じて、特徴記憶部５７に記憶されているどの特徴と比較するかを決定する。

つまり、領域５１０に含まれる特徴（Ｓ２４３でＹｅｓ）は、特徴記憶部５７に記憶されている正面顔の特徴と比較される（Ｓ２４４）。そして、特徴が不一致の場合（Ｓ２４４でＮｏ）は、特徴記憶部５７に当該特徴が記憶され（Ｓ２５０）、領域５１０が高画質化領域に設定される（Ｓ２６０）。

一方、領域５２０に含まれる特徴（Ｓ２４３でＮｏ）は、特徴記憶部５７に記憶されている横向き顔の特徴と比較される（Ｓ２４５）。そして、特徴が不一致の場合（Ｓ２４５でＮｏ）は、特徴記憶部５７に当該特徴が記憶され（Ｓ２５０）、領域５２０が高画質化領域に設定される（Ｓ２６０）。

なお、顔の向きに関して、右向き３０度、左向き３０度、右傾き４５度、左傾き４５度のように細かく分類し、それぞれ特徴の一致／不一致を判断してもよい。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作するとしてもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

本発明によって、記録する画像をネットワークを介して外部へ伝送する監視カメラにおいて利用可能性がある。

１ 撮像システム
１０ 光学系
２０ センサ
３０ ＡＤＣ
４０ 画像処理回路
５０，５０ａ，５０ｂ，１００ 画像処理装置
５１ 特定領域検出部
５２ 高画質化領域設定部
５３，１０２ 符号化部
５４ 出力部
５５ 特徴抽出部
５６ 特徴照合部
５７ 特徴記憶部
６０ 記録転送回路
６７ 特徴記憶部
７０ 再生回路
８０ タイミング制御回路
９０ システム制御回路
１０１ 顔検出部
１０３ 顔認証部
１０４ 顔ＤＢ
２００，３００，４００，５００，６００ 画像データ
３１０，４１０，４２０，４３０，５１０，５２０，６１０ 領域

Claims (20)

1. 画像データを符号化して出力する画像処理方法であって、
   前記画像データから所定の条件に適合する１以上の特定領域を検出する特定領域検出ステップと、
   前記特定領域検出ステップで検出された１以上の前記特定領域それぞれを、高画質化領域に設定するか否かを決定する高画質化領域設定ステップと、
   前記画像データのうちの前記高画質化領域を第１の量子化パラメータを用いて、前記高画質化領域以外の領域を前記第１の量子化パラメータより大きい第２の量子化パラメータを用いてそれぞれ符号化する符号化ステップと、
   前記符号化ステップで符号化された画像データを出力する出力ステップとを含む
   画像処理方法。
2. 前記特定領域検出ステップでは、前記１以上の特定領域それぞれについて、前記所定の条件への適合の度合いを示す検出評価値を算出し、
   前記高画質化領域設定ステップでは、前記検出評価値が閾値αより大きい前記特定領域を高画質化領域に設定する
   請求項１に記載の画像処理方法。
3. 前記閾値αは、予め定められた固定値である
   請求項２に記載の画像処理方法。
4. 該画像処理方法は、複数の前記画像データを順次符号化して出力し、
   前記高画質化領域設定ステップでは、一の前記画像データに含まれる全ての特定領域を前記高画質化領域に設定するか否かを決定する毎に、特定領域検出ステップで検出された１以上の前記検出評価値の最大値を用いて、前記閾値αを更新する
   請求項２に記載の画像処理方法。
5. 前記高画質化領域設定ステップでは、前記検出評価値の最大値にオフセット値を加算した値を、前記閾値αにする
   請求項４に記載の画像処理方法。
6. 時間的に連続する複数の画像データを順次符号化して出力し、前記複数の画像データのうちの一の画像データに含まれる特定領域が、前記高画質化領域設定ステップで前記高画質化領域にされた場合において、
   前記高画質化領域設定ステップは、前記一の画像データに続く所定の数の画像データ中の当該特定領域の前記検出評価値が前記閾値αより大きいか否かにかかわらず、当該特定領域を高画質化領域に設定する
   請求項２に記載の画像処理方法。
7. 前記特定領域は、顔の領域である
   請求項２〜６のいずれか１項に記載の画像処理方法。
8. 前記特定領域検出ステップでは、さらに、前記顔の向きを検出し、
   前記高画質化領域設定ステップは、顔の向き毎に異なる前記閾値αを保持しており、前記特定領域検出ステップで検出された前記顔の向きに対応した前記閾値αを用いて、前記特定領域を前記高画質化領域に設定するか否かを決定する
   請求項７に記載の画像処理方法。
9. 該画像処理方法は、さらに、
   前記特定領域から特徴を抽出する特徴抽出ステップと、
   前記特定領域から抽出された特徴と既に記憶されている特徴とを照合する特徴照合ステップと、
   前記特定領域から抽出された特徴が、既に記憶されている特徴のいずれとも一致しないと前記特徴照合ステップで判断された場合に、当該特徴を新たに記憶する特徴記憶ステップとを含み、
   前記高画質化領域設定ステップは、前記１以上の特定領域のうち、既に記憶されている特徴のいずれとも一致しないと前記特徴照合ステップで判断された前記特定領域を、前記高画質化領域に設定する
   請求項１に記載の画像処理方法。
10. 前記符号化ステップでは、前記高画質化領域の大きさが予め定められた第１のサイズより大きい場合に、当該高画質化領域を前記第１の量子化パラメータより大きい第３の量子化パラメータを用いて符号化し、前記高画質化領域の大きさが前記第１のサイズより小さい第２のサイズよりさらに小さい場合に、当該高画質化領域を前記第１の量子化パラメータより小さい第４の量子化パラメータを用いて符号化する
    請求項９に記載の画像処理方法。
11. 前記特徴記憶ステップでは、既に記憶されている特徴の数が予め定められた所定の数未満である場合、前記特定領域から抽出された特徴が既に記憶されている特徴と一致するか否かにかかわらず、当該特徴を記憶する
    請求項９に記載の画像処理方法。
12. 前記特徴照合ステップでは、前記特定領域から抽出された特徴と既に記憶されている特徴との一致の度合いを示す照合評価値を算出し、
    前記特徴記憶ステップでは、前記照合評価値が閾値βより小さい場合に、当該特徴を記憶する
    請求項９に記載の画像処理方法。
13. 該画像処理方法は、複数の前記画像データを順次符号化して出力し、
    前記特徴記憶ステップでは、前記１以上の一の前記画像データに含まれる全ての特定領域の特徴と既に記憶されている特徴とを照合する毎に、前記特徴照合ステップで算出された１以上の前記照合評価値の最大値を用いて、前記閾値βを更新する
    請求項１２に記載の画像処理方法。
14. 前記特徴記憶ステップでは、前記照合評価値の最大値にオフセット値を加算した値を、前記閾値βにする
    請求項１３に記載の画像処理方法。
15. 前記特定領域検出ステップでは、さらに、前記顔の向きを検出し、
    前記特徴記憶ステップは、顔の向き毎に異なる前記閾値βを保持しており、前記特定領域検出ステップで検出された前記顔の向きに対応した前記閾値βを用いて、前記特徴を記憶するか否かを決定する
    請求項１２に記載の画像処理方法。
16. 前記高画質化領域設定ステップでは、さらに、前記特定領域の大きさが予め定められたサイズより大きい場合にのみ、当該特定領域を前記高画質化領域に設定する
    請求項１〜１５のいずれか１項に記載の画像処理方法。
17. 前記符号化ステップでは、前記第１の量子化パラメータを用いて符号化を行った場合に、当該符号化された画像データに、高画質化領域が含まれることを示す識別子を付加する
    請求項１〜１６のいずれか１項に記載の画像処理方法。
18. 請求項１に記載の画像処理方法を、コンピュータに実行させる
    プログラム。
19. 画像データを符号化して出力する画像処理装置であって、
    前記画像データから所定の条件に適合する１以上の特定領域を検出する特定領域検出部と、
    前記特定領域検出部で検出された１以上の前記特定領域それぞれを、高画質化領域に設定するか否かを決定する高画質化領域設定部と、
    前記画像データのうちの前記高画質化領域を第１の量子化パラメータを用いて、前記高画質化領域以外の領域を前記第１の量子化パラメータより大きい第２の量子化パラメータを用いてそれぞれ符号化する符号化部と、
    前記符号化ステップで符号化された画像データを出力する出力部とを備える
    画像処理装置。
20. 請求項１９に記載の画像処理装置と、
    前記画像処理装置へ前記画像データを出力するセンサと、
    前記センサへ光を結合する光学系とを備える
    撮像システム。

Images