以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係る画像処理システム10の一例を示す。画像処理システム10は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
画像処理システム10は、監視対象空間150を撮像する複数の撮像装置100a−c(以下、撮像装置100と総称する。)、画像を処理する複数の画像処理装置120a−c(以下、画像処理装置120と総称する。)、画像処理装置170、通信ネットワーク110、および複数の表示装置180a−c(以下、表示装置180と総称する。)を備える。
画像処理装置120aは、撮像装置100aに接続されている。また、画像処理装置120bは、撮像装置100bに接続されている。また、画像処理装置120cは、撮像装置100cに接続されている。なお、画像処理装置170および表示装置180は、監視対象空間150と異なる空間160に設けられている。
以下に、撮像装置100a、画像処理装置120a、画像処理装置170、および表示装置180aの動作を説明する。撮像装置100aは、監視対象空間150を撮像して得られた撮像動画をMPEG符号化して撮像動画データを生成して、撮像装置100aが接続されている画像処理装置120aに出力する。
画像処理装置120aは、撮像装置100aが生成した撮像動画データを取得する。画像処理装置120は、撮像装置100から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物130、車輌等の移動物体140等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置120aは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置120aは、特徴領域以外の背景領域の動画であって、特徴領域動画より低画質な背景領域動画を生成する。
そして、画像処理装置120aは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置120aは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連づけて、通信ネットワーク110を通じて画像処理装置170に送信する。
画像処理装置170は、画像処理装置120aから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置170は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置180aに供給する。表示装置180aは、画像処理装置170から供給された動画を表示する。
なお、撮像装置100bおよび撮像装置100cの機能および動作は、それぞれ画像処理装置120bおよび画像処理装置120cに撮像動画データを提供することを除いて、撮像装置100aの機能および動作と同様であるので、その説明を省略する。また、画像処理装置120bおよび画像処理装置120cの機能および動作は、それぞれ撮像装置100bおよび撮像装置100cから撮像動画データを取得することを除いて、画像処理装置120aの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置170は、撮像装置100bおよび撮像装置100cのそれぞれから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをから、一の動画をそれぞれ生成して、それぞれ表示装置180bおよび表示装置180cに供給する。また、表示装置180bおよび表示装置180cは、画像処理装置170から供給されたそれぞれの動画を表示する。
本実施形態の画像処理システム10を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残すことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
図2は、画像処理装置120のブロック構成の一例を示す。画像処理装置120は、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、画像生成部205、固定値化ユニット210、低減化ユニット220、符号化ユニット230、対応付け処理部206、および出力部207を有する。
固定値化ユニット210は、複数の固定値化部211a−211c(以下、固定値化部211と総称する。)を含む。低減化ユニット220は、複数の画質低減部221a−d(以下、画質低減部221と総称する。)を含む。
符号化ユニット230は、背景領域動画符号化部231aおよび複数の特徴領域動画符号化部231b−d(以下、特徴領域動画符号化部231と総称する。)を含む。なお、背景領域動画符号化部231aおよび特徴領域動画符号化部231b−dを総称して、符号化部231と呼ぶ場合がある。
なお、画質低減部221aおよび背景領域動画符号化部231aは、圧縮部240aとして機能する。また、画質低減部221bおよび背景領域動画符号化部231bは、圧縮部240bとして機能する。同様に、画質低減部221cおよび背景領域動画符号化部231cは圧縮部240cとして機能する。画質低減部221dおよび背景領域動画符号化部231dは圧縮部240dとして機能する。なお、複数の圧縮部240a−dを、圧縮部240と総称する。
圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。
特徴領域検出部203は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。そして、画像分割部204は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。
画像生成部205は、複数の動画構成画像から特徴領域画像を抽出することにより、複数の特徴領域画像をそれぞれ含む複数の特徴領域圧縮用動画を生成する。具体的には、画像生成部205は、動画を複製することにより、複数の特徴領域動画のそれぞれを圧縮するための複数の特徴領域圧縮用動画および背景領域動画を圧縮するための背景領域圧縮用動画を生成する。
そして、固定値化部211は、特徴領域圧縮用動画に含まれる複数の動画構成画像における特徴領域画像以外の領域の画素値を固定値化する。例えば、固定値化部211は、特徴領域画像以外の領域の画素値を所定の値(例えば、輝度値0)に設定する。そして、圧縮部240は、特徴領域画像以外の領域の画素値が固定値化された複数の動画構成画像をそれぞれ含む複数の特徴領域圧縮用画像を、それぞれの特徴量に応じた強度で圧縮する。このように、圧縮部240は、複数の特徴領域圧縮用動画のそれぞれと、背景領域圧縮用動画とを、それぞれの特徴量に応じた強度で圧縮する。
以上説明したように、特徴領域検出部203は、画像から特徴領域を検出する。そして、画像分割部204は、画像を、特徴領域と、特徴領域以外の背景領域とに分割する。そして、圧縮部240は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。そして、圧縮部240は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
なお、圧縮部240b、圧縮部240c、および圧縮部240dには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部240は、画像分割部204によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。
なお、圧縮部240は、一つの圧縮器によって実装されてよく、複数の特徴領域動画および背景領域動画を時間的に順次圧縮してもよい。他にも、圧縮部240は、圧縮動画伸張部202によって復号された撮像動画を、画像分割部204が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。
なお、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。そして、画像分割部204は、複数の動画構成画像を、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。そして、圧縮部240は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた強度で圧縮する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。
具体的には、画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて画質を低減することにより圧縮する。より具体的には、画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。
対応付け処理部206は、複数の圧縮部240が複数の特徴領域動画および背景領域動画を圧縮することによって生成した複数の特徴領域動画データおよび背景領域動画データを、例えばタグ情報等を付帯する等して互いに対応づける。出力部207は、対応付け処理部206が対応づけた複数の特徴領域動画データおよび背景領域動画データを通信ネットワーク110に送出する。
図3は、画像処理装置170のブロック構成の一例を示す。画像処理装置170は、圧縮動画取得部301、対応付け解析部302、圧縮動画伸張ユニット310、合成部303、および出力部304を有する。圧縮動画伸張ユニット310は、複数の圧縮動画伸張部311a−d(以下、圧縮動画伸張部311と総称する。)を含む。
圧縮動画取得部301は、出力部207が出力した、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得する。対応付け解析部302は、例えば付帯されたタグ情報を解析して、圧縮動画取得部301が取得した対応づけられた複数の特徴領域動画データおよび背景領域動画データを取り出す。
圧縮動画伸張部311は、複数の特徴領域動画データおよび背景領域動画データを復号する。具体的には、圧縮動画伸張部311aは背景領域動画データを復号する。また、圧縮動画伸張部311b−dは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画および背景領域動画を取得する。なお、圧縮動画伸張部311b−dは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。
合成部303は、圧縮動画伸張部311が復号することによって得られた動画構成画像を合成する。具体的には、合成部303は、圧縮動画伸張部311b−dにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景領域動画が含む動画構成画像に重ね合わせた動画構成画像を生成する。出力部304は、合成部303が生成した複数の動画構成画像を含む動画を、表示装置180に供給する。
なお、本実施形態の圧縮動画伸張ユニット310は、特徴の種類の数に応じた複数の圧縮動画伸張部311を含むが、他の形態では、圧縮動画伸張ユニット310が含む一の圧縮動画伸張部311が、背景領域動画データおよび複数の特徴領域動画データを順次復号してもよい。また、画像処理装置120から一の動画データとして提供される場合には、一の圧縮動画伸張部311が当該一の動画データを復号して、復号した得られた動画を出力部304が出力してもよい。
図4は、画像処理装置120の処理フローの一例を示す。圧縮動画取得部201が撮像動画データを取得(401)。圧縮動画伸張部202は、撮像動画データを復号することによって複数のフレーム画像410を生成する。特徴領域検出部203は、フレーム画像410の画像内容又は複数のフレーム画像410の画像内容に基づいて、特徴領域の一例であるROI(Region of interest)を検出する(402)。
特徴領域検出部203は、人物の顔、人体、および移動物体を含む領域を、異なる種類のROIとして検出する。例えば、特徴領域検出部203は、予め定められた人物の顔に関するパターンに対する一致度が、予め定められた一致度より大きいオブジェクトを含む領域をパターンマッチング等により検出して、検出した顔領域をROIとする。また、特徴領域検出部203は、人物の体に関するパターンに対する一致度が予め定められた一致度より大きいオブジェクトを含む人体領域をパターンマッチング等により検出して、検出した領域をROIとする。なお、特徴領域検出部203は、顔領域の近傍に存在する領域から人体領域を検出してもよい。
また、特徴領域検出部203は、複数のフレーム画像の画像内容に基づいて、移動物体を含む領域である動領域を特定する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域を、動領域として特定する。他にも、特徴領域検出部203は、エッジ抽出等により複数のフレーム画像のそれぞれに含まれるオブジェクトを抽出する。そして、特徴領域検出部203は、他のフレーム画像の異なる位置に含まれるオブジェクトであって、予め定められた一致度より大きい一致度で一致するオブジェクトを特定して、特定したオブジェクトを含む領域を動領域として特定してもよい。
このように、特徴領域検出部203は、予め定められた画像内容に関する条件に適合する領域を、ROIとして検出する。より具体的には、特徴領域検出部203は、予め定められた条件に適合するオブジェクトを含む領域を、ROIとして検出する。例えば、特徴領域検出部203は、予め定められた形状との間の一致度が予め定められた一致度より大きいオブジェクトを含む領域を、ROIとして検出する。また、特徴領域検出部203は、画像の変化量が予め定められた変化量より大きい領域を、ROIとして検出する。例えば、他のフレーム画像との間で画素値の変化量が予め定められた変化量より大きい領域をROIとして検出する。
そして、画像処理装置120は、検出されたROIに基づいて圧縮用動画を生成する(403)。具体的には、画像分割部204は、フレーム画像をROIとそれ以外の領域に分割する。そして、画像生成部205は、複数のフレーム画像410を複製することによって、特徴領域動画430、特徴領域動画440、および特徴領域動画450と、背景領域動画420とを生成する。具体的には、画像生成部205は、複数のフレーム画像410を複製することによって、顔領域用の特徴領域動画450、人領域用の特徴領域動画440、動領域用の特徴領域動画430、および背景領域用の背景領域動画420を生成する。
そして、画像処理装置120は、固定値化部211および画質低減部221により、特徴領域動画430、特徴領域動画440、および特徴領域動画450と、背景領域動画420とに対して、画質を低減する(404a、404b、404c、404d)。具体的には、固定値化部211は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像において、画像分割部204が分割したROI内の画素値は変化させず、ROI以外の領域に対する画素値を所定の値(例えば、輝度値0)にする。なお、固定値化部211は、ROI以外の領域の画素値を、当該ROIに近傍する領域の画素値の平均的な画素値にしてよい。
このように、画像生成部205および固定値化部211により、同じ視野角の複数のフレーム画像をそれぞれ含む特徴領域動画430、特徴領域動画440、および特徴領域動画450および背景領域動画420が生成される。なお、後に詳しく説明するように、画像処理装置170は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のようなROI以外の領域が固定値化されている動画を、背景領域動画420に重ね合わせた動画を生成する。したがって、背景領域動画420、特徴領域動画430、特徴領域動画440、および特徴領域動画450は、それぞれ背景レイヤー、動領域レイヤー、人領域レイヤー、および顔領域レイヤーとみなすことができる。
また、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像におけるROI内の画像の画質を、特徴の種類に応じて低減する。具体的には、顔領域、人領域、および動領域のそれぞれの画質を定めるパラメータとして、解像度、階調数、および色数の少なくとも1つが予め定められている。例えば、顔領域、人領域、動領域の順に高い解像度が予め定められている。
そして、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450のそれぞれが含むフレーム画像におけるROI内の画像の画質を、特徴の種類に対して予め定められた解像度、階調数、および色数の画像に変換する。また、画質低減部221は、背景領域動画のフレーム画像の画質を、ROI内の画像の画質より低くする。例えば、画質低減部221は、背景領域動画のフレーム画像の解像度を、ROI内の画像のより小さくする。
また、画質低減部221は、背景領域動画420、特徴領域動画430、特徴領域動画440、および特徴領域動画450のフレームレートを低減する。例えば、特徴の種類ごとに、例えば顔領域、人領域、および動領域ごとに、予めフレームレートが定められている。そして、画質低減部221は、特徴領域動画430、特徴領域動画440、および特徴領域動画450に含まれるフレーム画像を、特徴の種類に応じて予め定められたフレームレートに従って所定の間隔で間引くことによって、特徴領域動画430、特徴領域動画440、および特徴領域動画450のフレームレートを低減する。また、画質低減部221は、背景領域動画420に含まれるフレーム画像を、背景領域動画のフレームレートとして予め定められたフレームレートに従って間引くことによって、背景領域動画420のフレームレートを低減する。
なお、画質低減部221aは、背景領域動画420の画質を低減する。また、画質低減部221b、画質低減部221c、および画質低減部221dは、それぞれ特徴領域動画430、特徴領域動画440、および特徴領域動画450の画質を低減する。
そして、背景領域動画符号化部231a、および領域動画符号化部231b−dは、画質低減部221により画質が低減された動画をそれぞれ符号化する(405a、405b、405c、405d)。例えば、背景領域動画符号化部231a、および領域動画符号化部231b−dは、画質低減部221により画質が低減された動画をそれぞれMPEG符号化する。
例えば、背景領域動画符号化部231aは、背景領域動画用の符号化設定で背景領域動画をMPEG符号化する。特徴領域動画符号化部231b、特徴領域動画符号化部231c、および特徴領域動画符号化部231dは、それぞれ動領域、人領域、および顔領域のそれぞれの特徴領域動画用の符号化設定で、特徴領域動画をそれぞれMPEG符号化する。なお、符号化設定は、例えばMPEG符号化における量子化テーブルを設定することを含む。なお、符号化設定については図5に関連して説明する。
そして、対応付け処理部206は、背景領域動画符号化部231aおよび特徴領域動画符号化部231b−dが符号化することによって得られた背景領域動画データおよび複数の特徴領域動画データにタグ情報を付帯する等して関連付けして、出力部207が表示装置180に出力する(406)。このとき、対応付け処理部206は、背景領域動画および複数の特徴領域動画のそれぞれが含むフレーム画像の表示タイミングを示す情報を含むタイミング情報(例えば、タイムスタンプ)を、タグ情報等に付加してよい。また、対応付け処理部206は、複数の特徴領域の範囲をそれぞれ示す情報を含む特徴領域情報、背景領域動画および複数の特徴領域動画の元となった撮像動画データを撮像した撮像装置100を識別する識別情報等を、タグ情報等に付加してよい。
以上説明したように、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、被写体の種類が異なる複数の特徴領域を検出する。そして、圧縮部240は、複数の特徴領域動画を、それぞれの被写体の種類に応じた強度で圧縮する。なお、本実施形態では、被写体の種類の一例として人物の顔および人体領域について説明したが、他の例では、自動車のナンバープレートおよびナンバープレート以外の車体を被写体の種類としてよい。
また、人物の正面の顔および横顔を被写体の種類としてもよい。また、静止している被写体および動いている被写体を被写体の種類としてもよい。また、特徴領域検出部203は、撮像装置100から被写体までの距離が異なる複数の被写体を含む領域を、特徴の種類が異なる複数の特徴領域として検出してもよい。
なお、圧縮部240は、特徴の種類の一例である、動き領域、人体、人物の横顔、人物の正面の顔の順に大きい圧縮強度で圧縮してよい。なお、本実施形態では、画像処理システム10を監視システムとして利用する利用目的を鑑みて、人物の顔を含む領域をROIとして検出して、検出したROIをROI以外の領域より高画質にするとした。しかしながら、画像処理システム10を、例えば街角の風景を撮像するシステムとして利用することもできる。このような形態で画像処理システム10を利用する場合には、個人情報を保護することを目的として、人物の顔を含む領域をROIとして検出して、検出したROIをROI以外の領域より低画質にしてもよい。例えば圧縮部240は、人物の正面の顔、人物の横顔、人体、動き領域、背景領域の順に大きい圧縮強度で、特徴領域動画および背景領域動画を圧縮してよい。
その他にも、特徴領域検出部203は、複数のフレーム画像から、被写体の速度が異なる複数の特徴領域を検出してもよい。この場合、画質低減部221は、特徴領域動画を、被検体の速度がより速いほど、より高いフレームレートの動画に変換してもよい。このように、圧縮部240は、複数の特徴領域動画を、それぞれの被写体の速度に応じた強度で圧縮してよい。
以上説明したように、画像処理装置120は、特徴領域動画に含まれるフレーム画像におけるROI以外の領域を固定値化して、視野角が同じ複数の特徴領域動画および背景領域動画を生成する。このため、画像処理装置120によると、特別に設計された符号化器を使用することなく、汎用の符号化器を使用して特徴領域動画を高い圧縮率で圧縮することができる場合がある。例えば、MPEG符号化等のように動きベクトルを用いて特徴領域動画を符号化すると、固定値化した領域中のマクロブロックについては画素値の差分値が0になる場合が多くなる。したがって、このような固定値化により、圧縮率を高く維持しながら画像処理装置120の製造コストを低減することができる場合がある。
以上の説明では、圧縮部240は、ROI領域以外の領域が固定値化されたフレーム画像を含む特徴領域動画を圧縮することとした。なお、圧縮部240は、特徴領域動画に含まれるフレーム画像におけるROI内の画像を切り出して圧縮して特徴領域動画として出力してもよい。
なお、特徴領域検出部203がROIを検出していない場合には、出力部207は、圧縮部240aが出力する背景領域動画データを画像処理装置170に出力する。この場合、画像生成部205は特徴領域動画430、特徴領域動画440、および特徴領域動画450を生成しなくてよい。そして、画像生成部205は、特徴領域検出部203がROIを検出したことを条件として、特徴領域動画430、特徴領域動画440、および特徴領域動画450を生成して、出力部207は上記の処理によって生成された複数の特徴領域動画データおよび背景領域動画データを画像処理装置170に出力する。この間、圧縮部240aは、背景領域動画420を圧縮すべく予め定められた背景領域用圧縮率で背景領域動画420を圧縮しつづけてよい。
その他にも、特徴領域検出部203がROIを検出していない間には、圧縮部240は、背景領域用圧縮率より低く、かつ、特徴領域動画を圧縮する圧縮率より高い、予め定められたROI非検出期間圧縮率で、背景領域動画を圧縮してよい。そして、圧縮部240は、特徴領域検出部203がROIを検出したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。このとき、圧縮部240は、特徴領域動画をROI非検出期間圧縮率より低い圧縮率で圧縮してよい。
なお、圧縮部240は、特徴領域検出部203がROIを検出してから予め定められた期間の背景領域動画をROI非検出期間圧縮率で圧縮するとともに、予め定められた期間より長い期間が経過したことを条件として、背景領域動画を背景領域用圧縮率で圧縮してよい。こうすると、本来ROIとして検出されるべき領域がROIとして検出されなかった場合でも、ある程度の画質の背景領域動画を提供することができる場合がある。また、圧縮部240は、特徴領域検出部203が検出した複数のフレーム画像におけるROI領域の位置から推定される他のフレーム画像におけるROI領域を含む領域の画質を、他の領域の画質より高い画質にすべく、圧縮率を領域ごとに異ならせてもよい。
図5は、複数の特徴領域動画および背景領域動画の画質の一例を示す。ここでは、説明を簡単にすることを目的として、圧縮動画取得部201が取得した撮像動画データのフレームレートが16fpsであり、当該撮像動画データに含まれるフレーム画像の解像度が72dpiであるとする。
撮像動画に含まれるフレーム画像410の解像度に対する画質低減後の背景領域動画420に含まれるフレーム画像の解像度の比率を示す解像度比率は予め1/8と定められている。画質低減部221は、画像生成部205によって撮像動画が複製されることによって生成された画質低減前の背景領域動画420に含まれるフレーム画像に対して1/8の解像度である9dpiのフレーム画像を、画質低減前の背景領域動画420に含まれるフレーム画像の画素を間引くことによって生成する。また、撮像動画のフレームレートに対する画質低減後の背景領域動画420のフレームレートの比率を示すフレームレート比率は予め1/8と定められている。画質低減部221は、画質低減前の背景領域動画420のフレームレートの1/8のフレームレートである2fpsのフレームレートの背景領域動画420を、画質低減前の背景領域動画420に含まれるフレーム画像を間引くことによって生成する。
同様に、複数の特徴領域動画のそれぞれに対しても、解像度比率およびフレームレート比率が定められている。例えば、特徴領域動画430については解像度比率およびフレームレート比率は1/4が定められており、特徴領域動画440については解像度比率およびフレームレート比率として1/2が定められており、特徴領域動画450については解像度比率およびフレームレート比率として1/1が定められている。これにより、画質低減部221bは、フレームレートが4fps、フレーム画像の解像度が18dpiの特徴領域動画430を生成する。また、画質低減部221cは、フレームレートが8fps、フレーム画像の解像度が36dpiの特徴領域動画440を生成する。また、画質低減部221dは、フレームレートが16fps、フレーム画像の解像度が72dpiの特徴領域動画450を生成する。
なお、上記の例では、画質低減部221が複数の特徴領域動画および背景領域動画に含まれるフレーム画像の画素を間引くことによってフレーム画像の画質を低減する場合を例に挙げて説明した。その他にも、画質低減部221は、例えばローパスフィルタ等の、所定の周波数領域を通過するフィルタを用いてフレーム画像の画質を低減してもよい。この場合、フィルタが通過する周波数帯域および通過する度合いを示す強度は、特徴の種類ごと、例えば背景領域、動領域、人領域、および顔領域ごとに予め定められてよい。
なお、画質低減部221による画質低減に加えて、又は画質低減部221による画質低減に替えて、符号化部231がフレーム画像の画質を低減してもよい。例えば、符号化部231が、MPEG符号化における量子化テーブルの値を大きくすることによって、画質を低減することができる。量子化テーブルの値の大きさは、特徴の種類ごとに予め定められてよい。例えば、背景領域動画符号化部231aおよび複数の特徴領域動画符号化部231b−dのそれぞれが、予め設定された値を持つ量子化テーブルを用いて符号化してよい。また、量子化テーブルにおける周波数成分ごとの値が特徴の種類ごとに予め定められていてよい。
また、画質低減部221はさらに、背景領域動画に含まれる複数のフレーム画像を平均化してもよい。これによれば、移動物体を示すオブジェクトがフレーム画像に含まれている場合に、移動物体のオブジェクトが平均化されたフレーム画像が得られる。そして、このような複数のフレーム画像を連続表示させると、移動物体の動きが閲覧者の目に滑らかに映る場合がある。
なお、以上の説明では、画像生成部205が撮像動画を複製してから、複製して得られた複数の特徴領域動画および背景領域動画に含まれるフレーム画像を間引いたり、画素を間引いたりすることによって、複数の特徴領域動画および背景領域動画を圧縮する形態について説明した。その他にも、画像生成部205は、撮像動画に含まれる複数のフレーム画像をフレームレート比率に従って間引いて選択することによって、フレームレートが低減された複数の特徴領域動画および背景領域動画を生成してもよい。その後に、固定値化部211aが固定値化して、画質低減部221が解像度を低減することによって、複数の特徴領域動画および背景領域動画の画質を低減してよい。
図6は、画像処理装置170の処理フローの一例を示す。圧縮動画取得部301は、画像処理装置120から、対応づけされた複数の特徴領域動画データおよび背景領域動画データを取得して、付帯されたタグ情報によりタイミング情報、撮像装置100を識別する情報等を取得する(601)。そして、圧縮動画伸張部311は、それぞれ複数の特徴領域動画データおよび背景領域動画データを復号することにより、背景レイヤーを示す背景領域動画610を生成する(602a)。同時に、圧縮動画伸張部311は、動領域レイヤーを示す特徴領域動画620、人領域レイヤーを示す特徴領域動画630、および顔領域レイヤーを示す特徴領域動画640を生成する(602b、602c、および602d)。
合成部303は、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640に含まれるフレーム画像を合成する(603)。このとき、合成部303は、背景領域動画および複数の特徴領域動画のそれぞれに含まれるフレーム画像の解像度に応じて、最大の解像度を有するフレーム画像と同じ位置の被写体が重ね合うようフレーム画像を拡大して、拡大したフレーム画像を重ね合わせて合成フレーム画像を生成する。
このとき、合成部303は、特徴領域動画620、特徴領域動画630、および特徴領域動画640に含まれるフレーム画像における特徴領域の画像を切り出して、背景領域動画610に含まれるフレーム画像に上書きすることによって合成フレーム画像を生成する。また、合成部303は、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640のフレームレートが異なる場合には、背景領域動画610並びに特徴領域動画620、特徴領域動画630、および特徴領域動画640の最新のフレーム画像を合成する。
これにより、合成部303は、合成フレーム画像を生成する。合成部303は、複数の合成フレーム画像を含む合成動画650を生成する。そして、出力部304は、圧縮動画取得部301が取得したタグ情報等に基づいて、合成動画を表示させる表示装置180を選択して、選択した表示装置180に合成動画を供給する(604)。
図7は、画像処理装置120がさらに有する圧縮制御ユニット700の構成の一例を示す。圧縮制御ユニット700は、境界領域特定部710、情報量算出部720、同一被写体領域特定部730、圧縮強度決定部740、条件格納部750、および圧縮制御部760を含む。なお、圧縮動画取得部201は、この発明における動画取得部の一例であってよい。
条件格納部750は、特徴領域の特徴に応じて異なる圧縮強度を割り当てる、特徴領域の特徴に応じた異なる割り当て条件を格納する。具体的には、条件格納部750は、特徴領域の種類に応じた異なる条件を格納している。
そして、圧縮制御部760は、条件格納部750が格納している条件に基づいて、圧縮部240が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を特徴領域の特徴に応じて制御する。具体的には、圧縮制御部760は、条件格納部750が格納している条件に基づいて、圧縮部240が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域の特徴に応じて制御する。より具体的には、圧縮制御部760は、条件格納部750が格納している条件に基づいて、圧縮部240が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域の種類に応じて制御する。
圧縮部240は、圧縮部240は、複数の動画構成画像において同じ種類の特徴を有する特徴領域画像を複数含む複数の特徴領域動画のそれぞれを圧縮する。このとき、圧縮制御部760は、条件格納部750が格納している条件に基づいて、複数の特徴領域動画のそれぞれを圧縮部240が圧縮する圧縮強度を、複数の特徴領域動画のそれぞれが含む特徴領域画像の特徴の種類に応じてそれぞれ制御する。
なお、条件格納部750は、特徴領域の種類に応じて異なる画質低減量を格納してよい。そして、画質低減部221は、複数の動画構成画像において同じ種類の特徴を有する特徴領域画像を複数含む複数の特徴領域動画のそれぞれの画質を低減してよい。このとき、圧縮制御部760は、条件格納部750が格納している画質低減量に基づいて、画質低減部221が画質を低減させる画質低減量を、複数の特徴領域動画のそれぞれが含む特徴領域画像の特徴の種類に応じてそれぞれ制御してよい。
なお、圧縮制御部760は、条件格納部750が格納している条件に基づいて、複数の特徴領域動画のそれぞれを圧縮部240が圧縮する圧縮強度を、複数の特徴領域動画のそれぞれが含む特徴領域画像の特徴の種類に応じてそれぞれ制御してよい。なお、圧縮動画取得部201は、異なる位置から撮像されて得られた複数の動画を取得する。例えば、圧縮動画取得部201は、撮像装置100a−cが撮像した複数の動画を取得する。
そして、同一被写体領域特定部730は、動画取得部が取得した複数の動画のうちの一の動画に含まれる動画構成画像から抽出された特徴領域に含まれる被写体と同じ被写体を含む、他の動画に含まれる動画構成画像から抽出された特徴領域を特定する。そして、圧縮制御部760は、条件格納部750が格納している条件に基づいて、同一被写体領域特定部730が特定した同じ被写体を含む特徴領域のうちの少なくとも1つの特徴領域の特徴領域画像を圧縮部240が圧縮する圧縮強度を、特徴領域の特徴に応じて制御するとともに、圧縮部240が他の特徴領域の特徴領域画像を圧縮する圧縮強度を、当該少なくとも1つの特徴領域画像を圧縮する圧縮率より高く制御する。
なお、境界領域特定部710は、特徴領域と特徴領域以外の領域との間の境界近傍の領域である境界領域を特定する。そして、圧縮強度決定部740は、特徴領域に含まれる画像を圧縮する圧縮強度と、背景領域に含まれる画像を圧縮する圧縮強度との間の圧縮強度を、境界領域の画像を圧縮する圧縮強度として決定する。そして、圧縮部240は、圧縮強度決定部740が決定した圧縮強度で、境界領域に含まれる画像を圧縮する。このように、圧縮部240は、特徴領域に含まれる画像、背景領域に含まれる画像、及び境界領域の画像を、それぞれ異なる強度で圧縮する。
圧縮強度決定部740は、特徴領域により近い領域の画像を圧縮する圧縮強度として、特徴領域に含まれる画像を圧縮する圧縮強度により近い圧縮強度を決定する。そして、圧縮部240は、圧縮強度決定部740が決定した境界領域の領域に応じた圧縮強度で、境界領域の画像を圧縮する。
圧縮強度決定部740は、特徴領域の特徴の種類に応じて特徴領域に含まれる画像の圧縮後の画質を決定し、特徴領域に含まれる画像の圧縮後の画質より低い画質を背景領域に含まれる画像の圧縮後の画質として決定し、特徴領域に含まれる画像の圧縮後の画質と背景領域に含まれる画像の圧縮後の画質との間の画質を境界領域の画像の圧縮後の画質として決定する。そして、画質低減部221は、特徴領域に含まれる画像の画質、背景領域に含まれる画像の画質、及び境界領域の画像の画質を、圧縮強度決定部740が決定した画質に低減する。
より具体的には、圧縮強度決定部740は、特徴領域の特徴の種類に応じて特徴領域に含まれる画像の圧縮後の解像度を決定し、特徴領域に含まれる画像の圧縮後の解像度より低い解像度を背景領域に含まれる画像の圧縮後の解像度として決定し、特徴領域に含まれる画像の圧縮後の解像度と背景領域に含まれる画像の圧縮後の解像度との間の解像度を境界領域の画像の圧縮後の解像度として決定する。そして、画質低減部221は、特徴領域に含まれる画像の解像度、背景領域に含まれる画像の解像度、及び境界領域の画像解像度を、圧縮強度決定部740が決定した解像度に低減する。
情報量算出部720は、特徴領域に含まれる被写体が持つ情報量を算出する。例えば顔領域のROIを例に挙げると、情報量は、ROIに含まれるオブジェクトが有する、人物の顔としての情報量であってよい。例えば、情報量は、画像から人物の顔を認識する場合における認識のし易さを示す値であってよい。一例として、情報量は、人物の顔の面積或いは人物の顔を示す画像領域に含まれる画素数であってよい。
そして、圧縮部240は、特徴領域の画像である特徴領域画像を圧縮する。このとき、圧縮強度決定部740は、情報量が大きいほど、圧縮部240が特徴領域画像を圧縮する圧縮強度をより大きく決定する。顔が十分に大きく撮像されているROIについては、そのROIを高い圧縮強度で圧縮することによって画質が多少低下しても、顔を十分判別することができる品質が保たれている場合が多い。したがって、本実施形態の画像処理装置120を実際の製品に適用した場合には、例えば顔が十分に大きく撮像されている場合には高い圧縮率でROIを圧縮するので、画像のデータ量が無駄に増大することを未然に防ぐことができる場合がある。
なお、特徴領域検出部203は、予め定められた条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、特徴領域として検出してよい。そして、特徴量検出部は、人物130の頭部を示すオブジェクトであることを示す予め定められた画像内容に関する条件に適合する適合度が予め定められた値より大きいオブジェクトを含む領域を、特徴領域として検出してよい。
この場合、情報量算出部720は、特徴領域に含まれるオブジェクトが条件に適合した適合度が大きいほど、より大きい情報量を算出してよい。そして、圧縮強度決定部740は、適合度が大きいほど、圧縮部240が特徴領域を圧縮する圧縮強度をより大きく決定してよい。
なお、特徴量検出部は、予め定められたパターンとの間の一致度が予め定められた一致度より大きいパターンのオブジェクトを含む領域を、特徴領域として検出してよい。この場合に、情報量算出部720は、一致度が大きいほど、より大きい情報量を算出してよい。そして、圧縮強度決定部740は、一致度が大きいほど、圧縮部240が特徴領域を圧縮する圧縮強度をより大きく決定してよい。
なお、情報量算出部720は、画像を撮像した撮像装置100と特徴領域に含まれる被写体との間の距離を特定し、特定した距離が短いほど、より大きい情報量を算出してもよい。また、情報量算出部720は、特徴領域の大きさがより大きいほど、より大きい情報量を算出してもよい。
また、特徴領域検出部203が特徴の種類が異なる複数の特徴領域を画像から検出した場合に、情報量算出部720は、複数の特徴領域のそれぞれに含まれる被写体が持つ情報量をそれぞれ算出してよい。そして、圧縮強度決定部740は、複数の特徴領域画像のそれぞれについて、情報量がより大きい特徴領域の圧縮度をより大きく決定してよい。そして、圧縮部240は、圧縮強度決定部740が決定した圧縮度で、複数の特徴領域画像を圧縮してよい。
また、特徴領域検出部203が動画に含まれる複数の動画構成画像のそれぞれから特徴領域を検出した場合には、情報量算出部720は、複数の動画構成画像のそれぞれにおける複数の特徴領域に含まれる被写体が持つ情報量を算出してよい。そして、圧縮強度決定部740は、複数の動画構成画像のそれぞれの特徴領域画像について、情報量が大きいほど、圧縮部240が特徴領域画像を圧縮する圧縮強度をより大きく決定してよい。そして、圧縮部240は、複数の動画構成画像のそれぞれの特徴領域画像を、圧縮強度決定部740が決定した圧縮強度で圧縮してよい。
なお、同一被写体領域特定部730は、複数の動画構成画像のそれぞれにおける特徴領域のうち、同じ被写体が含まれる複数の特徴領域を特定する。具体的には、同一被写体領域特定部730は、複数のフレーム画像のそれぞれにおいて、同一人物が含まれるROIを特定する。
そして、圧縮強度決定部740は、同一被写体領域特定部730が特定した複数の特徴領域が持つ情報量のうち最大の情報量を含む予め定められた情報量の範囲の情報量を持つ特徴領域を含む1以上の動画構成画像における特徴領域画像を圧縮する圧縮強度として、他の動画構成画像の少なくとも1つにおける特徴領域画像を圧縮する圧縮強度より小さい圧縮強度を決定する。これにより、例えば、動画において被写体としての情報を多く含むフレーム画像が存在する場合には、そのフレーム画像を高画質で記録しておき、同一被写体が写っている他のフレーム画像については圧縮強度を高めることができる場合がある。このため、動画のデータ量を効果的に低減しつつ、より望ましいタイミングで撮像された被写体を高画質で記録することができる場合がある。
図8は、条件格納部750が格納しているデータの一例をテーブル形式で示す。条件格納部750は、検出されたROIの数を示すROI数、検出されたROIの面積を示すROI面積、検出されたROIの位置を示すROI位置、ROI内の人物の顔の向きを示す顔向き、および顔オブジェクトとして認識されたROI内のオブジェクト数を示す顔要素数のそれぞれに対応づけて、空間解像度スコアを格納する。なお、顔オブジェクトの数とは、目、口、鼻等のような、顔に含まれるべきオブジェクトに予め定められた一致度より高い一致度で一致したオブジェクトの数であってよい。
なお、空間解像度スコアは、圧縮後のフレーム画像の画質を示す指標値であってよい。具体的には、空間解像度スコアは、圧縮後のフレーム画像の解像度、階調数、および色数の少なくともいずれかを示す指標であってよい。このように、空間解像度スコアは、実空間の解像度および色空間の解像度を含む。なお、より大きい空間解像度スコアが、より高い画質を示してよい。
本図に示されるように、条件格納部750は、より少ないROI数に対応づけてより大きい空間解像度スコアを格納してよい。また、条件格納部750は、より小さいROI面積に対応づけてより大きい空間解像度スコアを格納してよい。また、予め定められたフレーム画像上の位置とROIの中心位置との間の距離をROI位置の指標とした場合において、条件格納部750は、当該距離が短いほどよりより大きい空間解像度スコアを格納してよい。これにより、顔が存在すべき所定の位置にROIの位置が近いほど空間解像度スコアは高くなる。
また、条件格納部750は、ROIに含まれるオブジェクトが示す顔の向きが前斜方に近いほどより大きい空間解像度スコアを格納し、顔の向きが後向きに近いほど低い空間解像度スコアを格納してよい。また、条件格納部750は、より多い顔要素数に対応づけてより大きい空間解像度スコアを格納してよい。
圧縮強度決定部740は、特徴領域検出部203が顔領域のROIを検出すると、当該顔領域のROIについて、ROI数、ROI面積、ROI位置、顔向き、および顔要素数等のパラメータを算出する。そして、圧縮強度決定部740は、条件格納部750が格納するデータに基づいて、空間解像度の高さを示す空間解像度スコアを算出する。例えば、圧縮強度決定部740は、ROI数、ROI面積、ROI位置、顔向き、および顔要素数のそれぞれに対応づけて条件格納部750が格納している空間解像度スコアを抽出して、抽出した空間解像度スコアの合計値を算出する。
そして、圧縮強度決定部740は、算出した合計値が大きいほど、より高い空間解像度を決定する。なお、圧縮強度決定部740は、空間解像度スコアの合計値と空間解像度とが予め対応づけられたテーブルに従って、空間解像度を決定してよい。
他にも、条件格納部750は、空間解像度スコアに代えて、解像度、階調数、および色数そのものを格納してもよい。また、空間解像度スコアは、圧縮後のフレーム画像が有意な周波数成分を有するべき空間周波数帯域を示す指標であってよい。
図9は、条件格納部750が格納している他のデータの一例をテーブル形式で示す。条件格納部750は、ROIの移動速度に対応づけて、時間解像度スコアを格納する。なお、時間解像度スコアは、圧縮後の動画の時間解像度を示す指標値であってよい。具体的には、時間解像度スコアは、圧縮後の動画のフレームレートを示す指標であってよい。なお、より大きい時間解像度スコアが、より高い時間解像度を示してよい。そして、本図に示されるように、条件格納部750は、より高速な移動速度に対応づけてより大きい空間解像度スコアを格納してよい。
圧縮強度決定部740は、特徴領域検出部203が各フレーム画像から顔領域のROIを検出すると、フレーム画像のそれぞれにおけるROIの位置に基づいて、ROIの移動速度を算出する。そして、圧縮強度決定部740は、算出した移動速度に対応づけて条件格納部750が格納する時間解像度スコアを抽出する。そして、圧縮強度決定部740は、抽出した時間解像度スコアに応じた時間解像度を決定する。なお、条件格納部750は、時間解像度スコアに代えて、圧縮後のフレームレートそのものを格納してもよい。
なお、図8および図9においては、条件格納部750が格納している顔領域のROIに割り当てられた画質の指標値の一例を示したが、条件格納部750は、顔領域以外にも、人領域および動領域のROIのそれぞれについて、上記のような各種パラメータに対応づけられた空間解像度スコアおよび時間解像度スコアを格納してよい。
以上説明したように、圧縮強度決定部740は、特徴領域の特徴に応じて、特徴領域に含まれる画像を圧縮する圧縮強度を決定する。具体的には、圧縮強度決定部740は、特徴領域の特徴の種類に応じて、特徴領域に含まれる画像を圧縮する圧縮強度を決定する。また、圧縮強度決定部740は、特徴領域より大きい圧縮強度を、背景領域に含まれる画像を圧縮する圧縮強度として決定する。
また、条件格納部750は、特徴領域の種類に応じて異なる空間解像度の低減量又は特徴領域の種類に応じて異なる時間解像度の低減量を格納している。そして、圧縮制御部760は、条件格納部750が格納している空間解像度の低減量又は時間解像度の低減量の少なくとも一方に基づいて、画質低減部221が画質を低減させる空間解像度の低減量又は時間解像度の低減量を、複数の特徴領域動画のそれぞれが含む特徴領域画像の特徴の種類に応じてそれぞれ制御する。
また、条件格納部750は、特徴領域が示す領域の特徴に応じた異なる条件を格納する。そして、圧縮制御部760は、条件格納部750が格納している条件に基づいて、圧縮部240が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域が示す領域の特徴に応じて制御する。
より具体的には、条件格納部750は、特徴領域の数、特徴領域の大きさ、又は特徴領域の位置に応じた異なる条件を格納する。そして、圧縮制御部760は、条件格納部750が格納している条件に基づいて、圧縮部240が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域が示す領域の数、大きさ、又は位置に応じて制御する。
また、条件格納部750は、特徴領域画像に含まれるオブジェクトの特徴に応じた異なる条件を格納する。そして、圧縮制御部760は、条件格納部750が格納している条件に基づいて、圧縮部240が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域画像に含まれるオブジェクトの特徴に応じて制御する。
なお、条件格納部750は、特徴領域画像に含まれるオブジェクトの形状、オブジェクトの向き、オブジェクトの移動方向、又はオブジェクトの移動量に応じた異なる条件を格納してよい。そして、圧縮制御部760は、条件格納部750が格納している条件に基づいて、圧縮部240が複数の特徴領域画像のそれぞれを圧縮する圧縮強度を、特徴領域画像に含まれるオブジェクトの形状、オブジェクトの向き、オブジェクトの移動方向、又はオブジェクトの移動量に応じて制御してよい。
図10は、情報量算出部720が格納しているデータの一例をテーブル形式で示す。情報量算出部720は、人物の顔の向きを示す顔向き、およびROI内に含まれるオブジェクトが人物の顔に含まれるオブジェクトに一致する一致度を示す顔要素一致度に対応づけて、情報量を格納している。
情報量算出部720は、例えば顔領域のROIに含まれる人物の顔のオブジェクトの画像内容に基づいて顔の向きを特定する。例えば、情報量算出部720は、頭部を示すオブジェクトにおける、目、鼻、及び口を示すオブジェクトの位置に基づいて顔の向きを特定する。そして、情報量算出部720は、特定した向きが前斜方に近いほどより大きい情報量を算出し、特定した向きが後に近いほどより小さい情報量を算出する。
また、情報量算出部720は、人物の顔のオブジェクトの輪郭と、予め定められた人物の顔のパターンとの間の一致度を、例えばパターンマッチングにより算出する。そして、情報量算出部720は、算出した一致度が大きいほどより大きい情報量を算出する。
このように、情報量算出部720は、人物130の顔に含まれるオブジェクトであることを示す予め定められた画像内容に関する条件に特徴領域に含まれるオブジェクトが適合する適合度が大きいほど、より大きい情報量を算出する。また、情報量算出部720は、予め定められた値より大きい適合度で適合するオブジェクトが示す人物130の頭部の向きを特定し、特定した頭部の向きが予め定められた向きと一致する一致度がより高い場合に、より大きい情報量を算出する。
図11は、圧縮強度決定部740が圧縮強度を決定する一例を示す。ここでは、圧縮強度決定部740が圧縮強度を制御する領域を、顔要素一致度および体要素一致度を座標軸とする空間を用いて説明する。なお、ここでいう体要素一致度とは、例えばフレーム画像に含まれるオブジェクトの輪郭と、予め定められた人体のパターンとの間の一致度であってよい。
特徴領域検出部203は、フレーム画像に含まれるオブジェクトについて体要素一致度及び顔要素一致度を算出する。そして、特徴領域検出部203は、体要素一致度の座標軸上で体要素一致度の値がαである点と、顔要素一致度の座標上で顔要素一致度の値がβである点と結ぶ線に対して、原点と反対側の領域にある場合に、当該オブジェクトを含む領域をROIとして検出する。なお、ここで説明した方法はROIを検出する検出方法の一例であって、特徴領域検出部203は他の方法を使用してROIを検出してよいことは言うまでもない。
そして、圧縮強度決定部740は、顔要素一致度が予め定められた値γより小さいことを条件として、顔要素一致度が小さいほどよい低い圧縮強度を決定する。そして、圧縮強度決定部740は、顔要素一致度がγより以上である場合に、顔要素一致度が大きいほどよい高い圧縮強度を決定する。
このように、圧縮強度決定部740は、人物である確率が高いオブジェクトであって、人物の顔である可能性が低いオブジェクトを含む領域の圧縮強度を低くする。このため、圧縮強度決定部740は、顔が十分にはっきりと写っていないROIを圧縮する圧縮強度として低い圧縮強度を決定するので、そのようなROIが高い圧縮強度で圧縮されて顔を一層判別しにくくなってしまうことを未然に防ぐことができる場合がある。なお、本図においては、説明を簡単にすることを目的として、情報量の指標の一つである顔要素一致度を用いて圧縮強度決定部740が圧縮強度を決定する動作を説明したが、圧縮強度決定部740は、顔要素一致度以外を指標とする情報量の大小に基づいて圧縮強度を決定してよいことは言うまでもない。
図12は、情報量算出部720が算出した情報量の時間発展の一例を示す。符号P1−P15のそれぞれは複数のフレーム画像のそれぞれを示す。そして、符号P1−P15によって示される点が示す情報量は、符号P1−15によって示されるフレーム画像のそれぞれから検出された同一被写体を含むROIに含まれる被写体の情報量を示す。本図を参照すると、時間が経過するにつれて情報量が増大していき、P7で示されるフレーム画像におけるROIで情報量が極大値に達した後、情報量が減少している。
このような場合、圧縮強度決定部740は、フレーム画像P7が撮像されたタイミングの近傍で撮像されたフレーム画像P6およびP8とフレーム画像P7のそれぞれから検出されたROIを圧縮した後のデータに含まれる情報量が、他のフレーム画像P1−P5、P9−P15から検出されたROIを圧縮した後のデータに含まれる情報量より多くなるよう、各フレーム画像から検出されたROIを圧縮する圧縮率を決定する。また、圧縮強度決定部740は、フレーム画像P1−P5、P9−P15から検出されたROIを圧縮した後のデータに含まれる情報量が略一定になるよう各ROIの圧縮強度を決定する。
具体的には、圧縮強度決定部740は、フレーム画像P6−P8から検出されたROIを圧縮する圧縮率として、当該ROIを圧縮することによる情報量の低下量をより小さくすることができる所定の低圧縮率を決定する。また、圧縮強度決定部740は、フレーム画像P6−P8以外のフレーム画像から検出されたROIのうち、予め定められた値以下の情報量を持つROI(フレーム画像P1−P3、P12−P15から検出されたROI)を圧縮する圧縮強度として、圧縮による情報量の低下量をより小さくすることができる低圧縮率を決定する。そして、圧縮強度決定部740は、フレーム画像P6−P8以外のフレーム画像から検出されたROIのうち、予め定められた値より大きい情報量を持つROI(フレーム画像P4、P5、P9、およびP10から検出されたROI)を圧縮する圧縮強度として、圧縮後のデータに含まれる情報量をフレーム画像P1−P3、P12−P15から検出されたROIの圧縮後のデータに含まれる情報量と略同一にすべく、低圧縮率より大きい中圧縮率を決定する。
本図で示されるような情報量の時間発展は、例えば人物が遠方から撮像装置100に近づいてきて、その後に撮像装置100から遠ざかっていった場合等に、得られる場合がある。このような場合、画像処理装置120は、例えばP6、P7、及びP8で示されるフレーム画像のROIを低圧縮率で圧縮することで人物を確実に高画質で記録しつつ、他のフレーム画像についてはある程度画質を落として記録することができる場合がある。このため、画像処理装置120によると、人物を高画質で記録しつつ動画のデータ量を低減することができる場合がある。
図13は、ROIにおける境界領域の一例を示す。以上に説明したように、圧縮強度決定部740は、ROIの種類、ROIの数等に応じて、ROIを圧縮する圧縮強度を決定する。例えば、圧縮強度決定部740は、ROIの解像度を決定する。そして、圧縮強度決定部740はさらに、ROIと背景領域の境界領域の解像度も制御する。
ここでは、特徴領域検出部203が、領域1310、領域1311、及び領域1312を合わせた領域を顔領域のROIとして検出しているとする。そして、特徴領域検出部203は、当該顔領域の近傍に、人領域のROIとして、領域1320、領域1321、および領域1322を合わせた領域を検出しているとする。そして、圧縮強度決定部740は、図1−12に関連して説明したようにして、顔領域のROIの解像度として解像度A、人領域のROIの解像度として解像度B、背景領域の解像度として解像度Cを決定したとする。
この場合、境界領域特定部710は、顔領域のROIの周部における所定幅の領域、人領域のROIの周部における所定幅の領域を、境界領域として特定する。なお、境界領域特定部710は、ROI内及びROI外のいずれかに境界領域を特定してよい。他にも、境界領域特定部710は、ROI内の領域及びROI外の領域の双方にまたがる境界領域を特定してもよい。そして、圧縮強度決定部740は、境界領域における解像度を、当該境界領域を含むROIの解像度と、他のROIの解像度又は背景領域の解像度とに応じて決定する。
具体的には、圧縮強度決定部740は、顔領域のROIと人領域のROIとの間の境界領域1312及び1322の解像度として、解像度A及び解像度Bの平均の解像度を決定する。また、圧縮強度決定部740は、顔領域のROIと背景領域との間の境界領域1311の解像度として、解像度A及び解像度Cの平均の解像度を決定する。また、圧縮強度決定部740は、人領域のROIと背景領域との間の境界領域1321の解像度として、解像度B及び解像度Cの平均の解像度を決定する。なお、圧縮強度決定部740は、所定の勾配で漸変する解像度を、境界領域における解像度として決定してもよい。
このように、境界領域特定部710は、特徴領域以外の領域と特徴領域との間の境界の近傍における特徴領域内の領域を、境界領域として特定する。なお、境界領域特定部710は、特徴領域がより大きい場合により大きい境界領域を特定してよい。また、境界領域特定部710は、特徴領域に含まれる画像を圧縮する圧縮強度と、背景特徴に含まれる画像を圧縮する圧縮強度との差がより大きい場合に、より大きい境界領域を特定してもよい。
また、境界領域特定部710は、複数の特徴領域のうちの近接する特徴領域について、一方の特徴領域と他方の特徴領域との間の境界近傍の領域を、境界領域として特定する。そして、圧縮強度決定部740は、一方の特徴領域に含まれる画像を圧縮する圧縮強度と他方の特徴領域に含まれる画像を圧縮する圧縮強度との間の圧縮強度を、一方の特徴領域と他方の特徴領域との間の境界近傍の境界領域の画像を圧縮する圧縮強度として決定する。そして、圧縮部240は、圧縮強度決定部740が決定した圧縮強度で、一方の特徴領域と他方の特徴領域との間の境界近傍の境界領域の画像を圧縮する。
このように、圧縮強度決定部740が、ROIの解像度と背景領域の解像度との中間の解像度を境界領域の解像度として決定する。このため、画像処理装置170が生成した合成動画に含まれるフレーム画像において、ROIの解像度と背景領域の解像度の差を目立たなくすることができる場合がある。
図14は、画像処理装置120及び画像処理装置170のハードウェア構成の一例を示す。画像処理装置120及び画像処理装置170は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有する。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。CPU1505により実行されるプログラムは、画像処理装置120を、図1から図13に関連して説明した圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、画像生成部205、固定値化部211、画質低減部221、符号化部231、対応付け処理部206、出力部207、境界領域特定部710、情報量算出部720、同一被写体領域特定部730、圧縮強度決定部740、条件格納部750、および圧縮制御部760として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置170を、図1から図13に関連して説明した圧縮動画取得部301、対応付け解析部302、圧縮動画伸張部311、合成部303、及び出力部304として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置120及び画像処理装置170に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。