JP2015039052A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】ディスプレイに表示されている人物の顔画像を拡大することによって、例えば小型ディスプレイを用いて番組を視聴する場合であっても、有用な情報を顔画像から得ることを可能にする画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】顔画像を含む画像を入力する入力部１４と、画像から顔画像を抽出する顔画像抽出部１６と、画像のサイズ及び顔画像のサイズに応じて該顔画像を拡大する画像生成部１８とを備える。顔画像の拡大は、例えば、画像の画素数及び顔画像の画素数に基づいて算出した拡大率にしたがって該顔画像を拡大することにより行われる。
【選択図】図１

Description

本発明は、画像に含まれる顔画像を拡大することが可能な画像処理装置、画像処理方法及び画像処理プログラムに関する。

絵画又は彫刻などの美術の分野においてモチーフの特徴を誇張・強調した変形を加える表現手法の一つとしてデフォルメ（以下、「変形処理」と呼ぶ。）がある。変形処理は、マンガ、アニメーション又はゲーム等の娯楽分野でもよく用いられており、登場キャラクタの顔を拡大して描き、その他の身体部を小さく描くことにより、キャラクタを２〜３頭身で表現することにより行われる。拡大された顔からは、個人特定に関する情報、感情情報、読唇による情報等の様々な有用な情報を得ることができる。

特許文献１には、実際の人物の顔画像を変形処理して略２等身のキャラクタ画像を生成することで、顔の表情を分かりやすくするゲーム装置が記載されている。

特開２００４−３１３２２５号公報

小型ディスプレイを有した携帯電話又は携帯デジタル音楽プレーヤー等の携帯端末を用いて、テレビ番組、ニュース番組又は英語番組等の映像コンテンツを視聴するユーザが増加している。しかし、家庭内に置かれる大型ディスプレイ向けに作成された映像コンテンツを携帯端末の小型ディスプレイで表示させた場合又は高画素数で表現された映像コンテンツを低画素数にダウンサンプリングすることにより画像を縮小して表示させた場合、顔画像の総画素数が小さくなる。そのため、大型ディスプレイと比較して、ディスプレイに表示されている顔画像から得られる各種の情報、すなわち、個人を特定するための情報、感情情報、読唇による情報の量が大幅に減少する。

特許文献１記載の装置では、ゲーム装置のようにあらかじめ用意された２頭身に変形処理されたアニメ画像に対して実際の人物の顔画像を貼り付けるものであって、テレビ番組、映画等にて映し出される実際の人物画像に対して変形処理を施すものではない。また、携帯端末のディスプレイの画面サイズ、表示画像サイズ又は画素数に応じて、顔画像が適切な大きさに拡大されていない。

本発明はかかる事情に鑑みてなされたものであり、その目的は、ディスプレイに表示されている人物の顔画像を拡大することによって、例えば小型ディスプレイを用いて番組を視聴する場合であっても、上述した有用な情報を顔画像から得ることを可能にする画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。

本発明の画像処理装置は、画像処理を行う画像処理装置において、画像を取得する画像取得手段と、該画像取得手段が取得した画像に含まれる顔画像を抽出する抽出手段と、前記画像取得手段が取得した画像及び前記抽出手段が抽出した顔画像のそれぞれのサイズに応じて該顔画像を拡大する拡大手段と、該拡大手段が拡大した顔画像及び前記画像取得手段が取得した画像を合成する手段とを備えることを特徴とする。

本発明にあっては、画像から顔画像を抽出し、抽出した顔画像に対して拡大処理を行うため、拡大顔画像から個人特定に関する情報、感情情報、読唇による情報等の様々な有用な情報を得ることができる。より詳細には、本発明にあっては、画像のサイズ及び画像から抽出した顔画像のサイズに基づいて顔画像を拡大するため、顔画像を含む画像のサイズに応じた適切なサイズで顔画像を拡大できる。

本発明の画像処理装置は、画像処理を行う画像処理装置において、画像を取得する画像取得手段と、該画像取得手段が取得した画像に含まれる顔画像を抽出する抽出手段と、前記画像取得手段が取得した画像を縮小する手段と、画像の縮小に係わる情報を取得する取得手段と、前記画像取得手段が取得した画像及び前記抽出手段が抽出した顔画像のそれぞれのサイズ、並びに前記取得手段が取得した情報に応じて、該顔画像を拡大する拡大手段と、該拡大手段が拡大した顔画像及び前記画像取得手段が取得した画像を合成する手段とを備えることを特徴とする。

本発明にあっては、画像の縮小に係わる情報にしたがって画像を縮小し、縮小後の画像に含まれる顔画像を拡大するため、画像を縮小した場合であっても顔画像から有用な情報を得ることができる。

本発明の画像処理装置は、画像処理を行う画像処理装置において、画像を取得する画像取得手段と、該画像取得手段が取得した画像に含まれる顔画像を抽出する抽出手段と、外部の物体との距離を測定する距離測定手段と、前記画像取得手段が取得した画像及び前記抽出手段が抽出した顔画像のそれぞれのサイズ、並びに前記距離測定手段によって測定された距離に応じて、該顔画像を拡大する拡大手段と、該拡大手段が拡大した顔画像及び前記画像取得手段が取得した画像を合成する手段とを備えることを特徴とする。

本発明にあっては、画像表示装置と視聴者等の外部の物体との距離に応じて顔画像を拡大するため、視聴距離が長くなることにより表示画面が小さく見えても、顔画像から有用な情報を得ることができる。

本発明の画像処理装置において、前記拡大手段は、前記画像の画素数及び前記顔画像の画素数に基づいて拡大率を算出する拡大率算出部と、該拡大率算出部によって算出された拡大率にしたがって前記顔画像を拡大する拡大部とを備えることを特徴とする。

本発明にあっては、画像の画素数及び顔画像の画素数に基づいて算出した拡大率にしたがって顔画像を拡大するため、顔画像から有用な情報を得ることができる。

本発明の画像処理装置において、前記拡大率算出部は、前記画像及び前記顔画像の画素数の比率に応じて拡大率を算出することを特徴とする。

本発明にあっては、画像の画素数及び顔画像の画素数の比率にしたがって拡大率を算出し、当該拡大率にしたがって顔画像を拡大するため、顔画像から有用な情報を得ることができる。

本発明の画像処理装置は、前記拡大率算出部によって算出された拡大率にしたがって拡大した顔画像が特定のサイズを超える場合、該拡大率を小さくする手段を更に備え、前記拡大部は、前記拡大率算出部によって小さくされた拡大率で前記顔画像を拡大することを特徴とする。

本発明にあっては、画像の画素数及び顔画像の画素数の比率にしたがって算出した拡大率によって拡大した顔画像のサイズが特定のサイズよりも大きくなる場合には、当該拡大率を小さくし、小さくした拡大率によって顔画像を拡大する。よって、顔画像が表示画面内に収まるように顔画像を拡大できる。

本発明の画像処理装置は、画像処理を行う画像処理装置において、画像を取得する画像取得手段と、該画像取得手段が取得した画像を縮小する画像縮小手段と、前記画像取得手段が取得した画像から顔画像を抽出する抽出手段と、該抽出手段が抽出した顔画像を、前記画像縮小手段による画像の縮小率よりも小さい縮小率で縮小する顔画像縮小手段と、前記画像縮小手段により縮小された画像及び前記顔画像縮小手段により縮小された顔画像を合成する手段とを備えることを特徴とする。

本発明にあっては、画像を縮小すると共に当該画像から顔画像を抽出し、抽出した顔画像を縮小し、当該縮小した顔画像及び当該縮小した画像を合成するため、縮小した顔画像を利用した場合であっても表示画面に表示される顔画像を拡大できる。

本発明の画像処理方法は、画像処理を行う画像処理方法において、画像を取得する画像取得ステップと、該画像取得ステップにて取得した画像に含まれる顔画像を抽出する抽出ステップと、前記画像取得ステップにて取得した画像及び前記抽出ステップにて抽出した顔画像のそれぞれのサイズに応じて該顔画像を拡大する拡大ステップと、該拡大ステップにて拡大した顔画像及び前記画像取得ステップにて取得した画像を合成するステップとを含むことを特徴とする。

本発明にあっては、画像から抽出した顔画像に対して拡大処理を行うため、顔画像から個人特定に関する情報、感情情報、読唇による情報等の様々な有用な情報を得ることができる。より詳細には、本発明にあっては、画像のサイズ及び画像から抽出した顔画像のサイズにしたがって顔画像を拡大するため、顔画像を含む画像のサイズに基づいた適切なサイズで顔画像を拡大できる。

本発明の画像処理方法は、画像処理を行う画像処理方法において、画像を取得する画像取得ステップと、該画像取得ステップにて取得した画像に含まれる顔画像を抽出する抽出ステップと、前記画像取得ステップにて取得した画像を縮小する画像縮小ステップと、画像の縮小に係わる情報を取得する取得ステップと、前記画像取得ステップにて取得した画像及び前記抽出ステップにて抽出した顔画像のそれぞれのサイズ、並びに前記取得ステップにて取得した情報に応じて、該顔画像を拡大する拡大ステップと、該拡大ステップにて拡大した顔画像及び前記画像取得ステップにて取得した画像を合成するステップとを含むことを特徴とする。

本発明にあっては、画像の縮小に係わる情報に応じて画像を縮小し、縮小後の画像に含まれる顔画像を拡大するため、画像を縮小した場合であっても顔画像から有用な情報を得ることができる。

本発明の画像処理方法は、画像処理を行う画像処理方法において、画像を取得する画像取得ステップと、該画像取得ステップにて取得した画像に含まれる顔画像を抽出する抽出ステップと、外部の物体との距離を測定する距離測定ステップと、前記画像取得ステップにて取得した画像及び前記抽出ステップにて抽出した顔画像のそれぞれのサイズ、並びに前記距離測定ステップにて測定された距離に応じて、該顔画像を拡大する拡大ステップと、該拡大ステップにて拡大した顔画像及び前記画像取得ステップにて取得した画像を合成するステップとを含むことを特徴とする。

本発明にあっては、画像表示装置と視聴者等の外部の物体との距離にしたがって顔画像を拡大するため、視聴条件が悪くても、顔画像から有用な情報を得ることができる。

本発明の画像処理プログラムは、コンピュータに画像処理を行わせる画像処理プログラムにおいて、コンピュータを、顔画像を含む画像から該顔画像を抽出する抽出手段と、該画像及び該抽出手段が抽出した顔画像のそれぞれのサイズに応じて該顔画像を拡大する拡大手段と、該拡大手段が拡大した顔画像及び前記画像を合成する手段として機能させることを特徴とする。

本発明にあっては、画像から抽出した顔画像に対して拡大処理を行うため、顔画像から有用な情報を得ることができる。より詳細には、本発明にあっては、画像のサイズ及び画像から抽出した顔画像のサイズに基づいて顔画像を拡大するため、顔画像を含む画像のサイズにしたがって適切なサイズで顔画像を拡大できる。

本発明の画像処理プログラムは、コンピュータに画像処理を行わせる画像処理プログラムにおいて、コンピュータを、顔画像を含む画像から該顔画像を抽出する抽出手段と、画像を縮小する縮小手段と、画像及び前記抽出手段が抽出した顔画像のそれぞれのサイズ、並びに前記画像の縮小に係わる情報に応じて、該顔画像を拡大する拡大手段と、該拡大手段が拡大した顔画像及び前記画像を合成する手段として機能させることを特徴とする。

本発明にあっては、画像の縮小に係わる情報に応じて画像を縮小し、縮小後の画像に含まれる顔画像を拡大するため、画像を縮小しても顔画像から有用な情報を得ることができる。

本発明の画像処理プログラムにおいて、コンピュータに画像処理を行わせる画像処理プログラムにおいて、コンピュータを、顔画像を含む画像から該顔画像を抽出する抽出手段と、画像及び前記抽出手段が抽出した顔画像のそれぞれのサイズ、並びに外部の物体との距離に応じて、該顔画像を拡大する拡大手段と、該拡大手段が拡大した顔画像及び前記画像を合成する手段として機能させることを特徴とする。

本発明にあっては、画像表示装置と視聴者等の外部の物体との距離に基づいて顔画像を拡大するため、視聴距離が長くて視聴条件が悪い場合であっても、顔画像から有用な情報を得ることができる。

本発明に係る画像処理装置、画像処理方法及び画像処理プログラムによれば、画像に含まれる顔画像に対して拡大処理を施すため、画像を表示する表示画面が小さい場合であっても視聴者は顔画像から有用な情報を得ることができる。

実施の形態１に係る画像処理装置の構成例を示すブロック図である。 顔画像を拡大処理する前の表示画像の一例を示す説明図である。 表示画像に描かれている人物の顔画像を拡大するために適用されるパラメータの一例を示す説明図である。 表示画像に描かれている画像であって拡大顔画像及び表示画像を合成することにより得られた合成画像の一例を示す説明図である。 実施の形態１に係る画像処理装置における画像処理の流れを示すフローチャートである。 実施の形態２における画像表示装置の表示画面及び表示画像の関係例を示す説明図である。 実施の形態２に係る画像処理装置の構成例を示すブロック図である。 実施の形態２に係る画像処理装置の画像処理の流れを示すフローチャートである。 実施の形態３に係る画像処理装置の構成例を示すブロック図である。 実施の形態３に係る画像処理装置の画像処理の流れを示すフローチャートである。 拡大処理の対象を表示する画面例を示す説明図である。 図１１に示す表示画面の上部に第１のメニュー画面が表示されている状態の画面例を示す説明図である。 図１２に示す第１のメニュー画面において「機能設定」が選択されると新たに表示される第２のメニュー画面の画面例を示す説明図である。 図１３に示す第２のメニュー画面において「顔デフォルメモード」が選択されると新たに表示される第３のメニュー画面の画面例を示す説明図である。 図１４にて示す第３のメニュー画面で詳細設定が選択されると新たに表示される第４のメニュー画面の画面例を示す説明図である。 実施の形態４に係わる顔画像拡大処理を説明する説明図である。 実施の形態４に係わる画像処理の流れを示すフローチャートである。 実施の形態５に係る画像処理装置においてプログラムの実行に関わる構成例を示すブロック図である。

以下、本発明に係る実施の形態を、図面を参照して詳細に説明する。
実施の形態１
実施の形態１に係る画像処理装置は、画像データの画素数及び画像データに含まれる顔画像の画素数に応じて顔画像に対して変形処理を施す構成をとる。

図１は、実施の形態１に係る画像処理装置１の構成例を示すブロック図である。
画像処理装置１は、制御部１０、不揮発性メモリ１１、揮発性メモリ１２、操作部１３、入力部１４、データ抽出部１５、顔画像抽出部１６、拡大率算出部１７、画像生成部１８及び出力部１９を備えており、各構成部はバス３１を介して接続されている。さらに、画像処理装置１は、出力部１９を介して画像表示装置２に接続されている。

制御部１０は、例えばＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processor Unit）等で構成されており、バス３１を介して各構成部の動作を制御する。
操作部１３は、例えばマウス、キーボード、タッチパネル、ボタン及びスイッチ等のデータ入力用の機器である。操作部１３は、赤外線又は電波等を利用して遠隔操作で画像処理装置１に制御信号を送信するリモートコントローラであってもよい。
入力部１４は、例えばデジタル放送チューナ、ＨＤ（Hard Disk）ドライブ、ＤＶＤ（Digital Versatile Disc）ドライブ、パーソナルコンピュータ、デジタルカメラ等の画像機器から画像データを取得する。画像データは、例えばＭＰＥＧ（Moving Picture Experts Group）−２方式で圧縮符号化されたＴＳ（Transport Stream）に含まれる圧縮画像データである。入力部１４は、画像機器から取得した圧縮画像データをデータ抽出部１５に出力する。ＴＳとは、多重信号形式の1つで、デジタル放送の多重化信号として採用されている。ＴＳは、ＴＳパケットが連続した信号列であり、ＴＳパケットにはヘッダ情報が付いている。

データ抽出部１５は、入力部１４から取得した圧縮画像データを復号すると共に、ヘッダ情報を解析し、画像全体（以下、「表示画像」と呼ぶ。）の総画素数、縦画素数及び横画素数を求め、制御部１０に出力する。また、データ抽出部１５は、復号した画像データを顔画像抽出部１６及び画像生成部１８、又は出力部１９に出力する。

顔画像抽出部１６は、データ抽出部１５から画像データを取得し、当該画像データに対応する画像の中から顔画像を抽出し、抽出した顔画像の総画素数を求める。顔画像の抽出処理は、公知の顔認識技術又はオブジェクト抽出技術を利用することができる。顔画像抽出部１６は、抽出した顔画像の総画素数、抽出した顔画像の基準点座標及び顔画像が矩形に収まるように切り出す際の縦画素数及び横画素数を制御部１０に出力する。また、顔画像抽出部１６は、顔画像に対応する顔画像データを画像生成部１８に出力する。尚、基準点座標とは、顔画像を拡大するうえで基準とする座標であり、その詳細については後述する。

制御部１０は、以下の通り、顔画像に対して拡大処理を施すか否かを判定する。
制御部１０は、データ抽出部１５から表示画像の総画素数を取得する。また、制御部１０は、顔画像抽出部１６から顔画像の総画素数を取得する。さらに、制御部１０は、不揮発性メモリ１１から閾値（ＴＨｐ）を読み出す。制御部１０は、不揮発性メモリ１１から読み出した閾値を参照して顔画像に対して拡大処理を施すか否かを判定する。
具体的には、制御部１０は、表示画像の総画素数及び顔画像の総画素数の比率（表示画像の総画素数／顔画像の総画素数）を閾値と比較し、表示画像の総画素数及び顔画像の総画素数の比率が閾値以上である場合には、顔画像に対して拡大処理を施すと判定する。これに対して、表示画像の総画素数及び顔画像の総画素数の比率が閾値未満である場合には、制御部１０は、顔画像に対して拡大処理を施さないと判定する。尚、上記の構成では、閾値は、不揮発性メモリ１１から読み出された値であるが、画像表示装置２が表示するメニュー画面内にＧＵＩ（Graphical User Interface）のスライドバーを表示させ、ユーザがそのスライドバーを操作することにより設定した値でもよい。この構成によれば、ユーザは操作部１３を用いて容易に閾値を変更することができる。

制御部１０は、顔画像に拡大処理を施すと判定した場合、表示画像の総画素数、縦画素数及び横画素数、顔画像の総画素数、縦画素数及び横画素数、並びに、顔画像の基準点座標を拡大率算出部１７に出力する。また、制御部１０が顔画像に拡大処理を施すと判定した場合、データ抽出部１５は、顔画像データを画像生成部１８に出力する。これに対して、制御部１０が顔画像に拡大処理を施さないと判定した場合、データ抽出部１５は、直接、画像データを出力部１９に出力する。さらに、制御部１０は、顔画像の拡大処理を施すか否かの判定結果を出力部１９に出力する。

拡大率算出部１７は、制御部１０から取得した顔画像の総画素数及び表示画像の総画素数に基づいて、顔画像の拡大率（ＡＲ＿Ｆａｃｅ）を算出する。顔画像の拡大率（ＡＲ＿Ｆａｃｅ）は式（１）によって算出される。
ＡＲ＿Ｆａｃｅ＝α×（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ） （１）
ただし、
α：任意の定数
Ｔ＿ｐｉｘ：表示画像の総画素数
Ｐ＿ｐｉｘ：顔画像の総画素数
である。
αの初期設定値は、例えば０．０１であるが、その値に限らないことはいうまでもない。αの初期設定値は予め不揮発性メモリ１１に記憶されており、拡大率算出部１７は、拡大率の算出時にαを不揮発性メモリ１１から読み込む。ただし、例えば、画像表示装置２が表示するメニュー画面内にＧＵＩのスライドバーを表示させ、ユーザがそのスライドバーを操作することによりαを適宜変更できる構成とする。そして、スライドバーを操作することによって変更されたαは不揮発性メモリ１１に記憶される。

次いで、拡大率算出部１７は、上記式（１）によって算出した顔画像の拡大率（ＡＲ＿Ｆａｃｅ）を補正する必要があるか否かを判定する。例えば、上記式（１）によって算出した顔画像の拡大率（ＡＲ＿Ｆａｃｅ）が大きすぎると、拡大後の顔画像が表示画面内に収まらない場合がおきる。その場合、拡大率算出部１７は、上記式（１）によって算出した顔画像の拡大率（ＡＲ＿Ｆａｃｅ）を補正し、拡大後の顔画像が表示画面内に収まるようにする。具体的には、拡大率算出部１７は、例えば以下の式（２）及び（３）によって顔の拡大率を下げる。
ＡＲ＿Ｆａｃｅ＞（Ｙ＿ａｌｌ−Ｙ＿ｂａｓｅ）／Ｙ＿ｆａｃｅのとき、
補正後のＡＲ＿Ｆａｃｅ＝（Ｙ＿ａｌｌ−Ｙ＿ｂａｓｅ）／Ｙ＿ｆａｃｅ （２）
ＡＲ＿Ｆａｃｅ＞（Ｘ＿ａｌｌ−Ｘ＿ｂａｓｅ）／Ｘ＿ｆａｃｅ のとき、
補正後のＡＲ＿Ｆａｃｅ＝（Ｘ＿ａｌｌ−Ｘ＿ｂａｓｅ）／Ｘ＿ｆａｃｅ （３）
ただし、
Ｙ＿ａｌｌ：表示画像の縦画素数
Ｙ＿ｆａｃｅ：顔画像の縦画素数
Ｘ＿ａｌｌ：表示画像の横画素数
Ｘ＿ｆａｃｅ：顔画像の横画素数
（Ｘ＿ｂａｓｅ，Ｙ＿ｂａｓｅ）：基準点座標
（０、０）：原点座標

ここで、上記の式中に用いられる各種パラメータ、すなわち、画素数、基準点座標の内容に関して図面を参照して説明する。

図２は、顔画像を拡大処理する前の表示画像の一例を示す説明図である。
図２においては、表示画像２２の中心部には人物の顔が描かれている。顔の下は胴体部である。また、人物の背景としては、画面の左上には雲が、人物に向かって右側には山が、画面の右上には太陽がそれぞれ描かれている。

図３は、表示画像２２に描かれている人物の顔画像を拡大するために適用されるパラメータの一例を示す説明図である。
図３において、表示画像２２には、図２に示した人物・背景が描かれている。また、説明の便宜のために、人物、背景及び表示画像２２にはそれらの大きさを示す上記各種パラメータを明記している。さらに、顔画像と背景画像とを区別するために、顔画像上に斜線を便宜的に引いている。図３においては、基準点座標（Ｘ＿ｂａｓｅ，Ｙ＿ｂａｓｅ）は、顔のあごの直下に配置されている。
尚、基準点座標は、顔の重心位置（例えば、鼻の位置）その他の位置であってもよい。ただし、基準点座標の位置を決定するにあたっては、顔画像を拡大することによって顔と他の身体部とに重なりが生じ又は顔と身体部との位置関係がくずれることにより画像を見る者に違和感を生じさせることがない位置にするのが好ましい。

原点座標（０、０）は、基準点座標の位置の基準となる座標であり、本図では、表示画像２２の左下に位置する。基準点座標は顔を拡大するにあたっての基準点の位置であり、実施の形態１では、基準点を起点として表示画像２２の上方向に向かって顔画像を拡大する。このように顔画像を拡大すれば、顔画像と顔以外の身体部（例えば、胴体部）とが重なることはない。

拡大率算出部１７は、上記式（２）又は（３）によって拡大率を補正しなかった場合には、上記式（１）によって算出した拡大率（ＡＲ＿Ｆａｃｅ）をそのまま画像生成部１８に出力する一方、上記式（２）又は（３）によって拡大率（ＡＲ＿Ｆａｃｅ）を補正した場合には、補正後の拡大率（ＡＲ＿Ｆａｃｅ）を画像生成部１８に出力する。

画像生成部１８は、拡大率算出部１７から取得した拡大率（ＡＲ＿Ｆａｃｅ）にしたがって顔画像を拡大処理し、拡大顔画像を生成する。具体的には、画像生成部１８は、基準点を起点として鼻の方向に顔画像を拡大する。表示画像２２の場合、描かれている人物は立っているため、画像生成部１８は、表示画像２２の上方向に向かって顔画像を拡大する。例えば人物が床に横たわっている等のために顔の向きが横になっている場合も同様に、画像生成部１８は、基準点を起点として鼻の方向に顔画像を拡大する。鼻の位置の検出処理は、公知の顔認識技術を利用することができる。

画像生成部１８は、生成した拡大顔画像及びデータ抽出部１５から取得した表示画像を合成して合成画像データを生成し、出力部１９に出力する。

図４は、表示画像２２に描かれている画像であって拡大顔画像２３及び表示画像を合成することにより得られた合成画像の一例を示す説明図である。
図４からわかるように、画像生成部１８は、図２に示した顔画像のみを拡大処理した画像を生成する。
出力部１９は、顔画像の拡大処理を施すか否かの判定結果を制御部１０から取得する。出力部１９は、顔画像の拡大処理が行われた場合には、画像生成部１８から取得した合成画像データを画像表示装置２に出力し、顔画像の拡大処理が行われなかった場合には、データ抽出部１５から取得した画像データを画像表示装置２に出力する。
画像表示装置２は、例えば液晶パネル、有機ＥＬ（Electro-Luminescence）ディスプレイ、プラズマディスプレイ等の表示画面を備え、出力部１９から取得した画像データに基づいて画像を表示画面に表示する。

次に、実施の形態１に係る画像処理装置１における画像処理の流れを説明する。
図５は、実施の形態１に係る画像処理装置１における画像処理の流れを示すフローチャートである。

入力部１４は、外部から圧縮画像データを取得する（Ｓ５１）。
データ抽出部１５は、入力部１４から取得した圧縮画像データを復号すると共に、ヘッダ情報を解析し、表示画像の総画素数（Ｔ＿ｐｉｘ）を抽出し、制御部１０に出力する（Ｓ５２）。また、データ抽出部１５は、画像データを顔画像抽出部１６に出力する。
顔画像抽出部１６は、データ抽出部１５から取得した画像データに対応する画像から顔画像を抽出し、顔画像の総画素数（Ｐ＿ｐｉｘ）を求め、制御部１０に出力する（Ｓ５３）。

制御部１０は、不揮発性メモリ１１から閾値（ＴＨｐ）を読み込み、表示画像の総画素数（Ｔ＿ｐｉｘ）及び顔画像の総画素数（Ｐ＿ｐｉｘ）の比率（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ）を閾値と比較して、顔画像に対して拡大処理を施すか否かを判定する（Ｓ５４）。具体的には、表示画像の総画素数（Ｔ＿ｐｉｘ）及び顔画像の総画素数（Ｐ＿ｐｉｘ）の比率（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ）が閾値以上である場合には（Ｓ５４：ＹＥＳ）、制御部１０は顔画像に対して拡大処理を施すと判定する。それを受けて、拡大率算出部１７は、顔画像の拡大率（ＡＲ＿Ｆａｃｅ）を算出する（Ｓ５５）。次いで、拡大率算出部１７は、算出した顔画像の拡大率（ＡＲ＿Ｆａｃｅ）の補正が必要か否かを判定し（Ｓ５６）、補正の必要がある場合には（Ｓ５６：ＹＥＳ）、拡大率を補正し（Ｓ５７）、補正の必要がない場合には（Ｓ５６：ＮＯ）、Ｓ５８の処理に進む。

画像生成部１８は、拡大率算出部１７から取得した拡大率（ＡＲ＿Ｆａｃｅ）にしたがって顔画像を拡大処理して拡大画像を生成し（Ｓ５８）、拡大顔画像及び表示画像を合成して（Ｓ５９）、合成画像データを生成し、出力部１９に出力し（Ｓ６０）、処理を終了する。
表示画像の総画素数（Ｔ＿ｐｉｘ）及び顔画像の総画素数（Ｐ＿ｐｉｘ）の比率（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ）が閾値未満である場合には（Ｓ５４：ＮＯ）、制御部１０は、顔画像に対して拡大処理を施さないと判定する。出力部１９は、顔画像に対して拡大処理を施さなかった場合には、データ抽出部１５から取得した画像データを画像表示装置２に出力し、処理を終了する。

以上説明した通り、実施の形態１では、表示画像２２の総画素数、顔画像の総画素数及び顔画像の基準点座標に基づいて、顔画像の拡大率を算出する。さらに、実施の形態１では、その拡大率で顔画像を拡大すると顔画像が表示画面内に収まらなくなる場合にはその拡大率を補正する。すなわち、拡大後の顔画像が表示画面内に収まるように拡大率を下げる。
実施の形態１によれば、ディスプレイに表示されている人物の顔画像に対して拡大処理を行うことができるため、たとえ携帯機器のディスプレイのようにサイズが小型なディスプレイに映し出されている顔画像であっても、その顔画像を拡大することによって、拡大顔画像から各種の有用な情報、すなわち、個人特定に関する情報、感情情報、読唇による情報等を得ることができる。

実施の形態２
図６は、実施の形態２における画像表示装置の表示画面及び表示画像の関係例を示す説明図である。図６においては、例えば、ダブルチューナ搭載型テレビにおける表示画像２２及び表示画面２４を示す。ここで、テレビのディスプレイ全体の画面を表示画面２４と呼び、表示画面２４の大きさを画面サイズと呼ぶ。一方、表示画面２４内の一部において映像として表示されている画像を表示画像と呼び、表示画像の大きさを表示画像サイズと呼ぶ。
図６に示す例では、画像表示装置２の表示画面２４の中に同じ表示画像サイズの表示画像２２が２つ並べて表示されている。図６からわかるように、２つの表示画像２２の合計サイズは、画像表示装置２の画面サイズの半分である。つまり、１つの表示画像２２の縦画素数及び横画素数は、各々、表示画面２４の縦画素数及び横画素数の半分である。

実施の形態２に係る画像処理装置は、表示画面２４内に表示される表示画像２２の表示画像サイズに応じて拡大率を補正する構成をとる。実施の形態２は、実施の形態１と組み合わせて実施することができる。

図７は、実施の形態２に係る画像処理装置の構成例を示すブロック図である。
実施の形態２の画像処理装置７０は、制御部１０、不揮発性メモリ１１、揮発性メモリ１２、操作部１３、入力部１４、データ抽出部１５、顔画像抽出部２１６、拡大率算出部２１７、画像生成部１８、出力部１９及び表示画像サイズ検出部２０を備えており、各構成部はバス３１を介して接続されている。

入力部１４は、例えばデジタル放送チューナ、ＨＤドライブ、ＤＶＤドライブ、パーソナルコンピュータ、デジタルカメラ等の画像機器から画像データを取得する。画像データは、例えばＭＰＥＧ−２方式で圧縮符号化されているＴＳに含まれる圧縮画像データである。入力部１４は、画像機器から取得した圧縮画像データをデータ抽出部１５に出力する。
データ抽出部１５は、入力部１４から取得した圧縮画像データを復号すると共に、ＴＳからＢＭＬ（Broadcast Markup Language）ファイルを取得し、当該ＢＭＬファイルを表示画像サイズ検出部２０に出力する。ＢＭＬとは、ＸＭＬ（Extensible Markup Language）ベースのデータ放送向けのページ記述言語のことであり、ＢＭＬファイルとは、ＢＭＬで記述されたファイルである。ＢＭＬファイルには、画像表示装置２の表示画面２４に表示される表示画像２２の表示画像サイズ、すなわち表示画像の総画素数、縦画素数及び横画素数が記述されている。ここで、表示画像サイズとは、画像の縮小に係わる情報である。
顔画像抽出部２１６は、データ抽出部１５から画像データを取得し、当該画像データに対応する画像の中から顔画像を抽出し、抽出した顔画像の総画素数を求める。顔画像の抽出処理は、公知の顔認識技術又はオブジェクト抽出技術を利用することができる。顔画像抽出部２１６は、抽出した顔画像の総画素数、抽出された顔画像の基準点座標及び顔画像が矩形に収まるように切り出す際の縦画素数及び横画素数を制御部１０に出力する。

制御部１０は、以下の通り、顔画像に対して拡大処理を施すか否かを判定する。
制御部１０は、データ抽出部１５から表示画像の総画素数を取得する。また、制御部１０は、顔画像抽出部２１６から顔画像の総画素数を取得する。さらに、制御部１０は、不揮発性メモリ１１から閾値（ＴＨｐ）を読み出す。制御部１０は、不揮発性メモリ１１から読み出した閾値を参照して顔画像に対して拡大処理を施すか否かを判定する。
具体的には、制御部１０は、表示画像の総画素数及び顔画像の総画素数の比率（表示画像の総画素数／顔画像の総画素数）を閾値と比較し、表示画像の総画素数及び顔画像の総画素数の比率が閾値以上である場合には、顔画像に対して拡大処理を施すと判定する。これに対して、表示画像の総画素数及び顔画像の総画素数の比率が閾値（ＴＨｐ）未満である場合には、制御部１０は、顔画像に対して拡大処理を施さないと判定する。

制御部１０は、顔画像に拡大処理を施すと判定した場合、表示画像の総画素数、縦画素数及び横画素数、顔画像の総画素数、縦画素数及び横画素数、並びに、顔画像の基準点座標を拡大率算出部２１７に出力する。また、制御部１０が顔画像に拡大処理を施すと判定した場合、データ抽出部１５は、顔画像データを画像生成部１８に出力する。これに対して、制御部１０が顔画像に拡大処理を施さないと判定した場合、データ抽出部１５は、直接、画像データを出力部１９に出力する。さらに、制御部１０は、顔画像の拡大処理を施すか否かの判定結果を出力部１９に出力する。

拡大率算出部２１７は、制御部１０から取得した顔画像の総画素数及び表示画像サイズ検出部２０から取得した表示画像の総画素数に基づいて、顔画像の拡大率（ＡＲ＿Ｆａｃｅ）を算出する。顔画像の拡大率（ＡＲ＿Ｆａｃｅ）は式（４）によって算出される。
ＡＲ＿Ｆａｃｅ＝α×（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ） （４）
ただし、
α：任意の定数である。
Ｔ＿ｐｉｘ：表示画像の総画素数（ＢＭＬファイルに記述された画素数）
Ｐ＿ｐｉｘ：顔画像の総画素数
である。

表示画像サイズ検出部２０は、不揮発性メモリ１１から画像表示装置２の表示画面の画面サイズ、すなわち、表示画面の縦画素数及び横画素数を読み込む。画像表示装置２の画面サイズは、予め不揮発性メモリ１１に記憶されている。ここで、画像表示装置２の画面サイズは、例えば操作部１３にＧＵＩで示されるスライドバーを設け、スライドバーで設定された値に適宜変更できるものとする。こうして変更された画面サイズは、不揮発性メモリ１１に記憶される。
次いで、表示画像サイズ検出部２０は、ＢＭＬファイルから表示画像サイズ、すなわち、表示画像の縦画素数及び横画素数を読み込む。表示画像サイズ検出部２０は、画像表示装置２の画面サイズ及び表示画像サイズに基づいて、サイズ補正比率（Ｓ＿ｒａｔｉｏ）を算出する。サイズ補正比率（Ｓ＿ｒａｔｉｏ）は、式（５）によって算出される。

Ｓ＿ｒａｔｉｏ＝｛（Ｐｘ＿ｍａｘ² ＋Ｐｙ＿ｍａｘ² ）／（Ｐｘ² ＋Ｐｙ² ）｝^0.5 （５）
ただし、
Ｐｘ：表示画像の横画素数
Ｐｙ：表示画像の縦画素数
Ｐｘ＿ｍａｘ：画像表示装置２の表示画面の横画素数
Ｐｙ＿ｍａｘ：画像表示装置２の表示画面の縦画素数

例えば、表示画像サイズが９６０×５４０（画素）、画像表示装置２の画面サイズが１９２０×１０８０（画素）である場合、サイズ補正比率（Ｓ＿ｒａｔｉｏ）＝２となる。表示画像サイズ検出部２０は、算出したサイズ補正比率（Ｓ＿ｒａｔｉｏ）を拡大率算出部２１７に出力する。

拡大率算出部２１７は、表示画像サイズ検出部２０からサイズ補正比率（Ｓ＿ｒａｔｉｏ）を取得し、前述した拡大率（ＡＲ＿Ｆａｃｅ）を補正する。例えば、拡大率算出部２１７は、上記式（４）によって算出した拡大率にサイズ補正比率（Ｓ＿ｒａｔｉｏ）を乗算する。すなわち、上記式（４）によって算出された拡大率は、式（６）のように変更される。
ＡＲ＿Ｆａｃｅ＝Ｓ＿ｒａｔｉｏ×α×（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ） （６）
αの初期設定値は、例えば０．０１であるが、その値に限らないことはいうまでもない。ここで、ＢＭＬファイルに記述されている表示画像サイズ（Ｔ＿ｐｉｘ）が９６０×５４０（画素）である場合、表示画像２２の総画素数は５１８４００となる。また、顔画像の総画素数（Ｐ＿ｐｉｘ）は、表示画像サイズ（Ｔ＿ｐｉｘ）が９６０×５４０（画素）である場合の顔画像の画素数となる。

実施の形態２では、上記式（４）によって算出された拡大率（ＡＲ＿Ｆａｃｅ）を補正するためにサイズ補正比率（Ｓ＿ｒａｔｉｏ）を利用しているが、サイズ補正比率（Ｓ＿ｒａｔｉｏ）をそのまま拡大率と利用してもよい。すなわち、
ＡＲ＿ｆａｃｅ＝Ｓ＿ｒａｔｉｏ （７）
としてもよい。
また、実施の形態１と同様に、上記式（６）又は上記式（７）にて算出された拡大率（ＡＲ＿ｆａｃｅ）をさらに上記式（２）及び上記式（３）を用いて補正してもよい。

拡大率算出部２１７は、上記式（６）又は上記式（７）にて算出された拡大率を画像生成部１８に出力する。
画像生成部１８は、拡大率算出部２１７から取得した拡大率（ＡＲ＿Ｆａｃｅ）にしたがって顔画像を拡大処理し、拡大顔画像を生成する。次いで、画像生成部１８は、拡大顔画像及びデータ抽出部１５から取得した表示画像２２を合成して合成画像データを生成し、出力部１９に出力する。拡大処理の方法は、実施の形態１と同様である。
出力部１９は、顔画像の拡大処理を施すか否かの判定結果を制御部１０から取得する。出力部１９は、顔画像の拡大処理が行われた場合には、画像生成部１８から取得した合成画像データを画像表示装置２に出力し、顔画像の拡大処理が行われなかった場合には、データ抽出部１５から取得した画像データを画像表示装置２に出力する。
画像表示装置２は、例えば液晶パネル、有機ＥＬディスプレイ、プラズマディスプレイ等の表示画面を備え、出力部１９から取得した画像データに基づいて画像を表示画面に表示する。

次に、実施の形態２に係る画像処理装置７０における画像処理の流れを説明する。
図８は、実施の形態２に係る画像処理装置７０の画像処理の流れを示すフローチャートである。

入力部１４は、外部から圧縮画像データを取得する（Ｓ８１）。
データ抽出部１５は、入力部１４から取得した圧縮画像データを復号すると共に、ＢＭＬファイルに記述されている表示画像２２の総画素数（Ｔ＿ｐｉｘ）を抽出し、制御部１０及び表示画像サイズ検出部２０に出力する（Ｓ８２）。また、データ抽出部１５は、画像データを顔画像抽出部２１６に出力する。顔画像抽出部２１６は、データ抽出部１５から取得した画像データに対応する画像から顔画像を抽出し、顔画像の総画素数（Ｐ＿ｐｉｘ）を求め、制御部１０に出力する（Ｓ８３）。

制御部１０は、不揮発性メモリ１１から閾値（ＴＨｐ）を読み込み、表示画像の総画素数（Ｔ＿ｐｉｘ）及び顔画像の総画素数（Ｐ＿ｐｉｘ）の比率（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ）を閾値と比較して、顔画像に対して拡大処理を施すか否かを判定する（Ｓ８４）。具体的には、表示画像の総画素数（Ｔ＿ｐｉｘ）及び顔画像の総画素数（Ｐ＿ｐｉｘ）の比率（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ）が閾値以上である場合には（Ｓ８４：ＹＥＳ）、制御部１０は顔画像に対して拡大処理を施すと判定する。それを受けて、拡大率算出部２１７は、顔画像の拡大率（ＡＲ＿Ｆａｃｅ）を算出する（Ｓ８５）。次いで、表示画像サイズ検出部２０は、サイズ補正比率（Ｓ＿ｒａｔｉｏ）を算出する（Ｓ８７）。
具体的には、表示画像サイズ検出部２０は、不揮発性メモリ１１から画像表示装置２の表示画面２４の画面サイズを読み込み、さらに、ＢＭＬファイルから表示画像サイズを読み込む。表示画像サイズ検出部２０は、画像表示装置２の表示画面２４の画面サイズ及び表示画像サイズを用いて、式（５）にしたがってサイズ補正比率（Ｓ＿ｒａｔｉｏ）を算出する。

拡大率算出部２１７は、Ｓ８７にて算出されたサイズ補正比率をＳ８５にて算出された顔画像の拡大率に乗算することによって、Ｓ８５にて算出された拡大率を補正し（Ｓ８８）、顔画像を拡大する（Ｓ８９）。
画像生成部１８は、拡大率算出部２１７から取得した補正後の拡大率（ＡＲ＿Ｆａｃｅ）にしたがって顔画像を拡大処理し、拡大顔画像を生成し、拡大顔画像及び表示画像を合成して（Ｓ９０）、合成画像データを生成し、出力部１９に出力し（Ｓ９１）、処理を終了する。

表示画像２２の総画素数（Ｔ＿ｐｉｘ）及び顔画像の総画素数（Ｐ＿ｐｉｘ）の比率（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ）が閾値（ＴＨｐ）未満である場合には（Ｓ８４：ＮＯ）、制御部１０は、顔画像に対して拡大処理を施さないと判定する。出力部１９は、顔画像に対して拡大処理を施さなかった場合には、データ抽出部１５から取得した画像データを画像表示装置２に出力し、処理を終了する。

実施の形態２に係る画像処理装置７０によれば、画像表示装置２の表示画面２４における表示画像２２の表示画像サイズが小さい場合であっても、画像表示装置２の画面サイズ及び表示画像サイズに応じて拡大率を補正することにより、顔画像が拡大された画像を生成することができる。

実施の形態２では、表示画像サイズ検出部２０は、画像表示装置２の画面サイズを不揮発性メモリ１１から読み込んだ。しかし、表示画像サイズ検出部２０は、画像表示装置２の画面サイズを、例えばＨＤＭＩ規格のＤＤＣ（Display Data Channel）信号を介して、画像表示装置２に記憶されているＥＤＩＤ（Extended Display Identification Data）から取得してもよい。ＥＤＩＤは、例えば画像表示装置２に固有の周波数、画面サイズ、製造メーカ名及び型式等である。

実施の形態２では、サイズ補正比率算出処理の過程で、表示画像サイズ検出部２０は、表示画像サイズをＢＭＬファイルから読み込んだ。しかし、表示画像サイズ検出部２０は、表示画像サイズを記述したＢＭＬ、ＸＭＬ、ＨＴＭＬ（Hyper Text Markup Language）等のファイルを予め不揮発性メモリ１１に記憶したテンプレートファイルに基づいて生成してもよい。そして、生成するＢＭＬファイル等に記述する表示画像サイズをサイズ補正比率算出処理で使用してもよい。このＢＭＬファイル等は、表示画像サイズ検出部２０から出力部１９を介して画像表示装置２に出力される。ここで、ＢＭＬファイル等に記述する表示画像サイズは、操作部１３に画面及びキーボードを設け、この設けた画面及びキーボードからテンプレートファイルを編集することにより書き換え可能とする。
なお、表示画像サイズの書き換え手段は画面及びキーボードに限られず、どのような手段を用いてもよい。あるいは、画像表示装置２の画面に表示される画像をカメラ等のセンサでモニタリングすることにより、表示画像サイズを検出する態様であってもよい。更に、画像データをＰＣ等のコンピュータに出力する場合、コンピュータのＯＳからウィンドウ、アプリケーション画面等の表示画像サイズを取得する態様であってもよい。

実施の形態３
実施の形態３に係る画像処理装置は、視聴者と表示画面との距離に基づいて拡大率を補正する構成をとる。以下、視聴者と画像表示装置の表示画面との間の距離を「視聴距離」と呼ぶ。

実施の形態２では、表示画像サイズ及び画面サイズに応じて顔画像の拡大率を補正した。一方、画像表示装置２の画面サイズ及び表示画像サイズが一定であっても、視聴距離に応じて、視聴者からみえる表示画像サイズが変化する。例えば、１９２０×１０８０（横画素数×縦画素数）の映像を表示画面２４から２ｍの地点で視聴した場合と、９６０×５４０（横画素数×縦画素数）の映像を同一の表示画面２４から１ｍの地点で視聴した場合、表示画像サイズは同じに見える。このことから、実施の形態３では、視聴距離に応じて顔画像の拡大率を補正する。なお、実施の形態３は、実施の形態１及び実施の形態２の形態と組み合わせて実施することができる。

図９は、実施の形態３に係る画像処理装置の構成例を示すブロック図である。
実施の形態３の画像処理装置９０は、制御部１０、不揮発性メモリ１１、揮発性メモリ１２、操作部１３、入力部１４、データ抽出部１５、顔画像抽出部３１６、拡大率算出部３１７、画像生成部１８、出力部１９及び視聴距離測定部２１を備えており、各構成部はバス３１を介して接続されている。

入力部１４は、例えばデジタル放送チューナ、ＨＤドライブ、ＤＶＤドライブ、パーソナルコンピュータ、デジタルカメラ等の画像機器から画像データを取得する。画像データは、例えばＭＰＥＧ−２方式で圧縮符号化されたＴＳに含まれる圧縮画像データである。入力部１４は、画像機器から取得した圧縮画像データをデータ抽出部１５に出力する。
データ抽出部１５は、入力部１４から取得した圧縮画像データを復号すると共に、ヘッダ情報を解析し、画像全体（以下、「表示画像」と呼ぶ。）の総画素数、縦画素数及び横画素数を求め、制御部１０に出力する。また、データ抽出部１５は、復号した画像データを顔画像抽出部３１６及び画像生成部１８、又は出力部１９に出力する。

顔画像抽出部３１６は、データ抽出部１５から画像データを取得し、当該画像データに対応する画像の中から顔画像を抽出し、抽出した顔画像の総画素数を求める。顔画像の抽出処理は、公知の顔認識技術又はオブジェクト抽出技術を利用することができる。顔画像抽出部３１６は、抽出した顔画像の総画素数、抽出された顔画像の基準点座標及び顔画像が矩形に収まるように切り出す際の縦画素数及び横画素数を制御部１０に出力する。また、顔画像抽出部３１６は、顔画像に対応する顔画像データを画像生成部１８に出力する。

制御部１０は、以下の通り、顔画像に対して拡大処理を施すか否かを判定する。
制御部１０は、データ抽出部１５から表示画像の総画素数を取得する。また、制御部１０は、顔画像抽出部３１６から顔画像の総画素数を取得する。さらに、制御部１０は、不揮発性メモリ１１から閾値（ＴＨｐ）を読み出す。制御部１０は、不揮発性メモリ１１から読み出した閾値を参照して顔画像に対して拡大処理を施すか否かを判定する。
具体的には、制御部１０は、表示画像の総画素数及び顔画像の総画素数の比率（表示画像の総画素数／顔画像の総画素数）を閾値と比較し、表示画像の総画素数及び顔画像の総画素数の比率が閾値以上である場合には、顔画像に対して拡大処理を施すと判定する。これに対して、表示画像の総画素数及び顔画像の総画素数の比率が閾値未満である場合には、制御部１０は、顔画像に対して拡大処理を施さないと判定する。

制御部１０は、顔画像に拡大処理を施すと判定した場合、表示画像の総画素数、縦画素数及び横画素数、顔画像の総画素数、縦画素数及び横画素数、並びに、顔画像の基準点座標を拡大率算出部３１７に出力する。また、制御部１０が顔画像に拡大処理を施すと判定した場合、データ抽出部１５は、顔画像データを画像生成部１８に出力する。これに対して、制御部１０が顔画像に拡大処理を施さないと判定した場合、データ抽出部１５は、直接、画像データを出力部１９に出力する。さらに、制御部１０は、顔画像の拡大処理を施すか否かの判定結果を出力部１９に出力する。

拡大率算出部３１７は、制御部１０から取得した顔画像の総画素数及び表示画像サイズ検出部２０から取得した表示画像の総画素数に基づいて顔画像の拡大率（ＡＲ＿Ｆａｃｅ）を算出する。顔画像の拡大率（ＡＲ＿Ｆａｃｅ）は式（８）によって算出される。
ＡＲ＿Ｆａｃｅ＝α×（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ） （８）
ただし、
α：任意の定数である。
Ｔ＿ｐｉｘ：表示画像の画素数
Ｐ＿ｐｉｘ：顔画像の画素数

視聴距離測定部２１は、視聴距離（Ｄ＿ｃｕｒｒ）を測定し、測定した視聴距離に基づいて、上記式（８）で算出された拡大率に対する補正比率を拡大率算出部３１７へ出力する。視聴距離の測定方法としては、例えば、画像表示装置２に超音波を送信する送信機と超音波を受信する受信機とを設置し、視聴者に超音波が当たり、反射して戻ってくるまでの時間に基づいて視聴距離を測定する方法、三角測量の原理から視聴距離を測定する方法、又は赤外線を利用して視聴距離を測定する方法等があるが、他の測定方法であってもよい。
視聴距離測定部２１は、基準視聴距離（Ｄ＿ｂａｓｅ）及び上記の方法で測定した視聴距離（Ｄ＿ｃｕｒｒ）の距離比率（Ｄ＿ｒａｔｉｏ）を式（９）によって算出する。
Ｄ＿ｒａｔｉｏ＝Ｄ＿ｃｕｒｒ／Ｄ＿ｂａｓｅ （９）

ここで、基準視聴距離（Ｄ＿ｂａｓｅ）は、初期設定値として、画面両端を見込む視角が３０度になることから決められたハイビジョン放送の標準観視距離である３Ｈに設定する。Ｈは、画像表示装置２の表示画面２４の縦寸法である。６：９のハイビジョン放送の場合、標準的な視聴距離は画面の縦寸法の３倍（３Ｈ）といわれている。なお、基準視聴距離（Ｄ＿ｂａｓｅ）の初期設定値は、例示に過ぎず、３Ｈに限るものではない。基準視聴距離（Ｄ＿ｂａｓｅ）は、予め不揮発性メモリ１１に記憶されている。ただし、基準視聴距離（Ｄ＿ｂａｓｅ）は、例えば操作部１３にＧＵＩで示されるスライドバーを設け、スライドバーで設定された値に適宜変更できるものとする。こうして変更された基準視聴距離（Ｄ＿ｂａｓｅ）は、不揮発性メモリ１１に記憶される。

視聴距離測定部２１は、算出した距離比率（Ｄ＿ｒａｔｉｏ）を拡大率算出部３１７に出力する。
拡大率算出部３１７は、視聴距離測定部２１から距離比率（Ｄ＿ｒａｔｉｏ）を取得し、実施の形態１から実施の形態３のいずれかで算出された拡大率（ＡＲ＿ｆａｃｅ）を補正する。例えば、拡大率算出部３１７は、上記式（８）によって算出した拡大率に距離比率（Ｄ＿ｒａｔｉｏ）を乗算する。すなわち、上記式（８）によって算出された拡大率は、式（１０）のように変更される。

ＡＲ＿ｆａｃｅ＝Ｄ＿ｒａｔｉｏ×α×（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ） （１０）
また、実施の形態２における上記式（６）及び上記式（７）は、式（１１）及び式（１２）のように変更される。
ＡＲ＿ｆａｃｅ＝Ｓ＿ｒａｔｉｏ×Ｄ＿ｒａｔｉｏ×α×（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ） （１１）
ＡＲ＿ｆａｃｅ＝Ｓ＿ｒａｔｉｏ×Ｄ＿ｒａｔｉｏ （１２）
拡大率算出部３１７は、上記式（１０）から上記式（１２）のいずれかの式によって補正された拡大率（ＡＲ＿ｆａｃｅ）を画像生成部１８に出力する。

次に、実施の形態３に係る画像処理装置９０における画像処理の流れを説明する。
図１０は、実施の形態３に係る画像処理装置９０の画像処理の流れを示すフローチャートである。

入力部１４は、外部から圧縮画像データを取得する（Ｓ１０１）。
データ抽出部１５は、入力部１４から取得した圧縮画像データを復号すると共に、ヘッダ情報を解析し、表示画像２２の総画素数（Ｔ＿ｐｉｘ）を抽出し、制御部１０に出力する（Ｓ１０２）。また、データ抽出部１５は、画像データを顔画像抽出部３１６に出力する。
顔画像抽出部３１６は、データ抽出部１５から取得した画像データに対応する画像から顔画像を抽出し、顔画像の総画素数（Ｐ＿ｐｉｘ）を求め、制御部１０に出力する（Ｓ１０３）。

制御部１０は、不揮発性メモリ１１から閾値（ＴＨｐ）を読み込み、表示画像の総画素数（Ｔ＿ｐｉｘ）及び顔画像の総画素数（Ｐ＿ｐｉｘ）の比率（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ）を閾値と比較して、顔画像に対して拡大処理を施すか否かを判定する（Ｓ１０４）。具体的には、表示画像の総画素数（Ｔ＿ｐｉｘ）及び顔画像の総画素数（Ｐ＿ｐｉｘ）の比率（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ）が閾値以上である場合には（Ｓ１０４：ＹＥＳ）、制御部１０は顔画像に対して拡大処理を施すと判定する。それを受けて、拡大率算出部３１７は、顔画像の拡大率（ＡＲ＿Ｆａｃｅ）を算出する（Ｓ１０５）。次いで、拡大率算出部３１７は、距離比率（Ｄ＿ｒａｔｉｏ）を算出する（Ｓ１０７）。
拡大率算出部３１７は、Ｓ１０７に算出された距離比率をＳ１０５にて算出された顔画像の拡大率に乗算することによって、Ｓ１０５にて算出された拡大率を補正し（Ｓ１０８）、顔画像を拡大する（Ｓ１０９）。

画像生成部１８は、拡大率算出部３１７から取得した補正後の拡大率（ＡＲ＿Ｆａｃｅ）にしたがって顔画像を拡大処理し、拡大顔画像を生成し、拡大顔画像及び表示画像を合成して（Ｓ１１０）、合成画像データを生成し、出力部１９に出力し（Ｓ１１１）、処理を終了する。

表示画像２２の総画素数（Ｔ＿ｐｉｘ）及び顔画像の総画素数（Ｐ＿ｐｉｘ）の比率（Ｔ＿ｐｉｘ／Ｐ＿ｐｉｘ）が閾値（ＴＨｐ）未満である場合には（Ｓ１０４：ＮＯ）、制御部１０は、顔画像に対して拡大処理を施さないと判定する。出力部１９は、顔画像に対して拡大処理を施さなかった場合には、データ抽出部１５から取得した画像データを画像表示装置２に出力し、処理を終了する。
画像表示装置２は、例えば液晶パネル、有機ＥＬディスプレイ、プラズマディスプレイ等の表示画面２４を備え、出力部１９から取得した画像データに基づいて画像を表示画面２４に表示する。

実施の形態３では、視聴距離測定部２１は、基準視聴距離（Ｄ＿ｂａｓｅ）を不揮発性メモリ１１から読み込んだ。しかし、視聴距離測定部２１は、基準視聴距離（Ｄ＿ｂａｓｅ）を表示画面２４の縦画素数Ｉから、式（１３）により算出してもよい。
Ｄ＿ｂａｓｅ＝３２４０×Ｈ／Ｉ （１３）
表示画面２４の縦画素数Ｉは、例えばＨＤＭＩ規格のＤＤＣ信号を介して、画像表示装置２に記憶されているＥＤＩＤから取得できる。

実施の形態３は以上の如き構成にしてあり、その他の構成及び作用は実施の形態１と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
実施の形態３に係る画像処理装置９０によれば、視聴距離が長いために表示画像サイズが小さく見える場合であっても、視聴距離に応じて拡大率を補正することにより、顔画像が拡大された画像を生成できる。

実施の形態２及び実施の形態３の構成を組み合わせた画像処理装置によれば、表示画像サイズ及び視聴距離に応じて拡大率を補正することにより、視聴条件が悪い場合であっても顔画像に対して拡大処理を自動的に施すため、拡大顔画像から個人を特定するための情報、感情情報、読唇による情報等の有用な情報を得ることができる。

実施の形態１〜３で示した３つの形態を組み合わせた形態を採用することも可能である。これにより、より多様な拡大処理が施された画像を提供することができる。
実施の形態１〜３においては、画像処理装置を単体として実施する場合について説明した。しかし、実施の形態１〜３に係る画像処理装置は、画像表示装置２に組み込まれた形態としても実施可能である。かかる場合の画像表示装置２は、例えばテレビ、携帯電話機、ゲーム機、マルチメディアプレーヤー、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、プロジェクタ及びカーナビゲーションシステム等の画面を備えた機器である。
実施の形態１〜３においては、閾値（ＴＨｐ）、α、画面サイズ及び基準視聴距離（Ｄ＿ｂａｓｅ）を、操作部１３に設けたＧＵＩによるスライドバーにより、適宜、変更でき又は設定できるようにした。しかし、上記設定値を変更又は設定する手段は、ＧＵＩによるスライドバーに限定されないことはいうまでもない。

さて、ユーザは、画像表示装置を用いて映像を鑑賞するにあたり、予め、顔画像に対する拡大処理を有効にするか否か、拡大処理を有効にした場合にいかなる基準にしたがって顔画像を拡大するか等の設定を行う必要がある。その設定を行うためのメニュー画面の一例を以下に説明する。このメニュー画面は、例えば、画像表示装置２のディスプレイに表示され、その設定は、例えばユーザがリモートコントローラを操作して行う。

図１１〜図１５は、画像表示装置のディスプレイに表示されるメニュー画面の表示の流れを示す説明図である。顔画像に対する拡大処理を有効にするか否か、いかなる基準にしたがって顔画像を拡大するか等は、このメニュー画面への設定によって行われる。
図１１は、拡大処理の対象を表示する画面例を示す説明図である。この段階では、メニュー画面は表示されない。この後、ユーザがリモートコントローラのメニューボタン及びその他の切り替えボタンを順次押下することにより、それに応じてメニュー画面が切り替わっていく。

図１２は、図１１に示す表示画面２４の上部に第１のメニュー画面が表示されている状態の画面例を示す説明図である。第１のメニュー画面には、「本体設定」、「機能設定」、「省エネ設定」、「その他」の項目が含まれている。ここでは、顔画像の拡大処理機能に関わる設定を行うことができる「機能設定」の項目が選択されたものとする。

図１３は、図１２に示す第１のメニュー画面において「機能設定」が選択されると新たに表示される第２のメニュー画面の画面例を示す説明図である。第２のメニュー画面には、「振動効果モード」、「手ぶれ補正モード」、「顔デフォルメモード」、「その他設定」の項目が含まれる。ここで、ユーザは顔画像の拡大処理を有効にするためには「顔デフォルメモード」を選択する。

図１４は、図１３に示す第２のメニュー画面において「顔デフォルメモード」が選択されると新たに表示される第３のメニュー画面の画面例を示す説明図である。第３のメニュー画面には、顔デフォルメモードの「ＯＮ／ＯＦＦ」項目、ＯＮ選択時にユーザに「詳細設定」を促す項目が表示される。

図１５は、図１４にて示す第３のメニュー画面で詳細設定が選択されると新たに表示される第４のメニュー画面の画面例を示す説明図である。第４のメニュー画面には、「拡大率パラメータ」、「画面サイズパラメータ」、「視聴距離パラメータ」が含まれる。このうち「拡大率パラメータ」、「画面サイズパラメータ」及び「視聴距離パラメータ」の大きさは０〜１００までの値であり、それらの値はスライドバーで調整できる。拡大率パラメータは式（１）におけるαに該当し、画面サイズパラメータは画像表示装置２の画面サイズに該当し、視聴距離パラメータは基準視聴距離に該当する。

実施の形態４
図１６は、実施の形態４に係わる顔画像拡大処理を説明する説明図である。
実施の形態４では、上述の実施形態とは異なり、画像から抽出した顔画像を縮小して縮小顔画像を生成する一方、当該画像を縮小した画像に当該縮小画像を合成することにより結果的に顔画像を拡大する。以下は、例えば、小型の携帯電話の制御部が実行する処理を示す。例えば、制御部は、入力画像４００を５０パーセント縮小（縮小率０．５）した画像４０１を得る一方、入力画像４００から顔画像４０３を抽出する。ここで、画像４０１は、携帯電話の表示画面に表示される画像に対応する。制御部は、顔画像４０３を９０パーセント縮小（縮小率０．９）して縮小顔画像４０５を得る。制御部は、画像４０１及び縮小顔画像４０５を合成して出力画像４０２を得る。
これを一般的に述べると、入力画像４００から画像４０１への縮小率をｆとすると、入力画像４００から抽出した顔画像の縮小率は、拡大率（ＡＲ＿ｆａｃｅ）×ｆとすればよい。例えば、ｆが０．５の場合、拡大率（ＡＲ＿ｆａｃｅ）を１．２とすれば、顔画像４０３の縮小率は０．６になり、顔画像は結果的に拡大する。

図１７は、実施の形態４に係わる画像処理の流れを示すフローチャートである。
制御部は、画像を取得する（Ｓ５０１）。制御部は、表示画像サイズ／画素数を取得する（Ｓ５０２）。制御部は、画像から顔画像を抽出する（Ｓ５０３）。制御部は、画像縮小率を算出する（Ｓ５０４）。制御部は、上記の式（１）により顔画像の相対的拡大率（仮の拡大率）を算出する（Ｓ５０５）。制御部は、相対的拡大率の補正の必要があるか否かを判定し（Ｓ５０６）、必要がある場合には（Ｓ５０６：ＹＥＳ）、Ｓ５０７の処理に進み、必要がない場合には（Ｓ５０６：ＮＯ）、Ｓ５０８の処理に進む。制御部は、上記の式（２）及び（３）にしたがって相対的な拡大率を補正する（Ｓ５０７）。制御部は、相対的拡大率に画像縮小率を乗算して顔画像の縮小率を算出する（Ｓ５０８）。制御部は、画像縮小率により画像を縮小する（Ｓ５０９）。制御部は、顔画像縮小率により顔画像を縮小する（Ｓ５１０）。制御部は、縮小画像と縮小顔画像を合成する（Ｓ５１１）。制御部は、合成画像を出力する（Ｓ５１２）。

実施の形態５
図１８は、実施の形態５に係る画像処理装置においてプログラムの実行に関わる構成例を示すブロック図である。
実施の形態５において、例えば画像処理装置１は、不揮発性メモリ１０１、内部記憶装置１０３及び記録媒体読込部１０４を備える。ＣＰＵ１００は、記録媒体読込部１０４に挿入されたＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭ等の記録媒体２３０から、実施の形態１〜４に係わるプログラム２３１を読み込んで不揮発性メモリ１０１又は内部記憶装置１０３に記憶するようにしてある。ＣＰＵ１００は、不揮発性メモリ１０１又は内部記憶装置１０３に記憶したプログラム２３１を揮発性メモリ１０２に読み出して実行する構成となっている。画像処理装置７０、９０も同様な構成をとる。

本発明に係るプログラム２３１は、記録媒体２３０から読み出して不揮発性メモリ１０１又は内部記憶装置１０３に記憶される場合に限るものではなく、メモリカード等の外部メモリに記憶させても良い。この場合、ＣＰＵ１００に接続される外部メモリ（図示せず）からプログラム２３１を読み出して不揮発性メモリ１０１又は内部記憶装置１０３に記憶させる。さらにＣＰＵ１００に接続された通信部（図示せず）と外部のコンピュータとの間で通信を確立し、プログラム２３１を不揮発性メモリ１０１又は内部記憶装置１０３へダウンロードしても良い。

（変形例１）
上述の実施の形態では、画面上に顔画像が１つ表示されている場合の例を示したが、複数の人物が画面に同時に表示されている場合には、例えば以下に述べるような拡大処理を実行する。
（１）人物の数にかかわらず全ての人物の顔画像に対して拡大処理を行う。
（２）複数の人物の顔画像に対してそれぞれ優先度を設定し、優先度に応じて顔画像に対する拡大率を変える。すなわち、優先度がより高い顔画像に対してはより大きな拡大率を設定する。例えば、優先度が一番高い人物の顔画像の拡大率は２倍にし、次に優先度が高い人物の顔画像の拡大率は１．５倍にするように制御してもよい。

上記（１）の方法に関しては、単純な処理ではあるが、顔同士が近い場合、顔画像を拡大した場合に顔画像が重なることがあり、見る者に違和感を与えるおそれがある。これに対して、上記（２）の方法によれば、優先度の高い少人数の顔画像に対してのみ拡大処理を施すため、（１）の方法で問題となり得る拡大顔画像の重なりはある程度回避できる。特に、最も優先度の高い顔画像を１つだけ拡大した場合、重なりの問題は解消する。
また、優先度を利用するのではなく、例えば、画面の中央に映っている人物の顔画像を一律に拡大するように制御をしてもよい。画面の中央に映っている人物は、一般的にしゃべっている可能性が高いからである。
また、拡大する顔画像の個数（２個以上）又は優先度の閾値を上記の実施の形態にあるようなＧＵＩなどで設定できる仕組みにしてもよい。
ただ、たとえ拡大する顔画像の個数をある程度に制限したとしても「拡大顔画像」と「未拡大顔画像」が重なることはあり得る。それに対しては、顔画像の重なり判定処理を更に実行し、重なっている顔画像の拡大率をそれぞれ調整して顔画像が重ならないようにする制御を行ってもよい。顔画像の重なり判定処理は、上記（１）、（２）のどちらに対しても有効である。また、顔画像の重なりを許容する場合には、優先度の低い顔画像の上に優先度の高い画像を重ねて表示してもよい。

優先度の設定をするにあたっては、例えば、顔認識により得られる情報（個人認識、感情理解、読唇など）の内の読唇に着目して行う。すなわち、顔画像の口領域に着目して、その口領域が動いている人物の顔画像に対しては優先的に顔画像を拡大する。口領域が動いている場合、その人物はしゃべっている可能性が高いからである。
また、優先度の他の設定方法としては、音の位置情報（音データによる話者の位置情報）を利用し、優先度を設定する方法がある。これは、音が聞こえてくる方向に映っている人物に着目し、その人物の顔画像を優先的に拡大する方法であり、上記の方法と同様に、しゃべっている人物を検出し、その人物の顔画像を拡大する方法である。
例えば、ステレオで音が出力される場合、左右チャネルの音圧差（音の大きさの差）をもとに音が提示される位置が変わって聞こえる。左右の大きさが等しい場合、音は真ん中から聞こえる。右チャネルの音が大きい場合、右にずれて聞こえる。この位置情報と顔画像の位置データを基に優先度を設定する。音の提示位置に関しては、上記では２ｃｈステレオにおける音圧パンニングと呼ばれる手法を例に説明したが、チャネル数又は音源位置提示手法に関しては、この限りではない。また、この場合、データ抽出部にて、音データを抽出する工程を加える必要がある。

（変形例２）
上記変形例１とも関連するが、しゃべっているか否かに関係なくユーザの好みに応じて特定の人物の顔画像のみを拡大する機能をもたせてもよい。例えば、ユーザがお気に入りのタレントが番組に出演している場合に、そのタレントのみの顔画像を拡大してもよい。例えば、インターネットに接続されている顔画像データベースにアクセスして、そのタレントの顔の特徴量を携帯端末に取り込み、その特徴量を用いて顔認識を行うことによりそのタレントの顔画像を抽出する。

（変形例３）
パーソナルコンピュータを用いて映像コンテンツを視聴する際に、パーソナルコンピュータのディスプレイ全面に映像を表示させるのではなく、ディスプレイ内に小サイズの表示画面枠を複数個設け、その中の１つの表示画面枠に映像を表示させて鑑賞しつつ、他の表示画面枠を用いて別の作業を行う場合がある。上記の実施の形態によれば、そのような場合においても、小サイズの表示画面内に映り出されている人物の顔画像を拡大することができる。

上述した実施の形態１〜５及び変形例１〜３においては、いずれも顔画像認識技術を用いて顔画像を特定し、当該顔画像を拡大するものであるが、その他の画像認識技術を用いることにより、顔以外の部位を特定し、当該特定した部位に対して拡大又は縮小等の変更を加えることにより当該部位を変形させることが可能であることは言うまでもない。

上述した実施の形態１〜５及び変形例１〜３は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その精神又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 画像処理装置
２ 画像表示装置
１０ 制御部
１１ 不揮発性メモリ
１２ 揮発性メモリ
１３ 操作部
１４ 入力部
１５ データ抽出部
１６ 顔画像抽出部
１７ 拡大率算出部
１８ 画像生成部
１９ 出力部
２０ 画像表示サイズ検出部
２１ 視聴距離測定部
３１ バス

本発明の画像処理装置は、画像処理を行う画像処理装置において、画像を取得する画像取得手段と、該画像取得手段により取得された画像に含まれる顔画像を抽出する抽出手段と、該抽出手段により抽出された顔画像内の任意の点を特定する特定手段と、前記画像取得手段により取得された画像の画素数と前記抽出手段により抽出された顔画像の画素数との比率に基づいて、前記特定手段により特定された点を起点に顔画像を所定方向に拡大する拡大手段と、抽出された顔画像を含む領域で、該拡大手段により拡大された顔画像及び前記画像取得手段が取得した画像を合成する手段とを備えることを特徴とする。

本発明の画像処理装置は、画像処理を行う画像処理装置において、画像を取得する画像取得手段と、該画像取得手段により取得された画像に含まれる顔画像を抽出する抽出手段と、該抽出手段により抽出された顔画像内の任意の点を特定する特定手段と、前記画像取得手段により取得された画像を縮小する手段と、画像の縮小に係わる情報を取得する取得手段と、前記画像取得手段により取得された画像の画素数と前記抽出手段により抽出された顔画像の画素数との比率、及び前記取得手段により取得された情報に応じて、前記特定手段により特定された点を起点に顔画像を所定方向に拡大する拡大手段と、抽出された顔画像を含む領域で、該拡大手段が拡大した顔画像及び前記画像取得手段が取得した画像を合成する手段とを備えることを特徴とする。

本発明の画像処理装置は、画像処理を行う画像処理装置において、画像を取得する画像取得手段と、該画像取得手段により取得された画像に含まれる顔画像を抽出する抽出手段と、該抽出手段により抽出された顔画像内の任意の点を特定する特定手段と、外部の物体との距離を測定する距離測定手段と、前記画像取得手段により取得された画像の画素数と前記抽出手段により抽出された顔画像の画素数との比率、及び前記距離測定手段によって測定された距離に応じて、前記特定手段により特定された点を起点に顔画像を所定方向に拡大する拡大手段と、抽出された顔画像を含む領域で、該拡大手段が拡大した顔画像及び前記画像取得手段が取得した画像を合成する手段とを備えることを特徴とする。

本発明の画像処理方法は、画像処理を行う画像処理方法において、画像を取得する画像取得ステップと、該画像取得ステップにて取得した画像に含まれる顔画像を抽出する抽出ステップと、該抽出ステップにて抽出された顔画像内の任意の点を特定する特定ステップと、前記画像取得ステップにて取得した画像の画素数と前記抽出ステップにて抽出した顔画像の画素数との比率に基づいて、前記特定ステップにより特定された点を起点に顔画像を所定方向に拡大する拡大ステップと、抽出された顔画像を含む領域で、該拡大ステップにて拡大した顔画像及び前記画像取得ステップにて取得した画像を合成するステップとを含むことを特徴とする。

本発明の画像処理方法は、画像処理を行う画像処理方法において、画像を取得する画像取得ステップと、該画像取得ステップにて取得した画像に含まれる顔画像を抽出する抽出ステップと、該抽出ステップにより抽出された顔画像内の任意の点を特定する特定ステップと、前記画像取得ステップにて取得した画像を縮小する画像縮小ステップと、画像の縮小に係わる情報を取得する取得ステップと、前記画像取得ステップにて取得した画像の画素数と前記抽出ステップにて抽出した顔画像の画素数の比率、及び前記取得ステップにて取得した情報に応じて、前記特定手段により特定された点を起点に顔画像を所定方向に拡大する拡大ステップと、抽出された顔画像を含む領域で、該拡大ステップにて拡大した顔画像及び前記画像取得ステップにて取得した画像を合成するステップとを含むことを特徴とする。

本発明の画像処理方法は、画像処理を行う画像処理方法において、画像を取得する画像取得ステップと、該画像取得ステップにて取得した画像に含まれる顔画像を抽出する抽出ステップと、該抽出ステップにて抽出された顔画像内の任意の点を特定する特定ステップと、外部の物体との距離を測定する距離測定ステップと、前記画像取得ステップにて取得した画像の画素数と前記抽出ステップにて抽出した顔画像の画素数との比率、及び前記距離測定ステップにて測定された距離に応じて、前記特定ステップにて特定された点を起点に顔画像を所定方向に拡大する拡大ステップと、抽出された顔画像を含む領域で、該拡大ステップにて拡大した顔画像及び前記画像取得ステップにて取得した画像を合成するステップとを含むことを特徴とする。

本発明の画像処理プログラムは、コンピュータに画像処理を行わせる画像処理プログラムにおいて、コンピュータを、顔画像を含む画像から該顔画像を抽出する抽出手段と、該抽出手段により抽出された顔画像内の任意の点を特定する特定手段と、該画像の画素数及び該抽出手段が抽出した顔画像の画素数との比率に基づいて、前記特定手段により特定された点を起点に該顔画像を所定方向に拡大する拡大手段と、抽出された顔画像を含む領域で、該拡大手段により拡大された顔画像及び前記画像を合成する手段として機能させることを特徴とする。

本発明の画像処理プログラムは、コンピュータに画像処理を行わせる画像処理プログラムにおいて、コンピュータを、顔画像を含む画像から該顔画像を抽出する抽出手段と、該抽出手段により抽出された顔画像内の任意の点を特定する特定手段と、画像を縮小する縮小手段と、画像の画素数と前記抽出手段により抽出された顔画像の画素数、及び前記画像の縮小に係わる情報に応じて、前記特定手段により特定された点を起点に顔画像を所定方向に拡大する拡大手段と、抽出された顔画像を含む領域で、該拡大手段により拡大された顔画像及び前記画像を合成する手段として機能させることを特徴とする。

本発明の画像処理プログラムは、コンピュータに画像処理を行わせる画像処理プログラムにおいて、コンピュータを、顔画像を含む画像から該顔画像を抽出する抽出手段と、該抽出手段により抽出された顔画像内の任意の点を特定する特定手段と、画像の画素数と前記抽出手段が抽出した顔画像の画素数との比率、及び外部の物体との距離に応じて、前記特定手段により特定された点を起点に顔画像を所定方向に拡大する拡大手段と、抽出された顔画像を含む領域で、該拡大手段により拡大された顔画像及び前記画像を合成する手段として機能させることを特徴とする。

Claims (13)

1. 画像処理を行う画像処理装置において、
   画像を取得する画像取得手段と、
   該画像取得手段が取得した画像に含まれる顔画像を抽出する抽出手段と、
   前記画像取得手段が取得した画像及び前記抽出手段が抽出した顔画像のそれぞれのサイズに応じて該顔画像を拡大する拡大手段と、
   該拡大手段が拡大した顔画像及び前記画像取得手段が取得した画像を合成する手段と
   を備えることを特徴とする画像処理装置。
2. 画像処理を行う画像処理装置において、
   画像を取得する画像取得手段と、
   該画像取得手段が取得した画像に含まれる顔画像を抽出する抽出手段と、
   前記画像取得手段が取得した画像を縮小する手段と、
   画像の縮小に係わる情報を取得する取得手段と、
   前記画像取得手段が取得した画像及び前記抽出手段が抽出した顔画像のそれぞれのサイズ、並びに前記取得手段が取得した情報に応じて、該顔画像を拡大する拡大手段と、
   該拡大手段が拡大した顔画像及び前記画像取得手段が取得した画像を合成する手段と
   を備えることを特徴とする画像処理装置。
3. 画像処理を行う画像処理装置において、
   画像を取得する画像取得手段と、
   該画像取得手段が取得した画像に含まれる顔画像を抽出する抽出手段と、
   外部の物体との距離を測定する距離測定手段と、
   前記画像取得手段が取得した画像及び前記抽出手段が抽出した顔画像のそれぞれのサイズ、並びに前記距離測定手段によって測定された距離に応じて、該顔画像を拡大する拡大手段と、
   該拡大手段が拡大した顔画像及び前記画像取得手段が取得した画像を合成する手段と
   を備えることを特徴とする画像処理装置。
4. 前記拡大手段は、
   前記画像の画素数及び前記顔画像の画素数に基づいて拡大率を算出する拡大率算出部と、
   該拡大率算出部によって算出された拡大率にしたがって前記顔画像を拡大する拡大部と
   を備えることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記拡大率算出部は、前記画像及び前記顔画像の画素数の比率に応じて拡大率を算出することを特徴とする請求項４記載の画像処理装置。
6. 前記拡大率算出部によって算出された拡大率にしたがって拡大した顔画像が特定のサイズを超える場合、該拡大率を小さくする手段を更に備え、
   前記拡大部は、前記拡大率算出部によって小さくされた拡大率で前記顔画像を拡大することを特徴とする請求項４又は５に記載の画像処理装置。
7. 画像処理を行う画像処理装置において、
   画像を取得する画像取得手段と、
   該画像取得手段が取得した画像を縮小する画像縮小手段と、
   前記画像取得手段が取得した画像から顔画像を抽出する抽出手段と、
   該抽出手段が抽出した顔画像を、前記画像縮小手段による画像の縮小率よりも小さい縮小率で縮小する顔画像縮小手段と、
   前記画像縮小手段により縮小された画像及び前記顔画像縮小手段により縮小された顔画像を合成する手段と
   を備えることを特徴とする画像処理装置。
8. 画像処理を行う画像処理方法において、
   画像を取得する画像取得ステップと、
   該画像取得ステップにて取得した画像に含まれる顔画像を抽出する抽出ステップと、
   前記画像取得ステップにて取得した画像及び前記抽出ステップにて抽出した顔画像のそれぞれのサイズに応じて該顔画像を拡大する拡大ステップと、
   該拡大ステップにて拡大した顔画像及び前記画像取得ステップにて取得した画像を合成するステップと
   を含むことを特徴とする画像処理方法。
9. 画像処理を行う画像処理方法において、
   画像を取得する画像取得ステップと、
   該画像取得ステップにて取得した画像に含まれる顔画像を抽出する抽出ステップと、
   前記画像取得ステップにて取得した画像を縮小する画像縮小ステップと、
   画像の縮小に係わる情報を取得する取得ステップと、
   前記画像取得ステップにて取得した画像及び前記抽出ステップにて抽出した顔画像のそれぞれのサイズ、並びに前記取得ステップにて取得した情報に応じて、該顔画像を拡大する拡大ステップと、
   該拡大ステップにて拡大した顔画像及び前記画像取得ステップにて取得した画像を合成するステップと
   を含むことを特徴とする画像処理方法。
10. 画像処理を行う画像処理方法において、
    画像を取得する画像取得ステップと、
    該画像取得ステップにて取得した画像に含まれる顔画像を抽出する抽出ステップと、
    外部の物体との距離を測定する距離測定ステップと、
    前記画像取得ステップにて取得した画像及び前記抽出ステップにて抽出した顔画像のそれぞれのサイズ、並びに前記距離測定ステップにて測定された距離に応じて、該顔画像を拡大する拡大ステップと、
    該拡大ステップにて拡大した顔画像及び前記画像取得ステップにて取得した画像を合成するステップと
    を含むことを特徴とする画像処理方法。
11. コンピュータに画像処理を行わせる画像処理プログラムにおいて、
    コンピュータを、
    顔画像を含む画像から該顔画像を抽出する抽出手段と、
    該画像及び該抽出手段が抽出した顔画像のそれぞれのサイズに応じて該顔画像を拡大する拡大手段と、
    該拡大手段が拡大した顔画像及び前記画像を合成する手段と
    して機能させることを特徴とする画像処理プログラム。
12. コンピュータに画像処理を行わせる画像処理プログラムにおいて、
    コンピュータを、
    顔画像を含む画像から該顔画像を抽出する抽出手段と、
    画像を縮小する縮小手段と、
    画像及び前記抽出手段が抽出した顔画像のそれぞれのサイズ、並びに前記画像の縮小に係わる情報に応じて、該顔画像を拡大する拡大手段と、
    該拡大手段が拡大した顔画像及び前記画像を合成する手段と
    して機能させることを特徴とする画像処理プログラム。
13. コンピュータに画像処理を行わせる画像処理プログラムにおいて、
    コンピュータを、
    顔画像を含む画像から該顔画像を抽出する抽出手段と、
    画像及び前記抽出手段が抽出した顔画像のそれぞれのサイズ、並びに外部の物体との距離に応じて、該顔画像を拡大する拡大手段と、
    該拡大手段が拡大した顔画像及び前記画像を合成する手段と
    して機能させることを特徴とする画像処理プログラム。

Images