JP2008262416A - 画像再生装置、画像再生プログラム、記録媒体、画像再生方法 - Google Patents

Abstract

【課題】全体画像の人物と顔画像の人物との対応を容易に把握し得る画像再生装置等を提供する。
【解決手段】画像から表示用の全体画像を作成する全体画像作成部１６ｃと、画像における複数の顔部分の情報を抽出する顔情報抽出部２１と、顔部分の情報に基づいて全体画像における顔部分よりも拡大された表示用の顔画像を作成する顔画像作成部１６ｂと、全体画像と複数の顔画像とを組み合わせて一の合成画像を作成する合成画像作成部１６ａと、を備える画像再生装置１において、合成画像作成部１６ａは、全体画像における各顔部分同士の相対位置に対応するように複数の顔画像同士の相対位置を決定し、かつ顔画像が全体画像中の顔部分をおおうことのないように、合成画像を作成する。
【選択図】図１

Description

本発明は、全体画像と顔部分が拡大された顔画像とを同時に表示し得る画像再生装置、画像再生プログラム、記録媒体、画像再生方法に関する。

近年、例えばデジタルカメラや監視カメラシステム等において、画像中の顔部分を検出する顔検出技術が注目されている。そして、画像を再生する際に、顔検出技術を用いて検出した顔部分を利用する提案も種々なされている。

このような技術の一例として、特開２００４−１９３９３３号公報には、顔検出技術を利用して撮影画像から顔領域を検出し、電子アルバムの再生を行う際に、検出した顔部分が優先的に拡大して表示されるようにする画像拡大表示方法が記載されている。

また、特開２００５−３５４３３３号公報には、スライドショーを行う際に、画像内の顔が自動的にズームアップされて表示されるようにする画像再生装置が記載されている。これにより、画像をそのままスライドショー表示した場合に起こり得る単調な表示を防止して、観察者が飽きることのないように工夫したものとなっている。さらに該公報の図９や段落００６９等には、全体画像から顔画像を抽出して、抽出した顔画像をその顔を抽出した位置において全体画像に重畳し、スライドショー表示する技術が記載されている。これにより、着目した人物の顔が、該顔のある位置において（すなわち、全体画像における顔部分にオーバーラップして）拡大して表示される。

さらに、ワイド画像とテレ画像とを同時に撮影する技術や表示する技術が提案されている。このような技術として、例えば特開２００４−１５５１７号公報には、同一被写体について、監視領域全体の縮小画像と着目部分の拡大画像とをモニタ画面に同時に表示する映像集約表示装置が記載されている。
特開２００４−１９３９３３号公報 特開２００５−３５４３３３号公報 特開２００４−１５５１７号公報

上述したように、顔検出技術を利用して撮影画像の顔部分を認識し、顔部分を拡大表示する表示装置は種々のものが提案されているが、既に提案されているものだけでなく、さらに被写体の顔画像表示を発展させた再生方法を提供することができれば、単調になりがちな画像表示が改善されて、静止画の再生が利用される機会も増えるはずである。

そして、顔画像を表示する際の課題の一つに、全体画像が複数の人物が写っている画像である場合に、複数の顔画像を同時に表示したとしても、顔画像と全体画像中の人物との対応が簡単には付かない場合が多いことが挙げられる。

加えて、団体競技によるスポーツを行っているなどの撮影シーンにおいて、顔画像を何らの工夫を凝らすことなく表示すると、顔画像の人物が対抗する複数グループの何れに属しているかを容易に把握することができなかった。

本発明は上記事情に鑑みてなされたものであり、全体画像の人物と顔画像の人物との対応を容易に把握し得る画像再生装置、画像再生プログラム、記録媒体、画像再生方法を提供することを目的としている。

また本発明は、顔画像の人物が全体画像における複数グループの何れに属しているかを容易に把握することができる画像再生装置を提供することを目的としている。

上記の目的を達成するために、第１の発明による画像再生装置は、画像における複数の顔部分の情報を抽出する顔情報抽出部と、抽出された複数の顔部分の情報に基づいて上記画像から上記画像における該顔部分よりも拡大された複数の顔画像を作成する顔画像作成部と、上記画像の全体を表す全体画像と上記複数の顔画像とを組み合わせて一の合成画像を作成する合成画像作成部と、を具備し、上記合成画像作成部は、上記全体画像における各顔部分同士の相対位置に対応するように上記複数の顔画像同士の相対位置を決定し、かつ該顔画像が該全体画像中の顔部分をおおうことのないように上記合成画像を作成するものである。

また、第２の発明による画像再生装置は、上記第１の発明による画像再生装置において、上記合成画像作成部が、上記複数の顔画像が表示される領域と、上記全体画像が表示される領域と、が異なる領域となるように合成画像を作成するものである。

さらに、第３の発明による画像再生装置は、上記第１の発明による画像再生装置において、拡大率を入力するための操作部をさらに具備し、上記顔画像作成部は、上記全体画像における顔部分に対する顔画像の拡大率が入力された拡大率に応じたものとなるように、顔画像を作成するものである。

第４の発明による画像再生装置は、上記第１の発明による画像再生装置において、上記合成画像作成部が、上記顔画像が上記全体画像の中の何れの顔部分に対応するものであるかを明示する情報を付加して合成画像を作成するものである。

第５の発明による画像再生装置は、上記第１の発明による画像再生装置において、上記各顔部分の撮影距離を判断する距離判断部をさらに具備し、上記顔画像作成部は、顔画像の表示サイズが該顔画像に対応する顔部分の撮影距離に応じたサイズとなるように顔画像を作成するものである。

第６の発明による画像再生装置は、上記第５の発明による画像再生装置において、上記顔画像作成部が、上記撮影距離が相対的に近いときには相対的に大きな表示サイズとなり、該撮影距離が相対的に遠いときには相対的に小さな表示サイズとなるように、顔画像を作成するものである。

第７の発明による画像再生装置は、上記第１の発明による画像再生装置において、顔画像を非表示にする入力操作を行うための操作部をさらに具備し、上記合成画像作成部は、合成画像を作成する際の対象から非表示の入力操作が行われた顔画像を除外して、合成画像を作成するものである。

第８の発明による画像再生装置は、上記第１の発明による画像再生装置において、上記合成画像作成部が、上記顔画像を上記全体画像における顔部分とは異なる傾きに回転させてから、合成画像を作成するものである。

第９の発明による画像再生装置は、上記第８の発明による画像再生装置において、上記顔情報抽出部が、さらに、上記画像における顔部分の傾きを顔部分の情報として抽出するものであり、上記合成画像作成部は、抽出された顔部分の傾きに基づいて、該顔部分が正立するように上記顔画像を回転させてから、合成画像を作成するものである。

第１０の発明による画像再生装置は、上記第１の発明による画像再生装置において、上記顔画像作成部が、上記全体画像における顔部分とは異なる傾きに回転された顔画像を作成するものである。

第１１の発明による画像再生装置は、画像における複数の顔部分の情報を抽出する顔情報抽出部と、抽出された複数の顔部分の情報に基づいて上記画像から上記画像における該顔部分よりも拡大された複数の顔画像を作成する顔画像作成部と、上記顔部分の近傍に位置する領域の色を判定する色判定部と、判定された色に応じて上記複数の顔画像をグループに分類し分類されたグループ毎にまとめられた上記複数の顔画像と上記画像の全体を表す全体画像とを組み合わせて一の合成画像を作成する合成画像作成部と、を具備し、上記合成画像作成部は、上記顔画像が上記全体画像中の顔部分をおおうことのないように上記合成画像を作成するものである。

第１２の発明による画像再生装置は、上記第１１の発明による画像再生装置において、上記合成画像作成部が、上記顔画像が上記全体画像の中の何れの顔部分に対応するものであるかを明示する情報を付加して合成画像を作成するものである。

第１３の発明による画像再生プログラムは、コンピュータに、画像における複数の顔部分の情報を抽出するステップと、上記各顔部分の撮影距離を判断するステップと、抽出された複数の顔部分の情報に基づいて上記画像から上記画像における該顔部分よりも拡大された複数の顔画像を顔画像の表示サイズが該顔画像に対応する顔部分の撮影距離に応じたサイズとなるように作成するステップと、上記画像の全体を表す全体画像における各顔部分同士の相対位置に対応するように上記複数の顔画像同士の相対位置を決定しかつ該顔画像が全体画像中の顔部分をおおうことのないように上記全体画像と上記複数の顔画像とを組み合わせて一の合成画像を作成するステップと、を実行させるためのプログラムである。

第１４の発明による記録媒体は、コンピュータに、画像における複数の顔部分の情報を抽出するステップと、上記各顔部分の撮影距離を判断するステップと、抽出された複数の顔部分の情報に基づいて上記画像から上記画像における該顔部分よりも拡大された複数の顔画像を顔画像の表示サイズが該顔画像に対応する顔部分の撮影距離に応じたサイズとなるように作成するステップと、上記画像の全体を表す全体画像における各顔部分同士の相対位置に対応するように上記複数の顔画像同士の相対位置を決定しかつ該顔画像が全体画像中の顔部分をおおうことのないように上記全体画像と上記複数の顔画像とを組み合わせて一の合成画像を作成するステップと、を実行させるための画像再生プログラムを記録する、コンピュータにより読み取り可能な記録媒体である。

第１５の発明による画像再生方法は、画像における複数の顔部分の情報を抽出するステップと、上記各顔部分の撮影距離を判断するステップと、抽出された複数の顔部分の情報に基づいて上記画像から上記画像における該顔部分よりも拡大された複数の顔画像を顔画像の表示サイズが該顔画像に対応する顔部分の撮影距離に応じたサイズとなるように作成するステップと、上記画像の全体を表す全体画像における各顔部分同士の相対位置に対応するように上記複数の顔画像同士の相対位置を決定しかつ該顔画像が全体画像中の顔部分をおおうことのないように上記全体画像と上記複数の顔画像とを組み合わせて一の合成画像を作成するステップと、を含む方法である。

本発明の画像再生装置、画像再生プログラム、記録媒体、画像再生方法によれば、全体画像の人物と顔画像の人物との対応を容易に把握することが可能となる。

また、本発明の画像再生装置によれば、顔画像の人物が全体画像における複数グループの何れに属しているかを容易に把握することが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図２３は本発明の実施形態１を示したものであり、図１は画像再生装置の構成を示すブロック図である。

この画像再生装置１は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、読出部１４と、画像記憶部１５と、表示画像作成部１６と、表示処理部１７と、表示部１８と、操作部１９と、顔情報抽出部２１と、距離判断部２２と、色判定部２３と、を有して構成されている。

これらの内の、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、読出部１４と、画像記憶部１５と、表示画像作成部１６と、表示処理部１７と、顔情報抽出部２１と、距離判断部２２と、色判定部２３とは、バスを介して相互に通信可能に接続されている。また、表示処理部１７は、表示部１８に接続されている。操作部１９は、ＣＰＵ１１に接続されている。

ＣＰＵ１１は、この画像再生装置１を統括的に制御する制御部であり、画像の再生に関する制御を行うための再生制御部１１ａを備えている。

ＲＯＭ１２は、ＣＰＵ１１により実行される制御プログラムや、この画像再生装置１内で用いられる各種のデータ等を保持する不揮発性メモリである。

ＲＡＭ１３は、ＣＰＵ１１の作業用に用いられる揮発性メモリであり、画像データ等を記憶するために用いられるようになっている。

画像記憶部１５は、例えばフラッシュメモリ等の不揮発性の記録媒体として構成されたものであり、複数の画像が記録されているものである。

読出部１４は、画像記憶部１５に記憶されている例えば圧縮された状態の画像データを読み出して、伸長処理を施した後に、ＲＡＭ１３等へ転送して書き込むものである。

表示画像作成部１６は、合成画像作成部１６ａと、顔画像作成部１６ｂと、全体画像作成部１６ｃと、を備えて構成されている。顔画像作成部１６ｂは、顔情報抽出部２１により後述するように抽出された顔部分の情報に基づいて、画像記憶部１５から読み出されてＲＡＭ１３に展開された画像から顔部分を抽出して表示部１８内に適宜の大きさで部分表示するのに適したサイズに調整し、顔画像を作成するものである。全体画像作成部１６ｃは、上記ＲＡＭ１３に展開されている画像（例えば、一千万画素の画像）のほぼ全体（ここに、「ほぼ全体」というのは、撮影画像と表示画像とのアスペクト比が異なる場合などに、撮影画像の一部が表示画像においては表示されないことがあるためである。）を、表示部１８に表示するための全体画像（例えば、２３万画素の画像）に変換するものである。合成画像作成部１６ａは、全体画像作成部１６ｃにより作成された全体画像と、顔画像作成部１６ｂにより作成された顔画像と、を組み合わせて、合成画像としての１つの表示用の画像を作成するものである。表示画像作成部１６は、合成画像作成部１６ａにより作成された表示用の画像をＲＡＭ１３に再び書き込む処理を行うようになっている。上記説明では、上記合成画像作成部１６ａによる合成前に全体画像と顔画像とを表示用にリサイズするようにしたが、これに限らず、合成処理後の合成画像に対して表示用のリサイズ処理をするようにしても良い。

表示処理部１７は、表示画像作成部１６により作成されてＲＡＭ１３に記憶されている表示用の画像データを読み出して、表示部１８へ出力するための信号に変換し、変換した信号を表示部１８へ出力するものである。

表示部１８は、表示処理部１７から入力される信号に基づき、画像を表示するものであり、例えばＬＣＤやＣＲＴ、あるいは有機ＥＬ等を含んで構成されている。

操作部１９は、この画像再生装置１に係る各種の操作を行うための操作スイッチや操作ボタン、電源スイッチ等を含むものである。この操作部１９は、さらに、顔画像表示を行うか否かを設定するためのボタン、顔画像を拡大／縮小するためのボタン、後述するカーソル（顔カーソルや人物カーソル等）を移動するためのボタン、顔画像表示に係る表示モードを設定するためのボタン、不要な顔画像を非表示とするためのボタン、遠近強調を指示するためのボタン、傾き補正を指示するためのボタン、色による区分けを指示するためのボタン等を含んでいる。

顔情報抽出部２１は、画像記憶部１５に記憶されている画像ファイルのファイルヘッダに、顔検出により得られた顔部分の情報が存在するか否かを判定し、存在する場合には該顔部分の情報を読み出す（抽出する）処理を行う。ここに、顔部分の情報は、画像における顔部分の位置や大きさの情報を含んでいる。また、顔情報抽出部２１は、ファイルヘッダに顔部分の情報が存在しない場合には、画像記憶部１５から読み出されてＲＡＭ１３に展開された画像を解析して、顔部分が存在するか否かを判定し、顔部分が存在すると判定した場合にはその大きさおよび位置を検出し（抽出し）、顔部分の情報とするものである。なお、ここでは、ファイルヘッダに顔部分の情報が記録されている場合には該情報を用い、記録されていない場合にのみ顔検出を行って顔部分の情報を取得するようにしているが、もちろん、ファイルヘッダに顔部分の情報が記録されているか否かに関わらず、必ず顔検出を行うようにしても構わない。また、この顔情報抽出部２１は、顔部分の左右の目および鼻の位置関係に基づいて顔の傾きを判定する傾き判定部としても機能するようになっている。

距離判断部２２は、複数の人物がデジタルカメラ等の撮像装置により撮影されたときの、該撮像装置から複数の人物までの距離関係（ここに「距離関係」とは、遠近のみを示す場合を含む）を判断するためのものである。この距離判断部２２が用いる技術は種々のものが考えられるが、２つ例を挙げれば、１つは画像を解析して距離を判断する方法、もう１つは撮影時に距離情報を予め検出して記憶しておき、それを読み出して距離を判断する方法、である。前者の方法は、より詳しくは、顔検出された人物同士に重なっている部分がある場合に、その重なりの前後関係を把握することにより、複数人の遠近関係に順序を与える方法である。後者の方法は、上述したように、デジタルカメラ等の撮像装置により距離情報を記録することが前提となっている。すなわち、画面中央以外の位置においても合焦可能ないわゆる多点ＡＦカメラにおいて、撮影準備動作中に、まず画面中における各顔部分を検出する。そして、検出した各顔部分の位置に対して合焦検出（コントラストＡＦ）を行うことにより、各顔部分までの撮影距離を検出する。そして、その後に画像を本撮影して、本撮影した画像を記録媒体にファイルとして書き込む際に、検出された顔部分の位置と大きさと撮影距離とをファイルヘッダ等に書き込んでおく。そして、画像再生装置１において画像を再生する際に、距離判断部２２がファイルヘッダから顔部分の位置と大きさと撮影距離とを読み出して、これらの内の撮影距離に基づいて各人物の距離関係を判断することになる。

色判定部２３は、画像中に含まれる顔検出された人物の、顔部分の近傍に位置する領域の色、例えば服の色や帽子の色などを判定するものである。

次に、図２は左右分割表示における全体画像および複数の顔画像の表示例を示す図である。

左右分割表示は、この画像再生装置１が左右分割表示モードに設定されたときに行われる表示である。表示部１８の表示画面１８ａが例えば横長であるものとすると、左右分割表示は、この表示画面１８ａを左右に分割した一方、例えば左側半分に全体画像ａを表示するとともに、分割した他方、例えば右側半分に顔画像ｂ１〜ｂ６を表示する表示方法となっている。この表示方法においては、全体画像ａにおける人物の顔と、顔画像ｂ１〜ｂ６と、が重なることはない。

この図２に示す例においては、全体画像ａに６人の人物Ｐ１〜Ｐ６が表示されており、これらの人物Ｐ１〜Ｐ６が組体操（いわゆる人間ピラミッド）を行っている画像となっている。そして、人物Ｐ１が最上段、人物Ｐ２が中段左側、人物Ｐ３が中段右側、人物Ｐ４が下段左側、人物Ｐ５が下段中央、人物Ｐ６が下段右側となっている。

一方、表示画面１８ａの右半分には、人物Ｐ１の顔画像ｂ１と、人物Ｐ２の顔画像ｂ２と、人物Ｐ３の顔画像ｂ３と、人物Ｐ４の顔画像ｂ４と、人物Ｐ５の顔画像ｂ５と、人物Ｐ６の顔画像ｂ６と、が表示される。そして、これらの顔画像ｂ１〜ｂ６は、全体画像ａにおける各人物の顔の配置とほぼ同様の配置となるように（つまり、複数の顔画像ｂ１〜ｂ６同士の相対位置が、全体画像ａにおける各人物Ｐ１〜Ｐ６の顔部分同士の相対位置に対応するように）、各配置して表示される。ここに、「複数の顔画像同士の相対位置が、全体画像における複数の顔部分同士の相対位置に対応する」ためには、ある顔部分と他の顔部分との左右方向および上下方向の位置関係が、各対応する顔画像同士において逆転していないことが望ましい。すなわち、顔画像ｂ１が最上段、顔画像ｂ２が中段左側、顔画像ｂ３が中段右側、顔画像ｂ４が下段左側、顔画像ｂ５が下段中央、顔画像ｂ６が下段右側にそれぞれ表示される。なお、この例では、顔画像同士は重なり合わないように表示されている。

このような表示方法を用いることにより、顔が顔画像としてアップで表示されている人物が、全体画像中のどの位置にいるかを一目で判別することができる。そして、全体画像の表示領域と顔画像の表示領域とが分かれているために、顔画像の認識を容易に行うことが可能となる。

次に、図３は特定の顔画像を相対的に拡大表示する例を示す図である。

顔画像には、例えば太枠や色枠（赤色枠等）やハイライト表示等で構成されるカーソルｃを表示することができるようになっている。このカーソルｃは、複数の顔画像ｂ１〜ｂ６の何れにも移動することができるようになっている。そして、この図３においては、カーソルｃは顔画像ｂ５に位置している。このとき、操作部１９のボタンを操作することにより、顔画像ｂ５の位置の画像を表示サイズを変更することなく拡大、または縮小することができるようになっている。この図３においては、拡大操作がなされ、図２に示したよりも拡大された顔画像ｂ５が表示されている例を示している。この拡大された顔画像ｂ５は、操作部１９からの拡大操作を受けた再生制御部１１ａの制御に基づき、顔画像作成部１６ｂが作成する。

同様に、図４は特定の顔画像を相対的に縮小表示する例を示す図である。

この図４に示す例においては、操作部１９を介して縮小操作がなされ、カーソルｃの位置の顔画像ｂ５が相対的に縮小表示されている。

このような処理を可能とすることにより、顔の周囲まで見たい場合や、顔をよりアップで見たい場合に対応することが可能となる。これにより、周囲の状況や、顔の表情などを観察することが可能となる。

なお、上述では特定の顔画像にカーソルｃを合わせて、該カーソル位置の画像のみを拡大または縮小する例について説明したが、全顔画像を指定して、これら全顔画像を同時に拡大／縮小するようにしても構わない。また、全体画像の方を拡大表示し、あるいは既に拡大表示されている場合には相対的に縮小表示するようにしても構わない。さらに、全体画像と顔画像の拡大縮小を連動させても良い。

次に、図５は重畳表示における全体画像および複数の顔画像の表示例を示す図である。

重畳表示は、この画像再生装置１が重畳表示モードに設定されたときに行われる表示である。重畳表示は、表示部１８の表示画面１８ａに全体画像ａを表示するとともに、この全体画像ａに重畳させて顔画像（この図５に示す例では顔画像ｂ１１〜ｂ１３）を表示する表示方法となっている。

この図５に示す例においては、全体画像ａに顔検出された３人の人物Ｐ１１〜Ｐ１３が表示されており、これらの人物Ｐ１１〜Ｐ１３が徒競走（リレー）を行っている画像となっている。そして、人物Ｐ１１が画面上の左側、人物Ｐ１２が画面上の真中、人物Ｐ１３が画面上の右側、に各位置している。

これらの人物の顔位置付近から、顔画像が全体画像の中の何れの顔部分に対応するものであるかを明示する情報として吹き出しが出されており、人物Ｐ１１から出された吹き出し内に人物Ｐ１１の顔画像ｂ１１が、人物Ｐ１２から出された吹き出し内に人物Ｐ１２の顔画像ｂ１２が、人物Ｐ１３から出された吹き出し内に人物Ｐ１３の顔画像ｂ１３が、それぞれ表示されている。このとき、各吹き出しは、各人物の顔の配置とほぼ同配置であって、かつ各人物の顔に重なることのないように、配置されている。また、この図５に示す例においても、顔画像同士が重なり合うことのないように表示されている。

このような吹き出しを用いた表示方法を採用することにより、顔が顔画像としてアップで表示されている人物が、全体画像中のどの位置にいるかを一目で明確に判別することが可能となる。

次に、図６および図７を参照して、不要な顔画像を非表示とする例について説明する。ここに、図６は不要な顔画像が表示されている様子を示す図、図７は不要な顔画像が非表示とされた後の様子を示す図である。

図６および図７に示す画像の撮影シーンは、図５と同様である。すなわち、徒競走を行っている主要人物Ｐ１１〜Ｐ１３の背景に、多数の観客が写っているシーンである。このとき、顔検出は自動的に行われる処理であるために、主要人物Ｐ１１〜Ｐ１３以外の観客である人物Ｐ１４に対しても顔検出が行われることがある。この場合には、顔画像を自動的に表示する処理を行うと、図６に示すように、人物Ｐ１４の顔付近から吹き出しが出されて、この吹き出し内に人物Ｐ１４の顔画像ｂ１４が表示されることになる。これに対して、主要人物Ｐ１１〜Ｐ１３の顔画像ｂ１１〜ｂ１３のみを表示したい場合には、図示しないカーソル等を顔画像ｂ１４に合わせた後に、操作部１９のボタンを操作することにより、この顔画像ｂ１４を非表示とすることができ、このときの様子を示すのが図７である。

なお、このような顔画像の非表示は、図２に示したような左右分割表示においても同様に行うことが可能である。

こうして不要な顔画像を非表示とすることができるようにしたために、見たい顔のみを顔画像として観察することができる。

続いて、図８は第１の遠近強調を行った重畳表示の例を示す図である。

この図８に示す画像の撮影シーンも、上述した図５と同様である。そして、この図８に示す例においては、顔画像同士の遠近強調が行われている。すなわち、距離判断部２２は、人物Ｐ１１が最も手前（カメラから見て近距離）に位置し、次に人物Ｐ１３が位置し、人物Ｐ１２が最も遠くに位置すると判断したものとする。合成画像作成部１６ａは、この距離判断部２２からの情報に基づいて、顔画像同士の辺縁部を重ねて表示することにより、その重なりの前後関係から、顔画像同士の遠近関係を強調するようになっている。すなわち、合成画像作成部１６ａは、顔画像ｂ１２よりも左側手前に顔画像ｂ１１を重ね、かつ顔画像ｂ１２よりも右側手前に顔画像ｂ１３を重ねるように、全体画像に対して顔画像を重畳する。なお、この遠近強調においては、顔画像と人物との対応をより取り易いために吹き出し部分が表示されていないが、もちろん表示するようにしても構わない。

このような表示を行うことにより、表示面積が少ない場合でも顔画像を大きく表示することができるとともに、顔画像同士の遠近関係が分かり易いために、例えば徒競走している人物Ｐ１１〜Ｐ１３の順位もより容易に把握することが可能となる。

次に、図９は第２の遠近強調を行った重畳表示の例を示す図である。

この図９に示す画像の撮影シーンも、上述した図５と同様である。そして、この図９に示す例においても、図８に示した手段とは異なる手段により、顔画像同士の遠近強調が行われている。すなわち、顔画像作成部１６ｂは、上述したような距離判断部２２からの情報に基づいて、顔画像ｂ１１の表示サイズが最も大きくなり、顔画像ｂ１３が中くらいの表示サイズとなり、顔画像ｂ１２の表示サイズが最も小さくなるように、各顔画像を作成する。そして、合成画像作成部１６ａは、これらの顔画像ｂ１１〜ｂ１３を、顔画像同士が重なることのないように、全体画像ａに対して各人物Ｐ１１〜Ｐ１３の顔の配置とほぼ同様の配置となるように重畳する。

このような表示を行うことによっても、顔画像同士の遠近関係を容易に把握することが可能となる。そして、表示に自然なメリハリを出すことができる。

なお、この第２の遠近強調においても吹き出し部分は表示されていないが、もちろん表示するようにしても構わない。また、ここでは、撮影距離が相対的に近いときには顔画像の表示サイズが相対的に大きく、撮影距離が相対的に遠いときには顔画像の表示サイズが相対的に小さくなるようにしているが、これに限るものではない。例えば、撮影距離が遠いからといって顔画像の表示サイズを小さくしすぎると、顔画像として表示する意味がなくなってしまうために、表示サイズには下限を設けることも考えられるなど、適応的に対応すると良い。

次に、図１０は中心分割表示における全体画像および複数の顔画像の表示例を示す図である。

中心分割表示は、この画像再生装置１が中心分割表示モードに設定されたときに行われる表示である。

この中心分割表示においては、表示画面１８ａの中央に全体画像ａが表示され、この全体画像ａを取り囲むように顔画像ｂ２１〜ｂ２８が表示されている。このときの各顔画像ｂ２１〜ｂ２８の配置も、全体画像ａにおける各対応する人物の配置とほぼ同様になるように行われる。このような表示は、輪を描くように人物が分布している画像を表示するのに適している。従って、テーブルの周りに人が座している食事のシーンや会議のシーンなどが、適するシーンの例として挙げられる。

続いて、図１１および図１２を参照して、顔画像の傾き補正を行う例について説明する。ここに、図１１は顔画像の傾き補正が行われる前の例を示す図、図１２は顔画像の傾き補正が行われた後の例を示す図である。

図１１および図１２に示す画像の撮影シーンは、３人の人物Ｐ３１〜Ｐ３３が逆立ちをしているシーンである。

このような画像を顔検出して顔画像を自動的に表示すると、図１１に示すように、逆立ちを行っているために上下逆になった顔画像ｂ３１〜ｂ３３が表示されることになる。そこで、この画像再生装置１に傾き補正モードが設定されている場合には、顔情報抽出部２１がＲＡＭに展開された画像における各顔部分の左右の目および鼻の位置関係を検出して、顔が正立する方向を判定する。そして、合成画像作成部１６ａが、この判定結果に基づき、顔が正立する向きとなるように顔画像ｂ３１〜ｂ３３を回転させて図１２に示すような顔画像ｂ３１’〜ｂ３３’を作成した後に、全体画像との合成を行い、図１２に示すような表示画像を構成するようになっている。なお、ここでは合成画像作成部１６ａが顔画像を回転させるようにしたが、これに代えて、顔画像作成部１６ｂが上記判定結果に基づき、顔部分が正立する向きとなるように顔部分を回転させた顔画像を作成するようにしても構わない。これにより、全体画像においては傾いている顔であっても、顔画像としては正立した向きの顔が表示されるために、顔やその表情などを容易に判読することが可能となる。

なお、このような傾き補正を行う場合には、顔画像が適宜の角度で回転されることになるために、これら図１１および図１２に示すように、顔画像の枠を円形とすると良い。この場合には、四角い枠が傾いて表示される等の状態を未然に防止することが可能となる。また、この傾き補正を他の表示モードにおいて行ってももちろん構わない。そして、ここでは傾いている顔を正立した向きの顔画像にするようにしたが、必ずしも正立した向きの顔画像にするには限らない。例えば、横臥している人物が顔をかしげている場合には、人物全体を直立するように回転させたとしても顔が斜めにかしげられていることになるために、このような顔がやや傾いた状態にするようにしても構わない。

また、図１３は上下分割表示における全体画像および複数の顔画像の表示例を示す図である。

上下分割表示は、この画像再生装置１が上下分割表示モードに設定されたときに行われる表示である。上下分割表示は、この表示画面１８ａを上下に分割した一方、例えば上側に全体画像ａを表示するとともに、分割した他方、例えば下側に顔画像ｂ３１’〜ｂ３３’を表示する表示方法となっている。なお、この図１３に示す画像の撮影シーンは、図１２に示したシーンと同様であり、傾き補正も同様に行われている。

このような上下分割表示は、画像再生装置１の表示画面１８ａがこの図１３に示すように横長である場合にももちろん利用可能であるが、画像再生装置１が例えばハンディタイプのものであって、保持する姿勢を変えることにより縦長の表示画面１８ａとすることができるものである場合に、より有効に利用することが可能である。そして、全体画像の表示領域と顔画像の表示領域とが分かれているために、顔画像の認識を容易に行うことが可能となる。

次に、図１４は色判定を行った結果に基づき顔画像をグループ表示する例を示す図である。

この図１４に示すような表示は、この画像再生装置１が色による区分けを行う表示モード（グループ表示モードと称しても良い）に設定されたときに行われる表示である。図１４に示す画像の撮影シーンは、多人数の人物が２つのグループに分かれてサッカー等の球技を行っているシーンである。各グループは、それぞれ異なる色のユニフォームを着用しており、色判定部２３が、顔部分の近傍に位置する領域の色判定を行い、判定された色に応じて顔部分を複数のグループに分類する処理を行う。

ここでは、例えば赤色のユニフォームを着用したグループに属するのが人物Ｐ１ｒ，Ｐ２ｒ，Ｐ３ｒ，…であるものとし、白色のユニフォームを着用したグループに属するのが人物Ｐ１ｗ，Ｐ２ｗ，Ｐ３ｗ，…であるものとする。

このとき、一方のグループ、例えば赤色のユニフォームを着用したグループのメンバーの顔画像ｂ１ｒ，…が表示画面１８ａの左上に重畳して配列され、他方のグループ、例えば白色のユニフォームを着用したグループのメンバーの顔画像ｂ１ｗ，…が表示画面１８ａの右上に重畳して配列される。ここに、顔画像の重畳を行うのは、顔検出された人数が多く、全員の顔画像を重畳することなく表示するのは困難であるためである。また、重畳するときの順序は、全体画像ａ中の各人物の位置に対応する順序であることが望ましいが、それ以外の順序、例えば各人物までの距離に応じた順序にしても構わない。この図１４に示す例においては、一例として、人物Ｐ１ｒの顔画像ｂ１ｒと人物Ｐ１ｗの顔画像ｂ１ｗとが、各重畳された顔画像の最前面に配置されている。また、この図１４に示す例においては、顔画像の重畳を、左右方向にずらすだけでなく、上下方向にもずらして行っている。

このような表示法を用いれば、顔画像のグループ分けがなされているために、各顔画像の人物が何れのグループに属するかを容易に把握することが可能となる。

続いて、図１５および図１６を参照して、顔カーソルおよび人物カーソルを用いた全体画像中の人物と顔画像との対応について説明する。図１５はある人物に対して顔カーソルおよび人物カーソルが表示されるときの様子を示す図、図１６は他の人物に対して顔カーソルおよび人物カーソルが表示されるときの様子を示す図である。

まず、図１５および図１６に示す画像の撮影シーンは、上述した図１４と同様である。そして、図１５に示す例においては、人物Ｐ１ｗの顔部分に人物カーソルＣ１が位置するとともに、この人物Ｐ１ｗの顔画像ｂ１ｗに顔カーソルＣ２が位置している。これら人物カーソルＣ１と顔カーソルＣ２との組み合わせは、顔画像が全体画像の中の何れの顔部分に対応するものであるかを明示する情報となっている。ここに、人物カーソルＣ１および顔カーソルＣ２は、上述したカーソルｃと同様に、例えば太枠や色枠（赤色枠等）やハイライト表示等として表示される。なお、人物カーソルＣ１の表示態様と顔カーソルＣ２の表示態様とは異ならせると良い。また、人物カーソルＣ１は、全体画像内の所望の位置を自由に移動することができるようにしても良いし、全体画像内における顔部分の位置のみを飛び飛びに移動することができるようにしても構わない。

次に、図１５に示すような状態において、操作部１９のボタンを操作することにより、例えば全体画像ａにおいて人物カーソルＣ１を人物Ｐ２ｒの顔部分に移動させたとする。すると、図１６に示すように、顔カーソルＣ２が自動的に該人物Ｐ２ｒの顔画像ｂ２ｒの位置に移動して、該顔カーソルＣ２が位置する顔画像ｂ２ｒが自動的に最前面に表示される。

一方、図１５に示すような状態において、操作部１９のボタンを操作することにより、顔カーソルＣ２を顔画像ｂ１ｗの位置から顔画像ｂ２ｒの位置へ移動させたとする。すると、図１６に示すように、顔画像ｂ２ｒが自動的に最前面に表示されるとともに、人物カーソルＣ１が自動的に、人物Ｐ１ｗの顔部分の位置から人物Ｐ２ｒの顔部分の位置へ移動する。

このような表示を行うことにより、全体画像における特定の人物の顔を見たい場合に、人物カーソルＣ１を該特定の人物の顔部分に合わせれば、顔カーソルＣ２が自動的に該特定の人物の顔画像に移動して該顔画像が最前面に表示されるために、簡単に見ることができる。一方、ある顔画像の人物が全体画像中でどこにいるかを知りたい場合には、顔カーソルＣ２をその顔画像に合わせれば、人物カーソルＣ１がその顔画像の人物の顔部分の位置に自動的に移動するために、簡単に知ることができる。

次に、図１７は、画像再生装置１の処理の流れを示すフローチャートである。

この処理を開始すると、まず、操作部１９を介して画像の選択が行われる（ステップＳ１１）。

すると、再生制御部１１ａの制御に基づいて、読出部１４が画像記憶部１５から選択された画像を読み出して伸長処理を行い、ＲＡＭ１３に書き込む（ステップＳ１２）。

続いて、顔画像を表示する指示が操作部１９を介してユーザからなされているか否かを判定し（ステップＳ１３）、なされていないと判定された場合には、選択された画像を通常通りに再生する（つまり、全体画像のみを表示し、顔画像は表示しない）（ステップＳ１４）。

また、ステップＳ１３において、顔画像を表示する指示がなされていると判定された場合には、顔情報抽出部２１が画像ファイルのヘッダから顔情報を抽出する（ステップＳ１５）。なお、このステップＳ１５の処理は、デジタルカメラ等の撮像装置において顔検出が行われ、顔部分の情報がファイルのヘッダに記録されている場合に行われる。一方、もし撮像装置側で顔検出が行われていない場合には、この画像再生装置１内において顔検出の処理を行い、顔部分の情報を抽出することになる。

次に、表示モードの設定を行う（ステップＳ１６）。ここでは、例えば図２等に示したような左右分割表示モードや、図５等に示したような重畳表示モード、図１０に示したような中心分割表示モード、図１３に示したような上下分割表示モードなどの内の何れかの選択がユーザにより操作部１９を介して行われた場合には該表示モードを設定し、ユーザからの設定入力がない場合には所定の表示モードを設定する。

そして、表示モードに応じた表示を、後述するように行う（ステップＳ１７）。

続いて、拡大縮小処理を行い（ステップＳ１８）、一部非表示の処理を行い（ステップＳ１９）、遠近強調表示の処理を行い（ステップＳ２０）、傾き補正の処理を行い（ステップＳ２１）、色による区分け処理を行い（ステップＳ２２）、操作部１９を介して終了指示がなされたか否かを判定して（ステップＳ２３）、まだなされていない場合にはステップＳ１１へ戻って上述したような処理を繰り返して行い、なされた場合にはこの処理を終了する。

次に、図１８は図１７のステップＳ１７における表示モードに応じた表示の処理を示すフローチャートである。

この処理を開始すると、まず、重畳表示が設定されているか否かを判定し（ステップＳ３１）、設定されていると判定された場合には、図５等に示したような重畳表示を行う（ステップＳ３２）。

また、ステップＳ３１において、重畳表示が設定されていないと判定された場合には、分割表示が設定されていることになるために、次に、設定されている分割表示の種類を判定する（ステップＳ３３）。

このステップＳ３３において、種類が左右分割であると判定された場合には、図２等に示したような左右分割表示を行い（ステップＳ３４）、種類が上下分割であると判定された場合には、図１３に示したような上下分割表示を行い（ステップＳ３５）、種類が中心分割であると判定された場合には、図１０に示したような中心分割表示を行う（ステップＳ３６）。

こうして、ステップＳ３２、ステップＳ３４、ステップＳ３５、またはステップＳ３６の何れかの処理を行ったら、この処理から図１７に示した処理にリターンする。

続いて、図１９は図１７のステップＳ１８における拡大縮小の処理を示すフローチャートである。

この処理を開始すると、まず、操作部１９を介してカーソルを移動する操作がなされたか否かを判定する（ステップＳ４１）。

ここで、カーソルが移動されたと判定された場合には、移動操作に応じてカーソルを特定の顔画像に表示する（ステップＳ４２）。

次に、操作部１９を介してアップ操作がなされたか否かを判定し（ステップＳ４３）、アップ操作がなされたと判定された場合には、カーソルが表示されている顔画像の拡大表示を行う（ステップＳ４４）。

このステップＳ４４の処理が終了するか、またはステップＳ４３においてアップ操作がなされていないと判定された場合には、次に、操作部１９を介してダウン操作がなされたか否かを判定する（ステップＳ４５）。

ここで、ダウン操作がなされたと判定された場合には、カーソルが表示されている顔画像の縮小表示を行う（ステップＳ４６）。

このステップＳ４６の処理が終了した場合、ステップＳ４１においてカーソルが移動されていないと判定された場合、またはステップＳ４５においてダウン操作がなされていないと判定された場合には、この処理から図１７に示した処理にリターンする。

図２０は図１７のステップＳ１９における一部非表示の処理を示すフローチャートである。

この処理を開始すると、まず、操作部１９を介してカーソルを移動する操作がなされたか否かを判定する（ステップＳ５１）。

ここで、カーソルが移動されたと判定された場合には、移動操作に応じてカーソルを特定の顔画像に表示する（ステップＳ５２）。

次に、操作部１９を介して非表示操作がなされたか否かを判定し（ステップＳ５３）、非表示操作がなされたと判定された場合には、カーソルが表示されている顔画像を非表示にする（ステップＳ５４）。

このステップＳ５４の処理が終了した場合、ステップＳ５１においてカーソルが移動されていないと判定された場合、またはステップＳ５３において非表示操作がなされていないと判定された場合には、この処理から図１７に示した処理にリターンする。

図２１は図１７のステップＳ２０における遠近強調表示の処理を示すフローチャートである。

この処理を開始すると、まず、操作部１９を介して遠近強調の指示がなされたか否かを判定する（ステップＳ６１）。

ここで、遠近強調の指示がなされたと判定された場合には、各顔画像に対応する人物の遠近判断を行う（ステップＳ６２）。

そして、ステップＳ６２の遠近判断結果に基づいて、例えば図８や図９に示したような遠近強調表示の処理を行う（ステップＳ６３）。

このステップＳ６３の処理が終了した場合、またはステップＳ６１において遠近強調の指示がなされていないと判定された場合には、この処理から図１７に示した処理にリターンする。

図２２は図１７のステップＳ２１における傾き補正の処理を示すフローチャートである。

この処理を開始すると、まず、操作部１９を介して傾き補正の指示がなされたか否かを判定する（ステップＳ７１）。

ここで、傾き補正の指示がなされたと判定された場合には、画像中の各顔部分の左右の目の位置や鼻の位置などを解析することにより、傾き判断を行う（ステップＳ７２）。

そして、ステップＳ７２の傾き判断結果に基づいて、顔画像に傾きがあるか否かを判定し（ステップＳ７３）、傾きがあると判定された場合には、例えば図１１および図１２を参照して説明したような傾き補正を行う（ステップＳ７４）。

このステップＳ７４の処理が終了した場合、ステップＳ７１において傾き補正の指示がなされていないと判定された場合、またはステップＳ７３において傾きがないと判定された場合には、この処理から図１７に示した処理にリターンする。

図２３は図１７のステップＳ２２における色による区分けの処理を示すフローチャートである。

この処理を開始すると、まず、操作部１９を介して色による区分けの指示がなされたか否かを判定する（ステップＳ８１）。

ここで、色による区分けの指示がなされたと判定された場合には、画像における各顔部分の近傍の領域の色判定を行う（ステップＳ８２）。

そして、ステップＳ８２の色判定結果に基づいて、顔画像をグループに分類し、グループ毎に顔画像をまとめて表示する区分け表示（グループ表示）を行う（ステップＳ８３）。

続いて、操作部１９を介してカーソルを表示する指示がなされたか否かを判定する（ステップＳ８４）。

ここで、カーソルを表示する指示がなされたと判定された場合には、上記図１５、図１６等に示したように、全体画像に人物カーソルＣ１を表示するとともに、人物カーソルＣ１が表示されている人物に対応する顔画像に顔カーソルＣ２を表示する（ステップＳ８５）。

その後、操作部１９を介して何れかのカーソルを移動する操作がなされたか否かを判定する（ステップＳ８６）。

ここで、何れかのカーソルを移動する操作がなされたと判定された場合には、移動されたのが顔カーソルＣ２であるか否かを判定する（ステップＳ８７）。

ここで、移動されたのが顔カーソルＣ２であると判定された場合には、該顔カーソルＣ２の移動操作によって選択された顔画像を、重畳された顔画像グループの最前面に表示するとともに（ステップＳ８８）、選択された顔画像に顔カーソルＣ２を表示する（ステップＳ８９）。

次に、選択された顔に対応する全体画像中の人物を判定し（ステップＳ９０）。判定された人物の顔部分に人物カーソルＣ１を移動する（ステップＳ９１）。

一方、ステップＳ８７において、移動されたのが顔カーソルＣ２でないと判定された場合には、移動されたのが人物カーソルＣ１であることになるために、該人物カーソルＣ１の移動操作によって選択された場所に人物カーソルＣ１を表示するとともに（ステップＳ９２）、選択された人物に対応する顔画像を判定する（ステップＳ９３）。

そして、判定された顔画像を、重畳された顔画像グループの最前面に表示するとともに（ステップＳ９４）、判定された顔画像に顔カーソルＣ２を移動表示する（ステップＳ９５）。

こうして、ステップＳ９１もしくはステップＳ９５の処理が終了した場合、ステップＳ８１において色による区分けの指示がなされていないと判定された場合、ステップＳ８４においてカーソルを表示する指示がなされていないと判定された場合、またはステップＳ８６においてカーソルを移動する操作がなされていないと判定された場合には、この処理から図１７に示した処理にリターンする。

このような実施形態１によれば、顔検出の結果に基づき得られる複数の顔画像を全体画像とともに表示する際に、顔画像同士の位置関係が、全体画像における各顔画像に対応する顔部分の位置関係にほぼ対応するようにしたために、表示されている顔画像がどの人物の顔画像であるかを視覚的に容易に把握することが可能となる。

そして、複数の表示モードから所望の表示モードを選択することができるために、選択肢の中から画像に最も適した表示を行うことが可能となる。

また、所望の顔画像を拡大しあるいは縮小して表示することができるために、より拡大して見たいときや、より周囲の状況も見たいときに対応することができる。

さらに、所望の顔画像を非表示とすることができるために、顔検出によって自動的に表示される顔画像の内の不要な顔画像の表示を行わないようにすることが可能となる。

加えて、距離判断の結果に基づいて顔画像の遠近強調を行うことができるようにしたために、全体画像中の人物同士の位置関係をより容易に把握することが可能となる。

そして、必要に応じて傾き補正を行うことができるようにしたために、全体画像中では傾いている顔も、正立した向きの顔画像として見易く観察することが可能となる。

また、顔画像を、顔部分の近傍の領域の色によりグループ分けすることができるようにしたために、複数のグループが写っている全体画像において、顔画像をグループ毎に見易く表示することができる。

なお、以上の実施形態において、図１７〜図２３のフローチャートは、ソフトウェア処理を行うＣＰＵ１１とハードウェア処理を行う読出部１４、表示画像作成部１６、表示処理部１７、表示部１８、顔情報抽出部２１、距離判断部２２、色判定部２３等との組み合わせにより実行される旨を説明した。しかし、ソフトウェア処理とハードウェア処理とをどのように組み合わせるかは、これに限られるものではなく、任意の設計事項とすることができる。そして、ＣＰＵ１１によるソフトウェア処理は、ＲＯＭ１２に格納されているソフトウェアプログラムがＣＰＵ１１により読み出され、読み出されたソフトウェアプログラムに従ってＣＰＵ１１自体が上記動作を行い、あるいはＣＰＵ１１が他の構成要素に上記動作を行わせることによって、実現されるものである。従って、上述したソフトウェアプログラム自体がＣＰＵ１１の機能を実現することになるために、このプログラムは本発明を構成する。また、このプログラムを格納している記録媒体も本発明を構成する。ここに、記録媒体としては、フラッシュメモリやＩＣカード等の半導体メモリ、ハードディスクや磁気テープ等の磁気記録媒体、ＣＤ−ＲＯＭやＤＶＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、などの何れをも用いることが可能である。加えて、上述したような処理を行う方法も、本発明を構成する。

また、上述した各実施形態においては、本発明を画像再生装置に適用した例を説明したが、これに限らず、例えばデジタルカメラ等の撮像装置に内蔵される画像再生部や、携帯電話のカメラ部に内蔵される画像再生部、あるいはその他の機器に内蔵される画像再生部に適用しても良い。

そして、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、全体画像と顔部分が拡大された顔画像とを同時に表示し得る画像再生装置、画像再生プログラム、記録媒体、画像再生方法に好適に利用することができる。

本発明の実施形態１における画像再生装置の構成を示すブロック図。 上記実施形態１において、左右分割表示における全体画像および複数の顔画像の表示例を示す図。 上記実施形態１において、特定の顔画像を相対的に拡大表示する例を示す図。 上記実施形態１において、特定の顔画像を相対的に縮小表示する例を示す図。 上記実施形態１において、重畳表示における全体画像および複数の顔画像の表示例を示す図。 上記実施形態１において、不要な顔画像が表示されている様子を示す図。 上記実施形態１において、不要な顔画像が非表示とされた後の様子を示す図。 上記実施形態１において、第１の遠近強調を行った重畳表示の例を示す図。 上記実施形態１において、第２の遠近強調を行った重畳表示の例を示す図。 上記実施形態１において、中心分割表示における全体画像および複数の顔画像の表示例を示す図。 上記実施形態１において、顔画像の傾き補正が行われる前の例を示す図。 上記実施形態１において、顔画像の傾き補正が行われた後の例を示す図。 上記実施形態１において、上下分割表示における全体画像および複数の顔画像の表示例を示す図。 上記実施形態１において、色判定を行った結果に基づき顔画像をグループ表示する例を示す図。 上記実施形態１において、ある人物に対して顔カーソルおよび人物カーソルが表示されるときの様子を示す図。 上記実施形態１において、他の人物に対して顔カーソルおよび人物カーソルが表示されるときの様子を示す図。 上記実施形態１における画像再生装置の処理の流れを示すフローチャート。 上記実施形態１において、図１７のステップＳ１７における表示モードに応じた表示の処理を示すフローチャート。 上記実施形態１において、図１７のステップＳ１８における拡大縮小の処理を示すフローチャート。 上記実施形態１において、図１７のステップＳ１９における一部非表示の処理を示すフローチャート。 上記実施形態１において、図１７のステップＳ２０における遠近強調表示の処理を示すフローチャート。 上記実施形態１において、図１７のステップＳ２１における傾き補正の処理を示すフローチャート。 上記実施形態１において、図１７のステップＳ２２における色による区分けの処理を示すフローチャート。

符号の説明

１…画像再生装置
１１…ＣＰＵ
１１ａ…再生制御部
１２…ＲＯＭ
１３…ＲＡＭ
１４…読出部
１５…画像記憶部
１６…表示画像作成部
１６ａ…合成画像作成部
１６ｂ…顔画像作成部
１６ｃ…全体画像作成部
１７…表示処理部
１８…表示部
１８ａ…表示画面
１９…操作部
２１…顔情報抽出部
２２…距離判断部
２３…色判定部

Claims (15)

1. 画像における複数の顔部分の情報を抽出する顔情報抽出部と、
   抽出された複数の顔部分の情報に基づいて、上記画像から、上記画像における該顔部分よりも拡大された複数の顔画像を作成する顔画像作成部と、
   上記画像の全体を表す全体画像と上記複数の顔画像とを組み合わせて一の合成画像を作成する合成画像作成部と、
   を具備し、
   上記合成画像作成部は、上記全体画像における各顔部分同士の相対位置に対応するように、上記複数の顔画像同士の相対位置を決定し、かつ該顔画像が該全体画像中の顔部分をおおうことのないように、上記合成画像を作成するものであることを特徴とする画像再生装置。
2. 上記合成画像作成部は、上記複数の顔画像が表示される領域と、上記全体画像が表示される領域と、が異なる領域となるように合成画像を作成するものであることを特徴とする請求項１に記載の画像再生装置。
3. 拡大率を入力するための操作部をさらに具備し、
   上記顔画像作成部は、上記全体画像における顔部分に対する顔画像の拡大率が、入力された拡大率に応じたものとなるように、顔画像を作成するものであることを特徴とする請求項１に記載の画像再生装置。
4. 上記合成画像作成部は、上記顔画像が上記全体画像の中の何れの顔部分に対応するものであるかを明示する情報を付加して合成画像を作成するものであることを特徴とする請求項１に記載の画像再生装置。
5. 上記各顔部分の撮影距離を判断する距離判断部をさらに具備し、
   上記顔画像作成部は、顔画像の表示サイズが該顔画像に対応する顔部分の撮影距離に応じたサイズとなるように、顔画像を作成するものであることを特徴とする請求項１に記載の画像再生装置。
6. 上記顔画像作成部は、上記撮影距離が相対的に近いときには相対的に大きな表示サイズとなり、該撮影距離が相対的に遠いときには相対的に小さな表示サイズとなるように、顔画像を作成するものであることを特徴とする請求項５に記載の画像再生装置。
7. 顔画像を非表示にする入力操作を行うための操作部をさらに具備し、
   上記合成画像作成部は、合成画像を作成する際の対象から、非表示の入力操作が行われた顔画像を除外して、合成画像を作成するものであることを特徴とする請求項１に記載の画像再生装置。
8. 上記合成画像作成部は、上記顔画像を、上記全体画像における顔部分とは異なる傾きに回転させてから、合成画像を作成するものであることを特徴とする請求項１に記載の画像再生装置。
9. 上記顔情報抽出部は、さらに、上記画像における顔部分の傾きを顔部分の情報として抽出するものであり、
   上記合成画像作成部は、抽出された顔部分の傾きに基づいて、該顔部分が正立するように上記顔画像を回転させてから、合成画像を作成するものであることを特徴とする請求項８に記載の画像再生装置。
10. 上記顔画像作成部は、上記全体画像における顔部分とは異なる傾きに回転された顔画像を作成するものであることを特徴とする請求項１に記載の画像再生装置。
11. 画像における複数の顔部分の情報を抽出する顔情報抽出部と、
    抽出された複数の顔部分の情報に基づいて、上記画像から、上記画像における該顔部分よりも拡大された複数の顔画像を作成する顔画像作成部と、
    上記顔部分の近傍に位置する領域の色を判定する色判定部と、
    判定された色に応じて、上記複数の顔画像をグループに分類し、分類されたグループ毎にまとめられた上記複数の顔画像と、上記画像の全体を表す全体画像と、を組み合わせて一の合成画像を作成する合成画像作成部と、
    を具備し、
    上記合成画像作成部は、上記顔画像が上記全体画像中の顔部分をおおうことのないように、上記合成画像を作成するものであることを特徴とする画像再生装置。
12. 上記合成画像作成部は、上記顔画像が上記全体画像の中の何れの顔部分に対応するものであるかを明示する情報を付加して合成画像を作成するものであることを特徴とする請求項１１に記載の画像再生装置。
13. コンピュータに、
    画像における複数の顔部分の情報を抽出するステップと、
    上記各顔部分の撮影距離を判断するステップと、
    抽出された複数の顔部分の情報に基づいて、上記画像から、上記画像における該顔部分よりも拡大された複数の顔画像を、顔画像の表示サイズが該顔画像に対応する顔部分の撮影距離に応じたサイズとなるように作成するステップと、
    上記画像の全体を表す全体画像における各顔部分同士の相対位置に対応するように、上記複数の顔画像同士の相対位置を決定し、かつ該顔画像が全体画像中の顔部分をおおうことのないように、上記全体画像と上記複数の顔画像とを組み合わせて一の合成画像を作成するステップと、
    を実行させるための画像再生プログラム。
14. コンピュータに、
    画像における複数の顔部分の情報を抽出するステップと、
    上記各顔部分の撮影距離を判断するステップと、
    抽出された複数の顔部分の情報に基づいて、上記画像から、上記画像における該顔部分よりも拡大された複数の顔画像を、顔画像の表示サイズが該顔画像に対応する顔部分の撮影距離に応じたサイズとなるように作成するステップと、
    上記画像の全体を表す全体画像における各顔部分同士の相対位置に対応するように、上記複数の顔画像同士の相対位置を決定し、かつ該顔画像が全体画像中の顔部分をおおうことのないように、上記全体画像と上記複数の顔画像とを組み合わせて一の合成画像を作成するステップと、
    を実行させるための画像再生プログラムを記録する、コンピュータにより読み取り可能な記録媒体。
15. 画像における複数の顔部分の情報を抽出するステップと、
    上記各顔部分の撮影距離を判断するステップと、
    抽出された複数の顔部分の情報に基づいて、上記画像から、上記画像における該顔部分よりも拡大された複数の顔画像を、顔画像の表示サイズが該顔画像に対応する顔部分の撮影距離に応じたサイズとなるように作成するステップと、
    上記画像の全体を表す全体画像における各顔部分同士の相対位置に対応するように、上記複数の顔画像同士の相対位置を決定し、かつ該顔画像が全体画像中の顔部分をおおうことのないように、上記全体画像と上記複数の顔画像とを組み合わせて一の合成画像を作成するステップと、
    を含む画像再生方法。

Images