JP2016009873A - 情報処理装置、情報処理システム、情報処理方法およびプログラム - Google Patents

Abstract

【課題】カメラ目線に近い自分撮りを良好に行えるようにする。
【解決手段】この情報処理装置は、被写体であるユーザの顔の縦方向において異なる位置から撮影された前記ユーザの顔を含む２つの画像を取得し、前記２つの画像に含まれる顔が同一人物のものであるかどうかを判定し、前記同一人物のものである場合に、一方の前記画像における目の部分の画像を他方の画像における目の部分の画像と置き換えて目線補正画像を生成するモードを作動させる制御部を具備する。
【選択図】図１

Description

本技術は、カメラによって撮影されたユーザの顔画像を処理する機能を有する情報処理装置、情報処理システムおよび情報処理方法に関する。

携帯電話、スマートフォンなどの携帯端末の楽しみ方の１つとして自分撮りがある。すなわち、携帯端末の多くにはカメラが搭載され、そのカメラによって撮影された画像をディスプレイの画面にリアルタイムで表示させることができる。このためユーザは、ディスプレイの画面で自分の顔を確認しながら、所望の表情の自分の顔を容易に撮影することができる。

通常、カメラはディスプレイの画面の位置から外れた位置に配置される。このため、ディスプレイの画面を見ながら撮影されたユーザの顔の画像は、目線がわずかにずれたものとなる。

被写体であるユーザの目線ずれを補正により修正する技術は既に知られている（例えば、特許文献２参照）。この特許文献２の技術では、カメラ付携帯電話機において、登録済みのカメラ目線画像から算出されたユーザの黒目の中心と、上カメラおよび下カメラによって各々撮影されたユーザの顔画像から顔の表示位置を修正した画像における黒目の中心とのずれ量から目線のずれ量が算出される。この目線ずれ量に基づいて、カメラ目線相当となるように目線を修正した画像が生成される。

特開２０１２−１１４５５７号公報（段落［００５１］）

スマートフォンなどの携帯端末に内蔵されたカメラを使って自分の顔を撮影した場合、目線が同様の向きに同じ程度にずれた顔ばかりが撮影される傾向がある。ユーザによっては、自分のベストショットを撮るために様々な表情での撮影を試みる。しかし、上記のような制約があるため、撮影できるカメラ目線の顔の表情のバリエーションに制限が生じるなど、カメラ目線に近い自分撮りを良好に行うには、まだまだ不十分な点がある。

以上のような事情に鑑み、本技術の目的は、カメラ目線に近い自分撮りを良好に行うことのできる情報処理装置、情報処理システム、情報処理方法およびプログラムを提供することにある。

上記の課題を解決するために、本技術に係る第１の形態の情報処理装置は、異なる位置から撮影された人物の顔を含む２つの画像に基づいて、前記２つの画像に含まれる顔が同一人物のものであるかどうかを判定し、前記同一人物のものである場合に、一方の前記画像における目の部分の画像に基づいて、他方の前記画像における目の部分の画像を変えた目線補正画像を生成させる制御部を具備する。

上記の第１の形態の情報処理装置において、前記制御部は、前記被写体であるユーザの顔の縦方向において異なる位置から第１の撮像部および第２の撮像部によって撮影された前記ユーザの顔を含む２つの画像を取得するように構成されたものであってよい。

上記の第１の形態の情報処理装置において、前記制御部は、前記目線補正画像を生成するモード時、前記被写体であるユーザの顔の縦横の向きに対して、前記第１の撮像部および前記第２の撮像部が並ぶ方向が正しいかどうかを判定し、不正の場合には、アラートを出力するように構成されたものであってよい。

上記の第１の形態の情報処理装置において、前記制御部は、前記第１の撮像部および前記第２の撮像部が並ぶ方向を正すことを誘導する情報を前記アラートとして出力するように構成されたものであってよい。

上記の第１の形態の情報処理装置において、前記第１の撮像部は、前記被写体であるユーザの顔の縦方向において上側の撮像部であり、前記第２の撮像部は、前記被写体であるユーザの顔の縦方向において下側の撮像部であり、前記第１の撮像部は撮影画像の画質が前記第２の撮像部よりも高いものであってよい。

上記の第１の形態の情報処理装置において、前記制御部は、前記目線補正画像を生成するモード時、前記被写体であるユーザの顔の縦方向における前記第１の撮像部と前記第２の撮像部との上下の位置関係が正しいかどうかを判定し、不正の場合には、アラートを出力するように構成されたものであってよい。

上記の第１の形態の情報処理装置において、前記制御部は、前記第１の撮像部と前記第２の撮像部との上下の位置関係を正すことを誘導する情報を前記アラートとして出力するように構成されたものであってよい。

上記の第１の形態の情報処理装置において、前記第１の撮像部が、前記情報処理装置に内蔵され、前記第２の撮像部が、前記情報処理装置に着脱自在に取れ付けられる別体の撮像部であってよい。

上記の第１の形態の情報処理装置において、前記制御部は、前記生成された目線補正画像に対して編集を行うように構成されたものであってよい。

本技術に係る第２の形態の情報処理装置は、異なる位置から人物の顔を撮影する撮像ユニットと、前記撮像ユニットによって撮影された前記ユーザの顔を含む２つの画像に基づいて、前記２つの画像に含まれる顔が同一人物のものであるかどうかを判定し、前記同一人物のものである場合に、一方の前記画像における目の部分の画像に基づいて、他方の前記画像における目の部分の画像を変えた目線補正画像を生成させる制御部を具備する。

本技術に係る第３の形態の情報処理方法は、制御部が、異なる位置から撮影された人物の顔を含む２つの画像に基づいて、前記２つの画像に含まれる顔が同一人物のものであるかどうかを判定し、前記同一人物のものである場合に、一方の前記画像における目の部分の画像に基づいて、他方の前記画像における目の部分の画像を変えた目線補正画像を生成させることとする。

本技術に係る第４の形態の情報処理システムは、異なる位置から撮影された人物の顔を含む２つの画像に基づいて、前記２つの画像に含まれる顔が同一人物のものであるかどうかを判定し、前記同一人物のものである場合に、一方の前記画像における目の部分の画像に基づいて、他方の前記画像における目の部分の画像を変えた目線補正画像を生成させる制御部を具備する。

本技術に係る第５の形態のプログラムは、異なる位置から撮影された人物の顔を含む２つの画像に基づいて、前記２つの画像に含まれる顔が同一人物のものであるかどうかを判定し、前記同一人物のものである場合に、一方の前記画像における目の部分の画像に基づいて、他方の前記画像における目の部分の画像を変えた目線補正画像を生成させる制御部として、コンピュータを機能させるものである。

以上のように、本技術によれば、カメラ目線に近い自分撮りを良好に行うことができる。
なお、この効果は本技術の効果として限定されるものではなく、本開示中に記載されたいずれかの効果が本技術の効果であってよい。

本技術に係る第１の実施形態の顔画像処理システムの全体構成を示す図である。 図１の顔画像処理システムにおいて２機のカメラ装置１０、２０によって各々撮像されたユーザＵの顔画像から目線補正が行われた合成画像が得られるまでの動作を画像ベースで示す図である。 図１の顔画像処理システムにおいて２機のカメラ装置１０、２０によって各々撮像されたユーザＵの顔画像から目線補正が行われた合成画像が得られるまでの別の動作を画像ベースで示す図である。 本技術に係る第２の実施形態の顔画像処理システム１Ａの構成を示す斜視図である。 図４の顔画像処理システム１Ａにおいて携帯端末４０Ａに外付けカメラ１０Ａを装着した状態を示す斜視図である。 携帯端末４０Ａのハードウェア構成を示すブロック図である。 外付けカメラ１０Ａの外観を示す斜視図である。 図７の外付けカメラ１０Ａの撮影状態を示す斜視図である。 図７の外付けカメラ１０Ａのハードウェア構成を示すブロック図である。 図４の顔画像処理システム１Ａを用いてユーザＵが自分の顔を撮影する第１の形態を示す図である。 図４の顔画像処理システム１Ａを用いてユーザＵが自分の顔を撮影する第２の形態を示す図である。 目線補正のための画像合成に失敗する例を示す図である。 目線補正のための画像合成に失敗する別の例を示す図である。 目線補正のための画像合成に失敗するさらに別の例を示す図である。 携帯端末４０Ａの横姿勢のため目線補正のための画像合成に失敗する例を示す図である。 携帯端末４０Ａの上下逆さまにより目線補正のための画像合成に失敗する例を示す図である。 第２の実施形態の携帯端末４０Ａによる条件判定およびアラートの機能に関するフローチャートである。 ２つのカメラ装置が並ぶ方向が不正である場合のアラートの例を示す図である。 ２つのカメラ装置が並ぶ方向が不正である場合のアラートの別の例を示す図である。 ２つのカメラ装置の上下の位置関係が不正である場合のアラートの例を示す図である。 ２つのカメラ装置の上下の位置関係が不正である場合のアラートの別の例を示す図である。 ４機のカメラを用いた変形例を説明する図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞

［顔画像処理システムの全体構成］
図１は、本技術に係る第１の実施形態の顔画像処理システムの全体構成を示す図である。
この顔画像処理システム１は、２機のカメラ装置１０、２０（撮像ユニット）と、撮影時にユーザＵが目線Ｅを合せる対象である目線対象物３０と、情報処理装置４０とを備える。

目線対象物３０は、より具体的には、２機のカメラ装置１０、２０の少なくとも一方により撮影されたユーザＵの顔の画像を表示するディスプレイの画面などであってよい。但し、目線対象物３０は、必ずしもディスプレイの画面である必要はない。目線対象物３０は、例えばミラーであってもよい。あるいは、ユーザＵの目線Ｅを誘導する何らかのマークを付けた物体であってもよい。なお、本技術の構成において、目線対象物３０は必須ではない。

２機のカメラ装置１０、２０は、ユーザＵの顔の縦方向において異なる２つの位置からユーザＵの顔を撮影可能なように配置される。すなわち、カメラ装置１０は、前記縦方向において相対的に上の位置からユーザＵの顔を撮影し、カメラ装置２０は、前記縦方向において相対的に下の位置からユーザＵの顔を撮影するように配置される。より具体的には、例えば、２機のカメラ装置１０、２０は、目線対象物３０に目線Ｅを合せたユーザＵの顔をユーザＵの目線Ｅの高さ位置から上に若干ずれた高さ位置とユーザＵの目線Ｅの高さ位置から下に若干ずれた高さ位置から撮像することが可能なように各々配置される。ユーザＵの目線Ｅが真正面を向いている場合、ユーザＵの顔を一方のカメラ装置１０によって目線Ｅよりやや高い位置から撮影すると、撮影された画像におけるユーザＵの顔全体は目線Ｅを含めやや下を向いたものとなる。また、ユーザＵの顔を目線Ｅよりやや低い高さから他方のカメラ装置２０で撮影すると、撮像された画像におけるユーザＵの顔全体は目線Ｅを含めやや上を向いたものとなる。

以降の説明において、ユーザＵの顔を目線Ｅよりやや高い位置から撮影するカメラ装置１０を「上カメラ装置１０」、ユーザＵの顔を目線Ｅよりやや低い位置から撮影するカメラ装置２０を「下カメラ装置２０」と本明細書で呼ぶことにする。

各々のカメラ装置１０、２０は、撮影レンズと、撮像素子と、撮像素子の出力を現像する現像処理部と、コントローラとを備える。各々のカメラ装置１０、２０は、いずれも情報処理装置４０の筐体４１（図４参照）に撮像ユニットとして搭載されたカメラであってよい。あるいは、一方のカメラが、情報処理装置４０に内蔵されたカメラで、もう一方が情報処理装置４０に着脱可能なカメラ、あるいは情報処理装置に対して独立して配置されたカメラであってもよい。あるいは各々のカメラ装置１０、２０は、情報処理装置４０に対して各々独立して設置されたカメラであってよい。
各々のカメラ装置１０、２０のより具体的な構成については、第２の実施形態で説明する。

情報処理装置４０は、２機のカメラ装置１０、２０と有線もしくは無線で通信するための通信インタフェースと、ＣＰＵ（Central Processing Unit）と、メモリと、ストレージと、ユーザのための入力部などを備える。情報処理装置４０のＣＰＵは、通信インタフェースを通じて接続された２機のカメラ装置を制御し、２機のカメラ装置１０、２０により各々撮影された２つの画像の合成処理などを行う。

なお、情報処理装置４０は、具体的には、例えば、スマートフォン、パーソナルコンピュータ、あるいは、２機のカメラ装置１０、２０とネットワークを通じて接続されたサーバ装置などであってよい。
情報処理装置４０のより具体的な構成については第２の実施形態で説明する。

［画像合成による目線補正］
上記の顔画像処理システム１において情報処理装置４０では、画像の合成処理の１つとして目線補正を行うことが可能である。
目線補正とは、次のようなものである。

ここでは情報処理装置４０としてスマートフォンを用いた場合の目線補正について説明する。例えば、スマートフォンに内蔵されたカメラでユーザが自分の顔を撮影するとき、ユーザは目線対象物であるディスプレイ画面にリアルタイムに表示された自分の顔を確認しながら、任意のタイミングでシャッターボタンを操作する。すると、その時点で撮影（表示）された画像が静止画として切り出されてストレージなどに保存される。多くのスマートフォンでは、カメラは筐体の前面においてディスプレイの画面が配置された位置から外れた位置、例えばユーザから見てディスプレイの画面よりも上の位置に配置されている。このため、ユーザが自分の顔を撮影すると、撮影された自分の顔画像は、目線の向きを含め顔全体がやや下を向いたものとなる。

一般的には、目線はやや上に向けたほうがポジティブ感があり印象的な目に見えると言われている。ユーザから見てディスプレイの画面よりも下の位置にカメラを配置すれば上向き目線の顔を撮影できるが、この場合、顔全体がやや上を向いた画像となってしまうため、上目線が引き立ちにくい。

なお、ユーザのニーズは様々であり、上目線よりも下目線の顔を撮影したい場合もある。この場合も、ユーザから見てディスプレイの画面よりもやや上の位置に配置されたカメラでユーザの顔を撮影しただけでは、単に顔全体をやや下に向けただけの顔画像となり、下目線が引き立つ顔画像とならない。

上記のように、ユーザが目線対象物３０を見ながら、その目線対象物３０の上や下に配置されたカメラでユーザの顔画像を撮影する環境においては、目線が同様の向きに同じ程度にずれた顔はがりが撮影される傾向があるため、撮影できるカメラ目線の顔の表情のバリエーションに制限が生じるなど、カメラ目線に近い自分撮りを良好に行うには、まだまだ不十分な点がある。

本技術に係る第１の実施形態の顔画像処理システム１は、このような課題を解決しようとするものである。但し、本技術の解決すべき課題はこれに限定されない。

［顔画像処理システムによる目線補正］
次に、本実施形態の顔画像処理システム１による目線補正の動作の概要を説明する。

（１）情報処理装置４０のＣＰＵ（制御部）は、メモリに格納されたアプリケーションプログラムに従って、次のように制御を行う。

図１において、まず、情報処理装置４０のＣＰＵは２機のカメラ装置１０、２０に撮像を開始させる。２機のカメラ装置１０、２０において、上カメラ装置１０はユーザＵの顔を目線Ｅよりやや高い位置から撮影するように設置され、下カメラ装置２０はユーザＵの顔を目線Ｅよりやや低い位置から撮影するように設置されている。

（２）撮影時のユーザＵの目線Ｅは、２機のカメラ装置１０、２０の間に配置された目線対象物３０、例えばディスプレイの画面にあることとする。ディスプレイの画面には、例えば、上カメラ装置１０または下カメラ装置２０によって撮影中の自分の顔画像が動画像として表示される。あるいは、２機のカメラ装置１０、２０各々によって撮影された動画像が同時に表示されてもよい。

（３）ユーザＵは、ディスプレイの画面を通して自分の顔の動画像を確認しつつ、任意のタイミングで静止画像の取り込みの指示を情報処理装置４０の入力部を操作して入力する。

（４）情報処理装置４０のＣＰＵは、ユーザＵからの静止画像の取り込みの指示を受けると、２機のカメラ装置１０、２０に静止画像の取り込みを指示する制御命令を供給する。

（５）２機のカメラ装置は各々、この制御命令に従って、ユーザＵの顔の動画像から静止画を切り出し、情報処理装置４０に伝送する。

図２は、２機のカメラ装置１０、２０によって各々撮像されたユーザＵの顔画像から目線補正が行われた合成画像が得られるまでの動作を画像ベースで示す図である。

１０１は上カメラ装置１０によって撮影された顔画像（静止画）、２０１は下カメラ装置２０によって撮影された顔画像（静止画）である。上カメラ装置１０によって撮影された顔画像１０１におけるユーザＵの顔は目線を含めてやや下向きとなり、下カメラ装置２０によって撮影された顔画像２０１におけるユーザＵの顔は目線を含めてやや上向きとなる。

（６）情報処理装置４０のＣＰＵは、２機のカメラ装置１０、２０より各々撮像された顔画像１０１、２０１から目の部分の画像１０２、２０２を検出する。ここで、顔画像における目の部分の画像１０２、２０２の検出には、例えば、統計的学習手法により、多数の人の顔画像を解析して得られた目の部分の画像の特徴データを用いるなどして行われる。

なお、情報処理装置４０のＣＰＵは、目の部分の画像の検出において、フォーカスずれなどによって、その検出が失敗に終った場合にはエラーをユーザＵに例えば表示、音声などによって通知する。

（７）情報処理装置４０のＣＰＵは、下カメラ装置２０により撮影された顔画像２０１において検出された目の部分の画像２０２を目線補正用の画像２０３として切り出す。ここで目線補正用の画像２０３は、例えば、両目を含む矩形の範囲の画像などである。

（８）情報処理装置４０のＣＰＵは、この目線補正用の画像２０３を、上カメラ装置１０により撮影された顔画像１０１において検出された目の部分の画像１０２と置き換える目線補正画像を生成する。すなわち、下カメラ装置２０により撮影された顔画像２０１から切り出された目線補正用の画像２０３と、上カメラ装置１０により撮影された顔画像において検出された目の部分の画像１０２以外の画像１０３とを画素毎に加算する。この際、情報処理装置４０のＣＰＵは、画像の繋ぎ目を目立たなくするために、繋ぎ目部分に対してアルファブレンドなどの合成処理を行ってもよい。

（９）以上により、下カメラ装置２０により撮影されたやや上向きのユーザＵの顔画像の目の部分の画像２０３を、上カメラ装置１０により撮影されたやや下向きのユーザＵの顔画像の目の部分の画像１０２と置換した合成画像１０４が得られる。本明細書では、このような画像合成を必要に応じて「上目線補正」と呼ぶ。

また、次のような目線補正も可能である。
図３に示すように、
（７Ａ）情報処理装置４０のＣＰＵは、上カメラ装置１０により撮影された顔画像１０１において検出された目の部分の画像１０２を目線補正用の画像１０５として切り出す。

（８Ａ）情報処理装置４０のＣＰＵは、この目線補正用の画像１０５を、下カメラ装置２０により撮影された顔画像２０１において検出された目の部分の画像２０２と置き換える画像合成を行う。すなわち、上カメラ装置１０により撮影された顔画像１０１から切り出された目線補正用の画像１０５と、下カメラ装置２０により撮影された顔画像において検出された目の部分の画像２０２以外の画像２０５とを画素毎に加算する。

（９Ａ）以上により、上カメラ装置１０により撮影されたやや下向きのユーザＵの顔画像の目の部分の画像１０５を、下カメラ装置２０により撮影されたやや上向きのユーザＵの顔画像の目の部分の画像１０２と置換した合成画像２０６が得られる。本明細書では、このような画像合成を必要に応じて「下目線補正」と呼ぶ。

［２機のカメラ装置１０、２０のスペックについて］
２機のカメラ装置１０、２０の画質の高低を左右するスペックに差がある場合、合成画像においてより広範囲を占める側の画像を撮影するカメラ装置のスペックがより高いことが望ましい。ここで、画質の高低を左右するスペックとしては、例えば、撮像素子のサイズ、レンズ特性などが挙げられる。もちろん、画質の高低を左右するスペックはこれらに限定されない。

例えば、上記の上目線補正では、上カメラ装置１０により撮影された顔画像１０１のうち、目の部分以外の画像１０３が合成において使用される。したがって、上カメラ装置１０は下カメラ装置２０に比較して高スペックであることが全体的な画質を高めるために望ましい。

また、下目線補正では、下カメラ装置２０により撮影された顔画像２０１のうち、目の部分以外の画像２０５が合成において使用されるので、下カメラ装置２０が上カメラ装置１０に比較して高スペックであることが全体的な画質を高めるために望ましい。

［２機のカメラ装置１０、２０により撮影された各顔画像の画調の整合］
２機のカメラ装置１０、２０の撮影時に用いられる例えば露出、ホワイトバランス、色合い、コントラスト、シャープネスなどの画調を左右する撮影パラメータの値が異なる場合、目の領域と他の領域とで画調が不自然に異なったものとなり、合成された画像であることが一目で分かるようなものになりかねない。

本実施形態の顔画像処理システム１では、撮影前に情報処理装置４０のＣＰＵが、２機のカメラ装置１０、２０の撮影パラメータの値を比較し、もし画調の違いをもたらすような差があるのであれば、少なくとも一方のカメラ装置により撮影された画像の画調を、信号処理によって、他方のカメラ装置により撮影された画像の画調に合せるようにする。

例えば、露出の値に違いがあれば、情報処理装置４０のＣＰＵは、例えば、一方のカメラ装置によって撮影された画像の輝度値を、各々のカメラ装置に設定された露出の値の差の分だけ増減させるように信号処理を行う。ホワイトバランス、色合い、コントラスト、シャープネスなどに差がある場合も同様に一方の画像に対する信号処理によって、画調の差を低減させる。

これにより、２機のカメラ装置１０、２０各々によって撮影された画像の画調を可及的に整合させることができ、合成された顔画像において、目の領域と他の領域との画調の不自然な違いを抑えることができる。

上下どちらのカメラ装置により撮影された画像の画調に揃えるかは、例えば、一意に決められていてもよいし、ユーザが適宜指定できてもよい。

なお、信号処理のトータル的な負荷を低減するために、カメラ装置から得られた顔画像の全体に信号処理を行うのではなく、合成する画像に対してのみ信号処理を行うことが望ましい。

また、ここでは、信号処理によって２つの画像の画調を合せる方法を述べたが、カメラ装置に設定されている撮影パラメータの値を一致させることによって、２機のカメラ装置１０、２０により撮影された各顔画像の画調を可及的に一致させるようにしてもよい。

すなわち、この方法は、撮影前に情報処理装置４０のＣＰＵが、２機のカメラ装置１０、２０の撮影パラメータの値を比較し、もし画調の違いをもたらすような差があるのであれば、少なくとも一方のカメラ装置の撮影パラメータの値を他方のカメラ装置の撮影パラメータの値に変更することによって実現される。あるいは、２機のカメラ装置１０、２０の撮影パラメータの値を各々の中間的な値に整合させてもよい。

以上のように、本実施形態の顔画像処理システム１では、下カメラ装置２０により撮影されたやや上向きのユーザＵの顔画像の目の部分の画像２０３を、上カメラ装置１０により撮影されたやや下向きのユーザＵの顔画像の目の部分の画像１０２と置換した合成画像１０４を得ることができる。このような顔画像は、顔全体の向きがやや下向きである中で、目の部分だけがやや上向きの顔画像となるので、顔全体がやや上を向いた画像に比べ、上目線が引き立ち、印象的な顔画像を得ることができる。

また、本実施形態の顔画像処理システム１では、上カメラ装置１０により撮影されたやや下向きのユーザＵの顔画像の目の部分の画像１０５を、下カメラ装置２０により撮影されたやや上向きのユーザＵの顔画像の目の部分の画像１０２と置換した合成画像２０６を得ることができる。このような顔画像は、顔全体の向きがやや上向きである中で、目の部分だけがやや下向きの顔画像となるので、顔全体がやや下を向いた画像に比べ、下目線が引き立ち、ユニークな顔画像を得ることができる。

＜第２の実施形態＞
次に、本技術に係る第２の実施形態の顔画像処理システム１Ａについて構成を説明する。
図４および図５は、内蔵カメラ２０Ａを備えた携帯型の情報処理装置である携帯端末４０Ａと、この携帯端末４０Ａに着脱自在に取り付けられるカメラ１０Ａとで構成される顔画像処理システム１Ａを示す斜視図である。携帯端末４０Ａに着脱自在に取り付けられるカメラ１０Ａを本明細書では「外付けカメラ１０Ａ」と呼ぶ。内蔵カメラ２０Ａと外付けカメラ１０Ａで撮像ユニットが構成される。
なお、図４は携帯端末４０Ａに外付けカメラ１０Ａを装着する前の状態を示し、図５は外付けカメラ１０Ａを装着した状態を示す。

ここで、外付けカメラ１０Ａは上記の上カメラ装置１０として用いられ、内蔵カメラ２０Ａは上記の下カメラ装置２０として用いられる。

［携帯端末４０Ａの構成］
図４および図５に示すように、携帯端末４０Ａは、ユーザが片手で把持可能なサイズおよび形状の筐体４１を有する。筐体４１は、前面、裏面および４つの側面によって構成される板状の直方体形状を有する。筐体４１の前面４２には、例えば液晶パネル、有機ＥＬパネルなどで構成されるディスプレイの画面４３が配置されている。ディスプレイの画面４３の上には透明なタッチセンサーパネル（図示省略）が配置されている。タッチセンサーパネルは、例えば、静電容量方式などのタッチセンサーパネルで構成される。タッチセンサーパネルは、ユーザによりタッチされた位置に対応する信号を生成し、この信号から座標情報を生成してＣＰＵに供給する。

携帯端末４０Ａは、上述したようにカメラ２０Ａを内蔵する。以後、このカメラ２０Ａを本明細書において「内蔵カメラ２０Ａ」と呼ぶ。

筐体４１の前面４２には、光を内蔵カメラ２０Ａの撮像レンズ（図示せず）に取り込むための光透過部４４が設けられている。この内蔵カメラ２０Ａの撮像レンズを通して取り込まれた光はＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）などの撮像素子にて電気的な信号に変換される。この電気的な信号はＡ／Ｄ変換器によって画素毎のデジタルデータに変換されてＲＡＷデータとなる。ＲＡＷデータは、信号処理回路によって、例えば、露出、ホワイトバランスなどが設定されたパラメータに従って調整され、現像処理を経て、画像データが生成される。

このように内蔵カメラ２０Ａによって得られた画像データは携帯端末４０Ａ内のＣＰＵおよび表示制御回路によって表示用のデータとされ、ディスプレイに供給されることによってディスプレイの画面４３に動画や静止画として表示される。ＣＰＵは、ユーザによって指示されたタイミングの画像データを静止画としてストレージやメディアなどに保存する。その際、例えばＪＰＥＧ（Joint Photographic Experts Group）などの特定の画像フォーマットに変換されてもよい。

次に、この携帯端末４０Ａの具体的なハードウェア構成を説明する。
図６は、この携帯端末４０Ａのハードウェア構成を示すブロック図である。この携帯端末４０Ａのハードウェア構成は、上記第１の実施形態の情報処理装置４０と同様である。

同図に示すように、携帯端末４０Ａは、ＣＰＵ（制御部）４０１、メインメモリ４０２、ストレージ４０３、内蔵カメラ（下カメラ装置）２０Ａ、ディスプレイ４０４、タッチセンサーパネル４０５、表示制御部４０６、タッチセンサー制御部４０７、姿勢センサー４０８、無線通信部４０９およびシステムバス４１０を備える。

ＣＰＵ４０１は、携帯端末４０Ａの各部の制御をしたり、メインメモリ４０２を作業空間として用いてアプリケーションプログラムを実行するための演算処理を実行したりするコントローラである。

メインメモリ４０２は、ＲＡＭ（Random Access Memory）などで構成される。メインメモリ４０２には、オペレーティングシステム、このオペレーティングシステム上で実行されるアプリケーションプログラムおよびこのアプリケーションプログラムの動作に必要な各種のデータが格納される。

ストレージ４０３は、例えば、フラッシュメモリなどの不揮発性メモリで構成される。ストレージ４０３には、メインメモリ４０２に呼び出されるオペレーティングシステム、各種のアプリケーションプログラム、画像、音声、ドキュメントなどの各種のデータのファイルが格納される。

内蔵カメラ２０Ａは、前述したように携帯端末４０Ａに内蔵されたカメラである。内蔵カメラ２０Ａは、カメラ用のアプリケーションプログラムに従ってＣＰＵ４０１によって制御される。ＣＰＵ４０１は、カメラ用のアプリケーションプログラムに従って、例えば、内蔵カメラ２０Ａの起動、撮影パラメータや解像度などの各種の撮影条件の設定、現像処理の制御、現像された画像データを表示制御部４０６に供給して動画や静止画をディスプレイ４０４に表示させる制御を行う。さらに、ＣＰＵ４０１は、カメラ用のアプリケーションプログラムに従って、目線補正のための画像合成を、内蔵カメラ２０Ａにより撮影された画像および外付けカメラ１０Ａによって撮影された画像を用いて行う。

ディスプレイ４０４は、例えば、液晶パネル、有機ＥＬ（electroluminescence）パネルなどによって構成され、携帯端末４０Ａの各種操作画面の表示、静止画および動画などの画像の表示、その他のドキュメントなどの各種のファイルの内容の表示したりする。

表示制御部４０６は、上記の各種の情報についてディスプレイ４０４の仕様に対応した表示用のデータを生成する。

タッチセンサーパネル４０５は、前述したようにディスプレイ４０４の画面においてユーザにより選択された位置の座標を検出するデバイスである。

タッチセンサー制御部４０７は、タッチセンサーパネル４０５を制御し、検出された位置に対応する座標データを生成してＣＰＵ４０１に供給する。

姿勢センサー４０８は、前述したように携帯端末４０Ａの姿勢を検知するためのセンサーである。姿勢センサー４０８は、例えば、３軸方向の加速度を検出する加速度センサーや、角速度を検出するジャイロセンサーなどにより構成される。

無線通信部４０９は、外部装置（例えば下カメラ装置２０）との間で、例えば、ＷｉＦｉ（登録商標）などの無線ＬＡＮ（Local Area Network）や、例えばＮＦＣ（Near field communication）やＢｌｕｅ Ｔｏｏｔｈ（登録商標）などの近距離無線通信などを行うためのインタフェースである。

システムバス４１０は、上記各ブロック間での各種の信号をやりとりするための伝送路である。

以上、携帯端末４０Ａの主なハードウェア構成について説明したが、その他の構成としては、例えば、ＷＷＡＮ（Wireless Wide Area Network）通信部、スピーカ、マイクロフォン、メモリカードリードライタ、バッテリおよびその制御回路、ＧＰＳ（Global Positioning System）受信部、地上デジタルテレビジョン受信部などが搭載されていてもよい。

［外付けカメラ１０Ａの構成］
図７および図８は外付けカメラ１０Ａの外観を示す斜視図である。

この外付けカメラ１０Ａは、カメラ本体１１とアダプター１２とで構成される。アダプター１２はカメラ本体１１および外部機器（例えば、携帯端末４０Ａ）の各々に対して着脱可能とされている。但し、カメラ本体１１とアダプター１２は一体化されたものであってもよい。

カメラ本体１１は、例えば円筒形の外筒部１３を有する。外筒部１３内には撮像レンズ、撮像素子、信号処理および画像処理のための回路、コントローラおよびメモリなどの制御用の回路、電源部、画像データ保存のためのストレージ、無線通信回路などが収容されている。

外筒部１３の前面側の先端部には、前後方向において移動可能とされた内筒部１４が支持されている。図８に示すように、この外付けカメラ１０Ａは、内筒部１４が外筒部１３に対して前方へ繰り出されて撮影状態とされ、前方へ繰り出されていた内筒部１４が後方へ繰り込まれて外筒部１３の内部に収納されることにより沈胴状態（図７）とされる。

内筒部１４の前面部には略矩形状の光透過孔１５が形成されている。内筒部８の前面部における後面側にはレンズバリアー９、９が開閉自在に支持されている。レンズバリアー９、９は図示しない開閉機構によって沈胴状態において閉じられ撮影状態において開かれる。従って、沈胴状態においてはレンズバリアー９、９によって内筒部８の光透過孔１５が閉塞され（図７参照）、撮影状態においてはレンズバリアー９、９によって光透過孔１５が開放される（図８参照）。

カメラ本体１１の内部には複数の撮影用のレンズ群が光軸方向に離隔して配置されており、レンズバリアー９、９によって光透過孔１５が開放されると撮影用のレンズ群に外部から光が入射される。撮影用のレンズ群を通過した光は撮像素子に入射し、画素毎の電気的な信号に変換される。画素毎の電気的な信号は、Ａ／Ｄ変換器にてデジタル信号とされ、現像処理を経て、画像データとされる。

外筒部７の前端部の周面には操作リング１６が回転自在に支持されている。操作リング１６が回動操作されることにより、マニュアルフォーカスやズームが行われレンズ群が光軸方向へ移動される。

外筒部７の外周面には、シャッターボタン１７、ズームスイッチ１８、その他の操作ボタン／スイッチが設けられている。

アダプター１２は、外部機器（例えば携帯端末４０Ａ）に掛止される一対の掛止部１９、１９を有する。一対の掛止部１９、１９は、アダプター１２に対して伸縮自在であり、かつ、任意の伸縮位置でロックすることができる。

一対の掛止部１９、１９は、アダプター１２に対して伸縮自在であることによって、この外付けカメラ１０Ａは、様々な形状およびサイズの外部機器の様々な部位に装着することができる。

［外付けカメラ１０Ａのハードウェア構成］
図９は外付けカメラ１０Ａのハードウェア構成を示すブロック図である。

同図に示すように、この外付けカメラ１０Ａは、コントローラ５０１、操作入力部５０２、撮像部５０３、信号処理部５０４、メカ駆動部５０５、電源部５０６、ストレージ５０７、無線通信部５０８およびシステムバス５０９を備える。

コントローラ５０１は、外付けカメラ１０Ａの各部を制御する。コントローラ５０１は、ＣＰＵとメモリを有する。メモリはメインメモリ４０２として用いられるＲＡＭと、電源のＯＮ／ＯＦＦ、撮像の開始、静止画の取り込み、および外部機器（例えば携帯端末４０Ａ）との通信制御などを実行するためのプログラムが格納されたＲＯＭを有する。

コントローラ５０１は、例えば、無線通信部５０８を用いて、近距離内に存在する外部機器（例えば携帯端末４０Ａ）を検出すると、電源部５０６に対して電源制御信号を出力し、外付けカメラ１０Ａ内の各部への電源の供給を開始させる。また、コントローラ５０１は、外付けカメラ１０Ａの各部への電源供給がオンであるとき、近距離内に外部機器（例えば携帯端末４０Ａ）が検出されなくなると、各部への電源供給をオフにするように電源部５０６に電源制御信号を供給する。これによりコントローラ５０１は機器検出の状態に戻る。

コントローラ５０１は、無線通信部５０８を用いて接続された外部機器（例えば携帯端末４０Ａ）からの、各種の指令を受け、その指令に応じた処理を行う。外部機器（例えば携帯端末４０Ａ）からの指示としては、例えば、撮影開始の指示、撮影中の動画からの静止画の切り出しと（例えば携帯端末４０Ａ）への無線伝送、さらにはズームアップ／ズームインなどがある。

操作入力部５０２は、ユーザからの操作入力を受け付け、操作信号をコントローラ５０１に出力する。

撮像部５０３は、撮影レンズと、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子などで構成される。

信号処理部５０４は、撮像部５０３の出力をデジタル信号に変換するＡ／Ｄ変換器と、Ａ／Ｄ変換器の出力であるＲＡＷデータに対して露光、ホワイトバランスなどの調整、現像処理などを行う。信号処理部５０４は、必要に応じて、例えばノイズ除去、色調補正、エッジ検出などを行う。

ストレージ５０７は、撮影された画像データのファイルを保存するために用いられる。ストレージ５０７は、例えば、フラッシュメモリなどで構成される。

メカ駆動部５０５は、フォーカス調整、ズーム変更のためにレンズ群を光軸方向に駆動するメカや、内筒部１４を進退させる機構、およびレンズバリアー９、９を開閉する機構などの各メカを駆動する回路である。

電源部５０６は、バッテリと、バッテリから外付けカメラ１０Ａの各部を動作させるために必要な電力を生成し、各部に供給する。

無線通信部５０８は、外部装置（例えば携帯端末４０Ａ）との間で、例えば、ＷｉＦｉ（登録商標）などの無線ＬＡＮ（Local Area Network）や、例えばＮＦＣ（Near field communication）やＢｌｕｅ Ｔｏｏｔｈ（登録商標）などの近距離無線通信などを行うためのインタフェースである。

その他、カメラ装置は、ディスプレイ、スピーカ、ＧＰＳ受信部、姿勢センサー、メディアリードライタなどを備えたものであってよい。

次に、この携帯端末４０Ａを利用するときの姿勢について説明する。
この携帯端末４０Ａの筐体４１の形状は直方体であり、１軸（Ｚ軸）の方向のサイズが特に小さいことによって薄型の直方体となっている。他の２軸（ＸＹ軸）の方向によって構成される二次元空間はディスプレイの画面４３を配置するために比較的広くなっている。筐体４１のＸ軸方向のサイズＬｘとＹ軸方向とのサイズＬｙとの関係はＬｘ＜Ｌｙである。ディスプレイの画面４３のＸ軸方向のサイズＤｘとＹ軸方向とのサイズＤｙの関係もＤｘ＜Ｄｙである。

以降の説明において、Ｙ軸方向をユーザから見て縦にした携帯端末４０Ａの姿勢を「縦姿勢」、Ｘ軸方向をユーザから見て縦にした携帯端末４０Ａの姿勢を「横姿勢」と呼ぶことにする。また、縦姿勢には、ユーザから見て内蔵カメラ２０Ａの位置がディスプレイの画面４３よりも上側となる姿勢（第１の縦姿勢）と、下側となる姿勢（第２の縦姿勢）がある。同様に、横姿勢には、ユーザから見て内蔵カメラ２０Ａの位置がディスプレイの画面４３の右側となる姿勢（第１の横姿勢）と、左側となる姿勢（第２の横姿勢）がある。

携帯端末４０Ａの上記の各姿勢は、内蔵された加速度センサーおよびジャイロセンサーなどによって検知され、例えば、ユーザから見た上下左右の向きとディスプレイの画面４３に表示される画像の上下左右の向きとが一致するように、表示データの向きが回転されるようになっている。

［顔画像処理システム１Ａの動作］
携帯端末４０Ａに、外付けカメラ１０Ａをアダプター１２を介して装着することによって、携帯端末４０Ａと外付けカメラ１０Ａとの間での例えば近距離無線通信によって互いの機器が検出される。

外付けカメラ１０Ａのコントローラ５０１は、携帯端末４０Ａを検出すると、電源部５０６に対して、外付けカメラ１０Ａの各部への電力の供給を指示する。これにより、カメラユニットは、撮影可能な状態となり、携帯端末４０Ａからの指令を待機する。

一方、携帯端末４０ＡのＣＰＵ４０１は、外付けカメラ１０Ａを検出すると、カメラ用のアプリケーションプログラムを起動させる。携帯端末４０ＡのＣＰＵ４０１は、カメラ用のアプリケーションプログラムに従って、内蔵カメラ２０Ａを起動させて撮影を開始するように制御を行う。また、携帯端末４０ＡのＣＰＵ４０１は、無線通信により、外付けカメラ１０Ａに対して撮影開始を指示する。これにより、内蔵カメラ２０Ａと外付けカメラ１０Ａの各々において撮影が開始される。

内蔵カメラ２０Ａが起動されると、この内蔵カメラ２０Ａによって撮影された画像が携帯端末４０Ａのディスプレイ４０４の画面４３に動画として表示される。

ユーザは、自分の顔を撮影するために、ディスプレイ４０４の画面４３を見ながら、携帯端末４０Ａの内蔵カメラ２０Ａの視野に自分の顔が入るように携帯端末４０Ａの位置と向きを決める。内蔵カメラ２０Ａのシャッターボタンがユーザによって操作されると、携帯端末４０ＡのＣＰＵ４０１は、その時点で撮影された画像（静止画）を目線補正に用いる第１の顔画像としてメインメモリ４０２に保持する。

また、携帯端末４０ＡのＣＰＵ４０１は、外付けカメラ１０Ａに対して、撮影中の動画からの静止画の切り出しとその静止画の伝送を無線通信によって要求する。カメラユニットのコントローラ５０１は、この要求を受けると、撮影中の動画から静止画を切り出し、この静止画を無線通信によって携帯端末４０Ａに伝送する。携帯端末４０ＡのＣＰＵ４０１は、外付けカメラ１０Ａから伝送された画像（静止画）を目線補正に用いる第２の顔画像としてメインメモリ４０２に保持する。

この後、携帯端末４０ＡのＣＰＵ４０１は、メインメモリ４０２に保持された２つの顔画像から、上述した目線補正のための合成処理を実行し、その結果をディスプレイ４０４の画面４３に表示する。
なお、２つの顔画像の画調の整合については、本実施形態においても第１の実施形態と同様に行われる。

図１０は、本実施形態の顔画像処理システム１Ａを用いてユーザが自分の顔を撮影する第１の形態を示す図である。

この第１の撮影形態では、外付けカメラ１０ＡをユーザＵの顔を目線Ｅよりやや高い位置から撮影する上カメラ装置１０（図１参照）として用い、内蔵カメラ２０ＡをユーザＵの顔を目線Ｅよりやや低い位置から撮影する下カメラ装置２０（図１参照）として用いる場合を想定している。

これは、カメラの画質の高低を左右するスペックが、携帯端末４０Ａの内蔵カメラ２０Ａに比較して外付けカメラ１０Ａの方が高い場合であって、かつ上目線画像を合成する場合に最適な形態である。すなわち、外付けカメラ１０Ａによって撮影された比較的高画質な画像が、目の部分以外の広い範囲の部分に使用されるからである。

図１１は、本実施形態の顔画像処理システム１Ａを用いてユーザＵが自分の顔を撮影する第２の形態を示す図である。

この第２の撮影形態では、第１の撮影形態とは逆に、外付けカメラ１０ＡをユーザＵの顔を目線Ｅよりやや低い位置から撮影する下カメラ装置２０（図１参照）として用い、内蔵カメラ２０ＡをユーザＵの顔を目線Ｅよりやや高い位置から撮影する上カメラ装置１０（図１参照）として用いる場合を想定したものである。

携帯端末４０Ａは、姿勢センサー４０８によって筐体４１の上下の向きが検知されるため、携帯端末４０Ａの内蔵カメラ２０Ａおよび外付けカメラ１０Ａの各々において撮影された画像の上下の向きを回転させることによって、目線補正が施された合成画像を得ることができる。

これは、カメラの画質の高低を左右するスペックが、外付けカメラ１０Ａに比較して携帯端末４０Ａの内蔵カメラ２０Ａの方が高い場合であって、かつ上目線画像を合成する場合に最適な形態である。

以上、２機のカメラ装置１０、２０によって撮影された同一ユーザの顔画像から目線補正画像を生成する方式について述べた。

［２機のカメラの向きおよび位置の条件判定］
ところで、上目線補正された顔画像を正しく合成するためには、２機のカメラ装置の向きと位置について、少なくとも以下の条件を満たす必要がある。
条件１．各カメラ装置の向きが正しいこと。
条件２．被写体であるユーザの顔の縦横の向きに対して、２つのカメラ装置が並ぶ方向が目線補正画像を生成するために正しいこと。
条件３．被写体であるユーザの顔の縦方向における内蔵カメラ２０Ａと外付けカメラ１０Ａとの上下の位置関係が正しいこと。（上目線補正の場合、内蔵カメラ２０Ａが下、外付けカメラ１０Ａが上が正しい位置関係である。）

例えば、図１２に示すように、一方のカメラ装置１０Ａの視野が被写体であるユーザＵとは逆向きとなっていた場合、目線補正に必要な上目線画像と下目線画像のペアが得られないため、目線補正された顔画像を合成できない（条件１の不成立）。また、このような場合、逆向きのカメラ装置１０Ａによって別の人物の顔を撮影してしまい、ユーザ自身の顔と別人の顔から目線補正された意図しない合成画像が生成される可能性がある。

また、内蔵カメラ２０Ａの光透過部４４（図４参照）を指などの障害物が塞いでいる場合や、図１３に示すように、外付けカメラ１０Ａが内蔵カメラ２０Ａの光透過部４４を塞ぐように装着された場合、さらには、図１４に示すように、外付けカメラ１０Ａの装着が不十分であるため、外付けカメラ１０Ａの画角内にユーザの顔が完全に収まって撮影できない場合も、目線補正された顔画像が得られない。

さらに、図１５に示すように、内蔵カメラ２０Ａおよび外付けカメラ１０Ａが、ユーザＵの顔の縦方向に対して左右の位置関係となるような向きで撮影がされた場合、姿勢センサー４０８によって検出された携帯端末４０Ａの姿勢をもとに各々の撮影画像が正しい向きに回転させても、内蔵カメラ２０Ａおよび外付けカメラ１０Ａによって撮影されるユーザの顔画像１１１、２１１は左右やや斜めを向いたものとなるだけである。したがって、目線補正された顔画像を得ることはできない。

さらに、図１６に示すように、上目線画像の合成を目的とするとき、ユーザの顔の縦方向において内蔵カメラ２０Ａと外付けカメラ１０Ａとの上下の位置関係を逆さまにして撮影をした場合、ユーザの目的に反して下目線補正された顔画像が合成されてしまう（条件３の不成立）。

そこで、本実施形態の携帯端末４０Ａには、内蔵カメラ２０Ａおよび外付けカメラ１０Ａによって撮影された各々の画像をもとに、少なくとも上記の各条件が成立するかどうかを判定し、条件の不成立をユーザにアラートする機能が設けられている。以下、この機能について説明する。

図１７は、上記の条件判定およびアラートの機能に関するフローチャートである。

このフローチャートに従って動作の説明をする前に、携帯端末４０Ａでの目線補正撮影に関連する各種の状態およびモードについて説明する。

携帯端末４０Ａにおいて目線補正による撮影を行うことが実際に可能な状態を「目線補正撮影スタンバイ」と呼ぶこととする。目線補正撮影スタンバイになると、目線補正撮影が可能であることが、例えばディスプレイ４０４の画面４３などを通してユーザに提示される。目線補正撮影スタンバイの状態において、ユーザによって例えばシャッターボタンなどが操作された場合には、内蔵カメラ２０Ａと外付けカメラ１０Ａの各々によって撮影された画像を用いて目線補正のための画像合成が実行される。

目線補正撮影スタンバイ状態になっていないときはユーザによってシャッターボタンが操作されても、目線補正のための画像合成は実行されない。例えば、シャッターボタンの操作を無効にしたり、１カメラ（例えば内蔵カメラ２０Ａ）により撮影された画像を静止画として保存したりする処理だけを行うようにしてもよい。

目線補正撮影スタンバイの状態の以前に目線補正モードのオン／オフの状態がある。目線補正モードは、内蔵カメラ２０Ａと外付けカメラ１０Ａによって撮影された各々の画像から同一人物が検出されない間はオフであり、同一人物が検出されるとオンになる。目線補正モードがオンの間は、内蔵カメラ２０Ａおよび外付けカメラ１０Ａによって撮影された各々の画像をもとに上記の条件２および条件３の判定が行われ、いずれかの条件が不成立の場合には対応するアラートが出力される。

次に、図１７のフローチャートを参照して、上記の条件判定およびアラートの動作を説明する。

ディスプレイ４０４の画面４３には、例えば、内蔵カメラ２０Ａによって撮影された画像（動画）がリアルタイムで表示され、ユーザＵはこのリアルタイム画像（動画）を見ながら、構図を決定し、目線補正撮影スタンバイの状態になるのを待つ。

いま、目線補正モードはオフ状態にある。
携帯端末４０ＡのＣＰＵ４０１は、内蔵カメラ２０Ａと外付けカメラ１０Ａによって撮影された各々の画像から、それらの画像に含まれる被写体が同一人物であるかどうかを判定する（ステップＳ１０１）。この同一人物判定は、例えば、各々の画像に人物の顔の像が存在し、かつ各々の顔の特徴を数値化した特徴量の差が同一人物であることを判定するために定められた閾値以下であれば同一人物であると判定し、特徴量の差が閾値より大きければ同一人物ではないと判定することなどによって行われる。この顔の特徴量からの人物判定は周知の技術であるから、ここでは詳細な説明を省く。

なお、ここでは同一人物かどうかまでを判定することとしたが、速度を優先したい場合には、各々の画像に、ほぼ正面を向いた人の顔の像が存在するかどうかを判定するだけであってもよい。

また、携帯端末４０ＡのＣＰＵ４０１が、例えば、精度重視、標準、速度重視など、段階的に分けられた複数の判定方法の中から所望の判定方法をユーザに選択させ、選択された判定方法に沿って同一人物判定を行うようにしてもよい。

精度重視は、同一人物判定のための特徴量の差の閾値を厳しく設定した判定方法である。速度重視は、同一人物判定のための特徴量の差の閾値を緩く設定した判定方法あるいは同一人物判定は行わず、例えば顔の像の有無のみを判定して、両方の画像に顔の像が存在すればＯＫとする判定方法である。標準とは、精度重視と速度重視との中間的な判定方法である。例えば、同一人物判定は行うが、同一人物判定のための特徴量の差の閾値が精度重視よりも緩く設定され、かつ速度重視よりも厳しく設定された判定方法である。

この同一人物判定において、各々の画像から同一人物の顔を検出できない場合（ステップＳ１０１のＮｏ）、携帯端末４０ＡのＣＰＵ４０１は、目線補正モードをオフ状態のままとする。したがって、以後も内蔵カメラ２０Ａと外付けカメラ１０Ａによって撮影された各々の画像からの同一人物判定が繰り返される。

各々の画像から同一人物の顔を検出できない場合の具体例としては、例えば、図１２に示したように、外付けカメラ１０Ａが誤って逆向きに装着されている場合などがある。このような場合、内蔵カメラ２０Ａにより撮影された画像からはユーザＵの顔が検出されるものの、外付けカメラ１０Ａによって撮影された画像には、例えばユーザＵから携帯端末４０Ａ越しに見える景観などの像が含まれているだけである。したがって、各々の画像に同一人物の顔は検出されず、同一人物の判定結果としてＮＧが判定される。

また、同一人物判定において、各々の画像から同一人物の顔が検出された場合（ステップＳ１０１のＹｅｓ）、携帯端末４０ＡのＣＰＵ４０１は目線補正モードをオンにする（ステップＳ１０２）。目線補正モードがオンになると、携帯端末４０ＡのＣＰＵ４０１は、例えば、内蔵カメラ２０Ａと外付けカメラ１０Ａの少なくともいずれか一方のカメラによって撮影された画像、および姿勢センサー４０８によって検出された携帯端末４０Ａの姿勢などから、上記の条件２および条件３の成立／不成立を判定するための処理を開始する。

条件２の判定処理は、例えば次のように行われる。
携帯端末４０ＡのＣＰＵ４０１は、被写体であるユーザの顔の縦横の向きに対して、２つのカメラ装置が並ぶ方向が目線補正画像を生成するために正しいかどうかを判定する（ステップＳ１０３）。より具体的には、例えば、図２に示したように、外付けカメラ１０Ａ（第１のカメラ装置１０）と内蔵カメラ２０Ａ（第２のカメラ装置２０）によって各々撮影された画像１０１、２０１に含まれる顔が、ユーザの顔の縦方向において上下方向に傾いているかどうかを判定する。各々上下方向に傾いている場合には、条件２の判定結果としてＯＫが判定され、そうでない場合にはＮＧが判定される。あるいは、各々の画像１０１、２０１における顔が上と下の別々の方向に各々傾いているかどうかを判定してもよい。あるいは、一方のカメラの画像の顔が上下方向に傾いているかどうかを判定するだけであってもよい。

各々の画像に含まれる顔が、ユーザの顔の縦方向において上と下の別々の方向に各々傾いているかどうかの判定は、例えば、各々の画像の顔における縦方向での各パーツ位置の比較、画角内の顔の上下方向での位置の比較など、周知あるいは公知の様々な方法によって行うことができる。

また、各々の画像に含まれる顔が、ユーザの顔の縦方向において上と下の別々の方向に各々傾いているかどうかの判定に加えて、右と左の別々の方向に傾いているかどうかの判定を行ってもよい。すなわち、各々の画像に含まれる顔が、少なくとも上と下の別々の方向に各々傾いている場合には条件２の判定結果としてＯＫが判定され、左と右の別々の方向のみ傾いている場合にはＮＧが判定される。その他の場合にはエラーが判定されるようにしてよい。

条件２の判定結果がＮＧである場合（ステップＳ１０３のＮｏ）、携帯端末４０ＡのＣＰＵ４０１はアラートを出力する（ステップＳ１０４）。アラートとしては、例えば図１８に示すように、「縦向きにしてください。」などのメッセージをディスプレイ４０４の画面４３に表示する方法や、図１９に示すように、携帯端末４０Ａを縦向きにするようにユーザを誘導するグラフィクスデータ（静止画、動画）をディスプレイ４０４の画面４３に表示させる方法などがある。あるいは、音声によってユーザを誘導してもよい。

なお、ここでは、撮影画像から条件２の判定を行うこととしたが、例えば、顔の縦の向きを重力方向に合せて撮影するように制限されている場合には、姿勢センサー４０８によって縦向き姿勢であることが検出された場合には条件２の判定結果としてＯＫを判定し、横向き姿勢であることが検出された検出された場合には条件２の判定結果をＮＧとするようにしてもよい。

条件３の判定処理は、例えば次のように行われる。
ここでは、上目線補正がユーザにより指定されているものとする。
携帯端末４０ＡのＣＰＵ４０１は、図１０に示したように、被写体であるユーザＵの顔の縦方向における内蔵カメラ２０Ａと外付けカメラ１０Ａとの上下の位置関係が正しいかどうかを判定する（ステップＳ１０５）。

ここで、上目線補正が行われるときの携帯端末４０Ａの正しい上下の向きとは、図１０に示したように、被写体であるユーザＵの顔の縦方向において、より高画質のカメラが相対的に上で、より低画質のカメラが相対的に下にあるときの向きである。これは、上目線補正では、上のカメラ装置により撮影された顔画像のうち目の部分以外の広範囲の画像が合成で使用されるためである。外付けカメラ１０Ａの撮影画像の画質が内蔵カメラ２０Ａのそれより高い場合を想定すると、外付けカメラ１０Ａが相対的に上で、内蔵カメラ２０Ａが相対的に下となるときの携帯端末４０Ａの向きが、上目線補正が行われるときの携帯端末４０Ａの正しい上下の向きとなる。

被写体であるユーザＵの顔の縦方向における内蔵カメラ２０Ａと外付けカメラ１０Ａとの上下の位置関係が正しいかどうかの判定は、例えば、外付けカメラ１０Ａによって撮影された画像においてユーザの顔がやや下を向き、内蔵カメラ２０Ａによって撮影された画像においてユーザの顔がやや上を向いていることを個別に判定することなどによって行われる。あるいは、外付けカメラ１０Ａによって撮影された画像においてユーザの顔がやや下を向いているかどうかだけを判定してもよい。逆に、内蔵カメラ２０Ａによって撮影された画像においてユーザの顔がやや上を向いているかどうかだけを判定してもよい。

なお、ここでは、撮影画像から条件３の判定を行うこととしたが、例えば、顔の縦の向きを重力方向に合せて撮影するように制限されている場合には、姿勢センサー４０８の出力をもとに、ＣＰＵ４０１が、内蔵カメラ２０Ａと外付けカメラ１０Ａのどちらを重量方向において下側とする縦姿勢であるかを検出し、内蔵カメラ２０Ａを重量方向側とする縦姿勢である場合には条件３の判定結果としてＯＫを判定し、外付けカメラ１０Ａを重量方向側とする縦姿勢であることが検出された場合には条件３の判定結果をＮＧとするようにしてもよい。

携帯端末４０ＡのＣＰＵ４０１は、被写体であるユーザＵの顔の縦方向における内蔵カメラ２０Ａと外付けカメラ１０Ａとの上下の位置関係が不正であることを判定すると（ステップＳ１０５のＮｏ）、アラートを出力する（ステップＳ１０６）。この場合のアラートとしては、例えば図２０に示すように、「上下反転してください。」などのメッセージをディスプレイ４０４の画面４３に表示させる方法や、図２１に示すように、上下反転させるようにユーザを誘導するグラフィクスデータ（静止画、動画）をディスプレイ４０４の画面４３に表示させる方法などがある。あるいは、音声によってユーザに誘導するようにしてもよい。

目線補正モードがオンのとき、上記の条件（２）と条件（３）が各判定処理でいずれもＯＫが判定されると目線補正撮影スタンバイの状態になる（ステップＳ１０７）。

目線補正撮影スタンバイの状態になると、目線補正撮影が可能であることが、例えばディスプレイ４０４の画面４３などを通してユーザに提示される。目線補正撮影スタンバイの状態において、ユーザによって例えばシャッターボタンなどが操作されると、内蔵カメラ２０Ａと外付けカメラ１０Ａの各々によって撮影された画像を用いて目線補正のための画像合成が行われる。

なお、上記のステップＳ１０４のアラート出力後は目線補正モードのオン状態が継続する。すなわち、実際にユーザによって携帯端末４０Ａの姿勢の縦横の向きが正され、このことがステップＳ１０３で判定されるまでステップＳ１０４のアラート出力の状態が続く。

同様に、ステップＳ１０６のアラート出力後も、実際にユーザによって携帯端末４０Ａの上下の向きが正され、このことがステップＳ１０５で判定されるまでステップＳ１０６のアラート出力の状態が続く。

［その他の判定とアラート出力］
外付けカメラ１０Ａと内蔵カメラ２０Ａによって各々撮影された２つの画像のうち、一方の画像の輝度だけが極端に低い場合、あるいは２つの画像のうち輝度の平均値が所定の値よりも大きい場合などに、その輝度が低い側の画像を撮影したカメラの光透過部４４（図４参照）が指などの障害物によって塞がれていることがある。このような場合に、携帯端末４０ＡのＣＰＵ４０１は、例えば、「カメラを遮るものがあります。」などのメッセージやグラフィックスをディスプレイ４０４の画面４３に表示したり、音声でユーザに提示する。

＜変形例１＞
上記の実施形態では、上記の条件１の判定は、同一人物判定の中に組み込まれており、条件１の不成立に関してはアラートを出力するようにしていない。条件１の判定ステップを同一人物判定から分離し、条件１の不成立時にもアラートを出力するようにしてもよい。

例えば、外付けカメラ１０Ａにより撮影された画像からは顔を検出でき、内蔵カメラ２０Ａにより撮影された画像からは顔を検出できない場合には、内蔵カメラ２０Ａの光透過部４４（図４参照）を指などの障害物が塞いでいる状態や、図１３に示したように、外付けカメラ１０Ａが内蔵カメラ２０Ａの光透過部４４を塞ぐように装着されている場合が想定される。そこで、このような検出結果に応じて、携帯端末４０ＡのＣＰＵ４０１は、例えば「カメラの障害物を取り除いてください。」などのメッセージやグラフィクスをディスプレイ４０４の画面４３に表示したり、音声でユーザにアラートを通知したりしてもよい。

逆に、内蔵カメラ２０Ａにより撮影された画像から顔が検出され、外付けカメラ１０Ａにより撮影された画像からは顔やその一部が検出されない場合には、外付けカメラ１０Ａが前後逆向きに装着されていたり（図１２参照）、不完全な状態で装着されている可能性がある（図１４参照）。このような場合、携帯端末４０ＡのＣＰＵ４０１は、例えば、「外付けカメラを正しく装着してください。」などのメッセージやグラフィクスをディスプレイ４０４の画面４３に表示したり、音声でユーザにアラートを通知したりしてもよい。

＜変形例２＞
以上の目線補正において、同時に、ユーザが指示する加工を合成された顔画像に施してもよい。例えば、目や瞳を大きくする加工、美肌加工などの画像編集内容、ユーザが目線補正のオプションとして選択できるようにすればよい。携帯端末４０ＡのＣＰＵ４０１は、選択された目線補正のオプションに従って、合成された顔画像に対して、上記の画像編集を実行する。

＜変形例３＞
ネットワーク上のサーバ装置のＣＰＵにおいて目線補正を行うようにしてもよい。すなわち、情報処理装置からネットワークを通じてサーバ装置に、２つのカメラ装置によって撮影された２つの顔画像が送信される。サーバ装置のＣＰＵは、受信した２つの顔画像に対して上記の目線補正を行い、合成画像を情報処理装置にネットワークを通じて返信するように構成される。

＜変形例４＞
外付けカメラ１０Ａから携帯端末４０Ａに伝送される画像はＲＡＷデータであってもよい。携帯端末４０Ａ内で現像処理を行うことによって、現像処理部を備えていない外付けカメラを使用することが可能になる。

＜変形例５＞
上記実施形態では、カメラ装置を２機使用したが、１機のカメラ装置をユーザの顔の縦方向に移動させ、上下の各位置にてユーザの顔を計２回撮影するように構成してもよい。したがって、本技術において、カメラの数は１機であってもよい。

＜変形例６＞
上記実施形態では、目線補正のための画像合成を情報処理装置４０あるいは携帯端末４０ＡのＣＰＵで行うものとしたが、複数の情報処理装置で構成される情報処理システムにて処理を分散して行うようにしてもよい。または、１以上の情報処理装置と、これとネットワークを通じて接続されたサーバ装置で構成される情報処理システムにて処理を分散して行ってもよい。あるいは、ネットワークを通じて接続された複数のサーバ装置で構成される情報処理システムにて処理を分散して行ってもよい。

＜変形例７＞
以上では、静止画の目線補正について述べたが、本技術は、動画の目線補正にも同様に応用することができる。すなわち、例えば、フレーム単位あるいは１／Ｎフレームの単位で静止画に対する目線補正のための画像合成をすればよい。

この場合、携帯端末４０Ａをユーザが手にもって２機のカメラの画角内に自分の顔が入るようにする。このため、手振れなどによって、時折、２機のカメラの画角内から顔が外れたり、部分的に収まらなかったりすることがある。

変形例７では、２機のカメラの画角内から顔が外れたり、部分的に収まらなかったりして目線補正のための画像合成に失敗した場合、情報処理装置４０あるいは携帯端末４０ＡのＣＰＵ４０１が、最後に合成に成功した目線補正画像で、画像合成に失敗したフレームあるいは１／Ｎフレームを補間する。これにより、目線補正された動画が途切れることなく表示できる。

＜変形例８＞
本技術は、３機以上のカメラが接続されている場合にも応用することができる。
例えば、図２２に示すように、携帯端末４０Ａの前方（ユーザＵ１の側）を視野とする２機のカメラ１０Ａ、２０Ａが縦方向の上下に配置され、それらと対称的に携帯端末４０Ａの後方を視野とする２機のカメラ１０Ｂ、２０Ｂが縦方向の上下に配置されたものなどが想定される。

この場合、図２２に示すように、携帯端末４０Ａの前方（ユーザＵ１の側）を視野とする２機のカメラ１０Ａ、２０Ａは自分の目線補正画像を生成するための撮影に用いられる。携帯端末４０Ａの後方を視野とする２機のカメラ１０Ｂ、２０Ｂは、ユーザＵ１から携帯端末４０Ａの位置を挟んで反対側にいる人物Ｕ２の顔の目線補正画像を生成するための撮影に用いられる。

携帯端末４０ＡのＣＰＵ４０１は、４機のカメラ１０Ａ、２０Ａ、１０Ｂ、２０Ｂによって各々撮影された画像から顔を検出し、同一人物の顔を含む画像ペアをもとに目線補正のための画像合成を行う。これにより、ユーザＵ１自身の目線補正された顔画像のみならず、他の人物Ｕ２の目線補正された顔画像を得ることができる。また、携帯端末４０Ａの後方を視野とする２機のカメラ１０Ｂ、２０Ｂによって撮影された画像のペアのみに同一人物（人Ｕ２）の顔が検出された場合には、その人物Ｕ２の目線補正された顔画像のみを合成して得ることができる。

なお、本技術は以下のような構成もとることができる。
（１）異なる位置から撮影された人物の顔を含む２つの画像に基づいて、前記２つの画像に含まれる顔が同一人物のものであるかどうかを判定し、前記同一人物のものである場合に、一方の前記画像における目の部分の画像に基づいて、他方の前記画像における目の部分の画像を変えた目線補正画像を生成させる制御部を具備する
情報処理装置。

（２）前記（１）に記載の情報処理装置であって、
前記制御部は、前記被写体であるユーザの顔の縦方向において異なる位置から第１の撮像部および第２の撮像部によって撮影された前記ユーザの顔を含む２つの画像を取得するように構成された
情報処理装置。

（３）前記（２）に記載の情報処理装置であって、
前記制御部は、
前記目線補正画像を生成するモード時、前記被写体であるユーザの顔の縦横の向きに対して、前記第１の撮像部および前記第２の撮像部が並ぶ方向が正しいかどうかを判定し、不正の場合には、アラートを出力するように構成された
情報処理装置。

（４）前記（３）に記載の情報処理装置であって、
前記制御部は、前記第１の撮像部および前記第２の撮像部が並ぶ方向を正すことを誘導する情報を前記アラートとして出力するように構成された
情報処理装置。

（５）前記（１）から（４）のいずれかに記載の情報処理装置であって、
前記第１の撮像部は、前記被写体であるユーザの顔の縦方向において上側の撮像部であり、前記第２の撮像部は、前記被写体であるユーザの顔の縦方向において下側の撮像部であり、前記第１の撮像部は撮影画像の画質が前記第２の撮像部よりも高い
情報処理装置。

（６）前記（５）に記載の情報処理装置であって、
前記制御部は、
前記目線補正画像を生成するモード時、前記被写体であるユーザの顔の縦方向における前記第１の撮像部と前記第２の撮像部との上下の位置関係が正しいかどうかを判定し、不正の場合には、アラートを出力するように構成された
情報処理装置。

（７）前記（６）に記載の情報処理装置であって、
前記制御部は、前記第１の撮像部と前記第２の撮像部との上下の位置関係を正すことを誘導する情報を前記アラートとして出力するように構成された
情報処理装置。

（８）前記（１）から（７）のいずれかに記載の情報処理装置であって、
前記制御部は、前記第１の撮像部と前記第２の撮像部との上下の位置関係を正すことを誘導する情報を前記アラートとして出力するように構成された
情報処理装置。

（９）前記（１）から（８）のいずれかに記載の情報処理装置であって、
前記制御部は、前記生成された目線補正画像に対して編集を行うように構成されたものであってよい。

１…顔画像処理システム
１Ａ…顔画像処理システム
１０…上カメラ装置
１０Ａ…外付けカメラ
２０…下カメラ装置
２０Ａ…内蔵カメラ
４０…情報処理装置（情報処理システム）
４０Ａ…携帯端末
４０１…ＣＰＵ
４０４…ディスプレイ
４０９…無線通信部
５０１…コントローラ
５０３…撮像部
５０８…無線通信部

Claims (13)

1. 異なる位置から撮影された人物の顔を含む２つの画像に基づいて、前記２つの画像に含まれる顔が同一人物のものであるかどうかを判定し、前記同一人物のものである場合に、一方の前記画像における目の部分の画像に基づいて、他方の前記画像における目の部分の画像を変えた目線補正画像を生成させる制御部を具備する
   情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記被写体であるユーザの顔の縦方向において異なる位置から第１の撮像部および第２の撮像部によって撮影された前記ユーザの顔を含む２つの画像を取得するように構成された
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記制御部は、
   前記目線補正画像を生成するモード時、前記被写体であるユーザの顔の縦横の向きに対して、前記第１の撮像部および前記第２の撮像部が並ぶ方向が正しいかどうかを判定し、不正の場合には、アラートを出力するように構成された
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記制御部は、前記第１の撮像部および前記第２の撮像部が並ぶ方向を正すことを誘導する情報を前記アラートとして出力するように構成された
   情報処理装置。
5. 請求項２に記載の情報処理装置であって、
   前記第１の撮像部は、前記被写体であるユーザの顔の縦方向において上側の撮像部であり、前記第２の撮像部は、前記被写体であるユーザの顔の縦方向において下側の撮像部であり、前記第１の撮像部は撮影画像の画質が前記第２の撮像部よりも高い
   情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記制御部は、
   前記目線補正画像を生成するモード時、前記被写体であるユーザの顔の縦方向における前記第１の撮像部と前記第２の撮像部との上下の位置関係が正しいかどうかを判定し、不正の場合には、アラートを出力するように構成された
   情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   前記制御部は、前記第１の撮像部と前記第２の撮像部との上下の位置関係を正すことを誘導する情報を前記アラートとして出力するように構成された
   情報処理装置。
8. 請求項２に記載の情報処理装置であって、
   前記第１の撮像部が、前記情報処理装置に内蔵され、
   前記第２の撮像部が、前記情報処理装置に着脱自在に取れ付けられる別体の撮像部である
   情報処理装置。
9. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記生成された目線補正画像に対して編集を行うように構成された
   情報処理装置。
10. 異なる位置から人物の顔を撮影する撮像ユニットと、
    前記撮像ユニットによって撮影された前記ユーザの顔を含む２つの画像に基づいて、前記２つの画像に含まれる顔が同一人物のものであるかどうかを判定し、前記同一人物のものである場合に、一方の前記画像における目の部分の画像に基づいて、他方の前記画像における目の部分の画像を変えた目線補正画像を生成させる制御部を具備する
    情報処理装置。
11. 制御部が、
    異なる位置から撮影された人物の顔を含む２つの画像に基づいて、前記２つの画像に含まれる顔が同一人物のものであるかどうかを判定し、前記同一人物のものである場合に、一方の前記画像における目の部分の画像に基づいて、他方の前記画像における目の部分の画像を変えた目線補正画像を生成させる
    情報処理方法。
12. 異なる位置から撮影された人物の顔を含む２つの画像に基づいて、前記２つの画像に含まれる顔が同一人物のものであるかどうかを判定し、前記同一人物のものである場合に、一方の前記画像における目の部分の画像に基づいて、他方の前記画像における目の部分の画像を変えた目線補正画像を生成させる制御部を具備する
    情報処理システム。
13. 異なる位置から撮影された人物の顔を含む２つの画像に基づいて、前記２つの画像に含まれる顔が同一人物のものであるかどうかを判定し、前記同一人物のものである場合に、一方の前記画像における目の部分の画像に基づいて、他方の前記画像における目の部分の画像を変えた目線補正画像を生成させる制御部として、コンピュータを機能させる
    プログラム。

Images