JP2012244434A - 携帯通信装置及び合成画像生成プログラム - Google Patents

Abstract

【課題】特定の瞬間における広い範囲の画像を容易に取得することができる携帯通信装置及び合成画像生成プログラムを提供する。
【解決手段】撮影部１０１は、第１カメラから第１画像を取り込む。撮影部２０２は、第２カメラから第２画像を取り込む。判定部１０７は、第１画像及び第２画像の双方に指定された基準画像が映っているか否かを判定する。画像取得部１０８は、判定部１０７により双方の画像に基準画像が映っていると判定された場合、撮影部１０１及び撮影部２０２により取り込まれた画像を対応付けて記録する。
【選択図】図１

Description

本発明は、携帯通信装置及び合成画像生成プログラムに関する。

近年、カメラが搭載された携帯通信装置の利用が増えてきている。このような、携帯通信装置には、例えば、携帯電話などがある。また、携帯通信装置として、例えば、２つの筐体に分離することができる分離型の携帯通信装置といった、様々な形態を有する装置が提案されている。

そして、携帯通信装置に搭載されたカメラは、その携帯性からあらゆる場所で使用されるようになってきている。そのため、携帯通信装置に搭載されたカメラは、用途に合わせた撮影を行うことが求められてきている。このため、携帯通信装置に搭載されたカメラを用いて広い範囲を撮影し、パノラマ写真のような広い範囲を収めた写真を取得する要求も増加してきている。

従来、１つのカメラで撮影した２枚の画像から１つの画像を生成する方法として、撮影済みの画像の一部を画面に表示した状態で、後から撮影する画像における重複する映像を確認しながら撮影し、２つの画像を合成する技術が提案されている。

特開２００４−３１２５４９号公報

しかしながら、撮影済みの画像の一部を確認しながら後の画像を撮影して１つの画像を生成する技術では、それぞれの画像を撮影するタイミングが異なる。例えば、この従来技術では、集合写真のように各タイミングで顔の表情が異なる場合、前に撮影した画像に写っている人の表情と後に撮影した画像に写っている人の表情は、異なるタイミングでの表情である。そのため、これらの画像を合成しても単に異なる写真を張り合わせたものと大差が無いといえる。すなわち、この従来技術では、広い範囲の瞬間の画像を撮影することが困難である。また、この従来技術を用いた場合にも、カメラを２つ並べて同時にシャッターを押すことも考えられるが、目視で重複部分を確認しながら双方の画像の一部が重なるようにカメラの位置を変更し、同時にシャッターを押すことは困難であった。

開示の技術は、上記に鑑みてなされたものであって、特定の瞬間における広い範囲の画像を容易に取得することができる携帯通信装置及び合成画像生成プログラムを提供することを目的とする。

本願の開示する携帯通信装置及び合成画像生成プログラムは、一つの態様において、第１撮影部は、第１カメラから第１画像を取り込む。第２撮影部は、第２カメラから第２画像を取り込む。判定部は、前記第１画像及び前記第２画像の双方に指定された基準画像が映っているか否かを判定する。画像取得部は、前記判定部により双方の画像に前記基準画像が映っていると判定された場合、前記第１撮影部及び前記第２撮影部により取り込まれた画像を対応付けて記録する。

本願の開示する携帯通信装置及び合成画像生成プログラムの一つの態様によれば、特定の瞬間における広い範囲の画像を容易に取得することができるという効果を奏する。

図１は、実施例１及び実施例２に係る携帯電話のブロック図である。 図２−１は、携帯電話の筐体を２つに分離した状態を説明するための平面図である。 図２−２は、２つに分離した状態の親機の表側の平面図である。 図３は、顔認証テーブルの一例を表す図である。 図４は、実施例１に係る携帯電話の写真撮影時の動作を説明するための図である。 図５は、実施例１に係る携帯電話における基準顔の選択処理のフローチャートである。 図６は、実施例１に係る携帯電話による広範囲の写真撮影の処理のフローチャートである。 図７は、分割領域の一例を説明する図である。 図８は、矢印の誘導に基づく撮影条件を満たすカメラの向きの調整を説明するための図である。 図９は、実施例２に係る携帯電話による広範囲の写真撮影の処理のフローチャートである。 図１０は、携帯電話のハードウェア構成図である。

以下に、本願の開示する携帯通信装置及び合成画像生成プログラムの実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する携帯通信装置及び合成画像生成プログラムが限定されるものではない。例えば、以下の実施形態では、携帯通信装置の一例として携帯電話を例に説明するが、この携帯通信装置は、２つのカメラが搭載された装置であればよく、ＰＤＡ（Personal Digital Assistant）などでもよい。

図１は、実施例１及び実施例２に係る携帯電話のブロック図である。図１に示すように、本実施例に係る携帯電話は、親機１及び子機２を有している。

ここで、図２−１及び図２−２を参照して、本実施例に係る携帯電話の分離した状態の一例を説明する。図２−１は、携帯電話の筐体を２つに分離した状態を説明するための平面図である。図２−１の紙面に向かって左側の筐体は親機１を表している。また、図２−１の紙面に向かって右側の筐体は子機２を表している。また、図２−２は、２つに分離した状態の親機の表側の平面図である。

本実施例に係る携帯電話は、図２−１のように親機１と子機２という２つの筐体を有する。そして、親機１と子機２とは組み合わせることで、１つの筐体を形成することができる。ここで、図２−１の親機１は、親機１の裏側、すなわち、子機２と組み合わせて１つの筐体としたときに子機２に対向する面を表している。また、図２−１の子機２は、子機２の裏面、すなわち、親機１と組み合わせて１つの筐体としたときに親機１に対向する面を表している。そして、図２−１の親機１を裏返すと、図２−２のようになる。図２−２の親機１は、親機１の表側、すなわち、子機２と組み合わせて１つの筐体としたときに子機２とは反対の面を表している。図２−１に示すように、親機１には、カメラ１００３が設けられており、子機２には、カメラ２００３が設けられている。そして、カメラ１００３及びカメラ２００３で取り込まれた映像は、図２−２のように親機１の表側に有るモニタに表示される。なお、図２−１及び図２−２に示した構成は一例であって、双方の筐体にカメラを備える分離型の携帯通信装置であればどのような構成であっても構わない。

図１に戻って、親機１は、撮影部１０１、基準顔認識部１０２、マーク付加部１０３、表示制御部１０４、入力制御部１０５、映像受信部１０６、判定部１０７、画像取得部１０８、合成部１０９、記憶部１１０及び電話帳記憶部１１１を有している。そして、親機１は、基準顔選択モード及び画像撮像モードの２つの動作モードを有している。この入力モードは、後述する入力制御部１０５から入力された指示により切り替えが行われる。実際には、入力制御部１０５からのモード切り替えの指示は各部に入力されるが、図１では入力制御部１０５から各部への入力経路を省略している。

電話帳記憶部１１１は、電話帳データを記憶している。電話帳データには、電話帳名及び電話帳名に対応する顔画像が登録されている。以下では、電話帳データに登録されている顔画像を「登録顔」という場合がある。

撮影部１０１は、親機１に設けられたカメラに写った映像を取り込む。ここで、映像とは、カメラのレンズを介して取り込まれる時間的に連続した画像のことを言う。そして、撮影部１０１は、基準顔選択モードの場合、取り込んだ映像を基準顔認識部１０２の顔抽出部１２１へ出力する。また、撮影部１０１は、基準顔選択モード及び画像撮像モードのいずれの場合も、取り込んだ映像を画像取得部１０８へ出力する。

基準顔認識部１０２は、図１に示すように、顔抽出部１２１、顔認証部１２２、登録部１２３及び基準顔決定部１２４を有している。以下の基準顔認識部１０２の各部の説明は、基準顔選択モードの場合であるとする。

顔抽出部１２１は、撮影部１０１が取り込んだ画像の入力を受ける。そして、顔抽出部１２１は、受信した画像から人の顔の特徴情報を用いて顔画像を抽出する。さらに、顔抽出部１２１は、抽出した顔画像を含む範囲を表す画像上の座標を取得する。ここで、画像上の座標とは、例えば、後述する表示制御部１０４がモニタに画像を表示した場合の座標を表している。本実施例では、モニタに表示される画像は矩形をしており、画像上の座標は、画像に対して向かって左下の頂点を原点として、画像上の各点をＸ−Ｙ平面で表す。顔抽出部１２１は、例えば、抽出した顔画像を含む範囲として、顔画像を含む矩形を作成し、その矩形の対角となる２点の座標を、顔画像を含む範囲を表す画像上の座標として取得する。そして、顔抽出部１２１は、抽出した顔画像及びその顔画像を含む範囲を表す画像上の座標を顔認証部１２２へ出力する。さらに、顔抽出部１２１は、各顔の特徴情報及び抽出した顔画像を含む範囲を表す画像上の座標を判定部１０７へ出力する。

顔認証部１２２は、顔画像及びその顔画像を含む範囲を表す画像上の座標を顔抽出部１２１から受ける。そして、顔認証部１２２は、受信した顔画像と一致する登録画像があるか否か電話帳記憶部１１１に記憶されている電話帳データを検索する。顔認証部１２２は、受信した顔画像と一致する登録顔が電話帳データにある場合、受信した顔画像に一致する登録顔に対応する電話帳名を電話帳データから取得する。そして、顔認証部１２２は、登録顔に一致した顔画像を含む範囲を表す画像上の座標をマーク付加部１０３へ出力する。また、顔認証部１２２は、顔画像に一致した登録顔に対応する電話帳名、その顔画像を含む範囲を表す画像上の座標を登録部１２３へ出力する。

登録部１２３は、顔画像に一致した登録顔に対応する電話帳名及びその顔画像を含む範囲を表す画像上の座標の入力を顔認証部１２２から受ける。そして、登録部１２３は、受信した電話帳名及び座標を用いて図３に示す顔認証テーブル３００を作成する。図３は、顔認証テーブルの一例を表す図である。顔認証テーブル３００は、図３に示すように、電話帳名３０１、顔表示座標３０２及び基準顔３０３の項目を有している。ここで、基準顔３０３は、基準顔として選ばれた顔画像であることを示すフラグを立てるための項目である。登録部１２３は、作成した顔認証テーブル３００を基準顔決定部１２４へ出力する。

基準顔決定部１２４は、顔認証テーブル３００の入力を登録部１２３から受ける。さらに、基準顔決定部１２４は、基準顔とする顔画像の指定の入力を入力制御部１０５から受ける。ここで、本実施例では、基準顔決定部１２４は、基準顔とする顔画像の画像上の座標の入力を入力制御部１０５から受ける。その後、基準顔決定部１２４は、顔認証テーブル３００における基準顔に指定された顔画像に対応する基準顔３０３の項に基準顔であることを示すフラグを立てる。本実施例では、基準顔決定部１２４は、図３に示すように、基準顔に指定された顔画像に対応する基準顔３０３の項に「選択」と記載する。そして、基準顔決定部１２４は、基準顔とする顔画像を示すフラグを立てた顔認証テーブル３００を判定部１０７へ出力する。

マーク付加部１０３は、基準顔選択モードの場合、登録顔に一致した顔画像を含む範囲を表す座標を顔認証部１２２から受信する。そして、マーク付加部１０３は、登録顔に一致した顔画像を含む範囲を表すマークを付加するよう表示制御部１０４へ指示する。本実施例では、マーク付加部１０３は、登録顔に一致した顔画像を含む範囲を表す座標が対角となる２点を有する矩形を青線で画面上に表示するように表示制御部１０４に指示する。

また、マーク付加部１０３は、画像撮像モードの場合、基準顔に指定された顔画像を含む範囲を表す座標を判定部１０７から受信する。そして、そして、マーク付加部１０３は、基準顔に指定された顔画像を含む範囲を表すマークを付加するよう表示制御部１０４へ指示する。

表示制御部１０４は、基準顔選択モード及び画像撮像モードのいずれの場合も、カメラから取り込まれた映像の入力を画像取得部１０８から受ける。そして、表示制御部１０４は、モニタなどに受信した映像を表示させる。

さらに、表示制御部１０４は、基準顔選択モードの場合、登録顔に一致した顔画像を含む範囲を表すマークを付加する指示をマーク付加部１０３から受ける。そして、表示制御部１０４は、モニタに表示させている映像の上のマーク付加部１０３から指定された位置にマークを付加する。本実施例では、表示制御部１０４は、モニタに表示させている映像の上に基準顔を示す青色の矩形を表示させる。ここで、操作者は、モニタに表示されている矩形の中から、キーパットなどを用いて基準顔とする顔画像を指定する。

また、表示制御部１０４は、画像撮像モードの場合、基準顔に指定された顔画像を含む範囲を表すマークを付加する指示をマーク付加部１０３から受ける。そして、表示制御部１０４は、モニタに表示させている映像の上のマーク付加部１０３から指定された位置にマークを付加する。ここで、操作者は、画像撮像モードの場合、撮影部１０１及び撮影部２０２のいずれから取り込まれた画像にも基準顔を囲む矩形が表示されるように、親機１及び子機２のカメラの位置を調整する。これにより、親機１のカメラから取り込まれた映像及び子機２のカメラから取り込まれた映像のいずれにも基準顔が写っている状態になる。ここで、カメラの位置は、例えばカメラの方向などといったカメラから取り込まれる映像を変更する各種条件を含んでいるものとする。

入力制御部１０５は、操作者によりキーパッドから入力された基準顔とする顔画像の情報を受信する。本実施例では、操作者が矩形を選択することでその矩形を表す座標が入力されるので、入力制御部１０５は、矩形を表す座標を顔画像の情報として受信する。そして、入力制御部１０５は、基準顔とする顔画像の指定を基準顔決定部１２４へ出力する。

映像受信部１０６は、後述する子機２の映像送信部２０１と近距離無線通信を用いてデータの授受を行うことができる。ここで、近距離無線通信とは、例えば、Bluetooth（登録商標）又はＵＷＢ（Ultra Wide Band）などである。映像受信部１０６は、画像撮像モードの場合、子機２の映像送信部２０１から子機２のカメラから取り込んだ映像を受信する。そして、映像受信部１０６は、受信した映像を判定部１０７及び画像取得部１０８へ出力する。なお、映像受信部１０６と映像送信部２０１との通信は、近距離無線通信に限られず、いずれの形態の無線通信であってもよい。また、無線通信のみならず、有線通信であってもよい。

基準顔選択モードの場合、判定部１０７は、顔抽出部１２１から各顔の特徴情報及び抽出した顔画像を含む範囲を表す画像上の座標の入力を受ける。さらに、判定部１０７は、顔認証テーブル３００の入力を受ける。そして、判定部１０７は、顔認証テーブル３００から基準顔として指定された顔画像を含む範囲を表す画像上の座標を取得する。そして、判定部１０７は、取得した座標と一致する座標に含まれる顔画像の特徴情報を取得し記憶しておく。

画像撮像モードの場合、判定部１０７は、親機１のカメラから取り込んだ映像の入力を撮影部１０１から受ける。また、判定部１０７は、子機２のカメラから取り込んだ映像の入力を映像受信部１０６から受ける。そして、判定部１０７は、撮影部１０１から受信した映像及び映像受信部１０６から受信した映像の双方に記憶している特徴情報を有する顔画像が映っているかを判定する。双方に記憶している特徴情報を有する顔画像が写っている場合、判定部１０７は、写真画像取得命令を画像取得部１０８に出力する。この時、判定部１０７は、基準顔の特徴情報も画像取得部１０８へ出力する。

画像取得部１０８は、基準顔選択モード及び画像撮像モードのいずれの場合でも、撮影部１０１から親機１のカメラから取り込んだ映像の入力を受ける。そして、画像取得部１０８は、撮影部１０１から受信した映像を表示制御部１０４へ出力する。

また、画像撮像モードの場合、画像取得部１０８は、子機２のカメラから取り込んだ映像の入力を映像受信部１０６から受ける。そして、画像取得部１０８は、映像受信部１０６から受信した映像を表示制御部１０４へ出力する。

さらに、画像取得部１０８は、画像撮像モードの場合、写真画像取得命令の入力を判定部１０７から受けると、そのタイミングで撮影部１０１から入力された映像及び映像受信部１０６から入力された映像をそれぞれ写真画像として取得し、これらを対応付けて記憶部に記憶する。ここで、写真画像とは、カメラのレンズを介して取り込まれた映像のある瞬間における画像のことを言う。以下では、撮影部１０１から入力された映像から取得した写真画像を「親機側写真画像」といい、映像受信部１０６から入力された映像から取得した写真画像を「子機側写真画像」と言う。また、親機側写真画像及び子機側写真画像をまとめて言う場合、単に「写真画像」と言う。画像取得部１０８は、前記記憶部に記憶されている写真画像を合成部１０９へ出力する。この場合の「写真画像」は、判定部１０７において撮影部１０１及び映像受信部１０６から受信した映像に特徴情報を有する顔画像が写っていると判定された際の写真画像でもよいし、当該判定がなされたことを契機に撮影部１０１及び映像受信部１０６から取得した写真画像でもよい。また、画像取得部１０８が記憶部から読み出した写真画像を合成部１０９に出力する例を説明したが、撮影部１０１及び映像受信部１０６から受信した映像を写真画像として合成部１０９に出力するようにしてもよい。さらに、画像取得部１０８は、判定部１０７から受信した基準顔の特徴情報も合成部１０９へ出力する。

合成部１０９は、写真画像及び基準顔の特徴情報の入力を画像取得部１０８から受ける。そして、合成部１０９は、親機側写真画像及び子機側写真画像のそれぞれから基準顔の特徴情報にあたる部分を抽出する。そして、合成部１０９は、抽出した特徴情報を用いて、親機側写真画像と子機側写真画像とを合成する。例えば、合成部１０９は、親機側写真画像上の基準顔の特徴情報にあたる部分と子機側写真画像上の基準顔の特徴情報にあたる部分とが一致するように、双方の画像を重ね合わせ、１枚の写真画像を生成する。そして、合成部１０９は、合成して生成した写真画像を記憶部１１０に記憶させる。

ここで、本実施例では、処理の負荷を軽減するため基準顔を基準に写真画像の合成を行ったが、これは他の方法でもよい。例えば、合成部１０９が親機側写真画像及び子機側写真画像の双方から特徴点を抽出し、その抽出した特徴点を用いて合成を行っても良い。

記憶部１１０は、メモリやハードディスクといった記憶装置である。記憶部１１０は、合成部１０９が合成した写真画像を記憶する。

子機２は、映像送信部２０１及び撮影部２０２を有している。

撮影部２０２は、子機２に設けられているカメラに写った映像を取り込む。そして、撮影部２０２は、取り込んだ映像を映像送信部２０１へ出力する。

映像送信部２０１は、近距離無線通信により親機１の映像受信部１０６とデータの授受を行うことができる。映像送信部２０１は、撮影部２０２が取り込んだ映像の入力を受ける。そして、映像送信部２０１は、近距離無線通信を用いて映像受信部１０６に受信した映像を送信する。

次に、図４を参照して、本実施例に係る携帯電話の写真撮影時の動作を説明する。図４は、実施例１に係る携帯電話の写真撮影時の動作を説明するための図である。ここでは、既に基準顔の選択は終了しており、画像撮像モードになっているものとする。図４の画像４１０（矢印４３０の始点側の画像）は、撮影開始時の親機１のモニタに映っている映像の状態を表している。また、画像４２０（矢印４３０の終点側の画像）は、画像取得部１０８が写真画像を取得した瞬間の親機１のモニタに映っている映像の状態を表している。

まず、親機１及び子機２のそれぞれに搭載されたカメラを用いた広範囲の画像の撮影が指示されると、画像取得部１０８は、撮影部１０１及び撮影部２０２に取り込まれた映像の入力を受ける。そして、画像取得部１０８は、受信した映像を表示制御部１０４へ出力する。表示制御部１０４は、入力された映像を親機１のモニタに、画像４１０のように表示させる。ここで、画像４１０の紙面に向かって左側の画像４１１が撮影部１０１によって取り込まれた映像であり、紙面に向かって右側の画像４１２が撮影部２０２によって取り込まれた映像であるとする。ここで、図４では、ある瞬間の映像を表しているので、映像とは呼ばずに画像と呼ぶ。この場合、画像４１１には基準顔を有する人Ｐが写っており、さらに、マーク付加部１０３により指示された基準顔を示す矩形４１３が画像４１１上に表示されている。これに対して、画像４１２には基準顔を有する人Ｐが写っていない。そこで、操作者は、子機２の撮影部２０２からの映像にも人Ｐの顔が写るように子機２のカメラの位置を調整する。これにより、矢印４３０のように、親機１のモニタに表示されている映像が画像４１０から画像４２０に変化する。

画像４２０の場合も、紙面に向かって左側の画像４２１が撮影部１０１によって取り込まれた映像であり、紙面に向かって右側の画像４２２が撮影部２０２によって取り込まれた映像である。この場合、画像４２１及び画像４２２のいずれにも基準顔を有する人Ｐが写っている。さらに、画像４２１には、マーク付加部１０３により指示された基準顔を示す矩形４２３が表示されており、画像４２２には、マーク付加部１０３により指示された基準顔を示す矩形４２４が表示されている。画像４２０のような状態になると、判定部１０７は、写真画像取得命令を画像取得部１０８へ出力する。これを受けて、画像取得部１０８は、写真画像取得命令を受けた瞬間の画像を写真画像として取得する。例えば、図４の場合、画像取得部１０８は、画像４２１及び画像４２２の状態の画像を写真画像として取得する。その後、合成部１０９は、画像４２１の基準顔の位置及び画像４２２の基準顔の位置を基準として画像４２１及び画像４２２を合成する。

次に、図５を参照して、本実施例に係る携帯電話における基準顔の選択処理の流れについて説明する。図５は、実施例１に係る携帯電話における基準顔の選択処理のフローチャートである。

顔抽出部１２１は、撮影部１０１によって親機１のカメラから取り込まれた映像の入力を受ける。そして、顔抽出部１２１は、受信した映像から顔の特徴情報を取得し、取得した特徴情報を用いて顔を抽出する（ステップＳ１０１）。

顔認証部１２２は、抽出した顔画像の入力を顔抽出部１２１から受ける。そして、顔認証部１２２は、電話帳記憶部１１１に登録してある登録顔から受信した顔画像の一つを抽出し、その顔画像と一致する登録顔があるか否かを判定する（ステップＳ１０２）。

顔画像に一致する登録顔があった場合（ステップＳ１０２肯定）、マーク付加部１０３は、顔認証部１２２から顔画像を含む範囲の座標を受信する。そして、マーク付加部１０３は、受信した座標を用いて登録顔と一致した顔画像に矩形のマークを付加する（ステップＳ１０３）。また、登録部１２３は、顔画像に一致した登録画像に対応する電話帳名及び顔画像を含む範囲の座標を顔認証部１２２から受信する。そして、登録部１２３は、顔認証テーブル３００に顔画像を含む範囲の座標及び電話帳名を登録する（ステップＳ１０４）。

これに対して、顔認証部１２２は、顔画像に一致する登録顔が無いと判定した場合（ステップＳ１０２否定）、ステップＳ１０５へ進む。

顔認証部１２２は、顔抽出部１２１が抽出した顔画像の全てについて認証が完了したか否かを判定する（ステップＳ１０５）。顔認証部１２２は、認証していない顔画像が残っていると判定した場合（ステップＳ１０５否定）、ステップＳ１０２へ戻る。

これに対して、全ての顔画像について認証が完了した場合（ステップＳ１０５肯定）、表示制御部１０４は、基準顔の選択を促す選択メッセージをモニタに表示させる（ステップＳ１０６）。

基準顔決定部１２４は、操作者により基準顔の選択が行われたか否かを判定する（ステップＳ１０７）。基準顔の選択が行われていない場合（ステップＳ１０７否定）、基準顔決定部１２４は、選択が行われるまで待機する。これに対して、基準顔の選択が行われた場合（ステップＳ１０７肯定）、基準顔決定部１２４は、登録部１２３から受信した顔認証テーブル３００に基準顔として選択されたことを示すフラグを付加する（ステップＳ１０８）。

そして、基準顔決定部１２４は、基準顔の選択が終了したか否かを判定する（ステップＳ１０９）。基準顔決定部１２４、例えば、選択終了の通知を入力制御部１０５から受けることにより、基準顔の選択の終了を判定することができる。基準顔決定部１２４は、基準顔の選択が終了していないと判定した場合（ステップＳ１０９否定）、ステップＳ１０７に戻る。

これに対して、基準顔の選択が終了した場合（ステップＳ１０９肯定）、基準顔認識部１０２は、基準顔の選択処理を終了する。

次に、図６を参照して、本実施例に係る携帯電話による広範囲の写真撮影の処理について説明する。図６は、実施例１に係る携帯電話による広範囲の写真撮影の処理のフローチャートである。

判定部１０７は、撮影部１０１により親機１のカメラから取り込まれた映像を受信する。また、判定部１０７は、撮影部２０２により子機２のカメラから取り込まれた映像を、映像送信部２０１及び映像受信部１０６を介して受信する。そして、判定部１０７は、撮影部２０２により取り込まれた映像に基準顔が映っているか否かを判定する（ステップＳ２０１）。基準顔が写っていない場合（ステップＳ２０１否定）、判定部１０７は、撮影部２０２により取り込まれた映像に基準顔が映るまで待機する。

これに対して、撮影部２０２により取り込まれた画像に基準顔が写っている場合（ステップＳ２０１肯定）、判定部１０７は、撮影部１０１により取り込まれた映像に基準顔が映っているか否かを判定する（ステップＳ２０２）。基準顔が写っていない場合（ステップＳ２０２否定）、判定部１０７は、撮影部１０１により取り込まれた映像に基準顔が映るまで待機する。

これに対して、撮影部１０１により取り込まれた画像に基準顔が写っている場合（ステップＳ２０２肯定）、画像取得部１０８は、写真画像取得命令を判定部１０７から受ける。そして、画像取得部１０８は、写真画像の取得命令を受信すると、子機２側のカメラの写真画像である子機側写真画像を取得する（ステップＳ２０３）。

さらに、画像取得部１０８は、親機１側のカメラの写真画像である親機側写真画像を取得する（ステップＳ２０４）。

合成部１０９は、画像取得部１０８から受信した親機側写真画像及び子機側写真画像を、基準顔を基準として合成する（ステップＳ２０５）。

そして、合成部１０９は、写真画像を合成して生成した広範囲が写った写真画像を記憶部１１０に記憶させる（ステップＳ２０６）。

ここで、図６に示すフローでは説明の都合上、子機２側のカメラからの映像から基準顔を検出した後に親機１側のカメラからの映像から基準顔を抽出しているが、この順番は逆でもよく、また同時に行ってもよい。また、図６に示すフローでは、説明の都合上、子機側写真画像を取得した後、親機側写真画像を取得しているが、これは逆でもよく、また同時に行ってもよい。また、便宜上、ステップＳ２０２の判定が肯定の場合にステップＳ２０３に進む例を説明したが、親機１側で基準顔が検出されるまで待機している間に、子機２の角度が変わり、子機２の撮影部２０２により取り込まれた映像に基準顔が写らなくなってしまうことも考えられる。そのため、ステップＳ２０２の判定が肯定となった場合に、子機２の撮影部２０２により取り込まれた映像及び親機１の撮影部１０１により取り込まれた映像の双方に基準顔が検出されるかを判定し、当該判定が肯定となった場合にステップＳ２０３に進み、否定となった場合には再度ステップＳ２０１に戻るようにすることも考えられえる。

ここで、本実施例では、撮影及び合成の基準となる画像である基準画像を自動的に認識するため、特徴情報の抽出が容易な顔画像を基準画像として用いた場合を例に説明したが、基準画像は人の顔に限らない。すなわち、特徴情報の抽出ができる対象であれば基準画像の対象に特に制限は無い。

また、本実施例では、携帯通信装置が基準画像となる画像の候補を操作者に提供し、その中から基準画像を操作者が選ぶ場合で説明したが、これは他の方法でも良い。例えば、予め操作者が基準画像となる対象を指定し、携帯通信装置がその指定された対象から特徴情報を取得する構成でも良い。

以上に説明したように、本実施例に係る携帯通信装置は、２つのカメラから取り込んだ映像の双方に基準顔が写っているタイミングで双方の写真画像を取得し、取得した写真画像を合成して広範囲が写った写真画像を生成する。これにより、同一のタイミングにおける合成が容易な写真画像を取得することができ、特定の瞬間における広い範囲の画像を容易に取得することができる。

次に、実施例２に係る携帯通信装置について説明する。本実施例にかかる携帯通信装置は、予め撮影条件を決めておき、撮影条件を満たすように操作者にガイドを行うとともに、基準顔の位置が撮影条件を満たした場合に撮影を行うことが実施例１と異なるものである。そこで、以下では、操作者へのガイド及び撮影条件を満たすことによる撮影について主に説明する。本実施例においても実施例１と同様に、携帯通信装置として携帯電話を例に説明する。本実施例に係る携帯電話のブロック図も図１で表される。そして、本実施例に係る携帯電話装置は、特に説明の無い限り実施例１と同じ符号を有する各部は同じ機能を有するものとする。

判定部１０７は、予め決められたモニタ上の分割領域を記憶している。図７は、分割領域の一例を説明する図である。図７の画面５００は、親機１のモニタに映された画面を表している。そして、画面５００の中の画面５０１は、撮影部１０１が取り込んだ画像を、映す画面である。また、画面５００の中の画面５０２は、撮影部２０２が取り込んだ画像を映す画面である。本実施例では、判定部１０７は、画面５０１の長手方向を３等分にする線５１１及び線５１２の座標を記憶しているものとする。ここで、座標とは、例えば、画面５０１の紙面に向かって左下の頂点を原点としたＸ−Ｙ平面を表す座標である。また、判定部１０７は、画面５０２の長手方向を３等分にする線５２１及び線５２２の座標を記憶しているものとする。ここで、座標とは、例えば、画面５０２の紙面に向かって左下の頂点を原点としたＸ−Ｙ平面を表す座標である。すなわち、判定部１０７は、親機１のモニタ上の画面５０１を領域５１３、領域５１４及び領域５１５の３つの領域として把握する。また、判定部１０７は、親機１のモニタ上の画面５０２を領域５２３、領域５２４及び領域５２５の３つの領域として把握する。以下では、便宜上、領域５１３及び領域５２３を左側エリアと呼び、領域５１４及び領域５２４を中央エリアと呼び、領域５１５及び領域５２５を右側エリアと呼ぶ場合がある。

さらに、判定部１０７は、撮影条件を予め記憶している。本実施例では、判定部１０７は、撮影条件として画面５０１の左側エリア又は右側エリアの一方に基準顔があり、且つ画面５０２の左側エリア又は右側エリアの他方に基準顔がある場合を記憶している。判定部１０７が記憶している画面５０１の左側エリア又は右側エリアの一方が「第１の所定位置」の一例にあたり、画面５０２の左側エリア又は右側エリアの他方が「第２の所定位置」の一例にあたる。

判定部１０７は、基準顔の座標位置を表示制御部１０４へ出力する。

そして、判定部１０７は、画面５０１及び画面５０２に基準顔が写っているか否かを判定する。基準顔が映っていない場合、判定部１０７は、画面５０１及び画面５０２に基準顔が写るまで待機する。この場合、操作者は、親機１のカメラ又は子機２のカメラのいずれか一方又は双方を調整して、基準顔が画面５０１及び画面５０２の双方に映るようにする。

基準顔が画面５０１及び画面５０２の双方に映ると、判定部１０７は、線５１１、線５１２、線５２１及び線５２２の座標を表示制御部１０４へ出力する。さらに、判定部１０７は、画面５０１のどのエリアに基準顔があるかを判定する。

判定部１０７は、画面５０１の中央エリアに基準顔がある場合、左右いずれかの方向に基準顔を移動させるよう誘導矢印を表示する。

そして、判定部１０７は、画面５０１の左側エリアに基準顔がある場合、判定部１０７は、画面５０２のどのエリアに基準顔があるかを判定する。そして、画面５０２の左側エリア又は中央エリア内に基準顔がある場合、判定部１０７は、そのときの基準顔の位置から右側エリアの方向に向かう矢印を表示する指示を表示制御部１０４へ通知する。さらに、本実施例では、判定部１０７は、画面５０２の紙面に向かって縦方向の基準顔の位置を取得し、画面５０２における基準顔の縦方向の位置が画面５０１における基準顔の縦方向の位置に移動するよう矢印を傾ける。例えば、画面５０２の基準顔が左側エリア内の紙面に向かって上側にあり、画面５０１においては縦方向の中央に基準顔がある場合、判定部１０７は、左側エリアの上側から右側エリアの縦方向の中央に向かう矢印を表示する指示を表示制御部１０４へ通知する。

これに対して、画面５０１の左側エリアに基準顔があり、且つ画面５０２の右側エリアに基準顔が有る場合、判定部１０７は、表示制御部１０４に対する矢印の表示命令は行わない。

また、判定部１０７は、画面５０１の右側エリアに基準顔がある場合、判定部１０７は、画面５０２のどのエリアに基準顔があるかを判定する。そして、画面５０２の右側エリア又は中央エリア内に基準顔がある場合、判定部１０７は、そのときの基準顔の位置から左側エリアの方向に向かう矢印を表示する指示を表示制御部１０４へ通知する。さらに、本実施例では、判定部１０７は、画面５０２の紙面に向かって縦方向の基準顔の位置を取得し、画面５０２における基準顔の縦方向の位置が画面５０１における基準顔の縦方向の位置に移動するよう矢印を傾ける。

これに対して、画面５０１の右側エリアに基準顔があり、且つ画面５０２の左側エリアに基準顔が有る場合、判定部１０７は、表示制御部１０４に対する矢印の表示命令は行わない。

ここで、本実施例では、合成する写真画像の図７の紙面に向かって縦方向のズレを抑えるために、矢印を縦方向に傾けたが、縦方向へのズレを抑える要求が低い場合には、単に左右方向への誘導だけでもよい。

また、本実施形態では、親機１と子機２との左右の関係に関わらず、操作者がカメラの調整を容易に行えるように、親機１側のカメラの映像における基準顔の位置に合わせて、子機２側のカメラの映像における基準顔の位置を移動するよう誘導した。しかし、カメラの誘導はこれに限らない。例えば、親機１に対して子機２は左側にあると決めておき、親機１の映像の右側エリアに基準顔があり、子機２の映像の左側エリアに基準顔があるように誘導するようにしてもよい。

そして、判定部１０７は、撮影条件が満たされた場合に、写真画像取得命令を画像取得部１０８へ通知する。本実施例では、判定部１０７は、画面５０１の右側エリア及び画面５０２の左側エリアに基準顔が位置した場合に、写真画像取得命令を画像取得部１０８へ通知する。

表示制御部１０４は、基準顔の座標位置とともに、線５１１、線５１２、線５２１及び線５２２の座標を表示制御部１０４の入力を判定部１０７から取得する。

そして、表示制御部１０４は、撮影部１０１により取り込まれた映像の上に分割領域を表す分割線である線５１１及び線５１２をモニタに表示させる。また、表示制御部１０４は、撮影部２０２によって取り込まれた映像の上に分割領域を表す分割線である線５２１及び線５２２をモニタに表示させる。さらに、表示制御部１０４は、それぞれの映像上に判定部１０７から受信した座標に基準顔を示す矩形をモニタに表示させる。

さらに、表示制御部１０４は、判定部１０７から誘導のための矢印の表示命令を受けて、それぞれの映像上に矢印をモニタに表示させる。例えば、表示制御部１０４は、画面５０１において左側エリアの上側から右側エリアの下の方向に向かう矢印を表示する指示を判定部１０７から受けた場合、基準顔の示す矩形から右下に向かう矢印をモニタに表示させる。

図８は、矢印の誘導に基づく撮影条件を満たすカメラの位置の調整を説明するための図である。図８の紙面に向かって上側の画面６０１は、撮影条件を満たしていない状態の映像を表している。また、図８の紙面に向かって下側の画面６０２は、撮影条件を満たした状態の映像を表している。ここで、画面６１１及び画面６２１は、撮影部１０１が取り込んだ映像を表示している画面であり、画面６１２及び画面６２２は、撮影部２０２が取り込んだ映像を表示している画面である。

画面６０１の状態の場合、画面６１２における基準顔の位置が中央エリアの上側にある。そして、画面６１１における基準顔の位置は、左側エリアの縦方向の中央にある。そこで、表示制御部１０４は、画面６１２に中央エリアの上から左側エリアの縦方向の中央へ向かう矢印を表示する指示を判定部１０７から受ける。そして、表示制御部１０４は、矩形６１３から左側エリアの縦方向の中央へ向かう矢印６１４をモニタに表示させる。

操作者は、この矢印６１４に基づいて、子機２のカメラを左の方向に動かすと共に少し下げるように移動する。これにより、画面６０２のように映像が変わる。画面６０２では、画面６２１の右側エリアに基準顔があり、画面６２２の左側エリアに６２２があるので、判定部１０７は、撮影条件を満たしたと判定する。そこで、画像取得部１０８は、判定部１０７からの写真画像取得命令を受けて、写真画像を取得する。

次に、図９を参照して、本実施例に係る携帯電話による広範囲の写真撮影の処理について説明する。図９は、実施例２に係る携帯電話による広範囲の写真撮影の処理のフローチャートである。ここでは、縦方向への誘導矢印の傾きをつけない場合で説明する。

判定部１０７は、撮影部１０１により親機１のカメラから取り込まれた映像を受信する。また、判定部１０７は、撮影部２０２により子機２のカメラから取り込まれた映像を、映像送信部２０１及び映像受信部１０６を介して受信する。そして、判定部１０７は、撮影部２０２により取り込まれた映像に基準顔が映っているか否かを判定する（ステップＳ３０１）。基準顔が写っていない場合（ステップＳ３０１否定）、判定部１０７は、撮影部２０２により取り込まれた映像に基準顔が映るまで待機する。

これに対して、撮影部２０２により取り込まれた画像に基準顔が写っている場合（ステップＳ３０１肯定）、判定部１０７は、撮影部１０１により取り込まれた映像に基準顔が映っているか否かを判定する（ステップＳ３０２）。基準顔が写っていない場合（ステップＳ３０２否定）、判定部１０７は、撮影部１０１により取り込まれた映像に基準顔が映るまで待機する。

これに対して、撮影部１０１により取り込まれた画像に基準顔が写っている場合（ステップＳ３０２肯定）、判定部１０７は、親機１のモニタに映っている映像上に分割線を表示する（ステップＳ３０３）。

次に、判定部１０７は、親機１側のカメラの映像の左側エリアに基準顔があるか否かを判定する（ステップＳ３０４）。親機１側のカメラの映像の左側エリアに基準顔がある場合（ステップＳ３０４肯定）、判定部１０７は、子機２側のカメラの映像の右側エリアに基準顔があるか否かを判定する（ステップＳ３０５）。判定部１０７は、子機２側のカメラの映像の右側エリアに基準顔があると判定した場合（ステップＳ３０５肯定）、ステップＳ３１１に進む。

これに対して、子機２側のカメラの映像の右側エリアに基準顔が無い場合（ステップＳ３０５否定）、判定部１０７は、子機２側のカメラを右側へ誘導する矢印の表示を表示制御部１０４に指示する。そして、表示制御部１０４は、判定部１０７からの指示を受けて、子機２側のカメラを右側へ誘導する矢印、すなわち右側エリアの方向に向かう矢印をモニタに表示させ（ステップＳ３０６）、ステップＳ３０５に戻る。

一方、親機１側のカメラの映像の左側エリアに基準顔が無い場合（ステップＳ３０４否定）、判定部１０７は、親機１側のカメラの映像の右側エリアに基準顔があるか否かを判定する（ステップＳ３０７）。親機１側のカメラの映像の右側エリアに基準顔が無い場合（ステップＳ３０７否定）、判定部１０７は、親機１側のカメラを左右に誘導する矢印の表示を表示制御部１０４へ指示する。表示制御部１０４は、判定部１０７からの指示を受けて、親機１側のカメラを左右のいずれかへの移動を促す矢印をモニタに表示させ（ステップＳ３０８）、ステップＳ３０４に戻る。

これに対して、親機１側のカメラの映像の右側エリアに基準顔がある場合（ステップＳ３０７肯定）、判定部１０７は、子機２側のカメラの映像の左側エリアに基準顔があるか否かを判定する（ステップＳ３０９）。判定部１０７は、子機２側のカメラの映像の左側エリアに基準顔があると判定した場合（ステップＳ３０９肯定）、ステップＳ３１１に進む。

これに対して、子機２側のカメラの映像の左側エリアに基準顔が無い場合（ステップＳ３０９否定）、判定部１０７は、子機２側のカメラを左側へ誘導する矢印の表示を表示制御部１０４に指示する。そして、表示制御部１０４は、判定部１０７からの指示を受けて、子機２側のカメラを左側へ誘導する矢印、すなわち左側エリアの方向に向かう矢印をモニタに表示させ（ステップＳ３１０）、ステップＳ３０９に戻る。

次に、判定部１０７は、画面５０１の左側エリア又は右側エリアの一方に基準顔があり、且つ画面５０２の左側エリア又は右側エリアの他方に基準顔があるという撮影条件を満たしているか否かを判定する（ステップＳ３１１）。判定部１０７は、撮影条件を満たしていないと判定した場合（ステップＳ３１１否定）、ステップＳ３０４に戻る。

これに対して、撮影条件を満たしている場合、画像取得部１０８は、写真画像取得命令を判定部１０７から受ける。そして、画像取得部１０８は、写真画像の取得命令を受信すると、子機２側のカメラの写真画像である子機側写真画像を取得する（ステップＳ３１２）。

さらに、画像取得部１０８は、親機１側のカメラの写真画像である親機側写真画像を取得する（ステップＳ３１３）。

合成部１０９は、画像取得部１０８から受信した親機側写真画像及び子機側写真画像を、基準顔を基準として合成する（ステップＳ３１４）。

そして、合成部１０９は、写真画像を合成して生成した広範囲が写った写真画像を記憶部１１０に記憶させる（ステップＳ３１５）。

ここで、以上の説明では、モニタに表示させる映像を長手方向に３分割して、基準顔の位置の誘導を行ったが、この分割方法に特に制限はなく、より細かく分割することで、より適切な誘導及び撮影を行うことができる。例えば、長手方向の３分割に加えて、短手方向を３分割し、全部で九つの領域を用いて誘導及び撮影を行ってもよい。また、便宜上、ステップＳ３０５又はステップＳ３０９の判定が肯定の場合にステップＳ３１１に進む例を説明したが、子機２側で基準顔が検出されるまで待機している間に、親機１の角度が変わり、親機１の撮影部１０１により取り込まれた映像に基準顔が写らなくなってしまうことも考えられる。そのため、ステップＳ３０５又はステップＳ３０９の判定が肯定となった場合に、親機１の撮影部２０２により取り込まれた映像及び子機２の撮影部２０２により取り込まれた映像の双方に基準顔が検出されるかを判定し、当該判定が肯定となった場合にステップＳ３１１に進み、否定となった場合には再度ステップＳ３０４に戻るようにすることも考えられえる。

以上に説明したように、本実施例に係る携帯通信装置は、広範囲の画像を撮影するのに適した撮影条件を満たすようにカメラを誘導するための矢印を表示し、撮影条件が満たされた瞬間の画像を取得する。これにより、操作者は、広範囲の画像を撮影するための適切な位置にカメラを向けることができ、適切な位置で撮影した広範囲の画像を容易に取得することができる。

〔ハードウェア構成〕
図１０は、携帯電話のハードウェア構成図である。以上に説明した各実施例に係る携帯電話は、図１０に示すようなハードウェア構成を有している。

親機１は、プロセッサ１００１、無線部１００２、カメラ１００３及び表示部１００４、記憶装置１００５を有している。記憶装置１００５は、ＲＯＭ（Read Only Memory）１０５１及びＲＡＭ（Random Access Memory）１０５２を有している。

無線部１００２、カメラ１００３、表示部１００４及び記憶装置１００５は、それぞれプロセッサ１００１と接続されている。

ＲＡＭ１０５２は、図１における電話帳記憶部１１１及び記憶部１１０の機能を実現している。また、無線部１００２及びプロセッサ１００１により、図１における映像受信部１０６の機能を実現している。

そして、プロセッサ１００１及び記憶装置１００５は、例えば、図１に示した撮影部１０１、基準顔認識部１０２、マーク付加部１０３、表示制御部１０４、入力制御部１０５、判定部１０７、画像取得部１０８及び合成部１０９等の機能を実現する。例えば、ＲＯＭ１０５１は、図１に例示した撮影部１０１、基準顔認識部１０２、マーク付加部１０３、表示制御部１０４、入力制御部１０５、判定部１０７、画像取得部１０８及び合成部１０９等による処理を実現する各種プログラムを記憶している。そして、プロセッサ１００１及びＲＡＭ１０５２は、これらの各種プログラムを読み出して実行することで、上述した各機能を実現するプロセスを生成する。

子機２は、プロセッサ２００１、無線部２００２及びカメラ２００３を有している。

無線部２００２及びカメラ２００３は、それぞれプロセッサ２００１と接続されている。

無線部２００２及びプロセッサ２００１により、図１における映像送信部２０１及び撮影部２０２の機能を実現している。

１ 親機
２ 子機
１０１ 撮影部
１０２ 基準顔認識部
１０３ マーク付加部
１０４ 表示制御部
１０５ 入力制御部
１０６ 映像受信部
１０７ 判定部
１０８ 画像取得部
１０９ 合成部
１１０ 記憶部
１１１ 電話帳記憶部
１２１ 顔抽出部
１２２ 顔認証部
１２３ 登録部
１２４ 基準顔決定部
２０１ 映像送信部
２０２ 撮影部

Claims (7)

1. 第１カメラから第１画像を取り込む第１撮影部と、
   第２カメラから第２画像を取り込む第２撮影部と、
   前記第１画像及び前記第２画像の双方に指定された基準画像が映っているか否かを判定する判定部と、
   前記判定部により双方の画像に前記基準画像が映っていると判定された場合、前記第１撮影部及び前記第２撮影部により取り込まれた画像を対応付けて記録する画像取得部と
   を備えたことを特徴とする携帯通信装置。
2. 前記画像取得部により対応付けて記録された前記画像を合成し１つの写真画像を生成する合成部をさらに備えたことを特徴とする請求項１に記載の携帯通信装置。
3. 前記第１画像から顔画像を抽出し、抽出した顔画像の中から指定された基準顔画像を基準画像として認識する基準顔画像認識部をさらに備え、
   前記判定部は、前記第１画像及び前記第２画像の双方に前記基準顔画像が映っているか否かを判定し、
   前記画像取得部は、前記判定部により双方の画像に前記基準顔画像が映っていると判定された場合、前記第１撮影部及び前記第２撮影部により取り込まれた画像を対応付けて記録する
   ことを特徴とする請求項１又は請求項２に記載の携帯通信装置。
4. 前記第１カメラ、前記第１撮影部、前記判定部及び前記画像取得部と、前記第２カメラ及び前記第２撮影部とは異なる筐体に配置され、
   前記判定部及び前記画像取得部は、前記第２撮影部が取り込んだ画像を通信により取得する
   ことを特徴とする請求項１〜３のいずれか一つに記載の携帯通信装置。
5. 前記判定部は、双方の画像に前記基準画像が映っていると判定した場合、前記第１画像における前記基準画像の位置及び前記第２画像における前記基準画像の位置を取得し、前記第１画像における前記基準画像の位置が第１の所定位置にあり、前記第２画像における前記基準画像の位置が第２の所定位置にあるか否かを判定し、
   前記画像取得部は、前記判定部により双方の画像に前記基準画像が映っていると判定され、かつ前記判定部により前記第１画像における前記基準画像の位置が第１の所定位置にあり、前記第２画像における前記基準画像の位置が第２の所定位置にあると判定された場合に、前記第１撮影部及び前記第２撮影部により取り込まれた画像を対応付けて記録することを特徴とする請求項１〜４のいずれか一つに記載の携帯通信装置。
6. 前記判定部に判定された前記第１画像及び前記第２画像における前記基準画像の位置を基に、前記第１画像における前記基準画像の位置が前記第１の所定位置に移動し、前記第２画像における前記基準画像の位置が前記第２の所定位置に移動するように、操作者に対して前記第１撮影部及び前記第２撮影部のいずれか一方又は双方の移動の指示を通知する通知部をさらに備えたことを特徴とする請求項５に記載の携帯通信装置。
7. 携帯通信装置により実行される合成画像生成プログラムであって、
   第１カメラから第１画像を取り込み、
   第２カメラから第２画像を取り込み、
   前記第１画像及び前記第２画像の双方に指定された基準画像が映っているか否かを判定し、
   双方の画像に前記基準画像が映っている場合、前記第１カメラ及び前記第２カメラにより撮影された画像を対応付けて記録する
   処理を前記携帯通信装置に実行させることを特徴とする合成画像生成プログラム。

Images