JP2014175779A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】撮像画像を所望の向きで保存する。
【解決手段】撮像装置は、それぞれが異なる撮像方向を有する第１および第２カメラと、撮像される画像を表示する表示部と、表示部と一体的に構成され、且つ表示部における操作内容を受付ける操作受付部（３０７）と、第１カメラが第２カメラの起動時以降に撮像する画像に、顔画像が含まれるか否かを検出する顔検出部と、顔検出部により顔画像が含まれていないことが検出されたとき、第１カメラが撮像する指を含む画像または操作受付部が受付ける操作内容から、画像に関する方向を決定する方向決定部と、起動の状態にある第２カメラが撮像した画像を、当該画像の撮像時の向きと方向決定部が決定した方向とに基づいて格納する画像格納部（３０６）と、を備える。
【選択図】図３

Description

この発明は撮像装置に関し、特に、撮像画像の方向を判別する撮像装置に関する。

従来、デジカメ（デジタルカメラ）、携帯電話、スマートフォン、タブレット端末などの携帯端末により写真を縦撮り/横撮りした際、機器に内蔵されている加速度センサを用いて機器の上下方向を判断し、判断した上下方向に応じて画像を保存する。

加速度センサを用いない方法として、撮影画像を解析しその画像に写っている文字や人の顔から上下方向を判断し、その上下方向に応じて画像を保存する技術が提案されている。たとえば、特許文献１（特開２００５−２６０８７０号公報）では、被写体の人物の顔の上下から判断する。

しかし、特許文献１の場合には、画像に人物が写っていない場合には上下の判断が困難となる。これを解消するために、たとえば特許文献２（特表２００９−５４２０５９号公報）では、主カメラと補助カメラで同時に撮影を実施し、補助カメラ側で撮影されたユーザの顔から画像の回転姿勢を判断し、回転姿勢に依存する姿勢で主カメラ側で撮影した画像を格納する。

特開２００５−２６０８７０号公報 特表２００９−５４２０５９号公報

特許文献２では、補助カメラ側で撮影されたユーザの顔から画像の回転姿勢を判断するが、補助カメラ側で撮影された画像が不鮮明だった等の原因で回転姿勢の判断を誤ってしまった場合には、主カメラによる撮影画像は間違ったままの回転姿勢に依存した姿勢で保存されてしまう。

それゆえに、本発明の目的は、撮像画像を所望の向きで保存する撮像装置を提供することである。

この発明のある局面に従う撮像装置は、それぞれが異なる撮像方向を有する第１および第２カメラと、撮像される画像を表示する表示部と、表示部と一体的に構成され、且つ表示部における操作内容を受付ける操作受付部と、第１カメラが第２カメラの起動時以降に撮像する画像に、顔画像が含まれるか否かを検出する顔検出部と、顔検出部により顔画像が含まれていないことが検出されたとき、第１カメラが撮像する指を含む画像または操作受付部が受付ける操作内容から、画像に関する方向を決定する方向決定部と、起動の状態にある第２カメラが撮像した画像を、当該画像の撮像時の向きと方向決定部が決定した方向とに基づいて格納する画像格納部と、を備える。

発明によれば、撮像画像は、方向決定部が操作内容から決定した方向に基づき保存される。

本発明の実施の形態１に係る端末の外観を表わす図である。 本発明の実施の形態１に係る端末のハードウェア構成を表わすブロック図である。 本発明の実施の形態１に係る機能構成図である。 本発明の実施の形態１に係る処理フローチャートである。 本発明の実施の形態１に係る上下方向識別処理のフローチャートである。 本発明の実施の形態１に係る撮像画像の「上」方向の判別方法を説明するための図である。 本発明の実施の形態に係る撮像画像データの保存（格納）と表示を説明するための図である。 本発明の実施の形態に係る撮像画像データの「上」方向に従う保存を説明する図である。 本発明の実施の形態に係る撮像画像データの「上」方向に従う保存を説明する図である。 本発明の実施の形態に係る被写体の撮像から、撮像画像データの保存までの撮像画像に係る処理を一覧で説明するための図である。 本発明の実施の形態１に係る上下方向判別結果の表示例を示す図である。 本発明の実施の形態１に係る上下方向判別不可の場合の表示例を示す図である。 本発明の実施の形態１に係る「上」方向を変更する場合の表示例を示す図である。 本発明の実施の形態１に係る「上」方向を変更する場合の表示例を示す図である。 本発明の実施の形態１に係る撮影指示を入力する場合の表示例を示す図である。

以下、本発明の実施の形態について図面を参照し詳細に説明する。なお、同一の構成要素には各図において同一の符号を付し、詳細な説明は繰返さない。

（実施の形態１）
本実施の形態では、カメラ撮影の撮像画像データをメモリに保存する場合に、当該撮像画像データをディスプレイ表示するときの画像の方向、より特定的には当該撮像画像データが表す画像の向きを、保存に先だって決定しておくことができる。ここでは説明を簡単にするために、ディスプレイは矩形状とし、矩形の４辺のうち予め定めた一辺側を「上」方向と決定する。「上」方向とは、撮像画像データのうち当該一辺側で表示されるデータを特定して示すために用いる情報である。

なお、ここでは仮に「上」方向としているが、これに代替して、矩形状のディスプレイの各辺に対応して「下」方向、または「左」方向、または「右」方向などを用いてもよい。

＜ハードウェア構成＞
本実施の形態では、撮像装置は、情報処理装置に搭載される場合を想定する。情報処理装置は、タッチパネルを有する携帯型情報処理端末を想定する。携帯型情報処理端末として、携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assistant）、タブレット端末などを適用することができる。

図１および図２を参照して、本実施の形態に係る携帯型情報処理端末（以下、単に端末という）１００の構成について説明する。図１は、端末１００の外観を表わす図である。図２は端末１００のハードウェア構成を表わすブロック図である。端末１００は、筐体１１０、第１カメラに相当するインカメラ１１１、第２カメラに相当するアウトカメラ１２２、アンテナ１２０、スピーカ１３０、周知の抵抗膜方式のタッチパネル１４０と表示装置２１２を有する表示部２１０、電源ボタン１５０、マイク１６０およびＬＥＤ（Light Emitting Diode）１７０を備える。タッチパネル１４０は抵抗膜方式を採用したが、この方式に限定されず、たとえば周知の静電容量方式、または光センサ方式であってもよい。

インカメラ１１１およびアウトカメラ１２２は、ＣＣＤ（Charge Coupled Device）カメラを含んで構成される。筐体１１０の表面においてインカメラ１１１およびアウトカメラ１２２は、筐体１１０の表面において撮像方向または撮像視野が異なるように配置される。ここでは、インカメラ１１１は、筐体１１０の表面であって、表示装置２１２のディスプレイ面が設けられた面と同じ面（以下、主面という）に配置され、アウトカメラ１２２は、筐体１１０の表面であって、主面に対する背面に配置される、とする。

端末１００には、カード状の記録媒体であるメモリカード１５２が外部から着脱自在に装着される。

端末１００は、図１に示される構成に加えて、センサ部２２０、プロセッサ２３０、グラフィックメモリ２５７を有した表示デバイスコントローラ２１４、フラッシュメモリ２５０、ＲＡＭ（Random Access Memory）２５２、ＲＯＭ（Read Only Memory）２５８、アンテナ１２０を介し通信するための通信回路２６０、マイク１６０とスピーカ１３０による音声入出力のための信号処理回路２７０、プロセッサ２３０から送られる信号に基づいて予め規定された振動パターンで発振するバイブレータ２８０、および装着されたメモリカード１５２をプロセッサ２３０の制御のもとにアクセスするためのメモリドライバ１５１を備える。プロセッサ２３０はＣＰＵ（Central Processing Unit）２３１およびタイマ２３２などを含む。

センサ部２２０は、端末１００の筐体１１０自体に加わる加速度を検出する加速度センサを含む。

表示部２１０は、タッチパネル１４０と表示装置２１２とを一体的に含む表示一体型入力部を構成する。表示部２１０の表示装置２１２はＬＣＤ（Liquid Crystal Display）パネルに相当し、その表示面上にはタッチパネル１４０が載置される。表示面において表示される画像はタッチパネル１４０を介して視認可能な可視画像である。

タッチパネル１４０の表面上は、指または専用のペン（図示せず）などの操作体によりタッチなどの操作がされる操作面に相当する。ここでは、説明を簡単にするために操作体を指と想定する。タッチパネル１４０は、操作面上の指により操作された位置（以下、操作位置という）に応じた電気信号を出力する。

表示部２１０の表示パネルは上記のＬＣＤパネルに限定されず、有機ＥＬディスプレイ（organic electroluminescence display）、ＦＥＤ（Field Emission Display：電界放出型ディスプレイ）、電子ペーパーなどを適用してもよい。

フラッシュメモリ２５０は、端末１００に対して与えられたデータあるいはプロセッサ２３０によって生成されたデータを不揮発的に保持する。

ＲＡＭ２５２は、プロセッサ２３０によって生成されたデータおよび撮像画像データなどを格納するための記憶領域を含む。

グラフィックメモリ２５７は、表示装置２１２において画像を表示するためのデータを格納する。なお、他の局面において、ＲＡＭ２５２の一部記憶領域とグラフィックメモリ２５７とが一体として構成されていてもよい。

ＲＯＭ２５８は端末１００を作動させるためのファームウェアと、各種プログラムと、端末１００に固有の動作を実行させるために設定値として予め入力されたデータとを格納している。

表示デバイスコントローラ２１４は、グラフィックメモリ２５７に格納されているデータに基づく描画動作を表示装置２１２に対して実行する。表示装置２１２は、その動作に従って画像を表示する。具体的には、表示装置２１２のＬＣＤパネルは、図１の直交するＸ，Ｙ軸により規定される座標平面に相当する領域に複数の電極素子が２次元配列されて構成される。したがって、各電極素子を２次元座標値（ｘ１，ｙ１）により特定することができる。グラフィックメモリ２５７の画像データに基づく表示データは、ＬＣＤパネルの表示領域のサイズに整合するサイズを有した２次元配列のビットマップデータを表す。表示デバイスコントローラ２１４は当該画像データの各ビット値を表す表示データを出力する。ＬＣＤパネルは、表示データに基づき、各座標の電極素子に電圧を印加する。これにより、表示装置２１２には、グラフィックメモリ２５７に格納される画像データに従う画像が表示される。

なお、プロセッサ２３０が受付ける操作は、タッチパネル１４０を介したユーザ操作に限定されず、電源ボタン１５０などの物理的ボタンの操作等も含む。

（機能構成）
図３は、本発明の実施の形態に係る機能構成図である。図３の各部は、ＲＯＭ２５８に予め格納されたプログラム、または、プログラムとハードウェア回路の組合せにより実現される。図３では、機能を説明するために、関連する周辺部の一部として記憶部が示される。

図３を参照して、本実施の形態に係る撮像装置は、撮像のためのピントが合っているか否かを検出するための合焦判定部３０１、撮像画像の上下方向を決定するための上下方向決定部３０２、決定した上下方向を外部に通知するための通知部３０５、撮像画像データを所定の記憶領域に保存するための画像格納部３０６、および撮影者などの操作内容を受付けるための操作受付部３０７を含む。上下方向決定部３０２は、後述する上下方向識別処理により撮像画像の上下方向を判別するための上下方向判別部３０３、判別した上下方向をユーザの指示に従って変更する上下方向変更部３０４を含む。

操作受付部３０７は、タッチパネル１４０を含んで構成され、タッチパネル１４０の出力から上記の操作体によりなされた操作の内容を受付ける。

記憶部には、撮像画像データを保存するための保存用メモリ２５１、撮像画像データを処理するための１種のワークメモリに相当する処理用メモリ２５６、撮像画像データを表示するための表示用メモリ２５３を含む。保存用メモリ２５１はフラッシュメモリ２５０の記憶領域に相当し、処理用メモリ２５６はＲＡＭ２５２の記憶領域に相当し、表示用メモリ２５３はグラフィックメモリ２５７に相当する。

表示用メモリ２５３は、インカメラ１１１が出力する撮像画像データを格納するためのインカメラ用メモリ２５４と、アウトカメラ１２２が出力する撮像画像データを格納するためのアウトカメラ用メモリ２５５に対応する。

（処理フロー）
図４は、本発明の実施の形態に係る処理フローチャートである。図５は、本発明の実施の形態に係る上下方向識別処理のフローチャートである。これらフローチャートに従うプログラムは予めＲＯＭ２５８などの記憶部に格納され、ＣＰＵ２３１がＲＯＭ２５８からプログラムを読出し、読出したプログラムの各命令コードを実行することにより処理が実現される。

・全体処理
ここでは、図４のフローチャートに従うプログラムは、ユーザがタッチパネル１４０を介して端末１００の動作モードを撮影モードへ移行させるための操作をしたときに実行開始されるとする。

ＣＰＵ２３１は、操作受付部３０７が受付けた操作内容に基づき、撮影モードへの切替え指示が与えられたことを検出すると、インカメラ１１１とアウトカメラ１２２に電源を供給することにより起動する（ステップＳ３）。起動した両方のカメラにより撮像が開始される。

合焦判定部３０１は、カメラが出力する撮像画像データを、処理用メモリ２５６に格納し、処理用メモリ２５６の撮像画像データからピントが合っている、すなわちフォーカスが完了し合焦しているか否かを判定する（ステップＳ５）。ここでは、合焦判定に代替して、または合焦判定とともにＣＰＵ２３１は加速度センサの出力から、端末１００自体の振動量（単位：ｄB）が少なくなり所定値未満になったか否かを判定するとしてもよい。

合焦判定部３０１は、たとえばフォーカス値を用いて合焦判定する。フォーカス値は、カメラの焦点が被写体に対してどの程度合致しているかの度合いを示す。フォーカス値は処理用メモリ２５６の撮像画像データから検出するエッジ量と相関関係にあるため、たとえば撮像画像データから取得する色偏差に基づいて算出することができる。

ピントが合っている、または振動量が少ないと判定されないときは（ステップＳ５でＮＯ）、ステップＳ５の処理が繰返されるが、ピントが合っている、または振動量が少ないと判定されると（ステップＳ５でＹＥＳ）、以降の撮像画像の上下判別のための処理が開始される。

一般に、被写体を撮影する場合に、撮影者は撮像画像をディスプレイで確認しながら、端末１００を縦向きで撮影するのがよいか横向きで撮影するのがよいのかの試行錯誤を繰り返す。この間は、ピントが合っている、または振動量が少ないと判定されない（ステップＳ５でＮＯ）が、最終的にどちらかの向きに固定すると、ピントが合っている、または振動量が少ないと判定される（ステップＳ５でＹＥＳ）。このように、本実施の形態では、端末１００の筐体１１０の撮影姿勢が決まったと検出されたとき、以降の撮像画像の上下判別のための処理が開始される。カメラが起動されてから後述する撮影指示が入力されるまでの間は、カメラからの撮像画像データによる画像は撮影姿勢などを決めるためにディスプレイ表示されることから、ディスプレイをビューファインダとして利用できる。

ＣＰＵ２３１は、インカメラ１１１からの撮像画像データを入力し、処理用メモリ２５６に格納する（ステップＳ７）。

上下方向決定部３０２の上下方向判別部３０３は、処理用メモリ２５６の撮像画像データに基づき、被写体画像についての上下方向の識別処理を実行し、撮像画像データの「上」方向を含む処理結果を出力する（ステップＳ９）。ステップＳ９の上下方向の識別処理の詳細は後述する。

上下方向決定部３０２は上下方向判別部３０３の出力に基づき識別できたか否かを判定する（ステップＳ１１）。識別できたと判定した場合には（ステップＳ１１でＹＥＳ）、通知部３０５は、撮影者に通知するために、識別結果をディスプレイ表示などにより出力する（ステップＳ１３）。

通知部３０５は、判別された「上」方向を変更するか否かの確認を撮影者に促す旨を出力し、ＣＰＵ２３１は修正要の有無を判定する（ステップＳ１５）。ＣＰＵ２３１は、操作受付部３０７がタッチパネル１４０から入力した操作内容に基づき、修正要の指示が入力されたと判定すると（ステップＳ１５でＹＥＳ）、上下方向決定部３０２の上下方向変更部３０４は、撮像画像データについて識別されている「上」方向を変更し（ステップＳ２９）、ステップＳ１７に移行する。

一方、修正要の指示が入力されないときは（ステップＳ１５でＮＯ）、撮影者はタッチパネル１４０を操作して撮影指示を入力する（ステップＳ１７）。この撮影指示は、シャッタ操作に相当する。

ＣＰＵ２３１は、操作受付部３０７が受付けた操作内容に基づき撮影指示が入力されたと判定すると（ステップＳ１７）、画像格納部３０６は、アウトカメラ１２２が撮影した画像データを、上下方向決定部３０２が決定した「上」方向を示すデータ（以下、「上」データという）に従った向きに保存用メモリ２５１に格納する（ステップＳ１９）。ここで、“向き”は、画像の傾き角度などにより決まる。

このとき、処理用メモリ２５６でホワイトバランス調整などのデータ処理をした後に、保存用メモリ２５１に格納するとしてもよい。また、撮影者は、シャッタ操作時の撮像画像をディスプレイ表示で確認し、保存を拒む場合には、タッチパネル１４０を操作することにより、保存用メモリ２５１に格納された当該撮像画像データを削除でき、または撮像画像データの保存用メモリ２５１への格納処理をパス（省略）させることができる。

「上」データに従った向きに撮像画像データが保存用メモリ２５１に格納された後は、ＣＰＵ２３１は、操作受付部３０７が受付けた操作内容から、撮影を終了するか否かを判定する（ステップＳ２１）。撮影終了と判定しないときは（ステップＳ２１でＮＯ）、ステップＳ５に戻り、以降の処理を同様に繰返すが、撮影終了と判定すると（ステップＳ２１でＹＥＳ）、ＣＰＵ２３１は、インカメラ１１１とアウトカメラ１２２を電源ＯＦＦして停止させ（ステップＳ２３）、一連の処理は終了する。

ステップＳ１１に戻り、上下方向識別処理により上下方向が識別できなかったと判定された場合（ステップＳ１１でＮＯ）、通知部３０５は、上下方向が識別できなかった旨を表示などで通知する（ステップＳ２５）。また、ＣＰＵ２３１は、仮の「上」方向を表示などで通知する（ステップＳ２７）。その後、ステップＳ１５に移行する。

以上のように、ピントを合わせたとき、または、筐体１１０の振動が小さくなったときにインカメラ１１１からの撮像画像データから「上」方向を判別する。また、撮影者は判別された「上」方向であっても、必要に応じて変更することができる。したがって、その後、アウトカメラ１２２からの撮影画像データを、予め判別した「上」データ、または撮影者が変更後の「上」データに従った向きに保存用メモリ２５１に保存することができる、すなわち、撮影者が所望する向きに撮像画像を保存しておくことができる。

・上下方向識別処理
図５を参照し、図４の上下方向識別処理（ステップＳ９）では、上下方向決定部３０２は、処理用メモリ２５６のインカメラ１１１の撮像画像データの画像から顔画像を認識できるか否かを判定する（ステップＳ３３）。たとえば、撮像画像データの各画素の階調値およびエッジ量から、顔の部分画像データを抽出できたときは、顔画像を認識できたと判定し（ステップＳ３３でＹＥＳ）、ステップＳ３５に移行するが、抽出できないときは認識できなかったと判定し（ステップＳ３３でＮＯ）、ステップＳ４１に移行する。

上下方向決定部３０２は、抽出した部分画像データから検出する特徴量と顔の特徴量（目、口の特徴量）とを照合し、照合結果から顔のパーツ（目、口）が識別できるか否かを判定する（ステップＳ３５）。

顔のパーツは、「目、口」の組み合わせだけではなく、「目、頭」、「目、鼻」、「目、眉」、「目、顎」、「口、頭」、「口、顎」等、２種類以上のパーツの組合せであればよい。

識別できたと判定すると（ステップＳ３５でＹＥＳ）、識別した顔のパーツの位置関係から、顔画像の傾きを検出し、検出結果に基づき撮像画像データの「上」方向を判別する（ステップＳ３７）。その後、上下方向決定部３０２は、撮像画像データの「上」方向を確定し出力する（ステップＳ３９）。「上」方向判別処理の詳細は後述する。

一方、顔画像を認識できないと判定したとき（ステップＳ３３でＮＯ）、または顔のパーツを識別できないと判定しとき（ステップＳ３５でＮＯ）は、上下方向決定部３０２は、撮像画像データの輝度値から、撮影者の周囲、とりわけ顔のあたりが暗いかを判定する（ステップＳ４１）。暗くないと判定すると（ステップＳ４１でＮＯ）、上下方向決定部３０２は「上下方向識別不可」を出力する（ステップＳ４９）。

暗いと判定すると（ステップＳ４１でＹＥＳ）、表示装置２１２の図示しないバックライトの照射光量を増加させてディスプレイの画面を真っ白に表示する（ステップＳ４３）。これにより、ディスプレイの光を撮影用照明の補助光源として用いて、撮影者の顔を撮影できる。

例えば夜景を撮影するなど周囲環境が暗い場合でも、本実施の形態では、ディスプレイの光を補助光源として用いることで、上下方向判別が可能となる。

その後、ＣＰＵ２３１は、インカメラ１１１からの撮像画像データを処理用メモリ２５６に格納する（ステップＳ４５）。上下方向判別部３０３は、処理用メモリ２５６の撮像画像データについて、再度、顔画像を抽出し、顔パーツの位置関係から「上」方向を判別できた場合（ステップＳ４７でＹＥＳ）、ステップＳ３９に移行し、判別した「上」方向を出力する。

一方、明るさが十分でないなどの何らかの要因で顔画像を認識できない、または顔パーツを抽出できないために、「上」方向を判別ができなかった場合は（ステップＳ４７でＮＯ）、上下方向決定部３０２は「上下方向識別不可」を出力する（ステップＳ４９）。

（顔パーツによる「上」方向判別）
図６は実施の形態１に係る撮像画像の「上」方向判別方法を説明するための図である。ここでは、説明を簡単にするために、撮像画像データは直交するＸ軸，Ｙ軸（図１のＸ軸，Ｙ軸）による２次元平面に相当する矩形状のビットマップデータを想定する。ディスプレイおよび各種メモリ（処理用メモリ２５６、保存用メモリ２５１、インカメラ用メモリ２５４およびアウトカメラ用メモリ２５５）も撮像画像データと同じサイズおよび形状でデータを格納すると想定する。

まず、ステップＳ７で処理用メモリ２５６に格納されたインカメラ１１１の撮像画像データがディスプレイに表示された状態を、たとえば図６に模式的に示す。図６を参照して、上下方向判別部３０３は、基準線に基づき顔画像の傾き角度を検出し、検出した傾き角度から、撮像画像データの画像の天地、すなわち「上」方向を判別する。“基準線”は、ディスプレイを長方形（矩形）とすれば両長辺の中点と直交する線を示す。図６の場合には、基準線に基づく顔画像の傾き角度が、たとえば４５度以上且つ１３５度未満の場合は、長方形の一方の短辺側を「上」方向と判別する（図６参照）。ここで、“一方の短辺側”とは、長方形の両短辺のうち原点（Ｘ軸とＹ軸の交点）から遠い方の短辺を示す。また、“傾き角度”は、顔画像における鼻と口の部分画像を通る直線と基準線とがなす角度を示す。

なお、“傾き角度”を検出するために用いる顔のパーツは、「鼻、口」の組み合わせに限定されず、「目、口」、「目、頭」、「目、鼻」、「目、眉」、「目、顎」、「口、頭」、「口、顎」等、２種類以上のパーツの組合せであればよい。

（撮像画像の保存）
図７は、本発明の実施の形態に係る撮像画像データの保存（格納）と表示を説明するための図である。図８と図９は、本発明の実施の形態に係る撮像画像データの「上」方向に従う保存を説明する図である。

撮影者が筐体１１０を縦向き(図１（Ａ）の向きから９０度右回転)とした状態で被写体である図７（Ａ）の樹木をアウトカメラ１２２で撮影した場合、図７（Ｂ）の画像がビューファインダ表示され、シャッタ操作するとアウトカメラ１２２から図７（Ｃ）の撮像画像データが取得される。ここで、一般的にカメラは図７（Ｄ）に示す横向きで使用されることを想定しているため、矩形の画像データの部分Ｘαがメモリの配列の一番上の行に位置するように、且つ部分Ｙαが一番左の列に位置するように画像が格納される。そのため、筐体１１０を縦向きの姿勢で撮影した場合には、図７（Ｃ）のように画像データが格納される。

仮に、図７（Ｃ）の画像をこのままの状態で保存用メモリ２５１に保存し、その後、保存用メモリ２５１から読出し表示させる（これを、プレビュー表示という場合がある）と、画像が９０度回転した状態で表示されてしまうため、非常に見づらくなってしまう。たとえば、筐体１１０を横向きでプレビュー表示させた場合は、樹木が９０度左回転した状態で表示されてしまい（図７（Ｅ）参照）非常に見づらい。また、筐体１１０を縦向きでプレビュー表示させた場合は、樹木が９０度回転しているのに加え、画像が小さく表示されてしまう（図７（Ｆ）参照）。

図７（Ｅ）および（Ｆ）の課題に関しては、撮像時の画像の向きと予め判別された「上」方向とに従った向きに撮像画像データを保存することで、当該課題を解消して画像をプレビュー表示させることができる。本実施の形態では、図８（Ａ）の撮像画像データ（図７（Ｃ）の撮像画像データと同じ）がアウトカメラ１２２から取得された場合には、撮像画像の向きと判別された「上」方向とから回転角度を決定し、決定した角度だけ画像を回転させた後に保存用メモリ２５１に保存する（図８（Ｂ）参照）。言い換えると、撮像画像の部分Ｘαの軸（ｘ軸）と判別された「上」方向に対応する１辺とが“なす角度”だけ回転（９０度右回転）させた後に保存用メモリ２５１に保存する。または、回転することなく、判別された「上」方向を示す「上」データを付加して撮像画像を保存する（図８（Ｃ）参照）。ここでは、「上」データとして、たとえばＥＸＩＦ（Exchangeable Image File Format）情報を用いる。より特定的にはＥＸＩＦ情報のタグの一つである「画像方向（Ｏｒｉｅｎｔａｔｉｏｎ）」に、画像データのどの部分が上になるのかの情報を付加して保存する。

したがって、図８（Ｂ）の撮像画像データをプレビュー表示する場合には、ＣＰＵ２３１は保存用メモリ２５１から回転後の撮像画像データを読出し、グラフィックメモリ２５７に格納する。また、図８（Ｃ）の撮像画像データの場合には、ＣＰＵ２３１は保存用メモリ２５１から当該撮像画像データを読出し、対応付けされた「上」データに従って決定した角度（９０度右回転）だけ画像を回転させてグラフィックメモリ２５７に格納する。したがって、図８（Ｂ）および図８（Ｃ）のいずれの場合も、プレビュー画像を表示させるときは、撮像時の画像の向きと判別された「上」方向が示す向きとに従った向きで、画像データをディスプレイに表示することができる（図８（Ｄ）または図８（Ｅ）参照）。図８（Ｄ）および図８（Ｅ）からは、図７（Ｅ）および（Ｆ）の課題が解消されていることがわかる。

さらに、本実施の形態では、保存された撮像画像データをプレビュー表示する場合に、図９に示すように、画像の向きとプレビュー表示時の筐体１１０の姿勢に従った向きとが一致するように表示させるとしてもよい。

具体的には、画像の向きすなわち「上」方向は、ＥＸＩＦ情報が付加されていない場合は撮像画像データの上側（部分Ｘαの側）に従い、またＥＸＩＦ情報が付加されている場合はＥＸＩＦ情報に従う（図９（Ａ））。また、プレビュー表示時の筐体１１０の姿勢に従った向きを、たとえば、図９（Ｂ）のように、周知の技術である加速度センサの出力が示す筐体１１０に係る重力方向から判定する、または、インカメラ１１１を用いて図６に示した方法(撮影するときと同様の方法)で判定する。

そして、ＣＰＵ２３１は、（ｉ）ＥＸＩＦ情報が付加されていない場合には、その時に判定されている筐体１１０の向き（上方向）と撮像画像データの「上」方向が示す向きとから回転角度を決定し、決定した角度だけ回転処理した画像データをグラフィックメモリ２５７に格納する。また（ｉｉ）ＥＸＩＦ情報が付加されている場合には、その時に判定されている筐体１１０の向き（上方向）と撮像画像データのＥＸＩＦ情報が示す「上」方向とから回転角度を決定し、決定した角度だけ回転処理した画像データをグラフィックメモリ２５７に格納する。これにより、ディスプレイにプレビュー表示されるべき画像を、図９（Ｃ）のように、筐体１１０の向きと画像の向きとが一致するように表示させることができる。

図１０は、本発明の実施の形態に係る被写体の撮像から、撮像画像データを保存するまでの撮像画像に係る処理を一覧でまとめて説明するための図である。図１０では、処理のケースＣＡ〜ＣＤのそれぞれについて、図６〜図８に説明した処理が順を追って示されている。本実施の形態のように、撮像画像の部分Ｘαの軸（ｘ軸）と判別された「上」方向に対応する１辺とが“なす角度”から必要に応じて画像を回転させた後に保存用メモリ２５１に保存する場合に、図１０のケースＣＡでは、撮像画像の向きと判別された「上」方向が示す向きとは一致し、“なす角度”は０度であり、回転処理なしで画像が保存される。これに対して、ケースＣＢ（またはケースＣＤ）では、撮像画像の向きと判別された「上」方向が示す向きとは相違し、両者の向きから決まる“なす角度”は９０度であり、９０度だけ右回転（または左回転）処理した後に画像が保存される。またケースＣＣでは撮像画像の向きと判別された「上」方向が示す向きとから決まる“なす角度”は平行を示し、したがって１８０度だけ回転処理した後に画像が保存される。また、各ケースの最下段では、回転させることなく、「上」データを示すＥＸＩＦ情報が付加される場合が示される。

（上下方向判別結果の出力態様）
図１１は、実施の形態１による上下方向判別結果の表示例を示す図である。図４のステップＳ１３では、通知部３０５は、判別した「上」方向を、ディスプレイに矢印マークまたは三角マークで表示（図１１（Ａ））し、またはピント合わせを支援するためにディスプレイに表示されるピントマークを利用して表示（図１１（Ｂ））などする。

図１１（Ｂ）では、たとえば、ピントマークを四角形で表示し、四角形の４辺のうち判別した「上」方向に対応の一辺を、他の辺よりも線幅を変更する、または、当該一辺に印を追加表示する、または、表示色を変更する（たとえば、一辺は赤色で他の辺は緑）、または、当該一辺のみを消去する（四角形の判別した方向を開ける）。

図１２は、実施の形態１による上下方向判別不可の場合の表示例を示す図である。図４のステップＳ２５では、通知部３０５は、図示しないＬＥＤ１７０を点滅(点灯)させる、またはスピーカ１３０から『ブー』等の音を鳴らす、またはバイブレータ２８０により筐体１１０を振動させるなどして、「上」方向を判別できなかったことを撮影者へ通知する。そして、ステップＳ２７では図１１（Ｂ）の方法で仮の「上」方向を表示する。仮の表示方法として、図１２のように、矢印マークやピントマークの色を、「上」方向を判別できた場合とは異なる色で表示する。たとえば、判別できた場合には緑色で表示し、判別できなかった場合には赤色で表示する。また、上記の撮影者への通知と矢印マークやピントマークの仮表示とを同時に組み合わせて実施するとしてもよい。

（「上」方向の変更と通知）
図１３と図１４は、実施の形態１による撮影者が「上」方向を変更する場合の表示例を示す図である。図１３はインカメラ１１１を使用しないで変更する場合を示し、図１４は使用して変更する場合を示す。

図４のステップＳ２９では、上下方向変更部３０４は、図１３（Ａ）のように、ディスプレイに上下左右ボタンのアイコンを表示して、撮影者が、所望方向に一致するアイコンを操作（押す）と、上下方向変更部３０４は、予め判別されていた「上」方向を、撮影者が操作したアイコンが示す方向に変更する。なお、これらの上下左右ボタンはあらかじめ表示されるとしてもよく、または特別ボタンを用意しておき、特別ボタンが操作（押す）されたときに表示するとしてもよい。

図１３（Ａ）のボタン表示に代替して、図１３（Ｂ）と（Ｃ）のようにタッチパネル１４０の操作内容を読取るようにしてもよい。図１３（Ｂ）では、上下方向を表示しているマークを指でタップするごとにマークが示す方向が切替わるように表示する。例えば矢印マークの場合は、指でタップする毎に、矢印の向きは、上、下、右、左、上…と変化する。上下方向変更部３０４は、タップ操作内容から、変更後の「上」方向を検出する。図１３（Ｃ）では、ディスプレイ表示の矢印の向きが「上」方向と判別されている場合に、撮影者は、例えばディスプレイ面を指で左から右方向になぞる操作をすれば、上下方向変更部３０４は、操作内容からなぞられた方向を検出し、「上」方向を、検出した方向に変更する。

図４のステップＳ２９では、上下方向変更部３０４は、図１４（Ａ）のように、インカメラ１１１の撮像画像から、撮影者が指定する「上」方向を検出する。具体的には、撮影者がインカメラ１１１に向かって指を置くと、上下方向変更部３０４は、インカメラ１１１の撮像画像データから、置かれた指の向き検出し、「上」方向を、検出した指の向きに変更する。

また、図１４（Ｂ）のように、撮影者はインカメラ１１１をタップし、タップ時の撮像画像から、撮影者が指定する「上」方向を検出する。具体的には、撮影者がインカメラ１１１に向かって指を置くと、上下方向変更部３０４は、インカメラ１１１の撮像画像データから、タップ操作毎の指の向き検出し、表示される矢印マークの向きを、上、下、右、左、上、…と順次に変更する。上下方向変更部３０４は、タップ操作による変更後の矢印マークの方向を検出し、「上」方向を、検出した方向に変更する。また、表示されるピントマークを指でタップする毎に、ピントマークが示す「上」方向を切替えて、上下方向変更部３０４は、「上」方向を、タップ操作による変更後のピントマークが示す「上」方向に変更する。

また、図１４（Ｃ）のように、撮影者はインカメラ１１１の前で指を動かし、その撮像画像から、撮影者が指定する「上」方向を検出する。撮影者は、指を筐体１１０から離した状態でインカメラ１１１の前で移動させる。または、図１４（Ｄ）のように、撮影者は、指を筐体１１０に接触させた状態でインカメラ１１１を指でなぞるように移動させる。いずれの場合も、上下方向変更部３０４は、インカメラ１１１の撮像画像データから指の移動方向を検出し、判別されていた「上」方向を、検出した移動方向による「上」方向に変更する。

また、図１３と図１４では、アウトカメラ１２２の撮像画像データによるプレビュー画像がディスプレイに表示される。これにより、撮影者はプレビュー画像を確認しながら所望方向に「上」方向を変更することができる。

図１３と図１４では、予め判別されていた「上」方向を示す矢印マークがディスプレイに表示されている。上下方向変更部３０４が「上」方向を変更すると、表示中の矢印マークの向きは、変更後の方向を示すように更新される。これにより撮影者は、所望方向に「上」方向に変更されたことを確認できる。

（撮影指示の方法）
図１５は、実施の形態１による撮影指示を入力する場合の表示例を示す図である。図４のステップＳ１７では、撮影者はシャッタボタン（ハードウェアボタンまたはソフトウェアボタン）を操作することで撮影指示を入力するとしてもよく、または図１５（Ａ）のように決定された「上」方向を示す矢印方向と同じ方向が指示されたとき、撮影指示を入力するとしてもよい。たとえば、画面の上部に判別した「上」方向を示す矢印マークを表示し、同一画面の下部には上下左右の矢印マーク群を表示し、矢印マーク群のうち、画面上部の矢印マークと同じ方向を示すマークが操作されたとき、撮影指示を入力する。矢印マーク群では、画面上部の矢印マークと同じ方向を示すマークのみを、シャッタボタンのマークにするとしてもよい。

他の方法として、画面には、決定した「上」方向を示す矢印マークを表示しておき、撮影者が画面上で、当該矢印マークの方向と同一方向に指をなぞったとき、または、撮影者が画面領域内の当該矢印マークの方向が示す部分領域を押下したとき、撮影指示が入力されるとしてもよい。

さらなら他の方法として、図１５（Ｂ）のように、画面上部の決定した「上」方向を示す矢印マークが長押しされたとき、または、画面下部の矢印マーク群のうち、画面上部の矢印マークと同じ方向を示すマークが長押しされたとき、撮影指示が入力されるとしてもよい。また、矢印マークに代替して、カメラ起動時に表示されるピントマークが長押しされたとき、撮影指示が入力されるとしてもよい。

さらなら他の方法として、インカメラ１１１が指で押さえ続けられてカメラのレンズ部が塞がれたとき、撮影指示を入力する。つまり、ＣＰＵ２３１は、インカメラ１１１の撮像画像データから特徴量を抽出し、抽出した特徴量と指画像に特有の特徴量（指紋、エッジなどに関する特徴量）とをマッチング処理する。マッチング処理により取得される画像類似度から、撮像される画像が塞ぐような画像であるかどうかを判定する。塞ぐような画像であると判定したとき、撮影指示を入力する。

さらなら他の方法として、特別に撮影指示を入力することなく、撮影処理が行われるとしてもよい。つまり、ＣＰＵ２３１は、ステップＳ２９において上下方向変更部３０４が「上」方向を変更したとき、ステップＳ１７の処理をパスし、ステップＳ１９でアウトカメラ１２２の撮像画像データを保存するとしてもよい。

（実施の形態の効果）
本実施の形態では、インカメラ１１１の撮像画像データから上下方向判別部３０３が判別した「上」方向を、撮影者の所望方向に変更することができる。これにより、筐体１１０の撮影時の姿勢によらず「上」方向を決定できる。またインカメラ１１１の撮像画像データに人の顔が映ってないときなど「上下方向識別不可」の場合でも、「上」方向を決定することができる。

したがって、たとえば、筐体１１０を上に持ちあげて撮影する時、またはペットをしゃがんで撮影する時など、インカメラ１１１の撮像方向に撮影者の顔が位置しない撮影姿勢をとる場合には、上下方向決定部３０２は「上下方向識別不可」と決定し、仮の「上」方向を出力するが（ステップＳ２５，Ｓ２７）、その場合であっても撮影者は、「上」方向を、所望方向を示すように変更し、アウトカメラ１２２による撮像画像データを所望する「上」方向に従って表示できるように保存用メモリ２５１に保存することができる。

また、アウトカメラ１２２で撮影された画像の上下方向が撮影者の意図と違っていると、保存画像を読出し表示したとき画像が意図するのとは違う方向を向いてしまうため見づらくなってしまう、または、上下方向を修正するためには専用ソフトを使用する必要があるが、本実施の形態では、「上」方向を所望方向に変更した後に撮像画像データを変更後の「上」方向に従って保存できるから、当該見づらさの問題および専用ソフトの問題を解消できる。

（実施の形態１の変形例）
図４では、ステップＳ３において、アウトカメラ１２２とインカメラ１１１を同時に起動する場合を説明したが、以下の３つのケースにあるように、両カメラを起動するか、一方のみを起動するかは撮影者が任意に設定変更できるとしてもよい。以下に、各ケースを説明する。

まず、ステップＳ３のように、アウトカメラ１２２とインカメラ１１１を同時に起動する場合、処理の流れは、両カメラを同時に起動→合焦を検出または振動が少なくなったかを検出→インカメラ１１１側の撮像画像データ入力→上下方向識別処理、となる（これを、ケース（１）という）。

これに対し、初めにアウトカメラ１２２のみ起動するとすれば、処理の流れは、アウトカメラ１２２のみ起動→合焦を検出または振動が少なくなったかを検出→インカメラ１１１を起動→インカメラ側の撮像画像データ入力→上下方向識別処理、となる（これを、ケース（２）という）。

ケース（１）はケース（２）に比べると、合焦を検出または振動が少なくなったことを検出した後、インカメラ１１１側の撮像画像データを入力するまでの処理時間を、インカメラ１１１を予め起動している分短くできる。（ケース２）は（ケース１）に比べると、インカメラ１１１が起動している期間が短いので、その分消費電力を少なくできる。

実施の形態１とは異なり、初めにインカメラ１１１のみ起動する場合は、処理の流れは、インカメラ１１１のみ起動→合焦を検出または振動が少なくなったかを検出→インカメラ１１１側の撮像画像データを入力→上下方向識別処理、となる（これを、ケース（３）という）。ケース（３）は、アウトカメラ１２２側を起動しない分、消費電力を少なくできる。

実施の形態１では、初めに両カメラを起動したが、両カメラを起動するか、一方のみを起動するかは撮影者が選択的に設定することができるとしてもよい。例えば、自画像等の撮影をするためにインカメラ１１１側を起動する設定に変更していた場合は、初めにインカメラ１１１のみが起動されることになる。

実施の形態では、それぞれが異なる撮像方向を有する第１および第２カメラ（１１１、１１２）と、撮像される画像を表示する表示部（２１２）と、表示部と一体的に構成され、且つ表示部における操作内容を受付ける操作受付部（１４０、３０７）と、第１カメラが第２カメラの起動時以降に撮像する画像に、顔画像が含まれるか否かを検出する顔検出部（ステップＳ３３）と、顔検出部により顔画像が含まれていないことが検出されたとき、第１カメラが撮像する指を含む画像または前記操作受付部が受付ける操作内容から、画像に関する方向を決定する方向決定部（３０２）と、起動の状態にある第２カメラが撮像した画像を、当該画像の撮像時の向きと方向決定部が決定した方向とに基づいて格納する画像格納部（３０６）と、を備える、撮像装置が提供される。

したがって、撮像画像は、方向決定部が操作内容から決定した方向に基づき保存される。

好ましくは、第１カメラは、撮像装置の筐体（１１０）の表面であって、表示部（２１２）のディスプレイ面が設けられた面と同じ面（以下、主面という）に配置され、第２カメラは、筐体（１１０）の表面であって、主面に対する背面側に配置される。

したがって、第１カメラと第２カメラを同じ筐体に有する撮像装置を用いることができる。

好ましくは、画像格納部は、起動の状態にある第２カメラが撮像した画像を、方向決定部が決定した方向に従った角度で回転させた状態で格納する回転格納部を有する。

好ましくは、画像格納部は、起動の状態にある第２カメラが撮像した画像を、方向決定部が決定した前記方向を示すデータと対応づけて格納する対応付け格納部を有する。

好ましくは、上記の方向決定部（３０２）が決定した方向を示す情報を、表示部（２１２）に表示する。したがって、表示内容から、撮影者は、決定された方向を確認できる。

好ましくは、上記の方向決定部（３０２）は、起動がされた後に第２カメラ（１２２）のフォーカス完了後に方向を決定する。したがって、フォーカス完了して撮影姿勢が決まったときに、方向を決定することができる。

好ましくは、撮像装置は、その本体への加速度を計測する加速度センサ（２２０）を、さらに備え、方向決定部（３０２）は、起動がされた後の加速度センサの出力から本体の振動量が所定値未満であると判定したとき、方向を決定する。したがって、振動が収束して撮影姿勢が決まったと判定されるときに、方向を決定することができる。

好ましくは、撮像装置は、画像格納部の画像を、表示部のディスプレイに表示する場合に、当該ディスプレイの姿勢に従った向きに表示する。

また、本実施の形態では、それぞれが異なる撮像方向を有する第１および第２カメラと、撮像される画像を表示する表示部と、表示部と一体的に構成され、且つ表示部における操作内容を受付ける操作受付部と、を備える撮像装置を用いた撮像方法が提供される。

撮像方法は、第２カメラの起動時以降に第１カメラが撮像する画像に、顔画像が含まれるか否かを検出するステップ（ステップＳ３３）と、検出するステップにおいて顔画像が含まれていないことが検出されたとき、第１カメラが撮像する指を含む画像または前記操作受付部が受付ける操作内容から、画像に関する方向を決定するステップ（ステップＳ３９）と、起動の状態にある第２カメラが撮像した画像を、当該画像の撮像時の向きと決定するステップにおいて決定した方向とに基づいて格納するステップ（ステップＳ１９）と、を備える。

（実施の形態２）
上述した実施の形態１では、図４と図５のフローチャートに従うプログラムは、端末１００に付属するメモリカード１５２などのように、プロセッサ２３０のＣＰＵ２３１がメモリドライバ１５１を介して読取り可能な記録媒体に非一時的に記録させて、プログラム製品として端末１００に提供することもできる。あるいは、ネットワークを介してアンテナ１２０により受信しＲＡＭ２５２などの記憶領域へのダウンロードによって、プログラムを提供することもできる。

提供されるプログラム製品は、プログラム自体と、プログラムが非一時的に記録された記録媒体とを含む。

本実施の形態では、上記の撮像方法を、コンピュータを用いて実行するプログラムが提供されるとともに、当該プログラムを記録した機械読取り可能な記録媒体が提供される。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１００ 端末、１１０ 筐体、１１１ インカメラ、１２２ アウトカメラ、１４０ タッチパネル、２５１ 保存用メモリ、２５３ 表示用メモリ、２５４ インカメラ用メモリ、２５５ アウトカメラ用メモリ、２５６ 処理用メモリ、２５７ グラフィックメモリ、３０１ 合焦判定部、３０２ 上下方向決定部、３０３ 上下方向判別部、３０４ 上下方向変更部、３０５ 通知部、３０６ 画像格納部、３０７ 操作受付部。

Claims (5)

1. それぞれが異なる撮像方向を有する第１および第２カメラと、
   撮像される画像を表示する表示部と、
   前記表示部と一体的に構成され、且つ前記表示部における操作内容を受付ける操作受付部と、
   第１カメラが第２カメラの起動時以降に撮像する画像に、顔画像が含まれるか否かを検出する顔検出部と、
   前記顔検出部により顔画像が含まれていないことが検出されたとき、第１カメラが撮像する指を含む画像または前記操作受付部が受付ける操作内容から、画像に関する方向を決定する方向決定部と、
   前記起動の状態にある第２カメラが撮像した画像を、当該画像の撮像時の向きと前記方向決定部が決定した前記方向とに基づいて格納する画像格納部と、を備える、撮像装置。
2. 前記方向決定部が決定した方向を示す情報を、前記表示部に表示する、請求項１に記載の撮像装置。
3. 前記方向決定部は、
   前記起動がされた後に第２カメラのフォーカス完了後に前記方向を決定する、請求項１または２に記載の撮像装置。
4. 前記撮像装置の本体への加速度を計測する加速度センサを、さらに備え、
   前記方向決定部は、
   前記起動がされた後の前記加速度センサの出力から前記本体の振動量が所定値未満であると判定したとき、前記方向を決定する、請求項１から３のいずれかに記載の撮像装置。
5. それぞれが異なる撮像方向を有する第１および第２カメラと、
   撮像される画像を表示する表示部と、
   前記表示部と一体的に構成され、且つ前記表示部における操作内容を受付ける操作受付部と、を備える撮像装置を用いた撮像方法であって、
   第２カメラの起動時以降に第１カメラが撮像する画像に、顔画像が含まれるか否かを検出するステップと、
   前記検出するステップにおいて顔画像が含まれていないことが検出されたとき、第１カメラが撮像する指を含む画像または前記操作受付部が受付ける操作内容から、画像に関する方向を決定するステップと、
   前記起動の状態にある第２カメラが撮像した画像を、当該画像の撮像時の向きと前記決定するステップにおいて決定した方向とに基づいて格納するステップと、を備える、撮像方法。

Images