JP2008118276A - カメラ付き移動機器およびその撮影支援方法 - Google Patents

Abstract

【課題】撮影者が自分自身を撮影するような際に、プレビュー画像を確認できないような場合であっても、所定の撮影結果が得られるように撮影者を誘導する。
【解決手段】カメラ部２０１は、自分撮りモードにおいて、被写体の撮影に先立って被写体の画像データを取得する。顔領域検出部２０３は、得られた画像データに基づいて、画像内の顔領域を検出する。補正支援情報通知部２０４は、顔領域検出の結果、顔領域が撮影領域内の目標領域に入っているか否かに応じてカメラ部の位置または向きの補正をユーザに指示する。
【選択図】図３

Description

本発明は、カメラ付き移動機器に関し、特にいわゆる自分撮りを行う際の撮影支援方法に関する。

現在の市販されている携帯電話端末の多くの機種はカメラ部を備えており、デジタルカメラ機能により撮影が行えるようになっている。

このような携帯電話端末のカメラ部で撮影者が撮影者自身の撮影を行なう場合、被写体がバランスの良い位置に映っているかどうかを表示画面で確認できることが好ましい。

通常、カメラ部による撮影に先立って被写体の画像をプレビューするためにその画像を表示画面に表示できるようになっている。ユーザがカメラ部のレンズをユーザが対峙する被写体に向けた状態で表示画面を確認するために、表示部の表示面と反対側の面にレンズが配置されている。したがって、ユーザが自分自身を撮影しようとしてレンズを自分に向けたとき、表示部の画面が見えず、プレビューが行えない。

端末の機種によっては、カメラ部を回転させる機構を有しレンズを表示部側に向けることができるもの、あるいは、メインの表示部の他、レンズのある面にサブ表示部を備えたもの、レンズのある面に小型のミラーの取り付けたもの等がある。これらの機種ではプレビュー時に自分自身を確認することができる。

しかしながら、カメラ部の回転機構やサブ表示部は端末のコスト増加を招く。また、すべての機種がそれらを備えている訳ではない。さらに、サブ表示部を有していても、通常、サブ表示部の解像度はメイン表示部の解像度に比べて低いため、視認性が低下する。小型ミラーを用いる方法では、実際の撮影像が見える訳ではなく単に鏡に映る画像が見えるだけなので位置決めの精度はかなり粗くならざるを得ない。

本発明はこのような背景においてなされたものであり、撮影者が自分自身を撮影するような際に、プレビュー画像を確認できないような場合であっても、所定の撮影結果が得られるように撮影者を誘導することができるようにするものである。

本発明によるカメラ付き移動機器は、カメラ部と、このカメラ部から被写体の画像データを取得する画像データ取得手段と、得られた画像データに基づいて、画像内の顔領域を検出する顔領域検出手段と、顔領域検出の結果、顔領域が撮影領域内の目標領域に入っているか否かに応じてカメラ部の位置または向きの補正をユーザに指示する通知手段とを備えたことを特徴とする。

この構成によれば、撮影者がカメラ部を自分自身に向けてシャッターボタンを押す前の段階で、得られた被写体の画像データから顔領域を検出してこの顔領域が目標領域に入るように通知手段がユーザに指示を行う。これにより、ユーザはプレビュー画像を見なくても、通知手段の通知内容に応じて、自分自身の顔が画面の目標領域に入るようにカメラ部を操作することができる。

本発明による撮影支援方法は、カメラ部を備えたカメラ付き移動機器の撮影支援方法であって、カメラ部から被写体の画像データを取得するステップと、前記カメラ部により得られた画像データに基づいて、画像内の顔領域を検出するステップと、顔領域検出の結果、顔領域が撮影領域内の目標領域に入っているか否かに応じてカメラ部の位置または向きの補正をユーザに指示するステップとを備えたことを特徴とする。

本発明によれば、カメラ付き移動機器で撮影者が自分自身を撮影する際に、プレビュー画像を確認できないような場合であっても、所定の撮影結果が得られるように撮影者を誘導して容易に目標位置に顔を位置させた撮影を行うことができる。

視認を必要としない通知手段を用いれば、撮影者が自分自身の横顔や目をつぶった顔の撮影も可能となる。また撮影者が弱視であった場合においての利便性を向上させることができる。

以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。ここでは、カメラ付き移動機器の一例として携帯電話機のような携帯端末を例として説明する。

図１（ａ）（ｂ）は、それぞれ、本実施の形態における携帯端末１００としての、いわゆるストレート式の携帯電話機と折り畳み式の携帯電話機の概略の側面外観図を示している。

図１（ａ）のストレート型の携帯電話機の場合、筐体１５の前面に表示部１０４と操作部１０５が配置され、表示部１０４の裏面側にカメラ１０９が配置されている。

図１（ｂ）の折り畳み式の携帯電話機の場合、上部筐体１０と下部筐体２０とがヒンジ部１６を介して相互に回転可能に結合されている。上部筐体１０の表面（折り畳み時に内側となる面）には表示部１０４が配置され、その裏面側にカメラ１０９が配置されている。下部筐体２０の表面には操作部１０５が配置されている。上部筐体１０のカメラ１０９がある面にサブ表示部を備える機種もあるが、図の例ではサブ表示部を備えていない機種を想定している。

図１（ａ）（ｂ）のいずれの場合も、ユーザ（撮影者）がカメラ１０９を自分自身に向けて撮影するいわゆる自分撮りを行うとき、表示部１０４のプレビュー画面は見ることができない。本発明はこのような状況において、ユーザがカメラの位置や向きを好ましい位置へセットする際に、後述するように、ユーザを支援する（すなわち、ユーザにカメラの位置等の補正方法を通知する）ことができる手法を提供するものである。

図２に本実施の形態における携帯端末１００の概略のハードウェア構成を示す。

この携帯端末１００は、ＣＰＵ等を含む制御部１０１と、電波を送受信するアンテナ１０２を介して外部のネットワークと接続され電話やデータ通信を行うための通信回路１０３と、テキスト、静止画等の情報を表示する表示部１０４と、複数のキー等を合む操作部１０５と、カメラ部の位置または向きを補正するための撮影支援アプリケーション・プログラムを含む各種アプリケーション・プログラムが記憶されたＲＯＭ、および、ＣＰＵの作業領域や一時データ記憶領域を提供するＲＡＭ等を含むメモリ１０６と、音声を出力するスピーカ１０７と、ＣＣＤ等の撮像素子を用いて撮像を行うカメラ１０９およびその撮像制御部１１０、制御部１０１と各部を接続する制御ライン１５０及びデータライン１６０を有している。また、ＲＯＭの少なくとも一部の領域は、フラッシュメモリ等の再書き込み可能な不揮発性メモリを含んでもよい。

図３に、携帯端末１００の本実施の形態に関連した主要な機能を表した機能ブロック図を示す。携帯端末１００は、主要な機能として、カメラ部（画像データ取得手段）２０１、画像表示部２０２、顔領域検出部（顔領域検出手段）２０３および補正支援情報通知部（通知手段）２０４を含む。カメラ部２０１は、図２のカメラ１０９および撮像制御部１１０により構成される。画像表示部２０２は、カメラ部２０１でのプレビュー画面の表示、撮影後の撮影結果画面の表示を行うことができる。ここで、プレビューとは、撮影モードにおいて、ユーザがシャッタボタンを押す前にカメラを被写体に向けて撮影の構図を決定する目的のために、カメラ部２０１が周期的に被写体の画像を取り込んで表示部に表示する処理を周期的に繰り返して実行する処理である。

図２の表示部１０４により構成される。顔領域検出部２０３はカメラ部２０１により取得された画像データを制御部１０１がソフトウェア処理することにより実現される。補正支援情報通知部２０４は、ユーザに対してカメラの位置や向きを補正させるための指示を行うための部位であり、この例では、制御部１０１のソフトウェア処理によりスピーカ１０７を制御することにより実現される。但し、補正支援情報通知部２０４は、スピーカ１０７に加えて、または代えて、振動を発生するバイブレータ、光を発生するＬＥＤ等の発光素子、などを含んでもよい。

ここで、人物の顔領域を検出する方法について説明する。顔領域を検出する方法としては、例えば、人の露出部の体温から検出する方法、動きから検出する方法、対象物までの距離から検出する方法、などである。「動きから検出する方法」とは、撮影画像中の各ピクセルが、連続するフレーム間でどの程度移動したかを検出するオプティカルフローを用いて顔領域の検出を行うものである。例えば、撮影前に顔を左右に振るなどして抽出された領域を顔の領域と認識する。「対象物までの距離から検出する方法」とは、カメラから最も近くに見つかった物体を顔と仮定する、または、取得された距離情報から顔の凹凸を検出し、顔の領域を推定するものである。距離情報の取得には、赤外光を用いたレンジスキャナを利用する方法や、カメラを複数台用いてそれらの取得画像の差分から距離情報を得る方法等を利用することができる。本実施の形態では、カメラから取得した画像を解析することによって、顔領域の検出を行なう。

まず、カメラから取得された画像から肌色領域を検出する。この際、画素値は明暗の変化に強いとされているＨＳＶ色空間ヘマッピングした上で処理を行なう。見つかった領域に対して、パターンマッチングやエッジ検出を付加することで背景にある肌色や肌色に近い色の服などをその領域から除去する。最後に、見つかった各領域の中心座標を求める。この座標を顔の位置であると仮定する。そのような領域が複数見つかった場合は、被写体が複数人であると判断する。複数人の場合には全員の顔領域の中心（重心）位置を顔領域の中心とみなして処理を行う。

次に図４に、携帯端末１００の実行する撮影支援処理の一例を表したフローチャートを示す。この処理は、本実施の形態では撮影支援を行う動作モード（自分撮りモードという）が選択された場合の処理である。

まず、カメラ１０９のＣＣＤ等の撮像部（図示せず）から得られた１フレーム分の画像データを取得する（Ｓ１１）。ついで、この画像データを表示部に表示する（Ｓ１２）。但し、自分撮りモード時には、ユーザは表示部の画像を見ることができないので、このステップＳ１２は省電力のため省略してもよい。次に、画像データを分析して顔領域の検出を行う（Ｓ１３）。この処理は、現在、カメラ画像中のどこに顔が映っているかどうかを判断する処理であり、そのための具体的な顔領域の検出には後述するような様々な方法が考えられる。顔領域が見つからなかったら（Ｓ１４，Ｎｏ）、所定のアラームを発生してステップＳ１１へ戻る。所定のアラームとは、例えばスピーカ１０７を介して予め定めた音あるいは音声である。

顔領域が見つかったら（Ｓ１４，Ｙｅｓ）、その顔領域を目標領域と照合する（Ｓ１５）。具体的には、図５に示すように、顔領域３１の中心位置と画面３０内の目標領域３２の中心位置のずれ量（距離）ｄを算出する。併せてずれの方向を求めてもよい。目標領域は予め定めた領域（例えば画面の中心位置）でもよいし、ユーザが撮影を開始する前に目標領域を自由な位置に変更設定できるようにしてもよい。これによって、顔を中心に撮影したい場合や、顔を中心からずらして景色もフレームに収めたい場合などに対応する。

照合の後、その結果に基づいて、ユーザにカメラの位置または向きを補正させるための補正支援情報を通知する（Ｓ１６）。この通知は、例えば、スピーカ１０７による音または音声によるもの、バイブレータ（図示せず）の振動を利用するもの、ＬＥＤ等の発光素子を用いるもの、ジャイロのようなものを取り付け力学的なフィードバックを用いるものなどがある。ここでは、端末に内蔵されているスピーカから音または音声を出力する方法を例にとる。

例えばスピーカ１０７を介して、前記アラームとは異なる態様の予め定めた音あるいは音声で行う。音声メッセージの場合には、予め記憶されている「もっと右」「もう少し右」などの指示である。音の場合には、ずれ量ｄに基づいて音の発生態様を変えることによりユーザにずれの大きさを知らせるようにすることができる。例えば、目標領域に対する顔領域のずれ量ｄに応じて、音の高さ、長さ、発生間隔（断続音の周期）、音色のうち少なくとも１つを変化させることが可能である。この場合、ずれの補正方向を音の一要素で示すことも可能であるが、方向は示さなくても、ユーザは音の変化によってずれの増減を知ることができるので、目標領域へカメラを誘導させることができる。

図６は、顔領域のずれの別の判断手法および補正支援情報通知手法を説明するための図である。図に示すように、画面３０を目標領域３２とその周辺の領域（ここでは目標領域（１）〜（６）の６つの領域）に分割している。但し、分割の仕方および分割数は図示のものに限らない。この場合、顔領域の中心がどの分割領域に属しているかによって、分割領域ごとに異なる音または音声を発生させる。これにより、撮影者は端末を動かす方向やシャッターチャンスを判断することができる。分割領域（１）（６）に顔領域が属する場合、被写体の顔がフレームからはみ出てしまう。分割領域（１）（６）は画面隅のはみ出し通知領域として機能する。

例えば、音声を用いる場合、分割領域（１）（６）については「もっと左（または右）」、分割領域（２）（５）については「もう少し左（または右）」、分割領域（３）（４）については「もう少し上（または下）」のようなメッセージを利用することができる。また、顔領域が目標領域３２に入った場合には「ＯＫです」のようなメッセージを発生してもよい。

音声ではなく単なる音を用いる場合には、図６の例では、例えば左右方向については断続音の周期を変えてカメラを目標領域の方向に誘導し、顔領域が中央に入った後は上下方向について音の高さ（周波数）を変える等の態様が考えられる。断続音の周期は、例えば、端の分割領域（１）（６）では周期を低くして、目標領域に近い分割領域（２）（５）では周期を中程度とし、左右方向の中央領域（すなわち分割領域（３）と目標領域３２と分割領域（４））に入ったら、周期を高くする。断続音の周期の高低はこれらと逆であってもよい。さらに、中央領域では、分割領域（３）では断続音の音程を高く（周波数を高く）し、分割領域（４）では断続音の音程を低く（周波数を低く）する。音程の高低もこれと逆であってもよいが、上下方向には上の分割領域（３）で音程が高くなる方が感覚的に分かりやすいと考えられる。

図７は本実施の形態の変形例を示す携帯端末１００の機能ブロック図を示している。図３に示した要素と同様の要素には同じ参照符号を付して重複した説明は省略する。その外観およびハードウェア構成は図１，図２に示したとおりである。この変形例では、顔登録部２０５を設けている。顔の肌色は個人差が大きいため、上述の顔領域の検出方法では必ずしも精度良く顔領域を検出することが困難な場合がありうる。そこで、この変形例では携帯端末１００のユーザが自身の顔をカメラ部２０１で撮影しておき、その顔領域をユーザが特定して指示することにより、自身の顔の色（および必要であれば顔の輪郭）のデータを取得して記憶しておく。その後、顔領域検出部２０３の動作時に、カメラ部２０１での撮影画像を登録データに照らして判断することにより、顔領域をより高精度に検出することが可能となる。

以上説明した実施の形態によれば、次のような作用効果が得られる。

カメラ付き移動機器で撮影者が自分自身を撮影する場合に、プレビュー画像を見なくても容易に思い通りの位置に顔を位置させて撮影することができるようになる。

撮影した画像データは何ら加工しないので、力メラの解像度を犠牲にすることがない。

被写体が複数人であったとしても対応可能である。

視認を必要としない通知方法を用いれば、横顔や目をつぶった自身の顔の撮影が可能である。また、撮影者が弱視であった場合においての利便性を向上させることができる。

以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。

例えば、カメラがそのレンズの向きや位置を機械的に変更できる駆動式のものであった場合は、上記の顔領域の照合結果を用いて上記の補正支援情報通知（図４のＳ１６）の代わりに、自動的に顔領域が目標位置にくるように制御することも可能である。

目標領域のサイズは固定としたが、ユーザが可変設定できるようにしてもよい。また、その場合、目標領域内にユーザの顔領域が含まれる程度を判定して、その程度が所定の範囲（例えば８０〜９５％）に入るように遠近に関する補正支援情報通知を行うようにしてもよい。これにより、顔領域の位置だけでなく、顔のサイズも所定の大きさに撮影することができるようになる。遠近に関する補正支援情報通知としては、音声の場合には「もっと近づけてください」「もっと離してください」のようなメッセージを利用できる。音の場合には、遠近方向のずれ量によって音色を変えてもよい。あるいは、一旦位置を正しく設定した後、音の周期や高さを用いて誘導を行うようにしてもよい。

カメラ付き移動機器は携帯電話端末を例として説明したが、本発明は任意の携帯型の装置に適用可能である。また、「カメラ付き」としたが、カメラ機能を主体とした機器（例えばデジタルカメラ）を排除するものでもない。

本発明の実施の形態における携帯端末としての、いわゆるストレート型の携帯電話機と折り畳み式の携帯電話機の概略の側面外観図である。 本発明の実施の形態における携帯端末の概略のハードウェア構成を示すブロック図である。 本発明の実施の形態における携帯端末の主要な機能を表した機能ブロック図である。 本発明の実施の形態における携帯端末の実行する撮影支援処理の一例を表したフローチャートである。 本発明の実施の形態における顔領域の中心位置と画面内の目標領域の中心位置のずれ量（距離）ｄの説明図である。 本発明の実施の形態における顔領域のずれの別の判断手法および補正支援情報通知手法を説明するための図である。 本発明の実施の形態の変形例を示す携帯端末の機能ブロック図である。

符号の説明

１０…上部筐体、１５…筐体、１６…ヒンジ部、２０…下部筐体、３０…画面、３１…顔領域、３２…目標領域、１００…携帯端末、１０１…制御部、１０４…表示部、１０５…操作部、１０６…メモリ、１０７…スピーカ、１０９…カメラ、１１０…撮像制御部、２０１…カメラ部、２０２…画像表示部、２０３…顔領域検出部、２０４…補正支援情報通知部、２０５…顔登録部

Claims (6)

1. カメラ部と、
   このカメラ部から被写体の画像データを取得する画像データ取得手段と、
   得られた画像データに基づいて、画像内の顔領域を検出する顔領域検出手段と、
   顔領域検出の結果、顔領域が撮影領域内の目標領域に入っているか否かに応じてカメラ部の位置または向きの補正をユーザに指示する通知手段と
   を備えたことを特徴とするカメラ付き移動機器。
2. 前記通知手段は、音声メッセージでカメラ部の位置または向きの補正の方向を指示する請求項１記載のカメラ付き移動機器。
3. 前記通知手段は、前記目標領域に対する前記顔領域のずれ量に応じて、音の高さ、長さ、発生間隔、音色のうち少なくとも１つを変化させる請求項１記載のカメラ付き移動機器。
4. 前記顔領域検出手段は、基準の顔の画像を登録する顔登録手段を備えた請求項１記載のカメラ付き移動機器。
5. 前記目標領域をユーザが可変設定する手段を備えた請求項１記載のカメラ付き移動機器。
6. カメラ部を備えたカメラ付き移動機器の撮影支援方法であって、
   カメラ部から被写体の画像データを取得するステップと、
   前記カメラ部により得られた画像データに基づいて、画像内の顔領域を検出するステップと、
   顔領域検出の結果、顔領域が撮影領域内の目標領域に入っているか否かに応じてカメラ部の位置または向きの補正をユーザに指示するステップと
   を備えたことを特徴とするカメラ付き移動機器の撮影支援方法。

Images