JP2010161704A - 携帯端末、その撮影制御方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】携帯端末の形状に関係なく、端末を持った状態で正確、簡単、迅速に被写体となるユーザ自身の撮影を行えるようにする。
【解決手段】被写体を撮影する撮影部を備える携帯端末であって、被写体の顔画像を認識する画像処理部と、指定された人数分の顔全体画像が認識されたか判別し、顔全体画像が認識されない場合に、顔画像以外の画像を用いて、顔全体画像が撮影部の撮影範囲に収まる携帯端末の移動方向を特定する制御部と、被写体ユーザに対して前記携帯端末の移動方向を指示する方向指示部と、を有する。
【選択図】図１

Description

本発明は、携帯端末、その撮影制御方法、プログラム及び記録媒体に関し、特に、カメラ機能を搭載し、持ちながらユーザ自身を撮影することが可能な携帯端末に好ましく適用される技術に関するものである。

近年、携帯電話機やＰＤＡ（Personal Digital Assistant）等の携帯端末は、電子メール機能、Ｗｅｂ閲覧機能、カメラ機能、音楽機能、テレビ機能といった多くの機能が搭載されるようになってきている。特に、カメラ機能は年々高画素化、高感度化しており、またホームページやブログ等で撮影画像を公開することが可能になったため、カメラ機能を搭載した携帯端末を通常のデジタルカメラとして気軽に利用して、気軽に風景や人物等を撮影して楽しむユーザが増えている。

一般に、カメラ機能を搭載した携帯端末では、表示部で被写体をモニタしながら撮影することを可能にするため、カメラレンズを被写体（相手）に向けたときに表示部がユーザ（自分）の方に向くように配置されている。しかし、ユーザ自身の撮影（以下、自分撮りという）を行いたい場合もあり、その場合にカメラレンズと表示部とが反対向きに配置されていたのでは、ユーザは自分自身をモニタすることができない。

例えば特許文献１では、２軸ヒンジを用いてカメラレンズの設置面を回転可能にし、表示部でモニタしながら自分撮りを行えるように構成したカメラ付き携帯端末が開示されている。また、例えば特許文献２では、メイン表示部を筺体の表面に配置し、筺体の背面にカメラレンズとサブ表示部を配置して、メイン表示部でモニタしながら自分撮りを行えるように構成したカメラ付き携帯端末が開示されている。

また、例えば特許文献３では、自分撮りを行う際に、被写体を認識して撮影フレーム内での現在の位置を判別し、あらかじめ選択した構図情報に合致するように、被写体のユーザに移動方向を指示して誘導し、所定の構図で撮影できるように構成した撮影装置が開示されている。

特開２０００−２７００６９号公報 特開２００７−１１６３６１号公報 特開２００５−１６７７８９号公報

特許文献１の発明は、表示部に表示される画像が上下あるいは左右が反転している場合もあり、必ずしも自分撮りに適しているとはいえない。また、カメラレンズと表示部とが別の筺体に設けられている場合に有効であるが、同じ筺体の表面と裏面のそれぞれに配置されているような場合にはメイン表示部でモニタしながらの自分撮りは不可能である。特許文献２の発明は、確かに表示部でモニタしながら自分撮りが可能となるが、通常、サブ表示部の解像度はメイン表示部の解像度に比べて低く視認性が低下するため、自分撮りを正確かつ簡単に行うことは困難である。さらに、特許文献１による２軸ヒンジ機構や特許文献２によるサブ表示部は、携帯端末のコスト増加を招くとともに、デザインの制約をもたらすことになる。

特許文献３の発明は、セルフタイマで比較的離れた被写体を撮影する場合を想定しており、そのため設定した構図情報と認識した位置情報が一致した時点で撮影するように構成しているが、この構成では撮影までに時間がかかってしまう可能性がある。携帯端末では、端末を持ちながら自分撮りを行う場合が多く、至近距離で被写体の顔を中心に撮影されることから、気軽な撮影を実現するためにも素早く自分撮りを行えるようにすることが望ましい。

そこで、本発明は、携帯端末の形状に関係なく、端末を持った状態で正確、簡単、迅速に被写体となるユーザ自身の撮影を行えるようにすることを目的とする。

本発明の一側面である携帯端末は、被写体を撮影する撮影部を備える携帯端末であって、被写体の顔画像を認識する画像処理部と、指定された人数分の顔全体画像が認識されたか判別し、顔全体画像が認識されない場合に、顔画像以外の画像を用いて、顔全体画像が撮影部の撮影範囲に収まる携帯端末の移動方向を特定する制御部と、被写体ユーザに対して前記携帯端末の移動方向を指示する方向指示部と、を有する。

本発明の一側面である携帯端末の撮影制御方法は、被写体を撮影する撮影部を備える携帯端末の撮影制御方法あって、被写体の顔画像を認識する顔画像認識ステップと、指定された人数分の顔全体画像が認識されたか判別し、顔全体画像が認識されない場合に、顔画像以外の画像を用いて、顔全体画像が撮影部の撮影範囲に収まる携帯端末の移動方向を特定する移動方向特定ステップと、被写体ユーザに対して携帯端末の移動方向を指示する方向指示ステップと、を有する。

本発明の一側面であるプログラムは、被写体を撮影する撮影部を備える携帯端末に用いられるプログラムあって、コンピュータに、被写体の顔画像を認識する第１の処理と、指定された人数分の顔全体画像が認識されたか判別し、顔全体画像が認識されない場合に、顔画像以外の画像を用いて、顔全体画像が前記撮影部の撮影範囲に収まる前記携帯端末の移動方向を特定する第２の処理と、被写体ユーザに対して携帯端末の移動方向を指示する第３の処理と、を実行させる。

本発明の一側面である記録媒体は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、携帯端末の形状に関係なく、端末を持った状態で正確、簡単、迅速に被写体となるユーザ自身の撮影を行うことが可能となる。

本発明が適用される携帯端末の構成図である。 本発明の実施形態に係る携帯電話機の外観図である。 本発明の実施形態に係る携帯電話機のブロック図である。 本発明の実施形態に係る携帯電話機の自分撮り機能の説明図である。 本発明の実施形態に係る携帯電話機が行う撮影制御処理のフローチャートである。 本発明の実施形態に係る携帯電話機が行う画像処理及び移動方向特定処理の説明図である。

本発明では、顔画像認識処理で被写体の顔画像を認識し、被写体ユーザあるいは該ユーザを含む所定人数の顔全体の画像が認識されない場合に、携帯端末の移動方向を特定して被写体ユーザに対して方向指示を行う。図１は、本発明が適用される携帯端末の構成を示した図である。携帯端末１は、撮影部２、画像処理部３、制御部４及び方向指示部５を有する。

撮影部２は、人物や景色等の被写体を撮影する機能を備える。画像処理部３は、被写体（人物）の顔画像を認識する。また、画像処理部３は、撮影部２の撮影範囲を分割し、被写体の顔画像以外の画像（背景や被写体の体）のみが表された一定数の分割領域を認識する。制御部４は、あらかじめユーザに指定された人数分の顔全体の画像が画像処理部３により認識されたかを判別し、顔全体の画像が認識されない場合に、画像処理部３で認識された顔画像以外の画像を用いて、顔全体の画像が撮影部２の撮影範囲に収まるようにするための携帯端末１の移動方向を特定する。方向指示部５は、制御部４で特定された携帯端末１の移動方向を被写体ユーザに対して指示する。

顔画像認識処理を用いて、被写体の顔全体が撮影範囲に入っているか否かのみを判別することで、正確に自分撮りが行われているかを確認することができる。携帯端末での自分撮りでは至近距離で被写体の顔を撮影するため、このような構成により、被写体ユーザにとって時間をかけずに気軽な撮影が実現する。また、背景や被写体の体等の画像を用いて、顔全体の画像が撮影範囲に収まるような携帯端末の移動方向を特定することで、移動方向を被写体ユーザに指示するまでの処理時間が短縮される。これは、背景や被写体の体等の画像がどの領域に存在するかは顔画像認識処理の段階で求められることから、移動方向を特定するために改めて画像処理を行う必要がないためである。このように、本発明では、上記のように構成することで、携帯端末のデザインに制約を与えることなく、端末を持った状態で正確、簡単、迅速に被写体ユーザ自身の撮影を行うことが可能となる。

以下、本発明の実施形態について図面を参照して具体的に説明する。

図２に示すように、本発明の実施形態である携帯電話機１００は、表示部１０４及び正面カメラ部１０７が同じ面に配置された上部筺体と、背面カメラ部１０８、方向指示部１１１及び背面シャッタ部１１５が操作部の反対面に配置された下部筺体とがヒンジ部で連結された折り畳み型の携帯電話機である。方向指示部１１１は、例えば４つのＲＧＢ−ＬＥＤで構成することができる。

本実施形態の携帯電話機１００は、背面カメラ部１０８に近接して方向指示部１１１を配置しているため、撮影者（被写体ユーザ）に対して視覚的に方向を指示することが可能である。また、本実施形態の携帯電話機１００は、背面カメラ部１０８に近接して背面シャッタ部１１５を配置しているため、親指での簡単な撮影を可能とし、被写体ユーザが無理な体勢をとらないため手振れ防止の効果も期待できる。なお、携帯電話機は、本実施形態のような折り畳み型のほか、ストレート型やスライド型といった種々の形状のものが考えられる。

図３は、本実施形態の携帯電話機１００の回路構成を示したブロック図である。携帯電話機１００は、アンテナ部１０１、通信制御部１０２、操作部１０３、表示部１０４、電源制御部１０５、音声入出力部１０６、正面カメラ部１０７、背面カメラ部１０８、画像処理部１０９、画像データ記憶部１１０、方向指示部１１１及び全体制御部１１２を有する。

通信制御部１０２は、アンテナ部１０１を介して、電波によるデータ送受信を実現する。操作部１０３は、ユーザの指示内容の入力を受け付ける。表示部１０４は、例えばカラー液晶ディスプレイ、有機ＥＬディスプレイ等により構成され、各種表示を実現する。電源制御部１０５は、各部への電源供給や充電等を行う。音声入出力部１０６は、マイク、スピーカー、レシーバーで構成され、各種音声の入出力を実現する。

正面カメラ部１０７及び背面カメラ部１０８は、図１の撮影部２に相当する構成である。正面カメラ部１０７は、ＴＶ電話を行う際に自分撮りを実現するもので、低画素の撮像素子を実装するため背面カメラ部１０８のような高画素での撮影はできない。背面カメラ部１０８は、景色や人物等の被写体の高画素での撮影、保存を実現する。また、背面カメラ部１０８は、静止画及び動画の撮影を行うことができる。

画像処理部１０９は、図１の画像処理部３に相当する構成で、手振れ補正等の各種画像処理を行う。本実施形態で行われる顔画像認識や顔画像以外の画像領域の認識も画像処理部１０９で実現する。画像データ記憶部１１０は、撮影等で取得した画像を保存する。外部記憶媒体（ｍｉｃｒｏＳＤ等）を用いた多くの画像を保存することが可能である。

方向指示部１１１は、図１の方向指示部５に相当する構成で、顔画像が認識されるまで被写体ユーザに電話機の移動方向あるいはカメラの向きを指示する。全体制御部１１２は、図１の制御部４に相当する構成で、各部とデータをやり取りして各部の制御を行う。本実施形態で行われる電話機の移動方向の特定は全体制御部１１２で実現する。

図４は、本実施形態の携帯電話機１００が実現する自分撮り機能を説明するための図である。まず、背面カメラ部１０８は、被写体の画像を取得して画像処理部１０９に送る。そして、画像処理部１０９は、背面カメラ部１０８からの画像について顔認識等の処理を行う。この際、画像処理部１０９では顔画像以外の画像も取得する。また、図示していないが、全体制御部１１２は、顔認識結果や顔画像以外の画像の情報を用いて、顔全体が撮影範囲の収まるカメラの向きを特定する。そして、方向指示部１１１は、被写体の顔全体の画像が認識されるまで被写体ユーザにカメラの向きを通知する。被写体の顔全体の画像が認識されて撮影が行われた後、表示部１０４は撮影画像を表示し、画像データ記憶部１１０は撮影画像を保存する。このような各部の動作により、携帯電話機１００は顔画像認識技術を用いた自分撮り機能を実現する。

図５は、本実施形態の携帯電話機１００が行う撮影制御処理（顔画像認識技術を活用して正確に自分撮りを行うための制御）のフローチャートである。

はじめに、全体制御部１１２は、操作部１０３でユーザにより入力された撮影モード（自分撮りモード）及び撮影人数を受け付ける（ステップＳ１）。携帯電話機での自分撮りは撮影距離が近距離のため、最大顔画像認識数を例えば４人までの仕様とする。最大顔画像認識数の設定は任意に行うことができる。

その後、全体制御部１１２は、背面カメラ部１０８を起動させるとともに、表示部１０４を非表示にする（ステップＳ２）。そして、全体制御部１１２は、画像処理部１０９に顔画像認識処理を開始させる。画像処理部１０９は、背面カメラ部１０８で取得された画像データから、肌色データやエッジ処理結果を用いて顔の特徴点や輪郭を抽出し、顔画像領域を認識する（ステップＳ３、ステップＳ４）。

次に、全体制御部１１２は、画像処理部１０９から顔画像認識結果を取得し、顔全体が完全に認識された顔画像の数が設定された撮影人数と等しいか否かを判定する（ステップＳ５）。認識された顔画像の数が撮影人数より少ない場合（ステップＳ５／ＮＯ）、全体制御部１１２は、一定領域の背景データ（顔以外の画像データ）が位置する方向を判別する（ステップＳ６）。そして、全体制御部１１２は、判別した方向と逆の方向を電話機の移動方向（カメラの変更向き）と特定し、方向指示部１１１に特定した方向の指示を行わせる（ステップＳ７）。本実施形態では、方向指示用ＬＥＤを赤色に点灯させる。

一方、認識された顔画像の数が撮影人数と等しい場合（ステップＳ５／ＹＥＳ）、全体制御部１１２は、方向指示部１１１に撮影可能状態であることを表示させ、全ての方向指示用ＬＥＤを青色に点灯させる（ステップＳ８）。なお、フローチャートへの図示を省略しているが、認識された顔画像の数が撮影人数より多い場合は、全体制御部１１２は、方向指示部１１１に撮影不可状態を表示させ、例えば全ての方向指示用ＬＥＤを赤色に点灯させる。

そして、シャッタが押下されて撮影が行われた後（ステップＳ９／ＹＥＳ）、全体制御部１１２は、方向指示部１１１に方向指示用ＬＥＤを消灯させ、表示部１０４に撮影画像を表示させる（ステップＳ１０、ステップＳ１１）。そして、操作部１０３でユーザにより画像保存の指示が入力された場合（ステップＳ１２／ＹＥＳ）、全体制御部１１２は、画像データ記憶部１１０に撮影画像を保存させ本フローの処理は終了となる。操作部１０３でユーザにより画像を保存しない指示が入力された場合（ステップＳ１２／ＮＯ）、全体制御部１１２は、再び操作部１０３からの撮影モード及び撮影人数を受け付ける（ステップＳ１）。

図６は、本実施形態の携帯電話機１００が行う画像処理及び移動方向特定処理を説明するための図である。本実施形態では、図６（ａ）に示すように、画像データ領域を１６分割した上で、設定人数分の顔画像データが取得できているか判定する。ここでの説明において設定人数は１人とする。

例えば、図６（ｂ）では、顔画像データが８つの分割領域（領域（２）〜（３）、領域（６）〜（７）、領域（１０）〜（１１）、領域（１４）〜（１５））に存在し、１つの顔全体の画像データを形成している。この場合、画像処理部１０９は１人分の顔画像を認識する。一方、図６（ｃ）では、顔画像データが８つの分割領域（領域（１）〜（２）、領域（５）〜（６）、領域（９）〜（１０）、領域（１３）〜（１４））に存在しているが、１つの顔全体の画像データは形成していない。この場合、画像処理部１０９は１人分の顔画像を認識しない。

そして、全体制御部１１２は、顔画像の認識結果と各種処理後の画像データを画像処理部１０９から取得し、設定人数分の顔画像データが認識されなかった場合に電話機の移動方向を特定する。移動方向の特定は、１６分割した領域内のどの領域にまとまった顔画像以外の画像データ（以下、背景データというが、背景データには景色や被写体の体の画像データが含まれる）が存在するかにより行う。具体的には、全体制御部１１２は、背景データのみを含む一定数の分割領域が隣接して存在する場合に、背景データの領域と反対の方向を電話機の移動方向と特定する。反対の方向とは、画像領域全体を左右あるいは上下に二分する線を対称とした場合に、背景データのみを含む領域群が存在しない方向である。

携帯電話機の移動方向の特定に背景データ領域を用いる理由は、この領域と逆側（図６（ｃ）では左側）に被写体の顔画像が存在するためである。 また、背景データ領域は顔画像認識の段階でどの領域に存在するかが求められるため、 方向指示用に改めて画像処理を行う必要がなく、端末処理の負荷を大幅に増加させずに 被写体ユーザに電話機の移動方向（カメラの変更向き）を指示することが可能となる。

全体制御部１１２で特定した電話機の移動方向を被写体ユーザに指示するものとしては、上記のような方向指示部１１１のほか、音声入出力部１０６が考えられる。方向指示部１１１は、ＲＧＢ−ＬＥＤを点灯して、被写体かつ撮影者であるユーザに視覚的に移動方向を知らせるが、音声入出力部１０６は、ユーザに音声でガイドするため、聴覚的に移動方向を指示することが可能である。この場合、音声入出力部１０６は、図１の方向指示部５に相当する構成となる。

上述した本発明の実施形態によれば、携帯電話機の形状に関わりなく、高画素化する背面カメラで自分撮りあるいは少人数での撮影を簡単かつ正確に行うことが可能となる。

また、上述した本発明の実施形態によれば、背面カメラ下部に４つのＲＧＢ−ＬＥＤ及びシャッターボタンを設けることで、誰でも一目でカメラを移動する方向が認識できるとともに、手振れを防止することも可能となる。

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。すなわち、本発明は、上述した携帯電話機のほか、ＰＨＳ（Personal Handyphone System）、ＰＤＡ等のカメラ機能を有している携帯端末に適用することができる。

また、本実施形態の携帯電話機１００で実行されるプログラムは、ＣＰＵ（コンピュータ）が読み込むことで全体制御部１１２を構成し、画像処理部１０９による被写体の顔画像を認識する処理、全体制御部１１２による顔以外の画像データを用いた電話機の移動方向を特定する処理、方向指示部１１１による電話機の移動方向を被写体ユーザに指示する処理等を携帯電話機１００に実行させる。このように、当該プログラムは実際のハードウエアを用いて具体的手段を実現するものである。

本実施形態の携帯電話機１００で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供されるように構成してもよい。また、上記プログラムをインターネット等のネットワーク経由で提供あるいは配布するように構成してもよい。

また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、不揮発性のメモリカード等のコンピュータで読み取り可能な記録媒体に記録されて提供されるように構成してもよい。また、上記プログラムは、ＲＯＭ等にあらかじめ組み込んで提供するように構成してもよい。

この場合、上記記録媒体から読み出された又は通信回線を通じてロードし実行されたプログラムコード自体が前述の実施形態の機能を実現することになる。そして、そのプログラムコードを記録した記録媒体は本発明を構成する。

１ 携帯端末
２ 撮影部
３ 画像処理部
４ 制御部
５ 方向指示部
１００ 携帯電話機
１０１ アンテナ部
１０２ 通信制御部
１０３ 操作部
１０４ 表示部
１０５ 電源制御部
１０６ 音声入出力部
１０７ 正面カメラ部
１０８ 背面カメラ部
１０９ 画像処理部
１１０ 画像データ記憶部
１１１ 方向指示部
１１２ 全体制御部
１１５ 背面シャッタ部

Claims (10)

1. 被写体を撮影する撮影部を備える携帯端末であって、
   被写体の顔画像を認識する画像処理部と、
   指定された人数分の顔全体画像が認識されたか判別し、前記顔全体画像が認識されない場合に、前記顔画像以外の画像を用いて、前記顔全体画像が前記撮影部の撮影範囲に収まる前記携帯端末の移動方向を特定する制御部と、
   被写体ユーザに対して前記携帯端末の移動方向を指示する方向指示部と、
   を有することを特徴とする携帯端末。
2. 前記制御部は、前記撮影範囲内にある一定領域の前記顔画像以外の画像が位置する方向と逆方向を前記携帯端末の移動方向と特定することを特徴とする請求項１に記載の携帯端末。
3. 前記画像処理部は、前記撮影範囲を分割し、前記顔画像以外の画像のみが表された一定数の分割領域を認識し、
   前記制御部は、前記認識された一定数の分割領域が位置する方向と逆方向を前記携帯端末の移動方向と特定することを特徴とする請求項１又は２に記載の携帯端末。
4. 前記方向指示部は、前記顔全体画像が認識された場合に、前記被写体ユーザに対して撮影可能状態であることを通知することを特徴とする請求項１から３のいずれか１項に記載の携帯端末。
5. 被写体と対向する筺体面に撮影ボタンを設けたことを特徴とする請求項１から４のいずれか１項に記載の携帯端末。
6. 被写体を撮影する撮影部を備える携帯端末の撮影制御方法あって、
   被写体の顔画像を認識する顔画像認識ステップと、
   指定された人数分の顔全体画像が認識されたか判別し、前記顔全体画像が認識されない場合に、前記顔画像以外の画像を用いて、前記顔全体画像が前記撮影部の撮影範囲に収まる前記携帯端末の移動方向を特定する移動方向特定ステップと、
   被写体ユーザに対して前記携帯端末の移動方向を指示する方向指示ステップと、
   を有することを特徴とする携帯端末の撮影制御方法。
7. 前記移動方向特定ステップは、前記撮影範囲内にある一定領域の前記顔画像以外の画像が位置する方向と逆方向を前記携帯端末の移動方向と特定することを特徴とする請求項６に記載の携帯端末の撮影制御方法。
8. 被写体を撮影する撮影部を備える携帯端末に用いられるプログラムあって、
   コンピュータに、
   被写体の顔画像を認識する第１の処理と、
   指定された人数分の顔全体画像が認識されたか判別し、前記顔全体画像が認識されない場合に、前記顔画像以外の画像を用いて、前記顔全体画像が前記撮影部の撮影範囲に収まる前記携帯端末の移動方向を特定する第２の処理と、
   被写体ユーザに対して前記携帯端末の移動方向を指示する第３の処理と、
   を実行させることを特徴とするプログラム。
9. 前記第２の処理は、前記撮影範囲内にある一定領域の前記顔画像以外の画像が位置する方向と逆方向を前記携帯端末の移動方向と特定することを特徴とする請求項８に記載のプログラム。
10. 請求項８又は９に記載のプログラムを記録しコンピュータ読み取り可能なことを特徴とする記録媒体。

Images