JP2009105559A

JP2009105559A - 撮影画像からの認識対象検出処理方法およびカメラ付き携帯型電子機器

Info

Publication number: JP2009105559A
Application number: JP2007274096A
Authority: JP
Inventors: Fuminori Hongo; 史伯本合
Original assignee: NEC Saitama Ltd
Current assignee: NEC Saitama Ltd
Priority date: 2007-10-22
Filing date: 2007-10-22
Publication date: 2009-05-14

Abstract

【課題】カメラ付き携帯型電子機器で様々な角度に設定して撮影された画像データから、人の顔等の所定の認識対象を容易に検出可能にする手段を提供する。
【解決手段】制御部(010)は、カメラ制御部(110)を制御することで、シャッター押下に応答して写真や動画の撮影を実行させ、加速度センサ制御部(210)を制御することで、加速度センサ(200)にシャッター押下時のこの携帯電話の傾き角度検出を実行させ、撮影した写真や動画を記憶部(020)に格納する制御を行う。また、顔検出処理部(310)を制御することで撮影された画像から人の顔部分を検出する動作を実行させる。その際、加速度センサ(200)で検出されたシャッター押下時のこの携帯電話の傾き角度データを取得し、該取得した傾き角度データによって画像回転処理部(410)を制御することにより傾き角度に合わせた撮影画像の回転処理を実行させる。
【選択図】図２

Description

本発明は、カメラ付の携帯電話やＰＤＡ機器で撮影された画像の中から認識対象画像を検出するための技術に関する。

被写体が人物などの場合に，撮影画像から顔部分を検出し、顔の画像部分がきれいなものとなるように、顔を基準に色補正，輪郭強調などの信号処理が行われる場合があるが、この信号処理を行うために，顔の画像部分などの対象画像を検出する必要がある。従来から顔検出を行う場合の要素として目の位置がある程度予測できる画像であることが望ましい。特許文献１には、撮影画像から顔部分を検出する技術が提案されている。

特許文献１に記載された発明では、撮影されたカラー画像から肌色領域を抽出するとともに上記カラー画像から明るさが或るしきい値以下の暗い領域を抽出し、上記肌色領域と面積が略等しく且つ重心が一致する窓を設定し、該窓を上下に２分割するとともに上半分をさらに左右に２分割して、左上窓、右上窓、及び下部窓に分割し、上記左上窓、上記右上窓、及び上記下部窓内に各々上記暗い領域が存在して且つ該暗い領域の重心が各々上記左上窓、上記右上窓、及び上記下部窓内に位置しており、しかも上記肌色領域内に一定の面積比で上記暗い領域を検出したとき、人の顔であると判定する顔検出方法が提案されている。

一方、昨今の携帯電話はカメラを搭載したものが主流となっており、また、携帯電話の形状についても従来のバータイプや２つ折タイプ以外に、２軸ヒンジの形状やサイクロイド機構と呼ばれる形状の携帯電話も商品化されてきている。図５は、このようなカメラ搭載型携帯電話(000)の例を示す正面図および背面図であり、正面側には表示部(500)とキー操作部(600)が設けられ、背面側にカメラ(100)が設けられている。

このような形状の携帯電話(000)で写真撮影を行う場合、写真撮影時の携帯電話の向きも様々であり、画像データとしてカメラ(100)から携帯電話内の画像処理部に取り込まれる画像も常に一定の角度で入力されるとは限らず、様々な角度に回転した画像として取り込まれる。

図６及び図７は、携帯電話(000)での写真撮影時における携帯電話の向きの例を示しており、図６は、携帯電話内の画像処理部に取り込まれる画像が正立状態となる場合の携帯電話の向きを示しており、図７は、携帯電話内の画像処理部に取り込まれる画像が９０度、あるいは１８０度回転した画像となる場合を示している。

図６の場合には、画像処理部に取り込まれる画像データでは、撮影された人の顔は通常頭部を上にした状態（正立状態）となっているので、容易に人の顔の判定が可能であるが、図７に示すように、携帯電話内の画像処理部に取り込まれる画像が９０度、あるいは１８０度回転している場合には、撮影された人の顔も９０度、あるいは１８０度回転した画像データとして取り込まれるので、この画像データから人の顔を判定することが困難となり、顔検出効率が下がってしまっていた。

即ち、図６は、被写体(101)を撮影時の携帯電話(000)は回転していない状態を示しており、この状態でカメラ(100)を用いてある人物を被写体(101)として、写真撮影を行い、撮影した画像は顔検出用画像(102)として顔検出処理部へ出力される。この場合、顔検出用画像(102)は被写体(101)の上部分が画像の上部分となるため、顔検出処理部で正常に顔部分を検出することができる。

一方、図７（ａ）は、携帯電話(001)を左に９０度回転させた状態で被写体(101)を撮影した場合を示しており、この状態で被写体(101)を写真撮影した場合、撮影した画像は被写体(101)が右に９０度回転した顔検出用画像(103)として顔検出処理部へ出力されるため、顔検出処理部では正常に顔部分を検出することができない。

また、図７（ｂ）は、携帯電話(002)を１８０度回転させた状態で被写体(101)を撮影した場合を示しており、この状態で被写体(101)を写真撮影した場合、撮影した画像は被写体(101)が１８０度回転した顔検出用画像(104)として顔検出処理部へ出力されるため、顔検出処理部では正常に顔部分を検出することができない。

このような問題を解消する一手段として、例えば特許文献２に記載された発明では、連続して被写体を撮像することにより得られた複数駒の被写体像のうちの第１の被写体像から対象画像を検出する第１の対象画像検出手段と、該第１の対象画像検出手段によって検出された対象画像と上記第１の被写体像との相対回転角度に基づいて、上記対象画像の検出角度を決定する検出角度決定手段と、上記複数駒の被写体像のうち、上記第１の被写体像と異なる第２の被写体像から上記検出角度決定手段によって決定された検出角度に基づく角度をもつ上記対象画像を検出する第２の対象画像検出手段を備えることにより、検出処理に必要な時間を短くする、あるいは、被写体像を表す画像データを出力する撮像装置を備えたディジタル・カメラの傾きを検出する傾きセンサと、該傾きセンサにより検出された傾きにもとづいて、対象画像の検出領域を決定する検出領域決定手段と、上記撮像装置から出力された画像データによって表される被写体像のうち，上記検出領域決定手段において決定された検出領域内において，上記対象画像を検出する対象画像検出手段を備えることにより、検出処理に必要な時間の短縮化を図っている。

特許第３４５９９５０号特開２００７−１１０５７５号公報特開２００５−２２９２５６号公報

しかし特許文献２に記載された発明の場合、第１の被写体像から対象画像を検出する際には、撮影画像から被写体像の傾き角度を検出する処理を行わなければならず、そのための対象画像の検出処理時間は短くすることができず、また、ディジタル・カメラの傾きを検出する傾きセンサにより検出された傾きにもとづいて対象画像の検出領域を決定する構成では、対象画像の検出領域を狭くする効果はあるものの、傾いた状態の被写体像を検出しなければならないので、検出効率の低下を解消することは困難である。

本発明の目的は、カメラを傾けた状態で撮影された画像から人の顔等の所定の認識対象を検出する際に、該カメラの傾き角度の情報を元に、該カメラが傾けられない状態で撮影された画像からの前記認識対象検出に置き換え可能にする手段を実現して、上記問題点を解消することにある。

撮影された際のカメラの回転の向きに従って、撮影された画像を回転して画像ファイルに記憶することにより、その画像ファイルが表示されたときに、被写体を見易くする技術が特許文献３に開示されている。

本発明の第１の認識対象検出処理方法は、この撮影された画像を回転する技術を応用するものであり、カメラ機能により前記認識対象を撮影したときの該カメラの傾き角度を検出する処理と、該撮影した画像を前記検出された傾き角度に合わせて回転させる処理と、該回転処理された前記撮影画像を用いて前記認識対象の検出処理を行うことを特徴とする。

また本発明の第２の認識対象検出処理方法は、カメラ機能により前記認識対象を撮影したときのカメラの傾き角度を検出する処理と、該検出された傾き角度情報に応じて、前記撮影した画像を構成する画素の読出し順序を変更することにより前記認識対象の検出処理を行うことを特徴とする。

本発明のカメラ付き携帯型電子機器は、カメラ機能により前記認識対象を撮影したときの該カメラの傾き角度を検出する傾き角度検出手段と、前記撮影した画像を前記検出された傾き角度に合わせて回転させる画像回転処理手段と、該画像回転処理手段により回転された前記撮影画像を用いて前記認識対象の検出処理を行う認識対象検出処理手段と、を備えていることを特徴とする。

また本発明のカメラ付き携帯型電子機器は、カメラ機能により前記認識対象を撮影したときの該カメラの傾き角度を検出する傾き角度検出手段と、該検出された傾き角度情報に従って、前記撮影した画像を構成する画素の読出し順序を変更することにより前記認識対象の検出処理を行う認識対象検出処理手段と、を備えていることを特徴とする。

本発明のプログラムは、コンピュータに、カメラ機能を用いて認識対象を撮影したときのカメラの傾き角度を検出する処理と、前記撮影した画像を前記検出された傾き角度情報に基づいて回転させる処理と、該回転処理された撮影画像を用いて前記認識対象の検出処理を行う処理を実行させることを特徴とする。

また本発明のプログラムは、コンピュータに、カメラ機能を用いて認識対象を撮影したときのカメラの傾き角度を検出する処理と、該検出された傾き角度情報に基づいて前記撮影した画像を構成する画素の読出し順序を変更する処理と、該読み出された画素情報から前記認識対象の検出処理を行う処理を実行させることを特徴とする。

本発明は、カメラ付携帯電話で写真撮影を行う際に、加速度センサ（傾き角度検出手段）を用いて携帯電話の傾きを検出し、撮影された画像から顔検出処理を行う際には、検出された携帯電話の傾き情報を元に顔検出用画像を回転させてから顔検出を行う、あるいは画素の読出し順序を変更して顔検出を行うので、顔検出処理部は回転を考慮せずに顔検出処理を行うことができ、顔検出効率を向上することができる。

また、加速度センサを用いて携帯電話の向きを検出し、その情報を元に顔検出を行っているため、従来横や逆さでは検出できないような顔部分の検出が可能となり、顔検出の精度を上げることができる。

図１は、本発明の実施形態を示すカメラ付き携帯電話の外観を示す正面図および背面図であり、図２は、本実施形態のカメラ付き携帯電話の内部構成を示すブロック図である。

本実施形態のカメラ付き携帯電話は、図１に示すように、携帯電話(000)の正面側に、表示部(500)およびキー操作部(600)を配置し、携帯電話(000)のキー操作部(600)の背面側にカメラ(100)を配置するとともに、加速度センサ(200)を配置した構成となっている。なお、カメラ(100)および加速度センサ(200)は、表示部(500)の背面側に配置することもできる。

このカメラ付き携帯電話(000)は、図２に示すようにその内部構成として、プログラム制御により動作する制御部（ＭＰＵ）(010)、プログラム本体や種々のデータを格納する記憶部(020)、カメラ(100)の動作を制御するカメラ制御部(110)、加速度センサ(200)の動作を制御する加速度センサ制御部(210)、任意の画像から人の顔部分を検出する顔検出処理部(310)、任意の画像を９０度単位に回転させた画像を出力する画像回転処理部(410)を備えている。なお本実施形態のカメラ付き携帯電話(000)は携帯電話のための機能ブロックも備えているが、図２ではそれらの機能ブロックは省略して示している。

制御部（ＭＰＵ）(010)は、記憶部(020)に格納されているプログラムを読み出し、読み出したプログラムに基づいて、各機能ブロックの制御を行うメインプロセッサである。具体的には例えば、カメラ撮影時のプレビューを表示部(500)に表示するための制御を行い、カメラ制御部(110)を制御することで、シャッター押下に応答して写真や動画の撮影を実行させ、加速度センサ制御部(210)を制御することで、加速度センサ(200)にシャッター押下時の携帯電話(000)の傾き角度検出を実行させ、撮影した写真や動画を記憶部(020)に格納する制御を行う。

また制御部（ＭＰＵ）(010)は、顔検出処理部(310)を制御することで撮影された画像から人の顔部分を検出する動作を実行させるが、その際、加速度センサ(200)で検出されたシャッター押下時の携帯電話(000)の傾き角度データを取得し、該取得した傾き角度データによって画像回転処理部(410)を制御することにより傾き角度に合わせた撮影画像の回転処理を実行させる。

制御部（ＭＰＵ）(010)およびプログラム本体や種々のデータを格納する記憶部(020)は、本実施例の携帯電話機が備えている各種機能を実行するための制御を行うコンピュータを構成しており、本発明の認識対象検出処理は、記憶部(020)に格納されている認識対象検出処理プログラムをこのコンピュータにより実行させることによって実現可能である。

図３は、本実施形態の動作を示すフローチャートであり、図４は、本実施形態の動作を示す概略図である。以下、本実施形態の動作について、図１〜図４を参照して説明する。

本実施形態のカメラ付携帯電話(000)のカメラが起動されると（Ｓ１０１）、表示部(500)にプレビューが表示される（Ｓ１０２）。このプレビュー表示中にカメラのシャッターが押下されたかどうかが監視され（Ｓ１０３）、シャッターが押下されるまで監視状態が継続する。シャッターが押下されると、Ｓ１０４に遷移し、加速度センサ(200)を用いて、このときの携帯電話(000)の傾き角度を検出し、合わせて写真撮影を実施する。

ここで、検出した角度が例えば、左４５度〜０度〜右４５度の場合には、携帯電話(000)の角度は０度と判定し、右４５度〜右９０度〜右１３５度の場合には、携帯電話(000)の角度は右９０度回転状態と判定し、右１３５度〜１８０度〜左１３５度の場合には、携帯電話(000)の角度は１８０度回転状態と判定し、左４５度〜左９０度〜左１３５度の場合には、携帯電話(000)の角度は左９０回転状態と判定とする。

次に、Ｓ１０４にて検出した携帯電話(000)の角度が０度か、否かを判定する（Ｓ１０５）。携帯電話(000)の傾き角度が０度の場合には、そのままＳ１０７へ遷移して、顔検出処理部(310)で顔検出処理を実施する。携帯電話(000)の傾き角度が０度以外の場合には、Ｓ１０６へ遷移する。Ｓ１０６では、画像回転処理部(410)を用いて、撮影した画像に対して回転処理を行い、被写体１０１の上下が元に戻るように回転させた画像に変換して顔検出処理部(310)へ出力する。顔検出処理部(310)では、該変換後の画像データにより顔検出処理を実施する（Ｓ１０７）。

例えば、図４（ａ）に示すように、携帯電話(001)を左に９０度回転させた状態で写真撮影した場合、加速度センサ(200)からは左９０度の角度情報が出力される。また、撮影した画像の被写体(101)は右へ９０度回転した状態となっているため、画像回転処理部(410)は、写真撮影と同時に該撮影された画像を左へ９０度回転した顔検出用画像(105)を出力する。したがって、顔検出処理部(310)は、被写体(101)の上が常に上を向いた状態の画像を元に顔検出を行うことができるので、従来検出が容易でなかった横に倒れた状態の顔部分を正常に検出できるようなる。

同様に、図４（ｂ）に示すように、携帯電話(001)を１８０度回転させた状態で写真撮影した場合、加速度センサ(200)からは１８０度の角度情報が出力される。また、撮影した画像の被写体(101)は１８０度回転した状態となっているため、画像回転処理部(410)は、写真撮影と同時に該撮影された画像を１８０度回転した顔検出用画像(105)を出力する。したがって、顔検出処理部(310)は、被写体(101)の上が常に上を向いた状態の画像を元に顔検出を行うことができるので、従来検出が容易でなかった逆さ状態の顔部分を正常に検出できるようなる。

なお、上記実施形態では、加速度センサから得られた携帯電話の角度に合わせて、顔検出用画像を回転させているが、顔検出用画像は回転させずに、そのまま顔検出処理部へ画像を渡し、かつ、加速度センサから得られた角度の情報を付加し、顔検出処理部でこの角度の情報を元に、例えば画像内の画素の読出し順序を変更する等により、顔検出を行うようにしてもよい。

顔検出画像(103)における画素データの読出しが、通常は左上から右下まで横方向に順次読み出されるとすると、例えば図７（ａ）のように、携帯電話(000)を左に９０度回転させた状態で被写体(101)を撮影した場合には、顔検出画像(103)の画素データを、右上から左下まで縦方向に順次読み出すように制御すれば、顔検出処理部(310)には、被写体(101)が正立した状態の画像データとして供給されるので、容易に顔検出が可能となる。

また、図７（ｂ）のように、携帯電話(000)を１８０度回転させた状態で被写体(101)を撮影した場合には、顔検出画像(103)の画素データを、右下から左上まで横方向に順次読み出すように制御すれば、顔検出処理部(310)には、被写体(101)が正立した状態の画像データとして供給されるので、容易に顔検出が可能となる。本実施形態の場合には、画像回転処理部(410)は不要である。

また上記実施形態では、写真撮影時の顔検出処理に適用する場合について説明したが、写真撮影前のタイミングで行われるオートフォーカス時の焦点領域の抽出や顔認証時の顔検出においても適用可能である。

さらに上記実施形態では、撮影画像から顔を検出する手段として適用しているが、本発明は、顔の検出に限らず、カメラに写った画像から任意の認識対象の特徴点を抽出する物体認証処理においても適用可能である。

本発明の実施形態を示すカメラ付き携帯電話の外観を示す正面図および背面図である。本実施形態のカメラ付き携帯電話の内部構成を示すブロック図である。本実施形態の動作を示すフローチャートである。本実施形態の動作を示す概略図である。従来例を示すカメラ付き携帯電話の正面図および背面図である。従来のカメラ付き携帯電話における顔検出動作を説明するための図である。従来のカメラ付き携帯電話における顔検出動作を説明するための図である。

符号の説明

000,001,002 携帯電話
010 制御部（ＭＰＵ）
020 記憶部
100 カメラ
110 カメラ制御部
200 加速度センサ
210 加速度センサ制御部
310 顔検出処理部
410 画像回転処理部
500 表示部
600 キー操作部

Claims

カメラ機能と、該カメラ機能により撮影された画像の中から所定の認識対象を検出するための認識対象検出処理方法であって、
前記カメラ機能により前記認識対象を撮影したときのカメラの傾き角度を検出する処理と、該撮影した画像を前記検出された傾き角度情報に基づいて回転させる処理と、該回転処理された前記撮影画像を用いて前記認識対象の検出処理を行うことを特徴とする認識対象検出処理方法。
カメラ機能と、該カメラ機能により撮影された画像の中から所定の認識対象を検出するための認識対象検出処理方法であって、
前記カメラ機能により前記認識対象を撮影したときのカメラの傾き角度を検出する処理と、該検出された傾き角度情報に従って、前記撮影した画像を構成する画素の読出し順序を変更することにより前記認識対象の検出処理を行うことを特徴とする認識対象検出処理方法。
前記認識対象は、撮影された画像内の顔部分であることを特徴とする請求項１または２に記載の認識対象検出処理方法。
カメラ機能と、該カメラ機能により撮影された画像の中から所定の認識対象を検出する認識対象検出処理機能を有するカメラ付き携帯型電子機器において、
前記カメラ機能により前記認識対象を撮影したときのカメラの傾き角度を検出する傾き角度検出手段と、前記撮影した画像を前記検出された傾き角度情報に基づいて回転させる画像回転処理手段と、該画像回転処理手段により回転された前記撮影画像を用いて前記認識対象の検出処理を行う認識対象検出処理手段と、を備えていることを特徴とするカメラ付き携帯型電子機器。
カメラ機能と、該カメラ機能により撮影された画像の中から所定の認識対象を検出する認識対象検出処理機能を有するカメラ付き携帯型電子機器において、
前記カメラ機能により前記認識対象を撮影したときの該カメラの傾き角度を検出する傾き角度検出手段と、該検出された傾き角度情報に従って、前記撮影した画像を構成する画素の読出し順序を変更することにより前記認識対象の検出処理を行う認識対象検出処理手段と、を備えていることを特徴とするカメラ付き携帯型電子機器。
前記認識対象は、撮影された画像内の顔部分であることを特徴とする請求項４または５に記載のカメラ付き携帯型電子機器。
コンピュータに、カメラ機能を用いて認識対象を撮影したときのカメラの傾き角度を検出する処理と、前記撮影した画像を前記検出された傾き角度情報に基づいて回転させる処理と、該回転処理された撮影画像を用いて前記認識対象の検出処理を行う処理を実行させるためのプログラム。
コンピュータに、カメラ機能を用いて認識対象を撮影したときのカメラの傾き角度を検出する処理と、該検出された傾き角度情報に基づいて前記撮影した画像を構成する画素の読出し順序を変更する処理と、該読み出された画素情報から前記認識対象の検出処理を行う処理を実行させるためのプログラム。
前記認識対象は、撮影された画像内の顔部分であることを特徴とする請求項７または８に記載のプログラム。