JP2012028947A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2012028947A JP2012028947A JP2010164295A JP2010164295A JP2012028947A JP 2012028947 A JP2012028947 A JP 2012028947A JP 2010164295 A JP2010164295 A JP 2010164295A JP 2010164295 A JP2010164295 A JP 2010164295A JP 2012028947 A JP2012028947 A JP 2012028947A
- Authority
- JP
- Japan
- Prior art keywords
- face
- unit
- skin color
- detection
- color tone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Focusing (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、撮像装置に関する。 Embodiments described herein relate generally to an imaging apparatus.
近年、撮像素子によって被写体像を電子的に記録するカメラを備えた携帯端末が広く用いられるようになった。この携帯端末に設けられたカメラには、顔検出機能を有するものも知られている。 In recent years, portable terminals equipped with a camera that electronically records a subject image using an image sensor have come to be widely used. A camera having a face detection function is also known as a camera provided in the portable terminal.
顔検出機能は、撮像画像内に存在する人物の顔を顔領域として検出して、自動的に人物の顔に合焦を行わせたりすることができる機能である。従来、肌色検出処理を顔検出処理の前処理または後処理として行なうことにより皮膚の色から人物の領域を検出し、この検出結果に基づいて顔検出処理を行なうことが知られている。肌色検出処理を前処理または後処理として用いることにより、顔検出処理の負荷を軽減し高速化することができる。 The face detection function is a function that can detect the face of a person existing in a captured image as a face area and automatically focus the face of the person. 2. Description of the Related Art Conventionally, it is known to perform a face detection process based on a detection result by detecting a person's area from a skin color by performing a skin color detection process as a pre-process or a post-process of a face detection process. By using the skin color detection process as a pre-process or a post-process, the load of the face detection process can be reduced and speeded up.
肌色検出処理は、撮像画像に含まれる肌色領域を検出し、人物の領域を検出する処理である。肌色検出は、例えば、画像信号の画素の色成分を求めて予め保持する肌色の色成分と比較し、比較の結果色成分がマッチすれば肌色であると検出する。 The skin color detection process is a process of detecting a skin color area included in a captured image and detecting a person area. In the skin color detection, for example, the color component of the pixel of the image signal is obtained and compared with the color component of the skin color stored in advance, and if the color component matches as a result of the comparison, the skin color is detected.
撮像画像は、光源の種類や数、周囲の影響により色調に偏り(赤色または青色)が発生する場合がある。このため、予め保持する肌の色成分と実際の撮像画像における肌の色成分とが異なってしまい、撮像画像から肌色領域が検出できなくなるという課題があった。この結果、肌色検出を利用した顔検出処理においては、顔領域の検出が困難となるため顔領域の検出精度が低下し、ユーザビリティを損なう恐れがあった。 The captured image may be biased in color tone (red or blue) due to the type and number of light sources and the influence of the surroundings. For this reason, the skin color component held in advance differs from the skin color component in the actual captured image, and there is a problem that the skin color region cannot be detected from the captured image. As a result, in the face detection process using skin color detection, it is difficult to detect the face area, so that the detection accuracy of the face area is lowered and usability may be impaired.
本発明はこのような事情を考慮してなされたもので、肌色検出の検出率を向上させることにより顔検出の精度を向上させることができる撮像装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to provide an imaging apparatus capable of improving the accuracy of face detection by improving the detection rate of skin color detection.
実施形態における撮像装置によれば、上述した課題を解決するために、被写体像を光電変換して撮像画像の画像信号を生成する撮像部と、前記画像信号に基づいて撮像画像中の肌色領域を検出する肌色検出部と、前記肌色領域の検出結果に基づいて撮像画像中に含まれる人物の顔領域を検出する顔検出部と、前記撮像画像および前記顔領域を示す顔枠を表示する表示部と、前記撮像画像の色調の補正を行なう色調補正部と、所定条件下において色調の補正が行なわれた前記撮像画像の画像信号に基づいて前記肌色領域の検出を行なわせる制御部とを備えたことを特徴とするものである。 According to the imaging apparatus in the embodiment, in order to solve the above-described problem, an imaging unit that photoelectrically converts a subject image to generate an image signal of the captured image, and a skin color area in the captured image based on the image signal A skin color detection unit to detect, a face detection unit to detect a face region of a person included in a captured image based on a detection result of the skin color region, and a display unit to display the captured image and a face frame indicating the face region And a color tone correction unit that corrects the color tone of the captured image, and a control unit that detects the skin color area based on an image signal of the captured image that has been corrected in color tone under a predetermined condition. It is characterized by this.
本発明に係る撮像装置の一実施形態を添付図面に基づいて説明する。 An embodiment of an imaging apparatus according to the present invention will be described with reference to the accompanying drawings.
図1は、本発明に係る撮像装置の一実施形態である携帯端末1を示す外観斜視図である。図1(A)は、携帯端末1の正面側を示す図、(B)は携帯端末1の裏面側を示す図である。 FIG. 1 is an external perspective view showing a portable terminal 1 which is an embodiment of an imaging apparatus according to the present invention. FIG. 1A is a diagram showing the front side of the mobile terminal 1, and FIG. 1B is a diagram showing the back side of the mobile terminal 1.
携帯端末1は、矩形の板状の筐体11を有する。この筐体11は、表面の大部分にタッチパネル12を有する。
The mobile terminal 1 has a rectangular plate-
タッチパネル12は、文字や画像などからなる表示画面を表示する領域が設けられたディスプレイ(図2の表示部13)を有する。このディスプレイは、例えばLCD(Liquid Crystal Display)、有機EL(ElectroLuminescence)ディスプレイで構成される。
The
また、タッチパネル12は、操作面に対する接触動作を検出するタッチセンサ(図2の入力部14)を有する。タッチセンサは、ディスプレイの上面に複数配置された接触動作を検出するための素子と、さらにその上に積層された透明な操作面を有する。なお、タッチパネル12上で接触動作を検知する方法は、圧力の変化を感知する感圧式、静電気による電気信号を感知する静電式その他の方法を適用することができる。
The
筐体11は、マイクロフォン16およびスピーカ17を所定位置に備える。マイクロフォン16は、例えばタッチパネル12下部に配置され、ユーザの音声などを集音する。スピーカ17は、例えばタッチパネル12上部(タッチパネル12を介してマイクロフォン16と対向する位置)に配置され、種々の音声を出力する。
The
筐体11は、正面側に内側カメラ18を有する。また、筐体11は、裏面側に外側カメラ19を有する。携帯端末1は、これらの内側カメラ18および外側カメラ19(以下、単に「カメラ18、19」という。)により所望の撮像対象を撮影することができる。カメラ18、19は、CCDやCMOSなどからなる撮像素子を備えており、撮像光学系による被写体像を光電変換して画像信号を生成する撮像部として機能する。また、カメラ18、19は、可変焦点機構を備えておりオートフォーカスの機能を有する。このオートフォーカス機能は、例えば顔領域が検出された箇所にフォーカスを自動的に合わせたりするために用いられる。
The
図2は、本発明に係る撮像装置の一例である携帯端末1の主な機能構成を示す概略的な機能ブロック図である。 FIG. 2 is a schematic functional block diagram showing a main functional configuration of the mobile terminal 1 which is an example of the imaging apparatus according to the present invention.
携帯端末1は、W−CDMA方式、GSM方式、cdma2000 1x RTT方式、EVDO方式、および3.9世代のLTEシステムの無線アクセスであるE−UTRA方式などの所定の無線通信方式によって音声通信やデータ通信を行う通信機能を備える。また、アンテナ31、無線送受信部32、信号処理部33は所定の方式に対応する。
The mobile terminal 1 can perform voice communication and data using a predetermined wireless communication method such as the W-CDMA method, the GSM method, the cdma2000 1x RTT method, the EVDO method, and the E-UTRA method that is a wireless access of the 3.9th generation LTE system. A communication function for performing communication is provided. In addition, the
アンテナ31は、移動通信網に収容される基地局から所定の通信処理システムで送信される無線信号を空間から受信する。また、アンテナ31は、所定の通信処理システムで無線通信できるように空間に所定のアクセス方式の無線信号を放射する。
The
無線送受信部32は、アンテナ31を介して、移動通信網に収容される基地局との間で所定の通信処理方式で無線通信する。無線送受信部32は、信号処理部33にて生成された変調信号に基づいて、制御部39から指示されるキャリア周波数の無線信号を生成する。また、無線送受信部32は、制御部39から指示されるキャリア周波数の無線信号を受信し、周波数シンセサイザから出力された局部発振信号とミキシングして中間周波数信号に周波数変換(ダウンコンバート)する。そして、無線送受信部32は、このダウンコンバートされた中間周波数信号を直交復調して受信ベースバンド信号を出力する。この受信結果は、信号処理部33と制御部39に出力される。
The radio transmission /
信号処理部33は、DSP(Digital Signal Processor)などにより構成され、受信ベースバンド信号に所定の信号処理を施し、所定の伝送フォーマットの受信パケットデータを得る。また、信号処理部33は、受信パケットデータに含まれる音声信号を復調し、この復調結果を復号して音声データなどを得る。復号処理により得られた音声データは、PCMコーデック34に供給される。PCMコーデック34は、音声データをPCM復号し、PCM復号後のアナログオーディオデータ信号を受話増幅器35に出力する。このアナログオーディオ信号は、受話増幅器35にて増幅された後、スピーカ17により出力される。
The
一方、マイクロフォン16に入力された話者(ユーザ)の音声信号(アナログオーディオ信号)は、送話増幅器37により適正レベルまで増幅された後、PCMコーデック34によりPCM符号化される。このPCM符号化後のオーディオ信号は、信号処理部33に入力される。信号処理部33は、このオーディオ信号を符号化し、符号化によって得た音声データやその他のデータに基づいて変調信号を生成するとともに、生成された変調信号を無線送受信部32に出力する。
On the other hand, the voice signal (analog audio signal) of the speaker (user) input to the
制御部39は、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)などからなる。CPUは、ROMに記憶されているプログラムまたは記憶部43からRAMにロードされた、オペレーティングシステム(OS)を含む各種のアプリケーションプログラムや制御プログラムに従って各種の処理を実行する。また、CPUは、種々の制御信号を生成し、各部に供給することにより携帯端末1を統括的に制御する。また、RAMは、CPUが各種の処理を実行する上において必要なデータなどを適宜記憶する。
The
記憶部43は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子やHDD(Hard Disc Drive)などからなる。記憶部43は、制御部39のCPUより実行される種々のアプリケーションプログラムや種々のデータ群、携帯端末1の制御プログラムや制御データを格納する。この他にも、記憶部43は、例えば連絡先情報が登録された電話帳データや、データ通信により取得したデータやダウンロードしたデータなどを適宜記憶する。
The storage unit 43 includes, for example, a flash memory element that is an electrically rewritable and erasable nonvolatile memory, an HDD (Hard Disc Drive), and the like. The storage unit 43 stores various application programs executed by the CPU of the
電源回路44は、バッテリ45の出力を基に所定の動作電源電圧Vccを生成して各回路に供給する。時計回路(タイマ)46は、現在の時刻や一定の時間を測定する。
The
肌色検出部51は、内側カメラ18または外側カメラ19において撮影された撮像画像の撮像データ(画像信号)の色成分を用いて肌色を有する領域、すなわち人物が位置する領域を検出する。肌色検出部51は、予め肌色を示す所定の色成分の数値を保持しており、この数値と画像データ内の数値とを比較することにより肌色領域を検出する。この肌色検出処理は、顔検出処理の前処理として実行される。肌色検出処理は、公知の種々の方法が適用される。例えば、HSV(Hue,Saturation and Value)表示系における色相値の抽出方法を用いることができる。
The skin
顔検出部52は、肌色検出部51より出力された検出結果に基づいて人物の領域からさらに人物の顔の領域(顔領域)を検出する。顔検出部52は、顔を含む領域を検出する顔検出処理の方法には種々の公知の方法が適用される。例えば、肌色検出処理により検出された肌色領域の輪郭を抽出し、予め用意する顔の輪郭テンプレートとのマッチング度で顔を検出する方法などを適用することができる。なお、顔領域に関する情報は、例えば顔領域の中心点の座標と、顔領域の大きさで構成することができる。
The
色調補正部53は、カメラ18、19から取得された画像データに対して色調を変化させることにより補正を行なう。具体的には、色調補正部53は、画像データの赤(R)成分の値を予め設けられた複数のレベル間で変更することにより画像データのR成分を強調する。また、色調補正部53は、画像データの青(B)の値を予め設けられた複数のレベル間で調整することにより画像データのB成分を強調する。
The color
図3は、色調補正部による強調処理で用いられるレベルおよびレベルに対応する数値の一例を示す表である。 FIG. 3 is a table showing an example of levels used in the enhancement processing by the color tone correction unit and numerical values corresponding to the levels.
色調補正部53は、例えばRGB成分が8bit(0〜255の256階調)で表わされる場合、8段階のレベルを設け、レベル1〜レベル8にそれぞれ31、63、95、127、159、191、223、255の値を割り当てる。
For example, when the RGB component is represented by 8 bits (256 gradations of 0 to 255), the color
本実施形態における携帯端末1は、上述したように、撮像された画像データ内に存在する人物の顔領域を検出する際、前処理として肌色検出処理を行なう。このため、顔検出処理の精度は、肌色検出処理の精度に左右される。ここで、カメラ18、19で撮影を行なう際にオートホワイトバランス撮影機能を利用する場合、光源が複数である場合や光源の種類、周囲の色調などの周囲環境の影響を受け、正しくオートホワイトバランス機能が作用しない場合がある。この場合、撮像された画像データは色調が赤や青に偏ってしまう恐れがある。このため、画像データに含まれる人物の肌色は、肌色検出処理において正しく肌色と認識されず、その結果後段の顔検出処理の精度に影響を及ぼす恐れがある。
As described above, the mobile terminal 1 according to the present embodiment performs skin color detection processing as preprocessing when detecting the face area of a person present in the captured image data. For this reason, the accuracy of the face detection process depends on the accuracy of the skin color detection process. Here, when the auto white balance shooting function is used when shooting with the
これに対し本実施形態における携帯端末1は、肌色検出処理および顔検出処理が好適に行なえるよう、顔検出精度向上モードを有する。以下、具体的に顔検出処理および顔検出精度向上モードについてフローチャートを用いて説明する。 On the other hand, the portable terminal 1 in the present embodiment has a face detection accuracy improvement mode so that the skin color detection process and the face detection process can be suitably performed. Hereinafter, the face detection process and the face detection accuracy improvement mode will be specifically described with reference to flowcharts.
図4は、本実施形態における携帯端末1により実行される第1の顔検出処理を説明するフローチャートである。 FIG. 4 is a flowchart for explaining the first face detection process executed by the mobile terminal 1 in the present embodiment.
この顔検出処理は、例えばユーザ操作に基づいてカメラ18、19が起動された後に実行される。このとき起動するカメラは、内側カメラ18または外側カメラ19のどちらか一方である。また、カメラは、内側カメラ18と外側カメラ19とで切替可能である。
This face detection process is executed after the
ステップS1において、制御部39は、カメラ18、19で生成された画像データ(画像信号)を取得する。なお、顔検出のための画像データは、例えば1秒間に所定回数(例えば15回〜30回)取得される。以下、顔検出処理に用いられる画像データをフレームという。タッチパネル12には、取得した画像データに基づき生成された撮像画像が表示される。また、取得した画像データは、肌色検出部51に出力される。
In step S <b> 1, the
ステップS2において、肌色検出部51は、肌色検出処理を実行し画像データ内の肌色領域を検出する。肌色検出部51は、検出結果を顔検出部52に出力する。ステップS3において、顔検出部52は、肌色検出部51より出力された検出結果に基づいて顔検出処理を実行し肌色領域(人物の領域)から人物の顔と判定される顔領域を検出する。
In step S <b> 2, the skin
ステップS4において、制御部39は、顔検出部52より出力された検出結果に基づいて、タッチパネル12に表示された撮像画像と共に顔領域を表示する。制御部39は、顔領域が検出されない場合には撮像画像のみをタッチパネル12に表示する。制御部39は、例えば顔検出部52から出力された顔領域の中心点の座標を中心とする予め決められた大きさの矩形の枠を顔領域を示す顔枠として表示する。なお、顔枠の表示形態はこれに限定されない。また、制御部39は、複数の顔領域が検出された場合には複数の顔枠を表示する。
In step S <b> 4, the
ステップS5において、制御部39は、所定のユーザインタフェース(UI)に対してユーザからの入力があるか否かの判定を行なう。このUIは、例えばタッチパネル12上に表示され、顔検出精度向上モードへ移行する指示を受け付けるためのUIである。結果表示ステップS4において表示された顔枠が顔領域を正しく表示している場合、ユーザはこのUIに対して入力を行なう必要はないが、顔領域が表示されない場合または人物の顔が正しく顔領域として表示されない場合、ユーザはUIに対して入力を行なう。なお、携帯端末1は入力キーとして機械的な実装を有する場合には、この入力キーにより顔検出精度向上モードへ移行する指示を受け付けてもよい。
In step S5, the
制御部39は、UIに対して入力がないと判定した場合、ステップS6において、ユーザによりカメラ18、19による撮影が終了されたか否かの判定を行なう。制御部39は、カメラ18、19が終了されていないと判定した場合、画像データ取得ステップS1に戻り、以降の処理を繰り返す。一方、制御部39は、カメラ18、19が終了されたと判定した場合、顔検出処理を終了する。
When it is determined that there is no input to the UI, the
制御部39は、入力判定ステップS5においてUIに対して入力があったと判定した場合、図5の第1の顔検出精度向上モードへ移行する。
When the
図5は、本実施形態における携帯端末1により実行される第1の顔検出精度向上モードを説明するフローチャートである。 FIG. 5 is a flowchart for describing the first face detection accuracy improvement mode executed by the mobile terminal 1 in the present embodiment.
ステップS11において、制御部39は、カメラ18、19で生成された画像データを取得する。ステップS12において、色調補正部53は、画像データに対して強調処理を行なう。例えば、色調補正部53は、R成分のレベル1(図3)に基づく強調処理を行なう。
In step S <b> 11, the
ステップS13において、肌色検出部51は、強調処理が行なわれた画像データに対して肌色検出処理を実行し、画像データ内の肌色領域を検出する。ここで、強調処理ステップS12において行なわれた強調処理により人物の肌色が本来肌色と認識できる色成分に補正されている場合には、肌色検出部51は適切に肌色領域を検出することができる。
In step S <b> 13, the skin
ステップS14において、顔検出部52は、肌色検出部51より出力された検出結果に基づいて顔検出処理を実行し肌色領域(人物の領域)から人物の顔と判定される領域を検出する。ステップS15において、制御部39は、顔検出部52により顔領域が検出できたか否かの判定を行なう。制御部39は顔領域が非検出であると判定した場合、ステップS16において、色調補正部53による強調処理の設定値を変更する。具体的には、制御部39は、強調処理のレベルを前回の強調処理に用いられた色成分のレベルに対して1つ大きいレベルに設定する。例えば、前回の強調処理がR成分のレベル1に基づいて行なわれた場合には、制御部39は、R成分のレベル2に設定する。なお、前回の強調処理に用いられた色成分のレベルが最大レベル(レベル8)であった場合には、制御部39は強調処理を行なう色成分を変更し(例えばR成分からB成分へ変更し)変更後の色成分のレベル1に設定する。
In step S <b> 14, the
その後画像データ取得ステップS11に戻り以降の処理が繰り返される。すなわち、新たな設定値に基づいて強調処理ステップS12が行なわれ、強調処理後の画像データに対して肌色検出ステップS13および顔検出ステップS14が行なわれる。これにより、制御部39は、順次色成分を変化させながら肌色検出に適切な色成分からなる画像データを得る。
Thereafter, the process returns to the image data acquisition step S11 and the subsequent processing is repeated. That is, enhancement processing step S12 is performed based on the new set value, and skin color detection step S13 and face detection step S14 are performed on the image data after the enhancement processing. Thereby, the
制御部39は、顔検出判定ステップS15において顔領域が検出されたと判定した場合、ステップS17において、顔検出部52より出力された検出結果に基づいて、タッチパネル12に表示された撮像画像と共に顔領域を表示する。
When it is determined that the face area is detected in the face detection determination step S15, the
ステップS18において、制御部39は、n回(所定回数)連続で顔領域が正しく検出されたか否かの判定を行なう。ここで、制御部39はn回連続で顔領域が正しく検出されたか否かの判定を行なうことにより、「偶然顔らしい部分を検出した」という顔領域の誤検知を防止することができる。制御部39は、前回の顔検出処理に用いたフレーム結果を保存しておき、この前回のフレーム結果と新たに得られたフレーム結果とを比較することにより、顔検出が正しく検出されているか否かの判定を行なうことができる。
In step S18, the
制御部39は、n回連続で顔領域を正しく検出していないと判定した場合、再び画像データ取得ステップS11に戻り、以降の処理を繰り返す。このとき、強調処理ステップS12においては前回の強調処理に用いられた設定値が引き続き採用される。このため、前回の強調処理ステップS12において用いられた設定値が不適切であるが偶然顔検出に成功した場合には、顔検出判定ステップS15において顔領域が検出されないと判定され、設定変更ステップS16において新たな値に設定される。一方、前回の強調処理ステップS12において用いられた設定値が適切であった場合には、顔検出判定ステップS15において顔領域が検出されたと判定される。この場合、連続検出判定ステップS18において顔領域の検出がn回成功するまで画像データ取得ステップS11〜連続検出判定ステップS18が繰り返される。
When it is determined that the face area has not been correctly detected n times consecutively, the
制御部39は、連続検出判定ステップS18においてn回連続で顔領域が正しく検出できたと判定した場合、ステップS19において、前回の強調処理ステップS2において用いられた強調処理の設定値を所定の記憶領域に保持する。すなわち、画像データ取得ステップS11〜連続検出判定ステップS18を行なうことにより、現在の周囲環境における適切な強調処理の設定値が決定された。これにより、取得された画像データに色調の偏りが発生している場合であっても、以後この保持された設定値を用いて強調処理を行なうことにより、精度のよい顔検出処理を行なうことができる。
When it is determined that the face area has been correctly detected n times continuously in the continuous detection determination step S18, the
ステップS20において、制御部39は、画像データを新たに取得する。すなわち、制御部39は、フレームを更新する。ステップS21において、色調補正部53は、設定値保持ステップS19において保持された強調処理の保持値に基づいて強調処理を行なう。ステップS22において、肌色検出部51は、強調処理が行なわれた画像データに対して肌色検出処理を実行し、画像データ内の肌色領域を検出する。ステップS23において、顔検出部52は、肌色検出部51より出力された検出結果に基づいて顔検出処理を実行し肌色領域(人物の領域)から人物の顔と判定される領域を検出する。ステップS24において、制御部39は、顔検出部52より出力された検出結果に基づいて、タッチパネル12に表示された撮像画像と共に顔領域を示す顔枠を表示する。
In step S20, the
ステップS25において、制御部39は、UIに対してユーザからの入力があるか否かの判定を行なう。制御部39は、入力判定ステップS25においてUIに対して入力があったと判定した場合、画像データ取得ステップS11に戻り以降の処理を繰り返す。ユーザによりUIに対して入力があった場合は、例えばユーザの周囲環境が変化したことに伴い色調の偏りが変化したことにより現在の強調処理の設定値は不適当であり、肌色検出および顔検出の精度が低下したことを意味する。このため、制御部39は、再度強調処理の設定値を変更するため画像データ取得ステップS11に戻り、現在の周囲環境に適した設定知に基づく強調処理を行なう。
In step S25, the
一方、制御部39は、UIに対して入力がないと判定した場合、ステップS26において、ユーザによりカメラ18、19が終了されたか否かの判定を行なう。制御部39は、カメラ18、19が終了されていないと判定した場合、画像データ取得ステップS20に戻り、以降の処理を繰り返す。一方、制御部39は、カメラ18、19が終了されたと判定した場合、処理を終了する。
On the other hand, if it is determined that there is no input to the UI, the
この第1の顔検出精度向上モードを有する第1の顔検出処理を実行する携帯端末1によれば、撮影時の周囲環境により画像データに色調の偏りが生じた場合であっても、画像データの色調を補正することにより肌色検出を精度よく行なうことができる。具体的には、携帯端末1は、R成分およびB成分の数値を変化させながら強調処理を順次行なうことにより肌色検出処理の検出精度を向上させる結果、顔検出精度の向上を図ることができる。 According to the mobile terminal 1 that executes the first face detection process having the first face detection accuracy improvement mode, even if the image data is uneven in color tone due to the surrounding environment at the time of shooting, the image data By correcting the color tone, the skin color can be detected with high accuracy. Specifically, the mobile terminal 1 improves the detection accuracy of the skin color detection process by sequentially performing the enhancement process while changing the numerical values of the R component and the B component, and as a result, the face detection accuracy can be improved.
特に、携帯端末1は、周囲環境(複数種類の光源の有無、周囲の色)によりオートホワイトバランス機能が正しく作用しない場合が生じうる。このような場合であっても、携帯端末1は強調処理を行なうことにより、正しく肌色検出を行なうことができる。 In particular, in the mobile terminal 1, the auto white balance function may not work correctly depending on the surrounding environment (the presence or absence of a plurality of types of light sources and the surrounding color). Even in such a case, the portable terminal 1 can correctly detect the skin color by performing the enhancement process.
また、携帯端末1は、撮像画像に色調の偏りが生じたことを機械的に判定することは困難である。これに対し、顔検出精度向上モードへ移行する指示を受け付けるためのUIを設けることにより、携帯端末1はユーザ操作をトリガとして色調の偏りを認識することができる。このため、携帯端末1は、迅速に顔検出精度向上モードへ移行することができ、顔領域の検出までの処理時間を短縮することができる。 In addition, it is difficult for the mobile terminal 1 to mechanically determine that a color tone deviation has occurred in the captured image. On the other hand, by providing a UI for receiving an instruction to shift to the face detection accuracy improvement mode, the mobile terminal 1 can recognize a color tone bias using a user operation as a trigger. For this reason, the mobile terminal 1 can quickly shift to the face detection accuracy improvement mode, and can shorten the processing time until the detection of the face area.
なお、上述した図4の顔検出処理においては、ユーザのUIに対する入力をトリガとして顔検出精度向上モードへ移行した。これに対し、以下に説明する顔検出処理においては、ユーザ操作によらずに自動的に顔検出精度向上モードへ移行することができる。 In the face detection process of FIG. 4 described above, the mode is shifted to the face detection accuracy improvement mode using an input to the user's UI as a trigger. On the other hand, in the face detection process described below, it is possible to automatically shift to the face detection accuracy improvement mode without depending on the user operation.
図6は、本実施形態における携帯端末1により実行される第2の顔検出処理を説明するフローチャートである。 FIG. 6 is a flowchart illustrating the second face detection process executed by the mobile terminal 1 in the present embodiment.
ステップS31〜ステップS34は、図4の画像データ取得ステップS1〜結果表示ステップS4とほぼ同様であるためここでは説明を省略する。 Steps S31 to S34 are substantially the same as the image data acquisition step S1 to the result display step S4 in FIG.
ステップS35において、制御部39は、顔領域が非検出の状態が所定時間以上継続したか否かの判定を行なう。なお、顔領域が所定時間以上非検出の状態には、撮像画像内に人物の顔が存在しない状態と、色調の偏りにより顔領域が検出できない状態とがある。ここでは、制御部39は顔領域が所定時間以上非検出である場合には、後者の色調の偏りにより顔領域が検出できない状態であるとみなす。
In step S35, the
なお、ここでは所定時間の顔領域の非検出を判定したが、時間に代えて連続して顔領域が検出されなかったフレーム数により判定してもよい。また、ステップS35においては、制御部39は、顔検出部52による顔領域の非検出時間または非検出回数を計測する計測部として機能する。
Although the non-detection of the face area for a predetermined time is determined here, it may be determined by the number of frames in which the face area is not detected continuously instead of the time. In step S <b> 35, the
制御部39は、顔領域が非検出の状態が所定時間以上継続していないと判定した場合、ステップS36に進む。ステップS36は、図4のカメラ終了判定ステップS6とほぼ同様であるためここでは説明を省略する。一方、制御部39は、顔領域が非検出の状態が所定時間以上継続したと判定した場合、図7の第2の顔検出精度向上モードへ移行する。
If the
図7は、本実施形態における携帯端末1により実行される第2の顔検出精度向上モードを説明するフローチャートである。 FIG. 7 is a flowchart for explaining the second face detection accuracy improvement mode executed by the mobile terminal 1 in the present embodiment.
ステップS41〜ステップS54は、図5の画像データ取得ステップS11〜結果表示ステップS24とほぼ同様であるため、ここでは説明を省略する。 Steps S41 to S54 are substantially the same as the image data acquisition step S11 to the result display step S24 in FIG.
ステップS55において、制御部39は、顔領域が非検出の状態が所定時間以上継続したか否かの判定を行なう。制御部39は、顔領域が非検出の状態が所定時間以上継続したと判定した場合、画像データ取得ステップS41に戻り、以降の処理を繰り返す。図5の入力判定ステップS25と同趣旨に基づくものである。一方、制御部39は顔領域が非検出の状態が所定時間以上継続していないと判定した場合、ステップS56において、ユーザによりカメラ18、19が終了されたか否かの判定を行なう。制御部39はカメラ18、19が終了されていないと判定した場合、画像データ取得ステップS50に戻り、以降の処理を繰り返す。一方、制御部39は、カメラ18、19が終了されたと判定した場合、処理を終了する。
In step S55, the
この第2の顔検出精度向上モードを有する第2の顔検出処理を実行する携帯端末1によれば、第1の顔検出処理を実行する際に奏する効果に加え、所定時間の顔領域非検出を判定することにより自動的に顔検出精度向上モードへ移行するためユーザ操作を要することなく、より操作性を向上させることができる。 According to the mobile terminal 1 that executes the second face detection process having the second face detection accuracy improvement mode, in addition to the effect exhibited when the first face detection process is executed, the face area non-detection for a predetermined time Therefore, since the mode automatically shifts to the face detection accuracy improvement mode, operability can be further improved without requiring a user operation.
また、携帯端末1は、撮影途中において周囲環境に変化が生じた場合であっても、所定時間の顔領域の非検出を条件に自動的に顔検出精度向上モードへ移行することができる。このため、周囲環境の変化が大きい場合にはより好適に顔検出精度向上モードを作用させることができる。 Further, even when the surrounding environment changes during shooting, the mobile terminal 1 can automatically shift to the face detection accuracy improvement mode on condition that the face area is not detected for a predetermined time. For this reason, when the change in the surrounding environment is large, the face detection accuracy improvement mode can be more suitably applied.
なお、本実施形態においては、色調補正部53が強調処理を行なう場合、8段階のレベルを順次設定することにより検出精度を向上させる強調処理の設定値を見つける例を説明した。しかし、強調処理の設定値の決定方法はこれによらずに、例えば携帯端末1が現在位置を把握するための情報(例えばGPSやセルID)を有する場合には、この現在位置情報と、無線通信機能を利用して取得した現在位置の天気の情報に基づいて、強調処理に採用する各色成分の値を設定してもよい。この場合、携帯端末1は、天気に対応した設定値をテーブルとして保持しておく。携帯端末1は、天気に応じてテーブルから設定値を読み出し、強調処理に用いることができる。また、携帯端末1は、GPSにより現在位置が屋内か屋外かを判別することができる場合には、屋内または屋外に適した各色成分の値を予め保持しておき、現在位置に応じて設定値を読み出してもよい。
In the present embodiment, when the color
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
また、本発明に係る撮像装置は、携帯端末1のみならず例えばPDA(Personal Digital Assistant)、携帯型ゲーム機、携帯型動画再生機、その他の撮影機能を備えた電子機器に適用することができる。 The imaging apparatus according to the present invention can be applied not only to the portable terminal 1 but also to, for example, a PDA (Personal Digital Assistant), a portable game machine, a portable video player, and other electronic devices having a shooting function. .
また、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。 The series of processes described in the embodiments of the present invention can be executed by software, but can also be executed by hardware.
さらに、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。 Furthermore, in the embodiment of the present invention, the steps of the flowchart show the processing examples performed in time series in the order described, but they are not necessarily processed in time series but are executed in parallel or individually. It also includes the processing.
1 携帯端末
11 筐体
12 タッチパネル
13 表示部
14 入力部
16 マイクロフォン
17 スピーカ
18 内側カメラ
19 外側カメラ
32 無線送受信部
33 信号処理部
34 PCMコーデック
35 受話増幅器
37 送話増幅器
39 制御部
43 記憶部
51 肌色検出部
52 顔検出部
53 色調補正部
DESCRIPTION OF SYMBOLS 1
Claims (5)
前記画像信号に基づいて撮像画像中の肌色領域を検出する肌色検出部と、
前記肌色領域の検出結果に基づいて撮像画像中に含まれる人物の顔領域を検出する顔検出部と、
前記撮像画像および前記顔領域を示す顔枠を表示する表示部と、
前記撮像画像の色調の補正を行なう色調補正部と、
所定条件下において色調の補正が行なわれた前記撮像画像の画像信号に基づいて前記肌色領域の検出を行なわせる制御部を備えたことを特徴とする撮像装置。 An imaging unit that photoelectrically converts a subject image to generate an image signal of the captured image;
A skin color detection unit that detects a skin color region in the captured image based on the image signal;
A face detection unit that detects a face area of a person included in the captured image based on the detection result of the skin color area;
A display for displaying a face frame indicating the captured image and the face area;
A color tone correction unit that corrects the color tone of the captured image;
An imaging apparatus comprising: a control unit that detects the skin color area based on an image signal of the captured image that has been subjected to color tone correction under a predetermined condition.
前記所定条件は、前記入力部が前記指示を受け付けた場合である請求項1記載の撮像装置。 An input unit for receiving instructions;
The imaging apparatus according to claim 1, wherein the predetermined condition is when the input unit receives the instruction.
前記所定条件は、前記計測部に計測された非検出時間または非検出回数が所定値以上となった場合である請求項1記載の撮像装置。 A measurement unit that measures the non-detection time or the number of non-detections of the face area by the face detection unit
The imaging apparatus according to claim 1, wherein the predetermined condition is a case where the non-detection time or the number of non-detections measured by the measurement unit is a predetermined value or more.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010164295A JP5527079B2 (en) | 2010-07-21 | 2010-07-21 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010164295A JP5527079B2 (en) | 2010-07-21 | 2010-07-21 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012028947A true JP2012028947A (en) | 2012-02-09 |
JP5527079B2 JP5527079B2 (en) | 2014-06-18 |
Family
ID=45781382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010164295A Expired - Fee Related JP5527079B2 (en) | 2010-07-21 | 2010-07-21 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5527079B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7132392B1 (en) * | 2021-05-12 | 2022-09-06 | レノボ・シンガポール・プライベート・リミテッド | Electronic device and control method |
-
2010
- 2010-07-21 JP JP2010164295A patent/JP5527079B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7132392B1 (en) * | 2021-05-12 | 2022-09-06 | レノボ・シンガポール・プライベート・リミテッド | Electronic device and control method |
Also Published As
Publication number | Publication date |
---|---|
JP5527079B2 (en) | 2014-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20080231726A1 (en) | Apparatus and method for image color correction in a portable device | |
US10027938B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
JP6260620B2 (en) | Image processing apparatus, image processing method, and image processing program | |
CN103297681B (en) | Image processing apparatus and image processing method | |
JP5683745B2 (en) | Image display apparatus and method | |
US20110102630A1 (en) | Image capturing devices using device location information to adjust image data during image signal processing | |
WO2011137731A2 (en) | Method for controlling light-emitting device in terminal equipment, apparatus thereof and terminal equipment | |
US9196029B2 (en) | Threshold setting device for setting threshold used in binarization process, object detection device, threshold setting method, and computer readable storage medium | |
BRPI0721496A2 (en) | Method for adjusting exposure gradations for a digital camera, and camera | |
JP5730439B2 (en) | Image display apparatus, photographing apparatus, image display system and method | |
WO2017088609A1 (en) | Image denoising apparatus and method | |
JP2015177308A (en) | Portable terminal device, image correction method, and image correction program | |
JPWO2013168493A1 (en) | Signal processing apparatus, imaging apparatus, and signal correction method | |
JP5768193B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
JP4635201B2 (en) | Terminal device | |
JP2009171301A (en) | Imaging apparatus, portable terminal and camera control method | |
JP5527079B2 (en) | Imaging device | |
US20120188440A1 (en) | Camera device, mobile terminal and ae controlling method | |
US10827156B2 (en) | Light filling method and apparatus for photographing environment, and computer-readable storage medium | |
KR101254216B1 (en) | Method of removing a flicker noise of a mobile communication terminal and the mobile communication terminal thereof | |
JP2014187663A (en) | Mobile electronic apparatus and control method therefor | |
JP2011070414A (en) | Portable terminal | |
EP2716034B1 (en) | Method and apparatus for image signal processing | |
JP2017225011A (en) | Defective pixel correction system and defective pixel correction method | |
JP2012050148A (en) | Portable telephone set |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140331 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5527079 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |