JP2012028947A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2012028947A
JP2012028947A JP2010164295A JP2010164295A JP2012028947A JP 2012028947 A JP2012028947 A JP 2012028947A JP 2010164295 A JP2010164295 A JP 2010164295A JP 2010164295 A JP2010164295 A JP 2010164295A JP 2012028947 A JP2012028947 A JP 2012028947A
Authority
JP
Japan
Prior art keywords
face
unit
skin color
detection
color tone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010164295A
Other languages
Japanese (ja)
Other versions
JP5527079B2 (en
Inventor
Shinichi Kawashima
真一 川島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Mobile Communications Ltd
Original Assignee
Fujitsu Toshiba Mobile Communication Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Toshiba Mobile Communication Ltd filed Critical Fujitsu Toshiba Mobile Communication Ltd
Priority to JP2010164295A priority Critical patent/JP5527079B2/en
Publication of JP2012028947A publication Critical patent/JP2012028947A/en
Application granted granted Critical
Publication of JP5527079B2 publication Critical patent/JP5527079B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of improving accuracy in face detection by improving a detection ratio in skin color detection.SOLUTION: An imaging apparatus includes: imaging parts 18, 19 for photoelectrically converting a subject image and generating an image signal of an imaged image; a skin color detection part 51 for detecting a skin color region in the imaged image, based on the image signal; a face detection part 52 for detecting the face region of a person included in the imaged image, based on the detection result of the skin color region; a display part 13 for displaying the imaged image and a face frame indicating the face region; a color tone correction part 53 for correcting the color tone of the imaged image; and a control part 39 for allowing the skin color region to be detected based on the image signal of the imaged image where the color tone is corrected under a prescribed condition.

Description

本発明の実施形態は、撮像装置に関する。   Embodiments described herein relate generally to an imaging apparatus.

近年、撮像素子によって被写体像を電子的に記録するカメラを備えた携帯端末が広く用いられるようになった。この携帯端末に設けられたカメラには、顔検出機能を有するものも知られている。   In recent years, portable terminals equipped with a camera that electronically records a subject image using an image sensor have come to be widely used. A camera having a face detection function is also known as a camera provided in the portable terminal.

顔検出機能は、撮像画像内に存在する人物の顔を顔領域として検出して、自動的に人物の顔に合焦を行わせたりすることができる機能である。従来、肌色検出処理を顔検出処理の前処理または後処理として行なうことにより皮膚の色から人物の領域を検出し、この検出結果に基づいて顔検出処理を行なうことが知られている。肌色検出処理を前処理または後処理として用いることにより、顔検出処理の負荷を軽減し高速化することができる。   The face detection function is a function that can detect the face of a person existing in a captured image as a face area and automatically focus the face of the person. 2. Description of the Related Art Conventionally, it is known to perform a face detection process based on a detection result by detecting a person's area from a skin color by performing a skin color detection process as a pre-process or a post-process of a face detection process. By using the skin color detection process as a pre-process or a post-process, the load of the face detection process can be reduced and speeded up.

特開2006−227080号公報JP 2006-227080 A 特開2009−123081号公報JP 2009-123081 A

肌色検出処理は、撮像画像に含まれる肌色領域を検出し、人物の領域を検出する処理である。肌色検出は、例えば、画像信号の画素の色成分を求めて予め保持する肌色の色成分と比較し、比較の結果色成分がマッチすれば肌色であると検出する。   The skin color detection process is a process of detecting a skin color area included in a captured image and detecting a person area. In the skin color detection, for example, the color component of the pixel of the image signal is obtained and compared with the color component of the skin color stored in advance, and if the color component matches as a result of the comparison, the skin color is detected.

撮像画像は、光源の種類や数、周囲の影響により色調に偏り(赤色または青色)が発生する場合がある。このため、予め保持する肌の色成分と実際の撮像画像における肌の色成分とが異なってしまい、撮像画像から肌色領域が検出できなくなるという課題があった。この結果、肌色検出を利用した顔検出処理においては、顔領域の検出が困難となるため顔領域の検出精度が低下し、ユーザビリティを損なう恐れがあった。   The captured image may be biased in color tone (red or blue) due to the type and number of light sources and the influence of the surroundings. For this reason, the skin color component held in advance differs from the skin color component in the actual captured image, and there is a problem that the skin color region cannot be detected from the captured image. As a result, in the face detection process using skin color detection, it is difficult to detect the face area, so that the detection accuracy of the face area is lowered and usability may be impaired.

本発明はこのような事情を考慮してなされたもので、肌色検出の検出率を向上させることにより顔検出の精度を向上させることができる撮像装置を提供することを目的とする。   The present invention has been made in view of such circumstances, and an object thereof is to provide an imaging apparatus capable of improving the accuracy of face detection by improving the detection rate of skin color detection.

実施形態における撮像装置によれば、上述した課題を解決するために、被写体像を光電変換して撮像画像の画像信号を生成する撮像部と、前記画像信号に基づいて撮像画像中の肌色領域を検出する肌色検出部と、前記肌色領域の検出結果に基づいて撮像画像中に含まれる人物の顔領域を検出する顔検出部と、前記撮像画像および前記顔領域を示す顔枠を表示する表示部と、前記撮像画像の色調の補正を行なう色調補正部と、所定条件下において色調の補正が行なわれた前記撮像画像の画像信号に基づいて前記肌色領域の検出を行なわせる制御部とを備えたことを特徴とするものである。   According to the imaging apparatus in the embodiment, in order to solve the above-described problem, an imaging unit that photoelectrically converts a subject image to generate an image signal of the captured image, and a skin color area in the captured image based on the image signal A skin color detection unit to detect, a face detection unit to detect a face region of a person included in a captured image based on a detection result of the skin color region, and a display unit to display the captured image and a face frame indicating the face region And a color tone correction unit that corrects the color tone of the captured image, and a control unit that detects the skin color area based on an image signal of the captured image that has been corrected in color tone under a predetermined condition. It is characterized by this.

本発明に係る撮像装置の一実施形態である携帯端末を示す外観斜視図。1 is an external perspective view showing a portable terminal that is an embodiment of an imaging apparatus according to the present invention. 本発明に係る撮像装置の一例である携帯端末の主な機能構成を示す概略的な機能ブロック図。1 is a schematic functional block diagram showing a main functional configuration of a mobile terminal that is an example of an imaging apparatus according to the present invention. 色調補正部による強調処理で用いられるレベルおよびレベルに対応する数値の一例を示す表。The table | surface which shows an example of the numerical value corresponding to the level and level used by the emphasis process by a color correction | amendment part. 本実施形態における携帯端末により実行される第1の顔検出処理を説明するフローチャート。The flowchart explaining the 1st face detection process performed with the portable terminal in this embodiment. 本実施形態における携帯端末により実行される第1の顔検出精度向上モードを説明するフローチャート。The flowchart explaining the 1st face detection accuracy improvement mode performed with the portable terminal in this embodiment. 本実施形態における携帯端末により実行される第2の顔検出処理を説明するフローチャート。The flowchart explaining the 2nd face detection process performed with the portable terminal in this embodiment. 本実施形態における携帯端末により実行される第2の顔検出精度向上モードを説明するフローチャート。The flowchart explaining the 2nd face detection accuracy improvement mode performed with the portable terminal in this embodiment.

本発明に係る撮像装置の一実施形態を添付図面に基づいて説明する。   An embodiment of an imaging apparatus according to the present invention will be described with reference to the accompanying drawings.

図1は、本発明に係る撮像装置の一実施形態である携帯端末1を示す外観斜視図である。図1(A)は、携帯端末1の正面側を示す図、(B)は携帯端末1の裏面側を示す図である。   FIG. 1 is an external perspective view showing a portable terminal 1 which is an embodiment of an imaging apparatus according to the present invention. FIG. 1A is a diagram showing the front side of the mobile terminal 1, and FIG. 1B is a diagram showing the back side of the mobile terminal 1.

携帯端末1は、矩形の板状の筐体11を有する。この筐体11は、表面の大部分にタッチパネル12を有する。   The mobile terminal 1 has a rectangular plate-shaped casing 11. The housing 11 has a touch panel 12 on most of the surface.

タッチパネル12は、文字や画像などからなる表示画面を表示する領域が設けられたディスプレイ(図2の表示部13)を有する。このディスプレイは、例えばLCD(Liquid Crystal Display)、有機EL(ElectroLuminescence)ディスプレイで構成される。   The touch panel 12 has a display (display unit 13 in FIG. 2) provided with an area for displaying a display screen made up of characters, images, and the like. This display includes, for example, an LCD (Liquid Crystal Display) and an organic EL (ElectroLuminescence) display.

また、タッチパネル12は、操作面に対する接触動作を検出するタッチセンサ(図2の入力部14)を有する。タッチセンサは、ディスプレイの上面に複数配置された接触動作を検出するための素子と、さらにその上に積層された透明な操作面を有する。なお、タッチパネル12上で接触動作を検知する方法は、圧力の変化を感知する感圧式、静電気による電気信号を感知する静電式その他の方法を適用することができる。   The touch panel 12 includes a touch sensor (input unit 14 in FIG. 2) that detects a contact operation on the operation surface. The touch sensor has a plurality of elements for detecting a contact operation arranged on the upper surface of the display, and a transparent operation surface laminated thereon. As a method for detecting the contact operation on the touch panel 12, a pressure-sensitive method for detecting a change in pressure, an electrostatic method for detecting an electric signal due to static electricity, or the like can be applied.

筐体11は、マイクロフォン16およびスピーカ17を所定位置に備える。マイクロフォン16は、例えばタッチパネル12下部に配置され、ユーザの音声などを集音する。スピーカ17は、例えばタッチパネル12上部(タッチパネル12を介してマイクロフォン16と対向する位置)に配置され、種々の音声を出力する。   The housing 11 includes a microphone 16 and a speaker 17 at predetermined positions. The microphone 16 is disposed, for example, below the touch panel 12 and collects a user's voice and the like. The speaker 17 is arranged, for example, on the upper part of the touch panel 12 (a position facing the microphone 16 via the touch panel 12), and outputs various sounds.

筐体11は、正面側に内側カメラ18を有する。また、筐体11は、裏面側に外側カメラ19を有する。携帯端末1は、これらの内側カメラ18および外側カメラ19(以下、単に「カメラ18、19」という。)により所望の撮像対象を撮影することができる。カメラ18、19は、CCDやCMOSなどからなる撮像素子を備えており、撮像光学系による被写体像を光電変換して画像信号を生成する撮像部として機能する。また、カメラ18、19は、可変焦点機構を備えておりオートフォーカスの機能を有する。このオートフォーカス機能は、例えば顔領域が検出された箇所にフォーカスを自動的に合わせたりするために用いられる。   The housing 11 has an inner camera 18 on the front side. The casing 11 has an outer camera 19 on the back side. The portable terminal 1 can photograph a desired imaging target with the inner camera 18 and the outer camera 19 (hereinafter simply referred to as “cameras 18 and 19”). The cameras 18 and 19 are provided with an imaging device such as a CCD or a CMOS, and function as an imaging unit that photoelectrically converts a subject image by an imaging optical system to generate an image signal. The cameras 18 and 19 have a variable focus mechanism and have an autofocus function. This autofocus function is used, for example, to automatically focus on a location where a face area is detected.

図2は、本発明に係る撮像装置の一例である携帯端末1の主な機能構成を示す概略的な機能ブロック図である。   FIG. 2 is a schematic functional block diagram showing a main functional configuration of the mobile terminal 1 which is an example of the imaging apparatus according to the present invention.

携帯端末1は、W−CDMA方式、GSM方式、cdma2000 1x RTT方式、EVDO方式、および3.9世代のLTEシステムの無線アクセスであるE−UTRA方式などの所定の無線通信方式によって音声通信やデータ通信を行う通信機能を備える。また、アンテナ31、無線送受信部32、信号処理部33は所定の方式に対応する。   The mobile terminal 1 can perform voice communication and data using a predetermined wireless communication method such as the W-CDMA method, the GSM method, the cdma2000 1x RTT method, the EVDO method, and the E-UTRA method that is a wireless access of the 3.9th generation LTE system. A communication function for performing communication is provided. In addition, the antenna 31, the wireless transmission / reception unit 32, and the signal processing unit 33 correspond to a predetermined method.

アンテナ31は、移動通信網に収容される基地局から所定の通信処理システムで送信される無線信号を空間から受信する。また、アンテナ31は、所定の通信処理システムで無線通信できるように空間に所定のアクセス方式の無線信号を放射する。   The antenna 31 receives a radio signal transmitted from a base station accommodated in a mobile communication network by using a predetermined communication processing system. The antenna 31 radiates a radio signal of a predetermined access method to the space so that wireless communication can be performed with a predetermined communication processing system.

無線送受信部32は、アンテナ31を介して、移動通信網に収容される基地局との間で所定の通信処理方式で無線通信する。無線送受信部32は、信号処理部33にて生成された変調信号に基づいて、制御部39から指示されるキャリア周波数の無線信号を生成する。また、無線送受信部32は、制御部39から指示されるキャリア周波数の無線信号を受信し、周波数シンセサイザから出力された局部発振信号とミキシングして中間周波数信号に周波数変換(ダウンコンバート)する。そして、無線送受信部32は、このダウンコンバートされた中間周波数信号を直交復調して受信ベースバンド信号を出力する。この受信結果は、信号処理部33と制御部39に出力される。   The radio transmission / reception unit 32 performs radio communication with a base station accommodated in the mobile communication network via the antenna 31 by a predetermined communication processing method. The radio transmission / reception unit 32 generates a radio signal having a carrier frequency instructed from the control unit 39 based on the modulation signal generated by the signal processing unit 33. The radio transmission / reception unit 32 receives a radio signal having a carrier frequency instructed from the control unit 39, mixes it with the local oscillation signal output from the frequency synthesizer, and converts the frequency into an intermediate frequency signal (down-conversion). Then, the radio transmission / reception unit 32 orthogonally demodulates the down-converted intermediate frequency signal and outputs a reception baseband signal. The reception result is output to the signal processing unit 33 and the control unit 39.

信号処理部33は、DSP(Digital Signal Processor)などにより構成され、受信ベースバンド信号に所定の信号処理を施し、所定の伝送フォーマットの受信パケットデータを得る。また、信号処理部33は、受信パケットデータに含まれる音声信号を復調し、この復調結果を復号して音声データなどを得る。復号処理により得られた音声データは、PCMコーデック34に供給される。PCMコーデック34は、音声データをPCM復号し、PCM復号後のアナログオーディオデータ信号を受話増幅器35に出力する。このアナログオーディオ信号は、受話増幅器35にて増幅された後、スピーカ17により出力される。   The signal processing unit 33 is configured by a DSP (Digital Signal Processor) or the like, and performs predetermined signal processing on the received baseband signal to obtain received packet data in a predetermined transmission format. The signal processing unit 33 demodulates the audio signal included in the received packet data and decodes the demodulation result to obtain audio data and the like. The audio data obtained by the decoding process is supplied to the PCM codec 34. The PCM codec 34 performs PCM decoding on the audio data and outputs an analog audio data signal after PCM decoding to the reception amplifier 35. The analog audio signal is amplified by the reception amplifier 35 and then output from the speaker 17.

一方、マイクロフォン16に入力された話者(ユーザ)の音声信号(アナログオーディオ信号)は、送話増幅器37により適正レベルまで増幅された後、PCMコーデック34によりPCM符号化される。このPCM符号化後のオーディオ信号は、信号処理部33に入力される。信号処理部33は、このオーディオ信号を符号化し、符号化によって得た音声データやその他のデータに基づいて変調信号を生成するとともに、生成された変調信号を無線送受信部32に出力する。   On the other hand, the voice signal (analog audio signal) of the speaker (user) input to the microphone 16 is amplified to an appropriate level by the transmission amplifier 37 and then PCM encoded by the PCM codec 34. The audio signal after PCM encoding is input to the signal processing unit 33. The signal processing unit 33 encodes the audio signal, generates a modulation signal based on audio data and other data obtained by the encoding, and outputs the generated modulation signal to the radio transmission / reception unit 32.

制御部39は、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)などからなる。CPUは、ROMに記憶されているプログラムまたは記憶部43からRAMにロードされた、オペレーティングシステム(OS)を含む各種のアプリケーションプログラムや制御プログラムに従って各種の処理を実行する。また、CPUは、種々の制御信号を生成し、各部に供給することにより携帯端末1を統括的に制御する。また、RAMは、CPUが各種の処理を実行する上において必要なデータなどを適宜記憶する。   The control unit 39 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The CPU executes various processes in accordance with programs stored in the ROM or various application programs and control programs including the operating system (OS) loaded from the storage unit 43 to the RAM. In addition, the CPU generates various control signals and supplies them to each unit to control the mobile terminal 1 in an integrated manner. The RAM appropriately stores data necessary for the CPU to execute various processes.

記憶部43は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子やHDD(Hard Disc Drive)などからなる。記憶部43は、制御部39のCPUより実行される種々のアプリケーションプログラムや種々のデータ群、携帯端末1の制御プログラムや制御データを格納する。この他にも、記憶部43は、例えば連絡先情報が登録された電話帳データや、データ通信により取得したデータやダウンロードしたデータなどを適宜記憶する。   The storage unit 43 includes, for example, a flash memory element that is an electrically rewritable and erasable nonvolatile memory, an HDD (Hard Disc Drive), and the like. The storage unit 43 stores various application programs executed by the CPU of the control unit 39 and various data groups, and the control program and control data of the mobile terminal 1. In addition, the storage unit 43 appropriately stores, for example, telephone book data in which contact information is registered, data acquired by data communication, downloaded data, and the like.

電源回路44は、バッテリ45の出力を基に所定の動作電源電圧Vccを生成して各回路に供給する。時計回路(タイマ)46は、現在の時刻や一定の時間を測定する。   The power supply circuit 44 generates a predetermined operating power supply voltage Vcc based on the output of the battery 45 and supplies it to each circuit. The clock circuit (timer) 46 measures the current time or a certain time.

肌色検出部51は、内側カメラ18または外側カメラ19において撮影された撮像画像の撮像データ(画像信号)の色成分を用いて肌色を有する領域、すなわち人物が位置する領域を検出する。肌色検出部51は、予め肌色を示す所定の色成分の数値を保持しており、この数値と画像データ内の数値とを比較することにより肌色領域を検出する。この肌色検出処理は、顔検出処理の前処理として実行される。肌色検出処理は、公知の種々の方法が適用される。例えば、HSV(Hue,Saturation and Value)表示系における色相値の抽出方法を用いることができる。   The skin color detection unit 51 detects an area having a skin color, that is, an area where a person is located, using color components of image data (image signal) of a captured image captured by the inner camera 18 or the outer camera 19. The skin color detection unit 51 holds a numerical value of a predetermined color component indicating the skin color in advance, and detects the skin color region by comparing this numerical value with the numerical value in the image data. This skin color detection process is executed as a pre-process of the face detection process. Various known methods are applied to the skin color detection process. For example, a hue value extraction method in an HSV (Hue, Saturation and Value) display system can be used.

顔検出部52は、肌色検出部51より出力された検出結果に基づいて人物の領域からさらに人物の顔の領域(顔領域)を検出する。顔検出部52は、顔を含む領域を検出する顔検出処理の方法には種々の公知の方法が適用される。例えば、肌色検出処理により検出された肌色領域の輪郭を抽出し、予め用意する顔の輪郭テンプレートとのマッチング度で顔を検出する方法などを適用することができる。なお、顔領域に関する情報は、例えば顔領域の中心点の座標と、顔領域の大きさで構成することができる。   The face detection unit 52 further detects a human face region (face region) from the human region based on the detection result output from the skin color detection unit 51. Various known methods are applied to the face detection unit 52 as a face detection processing method for detecting a region including a face. For example, a method of extracting the outline of the skin color area detected by the skin color detection process and detecting the face with a matching degree with a face outline template prepared in advance can be applied. Note that the information related to the face area can be composed of, for example, the coordinates of the center point of the face area and the size of the face area.

色調補正部53は、カメラ18、19から取得された画像データに対して色調を変化させることにより補正を行なう。具体的には、色調補正部53は、画像データの赤(R)成分の値を予め設けられた複数のレベル間で変更することにより画像データのR成分を強調する。また、色調補正部53は、画像データの青(B)の値を予め設けられた複数のレベル間で調整することにより画像データのB成分を強調する。   The color tone correction unit 53 corrects the image data acquired from the cameras 18 and 19 by changing the color tone. Specifically, the color tone correction unit 53 emphasizes the R component of the image data by changing the value of the red (R) component of the image data between a plurality of levels provided in advance. The color tone correction unit 53 emphasizes the B component of the image data by adjusting the blue (B) value of the image data between a plurality of levels provided in advance.

図3は、色調補正部による強調処理で用いられるレベルおよびレベルに対応する数値の一例を示す表である。   FIG. 3 is a table showing an example of levels used in the enhancement processing by the color tone correction unit and numerical values corresponding to the levels.

色調補正部53は、例えばRGB成分が8bit(0〜255の256階調)で表わされる場合、8段階のレベルを設け、レベル1〜レベル8にそれぞれ31、63、95、127、159、191、223、255の値を割り当てる。   For example, when the RGB component is represented by 8 bits (256 gradations of 0 to 255), the color tone correction unit 53 provides eight levels, and levels 31, 63, 95, 127, 159, and 191 are provided for levels 1 to 8, respectively. 223, 255 are assigned.

本実施形態における携帯端末1は、上述したように、撮像された画像データ内に存在する人物の顔領域を検出する際、前処理として肌色検出処理を行なう。このため、顔検出処理の精度は、肌色検出処理の精度に左右される。ここで、カメラ18、19で撮影を行なう際にオートホワイトバランス撮影機能を利用する場合、光源が複数である場合や光源の種類、周囲の色調などの周囲環境の影響を受け、正しくオートホワイトバランス機能が作用しない場合がある。この場合、撮像された画像データは色調が赤や青に偏ってしまう恐れがある。このため、画像データに含まれる人物の肌色は、肌色検出処理において正しく肌色と認識されず、その結果後段の顔検出処理の精度に影響を及ぼす恐れがある。   As described above, the mobile terminal 1 according to the present embodiment performs skin color detection processing as preprocessing when detecting the face area of a person present in the captured image data. For this reason, the accuracy of the face detection process depends on the accuracy of the skin color detection process. Here, when the auto white balance shooting function is used when shooting with the cameras 18 and 19, when there are a plurality of light sources, the auto white balance is correctly affected by the influence of the surrounding environment such as the type of light source and the surrounding color tone. The function may not work. In this case, the captured image data may be biased to red or blue. For this reason, the skin color of the person included in the image data is not correctly recognized as the skin color in the skin color detection process, and as a result, the accuracy of the subsequent face detection process may be affected.

これに対し本実施形態における携帯端末1は、肌色検出処理および顔検出処理が好適に行なえるよう、顔検出精度向上モードを有する。以下、具体的に顔検出処理および顔検出精度向上モードについてフローチャートを用いて説明する。   On the other hand, the portable terminal 1 in the present embodiment has a face detection accuracy improvement mode so that the skin color detection process and the face detection process can be suitably performed. Hereinafter, the face detection process and the face detection accuracy improvement mode will be specifically described with reference to flowcharts.

図4は、本実施形態における携帯端末1により実行される第1の顔検出処理を説明するフローチャートである。   FIG. 4 is a flowchart for explaining the first face detection process executed by the mobile terminal 1 in the present embodiment.

この顔検出処理は、例えばユーザ操作に基づいてカメラ18、19が起動された後に実行される。このとき起動するカメラは、内側カメラ18または外側カメラ19のどちらか一方である。また、カメラは、内側カメラ18と外側カメラ19とで切替可能である。   This face detection process is executed after the cameras 18 and 19 are activated based on a user operation, for example. The camera activated at this time is either the inner camera 18 or the outer camera 19. The camera can be switched between the inner camera 18 and the outer camera 19.

ステップS1において、制御部39は、カメラ18、19で生成された画像データ(画像信号)を取得する。なお、顔検出のための画像データは、例えば1秒間に所定回数(例えば15回〜30回)取得される。以下、顔検出処理に用いられる画像データをフレームという。タッチパネル12には、取得した画像データに基づき生成された撮像画像が表示される。また、取得した画像データは、肌色検出部51に出力される。   In step S <b> 1, the control unit 39 acquires image data (image signal) generated by the cameras 18 and 19. Note that image data for face detection is acquired, for example, a predetermined number of times (for example, 15 to 30 times) per second. Hereinafter, image data used for the face detection process is referred to as a frame. On the touch panel 12, a captured image generated based on the acquired image data is displayed. Further, the acquired image data is output to the skin color detection unit 51.

ステップS2において、肌色検出部51は、肌色検出処理を実行し画像データ内の肌色領域を検出する。肌色検出部51は、検出結果を顔検出部52に出力する。ステップS3において、顔検出部52は、肌色検出部51より出力された検出結果に基づいて顔検出処理を実行し肌色領域(人物の領域)から人物の顔と判定される顔領域を検出する。   In step S <b> 2, the skin color detection unit 51 performs a skin color detection process to detect a skin color region in the image data. The skin color detection unit 51 outputs the detection result to the face detection unit 52. In step S <b> 3, the face detection unit 52 performs face detection processing based on the detection result output from the skin color detection unit 51, and detects a face region determined as a human face from the skin color region (person region).

ステップS4において、制御部39は、顔検出部52より出力された検出結果に基づいて、タッチパネル12に表示された撮像画像と共に顔領域を表示する。制御部39は、顔領域が検出されない場合には撮像画像のみをタッチパネル12に表示する。制御部39は、例えば顔検出部52から出力された顔領域の中心点の座標を中心とする予め決められた大きさの矩形の枠を顔領域を示す顔枠として表示する。なお、顔枠の表示形態はこれに限定されない。また、制御部39は、複数の顔領域が検出された場合には複数の顔枠を表示する。   In step S <b> 4, the control unit 39 displays the face area together with the captured image displayed on the touch panel 12 based on the detection result output from the face detection unit 52. When the face area is not detected, the control unit 39 displays only the captured image on the touch panel 12. For example, the control unit 39 displays a rectangular frame having a predetermined size centered on the coordinates of the center point of the face area output from the face detection unit 52 as a face frame indicating the face area. The display form of the face frame is not limited to this. Further, the control unit 39 displays a plurality of face frames when a plurality of face regions are detected.

ステップS5において、制御部39は、所定のユーザインタフェース(UI)に対してユーザからの入力があるか否かの判定を行なう。このUIは、例えばタッチパネル12上に表示され、顔検出精度向上モードへ移行する指示を受け付けるためのUIである。結果表示ステップS4において表示された顔枠が顔領域を正しく表示している場合、ユーザはこのUIに対して入力を行なう必要はないが、顔領域が表示されない場合または人物の顔が正しく顔領域として表示されない場合、ユーザはUIに対して入力を行なう。なお、携帯端末1は入力キーとして機械的な実装を有する場合には、この入力キーにより顔検出精度向上モードへ移行する指示を受け付けてもよい。   In step S5, the control unit 39 determines whether or not there is an input from the user with respect to a predetermined user interface (UI). This UI is displayed on the touch panel 12, for example, and is a UI for accepting an instruction to shift to the face detection accuracy improvement mode. If the face frame displayed in the result display step S4 correctly displays the face area, the user does not need to input to this UI, but if the face area is not displayed or the person's face is correctly face area Is not displayed, the user inputs to the UI. In addition, when the portable terminal 1 has a mechanical implementation as an input key, an instruction to shift to the face detection accuracy improvement mode may be received using the input key.

制御部39は、UIに対して入力がないと判定した場合、ステップS6において、ユーザによりカメラ18、19による撮影が終了されたか否かの判定を行なう。制御部39は、カメラ18、19が終了されていないと判定した場合、画像データ取得ステップS1に戻り、以降の処理を繰り返す。一方、制御部39は、カメラ18、19が終了されたと判定した場合、顔検出処理を終了する。   When it is determined that there is no input to the UI, the control unit 39 determines whether or not shooting by the cameras 18 and 19 has been completed by the user in step S6. When the control unit 39 determines that the cameras 18 and 19 are not terminated, the control unit 39 returns to the image data acquisition step S1 and repeats the subsequent processes. On the other hand, if the control unit 39 determines that the cameras 18 and 19 have ended, the face detection process ends.

制御部39は、入力判定ステップS5においてUIに対して入力があったと判定した場合、図5の第1の顔検出精度向上モードへ移行する。   When the control unit 39 determines that there is an input to the UI in the input determination step S5, the control unit 39 proceeds to the first face detection accuracy improvement mode of FIG.

図5は、本実施形態における携帯端末1により実行される第1の顔検出精度向上モードを説明するフローチャートである。   FIG. 5 is a flowchart for describing the first face detection accuracy improvement mode executed by the mobile terminal 1 in the present embodiment.

ステップS11において、制御部39は、カメラ18、19で生成された画像データを取得する。ステップS12において、色調補正部53は、画像データに対して強調処理を行なう。例えば、色調補正部53は、R成分のレベル1(図3)に基づく強調処理を行なう。   In step S <b> 11, the control unit 39 acquires image data generated by the cameras 18 and 19. In step S12, the color tone correction unit 53 performs enhancement processing on the image data. For example, the color tone correction unit 53 performs enhancement processing based on level 1 (FIG. 3) of the R component.

ステップS13において、肌色検出部51は、強調処理が行なわれた画像データに対して肌色検出処理を実行し、画像データ内の肌色領域を検出する。ここで、強調処理ステップS12において行なわれた強調処理により人物の肌色が本来肌色と認識できる色成分に補正されている場合には、肌色検出部51は適切に肌色領域を検出することができる。   In step S <b> 13, the skin color detection unit 51 performs a skin color detection process on the image data subjected to the enhancement process, and detects a skin color region in the image data. Here, when the person's skin color is corrected to a color component that can be originally recognized as the skin color by the enhancement process performed in the enhancement process step S12, the skin color detection unit 51 can appropriately detect the skin color region.

ステップS14において、顔検出部52は、肌色検出部51より出力された検出結果に基づいて顔検出処理を実行し肌色領域(人物の領域)から人物の顔と判定される領域を検出する。ステップS15において、制御部39は、顔検出部52により顔領域が検出できたか否かの判定を行なう。制御部39は顔領域が非検出であると判定した場合、ステップS16において、色調補正部53による強調処理の設定値を変更する。具体的には、制御部39は、強調処理のレベルを前回の強調処理に用いられた色成分のレベルに対して1つ大きいレベルに設定する。例えば、前回の強調処理がR成分のレベル1に基づいて行なわれた場合には、制御部39は、R成分のレベル2に設定する。なお、前回の強調処理に用いられた色成分のレベルが最大レベル(レベル8)であった場合には、制御部39は強調処理を行なう色成分を変更し(例えばR成分からB成分へ変更し)変更後の色成分のレベル1に設定する。   In step S <b> 14, the face detection unit 52 performs face detection processing based on the detection result output from the skin color detection unit 51, and detects an area determined as a human face from the skin color area (person area). In step S <b> 15, the control unit 39 determines whether or not a face area has been detected by the face detection unit 52. If the control unit 39 determines that the face area is not detected, the control unit 39 changes the setting value of the enhancement processing by the color tone correction unit 53 in step S16. Specifically, the control unit 39 sets the level of the enhancement process to one level higher than the level of the color component used in the previous enhancement process. For example, when the previous emphasis process is performed based on the R component level 1, the control unit 39 sets the R component level 2. When the level of the color component used for the previous enhancement process is the maximum level (level 8), the control unit 39 changes the color component for the enhancement process (for example, changes from the R component to the B component). And set to level 1 of the color component after the change.

その後画像データ取得ステップS11に戻り以降の処理が繰り返される。すなわち、新たな設定値に基づいて強調処理ステップS12が行なわれ、強調処理後の画像データに対して肌色検出ステップS13および顔検出ステップS14が行なわれる。これにより、制御部39は、順次色成分を変化させながら肌色検出に適切な色成分からなる画像データを得る。   Thereafter, the process returns to the image data acquisition step S11 and the subsequent processing is repeated. That is, enhancement processing step S12 is performed based on the new set value, and skin color detection step S13 and face detection step S14 are performed on the image data after the enhancement processing. Thereby, the control unit 39 obtains image data including color components suitable for skin color detection while sequentially changing the color components.

制御部39は、顔検出判定ステップS15において顔領域が検出されたと判定した場合、ステップS17において、顔検出部52より出力された検出結果に基づいて、タッチパネル12に表示された撮像画像と共に顔領域を表示する。   When it is determined that the face area is detected in the face detection determination step S15, the control unit 39 determines the face area together with the captured image displayed on the touch panel 12 based on the detection result output from the face detection unit 52 in step S17. Is displayed.

ステップS18において、制御部39は、n回(所定回数)連続で顔領域が正しく検出されたか否かの判定を行なう。ここで、制御部39はn回連続で顔領域が正しく検出されたか否かの判定を行なうことにより、「偶然顔らしい部分を検出した」という顔領域の誤検知を防止することができる。制御部39は、前回の顔検出処理に用いたフレーム結果を保存しておき、この前回のフレーム結果と新たに得られたフレーム結果とを比較することにより、顔検出が正しく検出されているか否かの判定を行なうことができる。   In step S18, the control unit 39 determines whether or not the face area has been correctly detected n times (predetermined number of times). Here, the control unit 39 can determine whether or not the face area has been correctly detected n times in succession, thereby preventing the face area from being erroneously detected as “a part that appears to be an accidental face”. The control unit 39 stores the frame result used for the previous face detection process, and compares the previous frame result with the newly obtained frame result to determine whether the face detection is correctly detected. Can be determined.

制御部39は、n回連続で顔領域を正しく検出していないと判定した場合、再び画像データ取得ステップS11に戻り、以降の処理を繰り返す。このとき、強調処理ステップS12においては前回の強調処理に用いられた設定値が引き続き採用される。このため、前回の強調処理ステップS12において用いられた設定値が不適切であるが偶然顔検出に成功した場合には、顔検出判定ステップS15において顔領域が検出されないと判定され、設定変更ステップS16において新たな値に設定される。一方、前回の強調処理ステップS12において用いられた設定値が適切であった場合には、顔検出判定ステップS15において顔領域が検出されたと判定される。この場合、連続検出判定ステップS18において顔領域の検出がn回成功するまで画像データ取得ステップS11〜連続検出判定ステップS18が繰り返される。   When it is determined that the face area has not been correctly detected n times consecutively, the control unit 39 returns to the image data acquisition step S11 again and repeats the subsequent processing. At this time, in the enhancement processing step S12, the set value used in the previous enhancement processing is continuously adopted. For this reason, when the setting value used in the previous enhancement processing step S12 is inappropriate but the face detection is accidentally successful, it is determined in the face detection determination step S15 that no face area is detected, and the setting change step S16. Is set to a new value. On the other hand, when the set value used in the previous enhancement processing step S12 is appropriate, it is determined in the face detection determination step S15 that a face area has been detected. In this case, the image data acquisition step S11 to the continuous detection determination step S18 are repeated until face area detection succeeds n times in the continuous detection determination step S18.

制御部39は、連続検出判定ステップS18においてn回連続で顔領域が正しく検出できたと判定した場合、ステップS19において、前回の強調処理ステップS2において用いられた強調処理の設定値を所定の記憶領域に保持する。すなわち、画像データ取得ステップS11〜連続検出判定ステップS18を行なうことにより、現在の周囲環境における適切な強調処理の設定値が決定された。これにより、取得された画像データに色調の偏りが発生している場合であっても、以後この保持された設定値を用いて強調処理を行なうことにより、精度のよい顔検出処理を行なうことができる。   When it is determined that the face area has been correctly detected n times continuously in the continuous detection determination step S18, the control unit 39 sets the enhancement processing set value used in the previous enhancement processing step S2 in a predetermined storage area in step S19. Hold on. That is, by performing the image data acquisition step S11 to the continuous detection determination step S18, an appropriate enhancement processing setting value in the current surrounding environment is determined. As a result, even when the obtained image data has a color tone bias, it is possible to perform an accurate face detection process by performing an enhancement process using the stored setting value thereafter. it can.

ステップS20において、制御部39は、画像データを新たに取得する。すなわち、制御部39は、フレームを更新する。ステップS21において、色調補正部53は、設定値保持ステップS19において保持された強調処理の保持値に基づいて強調処理を行なう。ステップS22において、肌色検出部51は、強調処理が行なわれた画像データに対して肌色検出処理を実行し、画像データ内の肌色領域を検出する。ステップS23において、顔検出部52は、肌色検出部51より出力された検出結果に基づいて顔検出処理を実行し肌色領域(人物の領域)から人物の顔と判定される領域を検出する。ステップS24において、制御部39は、顔検出部52より出力された検出結果に基づいて、タッチパネル12に表示された撮像画像と共に顔領域を示す顔枠を表示する。   In step S20, the control unit 39 newly acquires image data. That is, the control unit 39 updates the frame. In step S <b> 21, the color tone correcting unit 53 performs enhancement processing based on the enhancement processing holding value held in the setting value holding step S <b> 19. In step S <b> 22, the skin color detection unit 51 performs a skin color detection process on the image data on which the enhancement process has been performed, and detects a skin color area in the image data. In step S <b> 23, the face detection unit 52 performs face detection processing based on the detection result output from the skin color detection unit 51, and detects an area determined to be a human face from the skin color area (person area). In step S <b> 24, the control unit 39 displays a face frame indicating the face area together with the captured image displayed on the touch panel 12 based on the detection result output from the face detection unit 52.

ステップS25において、制御部39は、UIに対してユーザからの入力があるか否かの判定を行なう。制御部39は、入力判定ステップS25においてUIに対して入力があったと判定した場合、画像データ取得ステップS11に戻り以降の処理を繰り返す。ユーザによりUIに対して入力があった場合は、例えばユーザの周囲環境が変化したことに伴い色調の偏りが変化したことにより現在の強調処理の設定値は不適当であり、肌色検出および顔検出の精度が低下したことを意味する。このため、制御部39は、再度強調処理の設定値を変更するため画像データ取得ステップS11に戻り、現在の周囲環境に適した設定知に基づく強調処理を行なう。   In step S25, the control unit 39 determines whether or not there is an input from the user to the UI. When it is determined in the input determination step S25 that there is an input to the UI, the control unit 39 returns to the image data acquisition step S11 and repeats the subsequent processing. When the user inputs to the UI, for example, the current setting value of the emphasis process is inappropriate due to a change in color tone due to a change in the surrounding environment of the user, and skin color detection and face detection are performed. This means that the accuracy of Therefore, the control unit 39 returns to the image data acquisition step S11 in order to change the setting value of the enhancement process again, and performs the enhancement process based on the setting knowledge suitable for the current surrounding environment.

一方、制御部39は、UIに対して入力がないと判定した場合、ステップS26において、ユーザによりカメラ18、19が終了されたか否かの判定を行なう。制御部39は、カメラ18、19が終了されていないと判定した場合、画像データ取得ステップS20に戻り、以降の処理を繰り返す。一方、制御部39は、カメラ18、19が終了されたと判定した場合、処理を終了する。   On the other hand, if it is determined that there is no input to the UI, the control unit 39 determines whether or not the cameras 18 and 19 are terminated by the user in step S26. If the control unit 39 determines that the cameras 18 and 19 are not terminated, the control unit 39 returns to the image data acquisition step S20 and repeats the subsequent processing. On the other hand, if the control unit 39 determines that the cameras 18 and 19 have ended, the control unit 39 ends the processing.

この第1の顔検出精度向上モードを有する第1の顔検出処理を実行する携帯端末1によれば、撮影時の周囲環境により画像データに色調の偏りが生じた場合であっても、画像データの色調を補正することにより肌色検出を精度よく行なうことができる。具体的には、携帯端末1は、R成分およびB成分の数値を変化させながら強調処理を順次行なうことにより肌色検出処理の検出精度を向上させる結果、顔検出精度の向上を図ることができる。   According to the mobile terminal 1 that executes the first face detection process having the first face detection accuracy improvement mode, even if the image data is uneven in color tone due to the surrounding environment at the time of shooting, the image data By correcting the color tone, the skin color can be detected with high accuracy. Specifically, the mobile terminal 1 improves the detection accuracy of the skin color detection process by sequentially performing the enhancement process while changing the numerical values of the R component and the B component, and as a result, the face detection accuracy can be improved.

特に、携帯端末1は、周囲環境(複数種類の光源の有無、周囲の色)によりオートホワイトバランス機能が正しく作用しない場合が生じうる。このような場合であっても、携帯端末1は強調処理を行なうことにより、正しく肌色検出を行なうことができる。   In particular, in the mobile terminal 1, the auto white balance function may not work correctly depending on the surrounding environment (the presence or absence of a plurality of types of light sources and the surrounding color). Even in such a case, the portable terminal 1 can correctly detect the skin color by performing the enhancement process.

また、携帯端末1は、撮像画像に色調の偏りが生じたことを機械的に判定することは困難である。これに対し、顔検出精度向上モードへ移行する指示を受け付けるためのUIを設けることにより、携帯端末1はユーザ操作をトリガとして色調の偏りを認識することができる。このため、携帯端末1は、迅速に顔検出精度向上モードへ移行することができ、顔領域の検出までの処理時間を短縮することができる。   In addition, it is difficult for the mobile terminal 1 to mechanically determine that a color tone deviation has occurred in the captured image. On the other hand, by providing a UI for receiving an instruction to shift to the face detection accuracy improvement mode, the mobile terminal 1 can recognize a color tone bias using a user operation as a trigger. For this reason, the mobile terminal 1 can quickly shift to the face detection accuracy improvement mode, and can shorten the processing time until the detection of the face area.

なお、上述した図4の顔検出処理においては、ユーザのUIに対する入力をトリガとして顔検出精度向上モードへ移行した。これに対し、以下に説明する顔検出処理においては、ユーザ操作によらずに自動的に顔検出精度向上モードへ移行することができる。   In the face detection process of FIG. 4 described above, the mode is shifted to the face detection accuracy improvement mode using an input to the user's UI as a trigger. On the other hand, in the face detection process described below, it is possible to automatically shift to the face detection accuracy improvement mode without depending on the user operation.

図6は、本実施形態における携帯端末1により実行される第2の顔検出処理を説明するフローチャートである。   FIG. 6 is a flowchart illustrating the second face detection process executed by the mobile terminal 1 in the present embodiment.

ステップS31〜ステップS34は、図4の画像データ取得ステップS1〜結果表示ステップS4とほぼ同様であるためここでは説明を省略する。   Steps S31 to S34 are substantially the same as the image data acquisition step S1 to the result display step S4 in FIG.

ステップS35において、制御部39は、顔領域が非検出の状態が所定時間以上継続したか否かの判定を行なう。なお、顔領域が所定時間以上非検出の状態には、撮像画像内に人物の顔が存在しない状態と、色調の偏りにより顔領域が検出できない状態とがある。ここでは、制御部39は顔領域が所定時間以上非検出である場合には、後者の色調の偏りにより顔領域が検出できない状態であるとみなす。   In step S35, the control unit 39 determines whether or not the face area has not been detected for a predetermined time or longer. It should be noted that the face area is not detected for a predetermined time or more includes a state in which no human face is present in the captured image and a state in which the face area cannot be detected due to color tone deviation. Here, when the face area has not been detected for a predetermined time or more, the control unit 39 regards the face area as being in a state where it cannot be detected due to the latter color tone bias.

なお、ここでは所定時間の顔領域の非検出を判定したが、時間に代えて連続して顔領域が検出されなかったフレーム数により判定してもよい。また、ステップS35においては、制御部39は、顔検出部52による顔領域の非検出時間または非検出回数を計測する計測部として機能する。   Although the non-detection of the face area for a predetermined time is determined here, it may be determined by the number of frames in which the face area is not detected continuously instead of the time. In step S <b> 35, the control unit 39 functions as a measurement unit that measures the non-detection time or the number of non-detections of the face area by the face detection unit 52.

制御部39は、顔領域が非検出の状態が所定時間以上継続していないと判定した場合、ステップS36に進む。ステップS36は、図4のカメラ終了判定ステップS6とほぼ同様であるためここでは説明を省略する。一方、制御部39は、顔領域が非検出の状態が所定時間以上継続したと判定した場合、図7の第2の顔検出精度向上モードへ移行する。   If the control unit 39 determines that the face area non-detection state has not continued for a predetermined time or more, the control unit 39 proceeds to step S36. Step S36 is substantially the same as the camera end determination step S6 in FIG. On the other hand, when the control unit 39 determines that the face detection state has not been detected for a predetermined time or longer, the control unit 39 shifts to the second face detection accuracy improvement mode in FIG.

図7は、本実施形態における携帯端末1により実行される第2の顔検出精度向上モードを説明するフローチャートである。   FIG. 7 is a flowchart for explaining the second face detection accuracy improvement mode executed by the mobile terminal 1 in the present embodiment.

ステップS41〜ステップS54は、図5の画像データ取得ステップS11〜結果表示ステップS24とほぼ同様であるため、ここでは説明を省略する。   Steps S41 to S54 are substantially the same as the image data acquisition step S11 to the result display step S24 in FIG.

ステップS55において、制御部39は、顔領域が非検出の状態が所定時間以上継続したか否かの判定を行なう。制御部39は、顔領域が非検出の状態が所定時間以上継続したと判定した場合、画像データ取得ステップS41に戻り、以降の処理を繰り返す。図5の入力判定ステップS25と同趣旨に基づくものである。一方、制御部39は顔領域が非検出の状態が所定時間以上継続していないと判定した場合、ステップS56において、ユーザによりカメラ18、19が終了されたか否かの判定を行なう。制御部39はカメラ18、19が終了されていないと判定した場合、画像データ取得ステップS50に戻り、以降の処理を繰り返す。一方、制御部39は、カメラ18、19が終了されたと判定した場合、処理を終了する。   In step S55, the control unit 39 determines whether or not the face area has not been detected for a predetermined time or longer. When the control unit 39 determines that the face area has not been detected for a predetermined time or longer, the control unit 39 returns to the image data acquisition step S41 and repeats the subsequent processes. This is based on the same purpose as the input determination step S25 in FIG. On the other hand, if the control unit 39 determines that the state where the face area has not been detected has not continued for a predetermined time or more, it determines whether or not the cameras 18 and 19 have been terminated by the user in step S56. If the control unit 39 determines that the cameras 18 and 19 are not terminated, the control unit 39 returns to the image data acquisition step S50 and repeats the subsequent processes. On the other hand, if the control unit 39 determines that the cameras 18 and 19 have ended, the control unit 39 ends the processing.

この第2の顔検出精度向上モードを有する第2の顔検出処理を実行する携帯端末1によれば、第1の顔検出処理を実行する際に奏する効果に加え、所定時間の顔領域非検出を判定することにより自動的に顔検出精度向上モードへ移行するためユーザ操作を要することなく、より操作性を向上させることができる。   According to the mobile terminal 1 that executes the second face detection process having the second face detection accuracy improvement mode, in addition to the effect exhibited when the first face detection process is executed, the face area non-detection for a predetermined time Therefore, since the mode automatically shifts to the face detection accuracy improvement mode, operability can be further improved without requiring a user operation.

また、携帯端末1は、撮影途中において周囲環境に変化が生じた場合であっても、所定時間の顔領域の非検出を条件に自動的に顔検出精度向上モードへ移行することができる。このため、周囲環境の変化が大きい場合にはより好適に顔検出精度向上モードを作用させることができる。   Further, even when the surrounding environment changes during shooting, the mobile terminal 1 can automatically shift to the face detection accuracy improvement mode on condition that the face area is not detected for a predetermined time. For this reason, when the change in the surrounding environment is large, the face detection accuracy improvement mode can be more suitably applied.

なお、本実施形態においては、色調補正部53が強調処理を行なう場合、8段階のレベルを順次設定することにより検出精度を向上させる強調処理の設定値を見つける例を説明した。しかし、強調処理の設定値の決定方法はこれによらずに、例えば携帯端末1が現在位置を把握するための情報(例えばGPSやセルID)を有する場合には、この現在位置情報と、無線通信機能を利用して取得した現在位置の天気の情報に基づいて、強調処理に採用する各色成分の値を設定してもよい。この場合、携帯端末1は、天気に対応した設定値をテーブルとして保持しておく。携帯端末1は、天気に応じてテーブルから設定値を読み出し、強調処理に用いることができる。また、携帯端末1は、GPSにより現在位置が屋内か屋外かを判別することができる場合には、屋内または屋外に適した各色成分の値を予め保持しておき、現在位置に応じて設定値を読み出してもよい。   In the present embodiment, when the color tone correction unit 53 performs the enhancement process, an example in which the setting value of the enhancement process that improves the detection accuracy by sequentially setting eight levels has been described. However, the setting value determination method for the emphasis process is not based on this. For example, when the mobile terminal 1 has information (for example, GPS or cell ID) for grasping the current position, the current position information and the wireless Based on the weather information of the current position acquired using the communication function, the value of each color component adopted for the enhancement process may be set. In this case, the mobile terminal 1 stores setting values corresponding to the weather as a table. The portable terminal 1 can read the setting value from the table according to the weather and use it for the enhancement process. Further, when the mobile terminal 1 can determine whether the current position is indoor or outdoor by GPS, the mobile terminal 1 holds values of each color component suitable for indoor or outdoor in advance, and sets a value according to the current position. May be read out.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

また、本発明に係る撮像装置は、携帯端末1のみならず例えばPDA(Personal Digital Assistant)、携帯型ゲーム機、携帯型動画再生機、その他の撮影機能を備えた電子機器に適用することができる。   The imaging apparatus according to the present invention can be applied not only to the portable terminal 1 but also to, for example, a PDA (Personal Digital Assistant), a portable game machine, a portable video player, and other electronic devices having a shooting function. .

また、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。   The series of processes described in the embodiments of the present invention can be executed by software, but can also be executed by hardware.

さらに、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。   Furthermore, in the embodiment of the present invention, the steps of the flowchart show the processing examples performed in time series in the order described, but they are not necessarily processed in time series but are executed in parallel or individually. It also includes the processing.

1 携帯端末
11 筐体
12 タッチパネル
13 表示部
14 入力部
16 マイクロフォン
17 スピーカ
18 内側カメラ
19 外側カメラ
32 無線送受信部
33 信号処理部
34 PCMコーデック
35 受話増幅器
37 送話増幅器
39 制御部
43 記憶部
51 肌色検出部
52 顔検出部
53 色調補正部
DESCRIPTION OF SYMBOLS 1 Mobile terminal 11 Case 12 Touch panel 13 Display part 14 Input part 16 Microphone 17 Speaker 18 Inner camera 19 Outer camera 32 Wireless transmission / reception part 33 Signal processing part 34 PCM codec 35 Reception amplifier 37 Transmission amplifier 39 Control part 43 Storage part 51 Skin color Detection unit 52 Face detection unit 53 Color tone correction unit

Claims (5)

被写体像を光電変換して撮像画像の画像信号を生成する撮像部と、
前記画像信号に基づいて撮像画像中の肌色領域を検出する肌色検出部と、
前記肌色領域の検出結果に基づいて撮像画像中に含まれる人物の顔領域を検出する顔検出部と、
前記撮像画像および前記顔領域を示す顔枠を表示する表示部と、
前記撮像画像の色調の補正を行なう色調補正部と、
所定条件下において色調の補正が行なわれた前記撮像画像の画像信号に基づいて前記肌色領域の検出を行なわせる制御部を備えたことを特徴とする撮像装置。
An imaging unit that photoelectrically converts a subject image to generate an image signal of the captured image;
A skin color detection unit that detects a skin color region in the captured image based on the image signal;
A face detection unit that detects a face area of a person included in the captured image based on the detection result of the skin color area;
A display for displaying a face frame indicating the captured image and the face area;
A color tone correction unit that corrects the color tone of the captured image;
An imaging apparatus comprising: a control unit that detects the skin color area based on an image signal of the captured image that has been subjected to color tone correction under a predetermined condition.
指示を受け付ける入力部をさらに備え、
前記所定条件は、前記入力部が前記指示を受け付けた場合である請求項1記載の撮像装置。
An input unit for receiving instructions;
The imaging apparatus according to claim 1, wherein the predetermined condition is when the input unit receives the instruction.
前記顔検出部による前記顔領域の非検出時間または非検出回数を計測する計測部をさらに備え、
前記所定条件は、前記計測部に計測された非検出時間または非検出回数が所定値以上となった場合である請求項1記載の撮像装置。
A measurement unit that measures the non-detection time or the number of non-detections of the face area by the face detection unit
The imaging apparatus according to claim 1, wherein the predetermined condition is a case where the non-detection time or the number of non-detections measured by the measurement unit is a predetermined value or more.
前記色調補正部は、前記画像信号の赤成分または青成分の数値を変化させることにより前記撮像画像の色調の補正を行なう請求項1記載の撮像装置。 The imaging apparatus according to claim 1, wherein the color tone correction unit corrects the color tone of the captured image by changing a numerical value of a red component or a blue component of the image signal. 前記色調補正部は、前記色調の補正を行なった結果所定回数連続して前記顔領域の検出に成功した場合、前記顔領域の検出に成功した際に用いた前記数値を用いて以後の前記撮像画像の色調の補正を行なう請求項4記載の撮像装置。 If the face area is successfully detected for a predetermined number of times as a result of correcting the color tone, the color tone correcting unit uses the numerical values used when the face area is successfully detected to perform subsequent imaging. The imaging apparatus according to claim 4, wherein the color tone of the image is corrected.
JP2010164295A 2010-07-21 2010-07-21 Imaging device Expired - Fee Related JP5527079B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010164295A JP5527079B2 (en) 2010-07-21 2010-07-21 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010164295A JP5527079B2 (en) 2010-07-21 2010-07-21 Imaging device

Publications (2)

Publication Number Publication Date
JP2012028947A true JP2012028947A (en) 2012-02-09
JP5527079B2 JP5527079B2 (en) 2014-06-18

Family

ID=45781382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010164295A Expired - Fee Related JP5527079B2 (en) 2010-07-21 2010-07-21 Imaging device

Country Status (1)

Country Link
JP (1) JP5527079B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7132392B1 (en) * 2021-05-12 2022-09-06 レノボ・シンガポール・プライベート・リミテッド Electronic device and control method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7132392B1 (en) * 2021-05-12 2022-09-06 レノボ・シンガポール・プライベート・リミテッド Electronic device and control method

Also Published As

Publication number Publication date
JP5527079B2 (en) 2014-06-18

Similar Documents

Publication Publication Date Title
US20080231726A1 (en) Apparatus and method for image color correction in a portable device
US10027938B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP6260620B2 (en) Image processing apparatus, image processing method, and image processing program
CN103297681B (en) Image processing apparatus and image processing method
JP5683745B2 (en) Image display apparatus and method
US20110102630A1 (en) Image capturing devices using device location information to adjust image data during image signal processing
WO2011137731A2 (en) Method for controlling light-emitting device in terminal equipment, apparatus thereof and terminal equipment
US9196029B2 (en) Threshold setting device for setting threshold used in binarization process, object detection device, threshold setting method, and computer readable storage medium
BRPI0721496A2 (en) Method for adjusting exposure gradations for a digital camera, and camera
JP5730439B2 (en) Image display apparatus, photographing apparatus, image display system and method
WO2017088609A1 (en) Image denoising apparatus and method
JP2015177308A (en) Portable terminal device, image correction method, and image correction program
JPWO2013168493A1 (en) Signal processing apparatus, imaging apparatus, and signal correction method
JP5768193B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
JP4635201B2 (en) Terminal device
JP2009171301A (en) Imaging apparatus, portable terminal and camera control method
JP5527079B2 (en) Imaging device
US20120188440A1 (en) Camera device, mobile terminal and ae controlling method
US10827156B2 (en) Light filling method and apparatus for photographing environment, and computer-readable storage medium
KR101254216B1 (en) Method of removing a flicker noise of a mobile communication terminal and the mobile communication terminal thereof
JP2014187663A (en) Mobile electronic apparatus and control method therefor
JP2011070414A (en) Portable terminal
EP2716034B1 (en) Method and apparatus for image signal processing
JP2017225011A (en) Defective pixel correction system and defective pixel correction method
JP2012050148A (en) Portable telephone set

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140331

R150 Certificate of patent or registration of utility model

Ref document number: 5527079

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees