JP2011234014A - Imaging device and mobile terminal provided with imaging device - Google Patents

Imaging device and mobile terminal provided with imaging device Download PDF

Info

Publication number
JP2011234014A
JP2011234014A JP2010100864A JP2010100864A JP2011234014A JP 2011234014 A JP2011234014 A JP 2011234014A JP 2010100864 A JP2010100864 A JP 2010100864A JP 2010100864 A JP2010100864 A JP 2010100864A JP 2011234014 A JP2011234014 A JP 2011234014A
Authority
JP
Japan
Prior art keywords
image
evaluation
detected
images
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010100864A
Other languages
Japanese (ja)
Inventor
Munehito Matsuda
宗人 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2010100864A priority Critical patent/JP2011234014A/en
Publication of JP2011234014A publication Critical patent/JP2011234014A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

PROBLEM TO BE SOLVED: To shorten a time required for face detection which is performed for evaluating each of images consecutively photographed.SOLUTION: Consecutive photographing is performed for detecting an object from smaller number of images than those consecutively photographed among images to be photographed, and a position on an image of the detected object is stored in a position storage portion 204. For each of the images consecutively photographed, a position of an evaluation area of an image which is detected is specified as a same position as the detected object and a position of an evaluation area of an image which is not detected is specified by using a position of one or more stored in the position storage portion 204. An evaluation of appropriateness for the evaluation area of the image is performed so as to evaluate the image by the appropriateness of the evaluation area.

Description

本発明は撮像装置及びそれを備える携帯端末に関し、特にそのような撮像装置の連写時における技術に関する。   The present invention relates to an imaging apparatus and a portable terminal including the imaging apparatus, and more particularly to a technique at the time of continuous shooting of such an imaging apparatus.

撮像装置としては例えばコンシューマ向けのデジタルスチルカメラがある。その中で近年、短時間(数ms〜数百ms程度)の間隔で複数の画像を連続的に撮影する連写機能を持ち、連写した画像のうち被写体の撮影状態が良いものを自動的に選択して推薦する機能を有したものが増えてきている。
連写した画像の中で被写体の撮影状態が良いものを自動的に選択するのに利用可能な手法としては、特許文献1に開示されている技術がある。
As an imaging device, for example, there is a consumer digital still camera. Among them, in recent years, it has a continuous shooting function that continuously captures multiple images at short time intervals (several ms to several hundred ms), and automatically captures images that have a good subject shooting state. There are an increasing number of products that have a function to select and recommend.
As a technique that can be used to automatically select a continuous shooting image having a good shooting state of a subject, there is a technique disclosed in Patent Document 1.

特許文献1の画像撮影装置では、複数の画像1つ1つから被写体の写っている部分画像を抽出し、その部分画像に写る被写体の撮影状態の良さを示す評価点に基づいてそれぞれの画像を評価して選択に利用する技術が開示されている。   In the image capturing device of Patent Document 1, a partial image in which a subject is captured is extracted from each of a plurality of images, and each image is extracted based on an evaluation point indicating the good shooting state of the subject in the partial image. A technique to be evaluated and used for selection is disclosed.

特開2005−20446号公報JP 2005-20446 A

しかしながら、上記従来技術では部分画像を抽出する顔検出等において、画像中に含まれる多数の画素をテンプレートに繰り返し照合する等の複雑な処理を行っている。そのため、処理性能の低い装置では部分画像を抽出するだけで時間が掛かってしまい、結果として被写体の撮影状態が良い画像を選択するまでに時間が掛かってしまうという問題がある。   However, in the above-described prior art, complicated processing such as repeatedly matching a large number of pixels included in an image with a template is performed in face detection for extracting a partial image. Therefore, it takes time to extract a partial image in an apparatus with low processing performance, and as a result, it takes time to select an image with a good shooting state of the subject.

以上、撮像装置における問題について説明したが、このような問題は撮像装置を備えた携帯端末においても起こりうる。特にカメラ機能付き携帯電話機においては、画像処理のための高い処理性能が確保できないことが多く、この問題が顕在化する。
本発明は、上記問題に鑑みてなされたものであって、撮像装置や携帯端末における画像の連写時に行う各画像に写る被写体の撮影状態の良さを評価するのに掛かる時間の短縮に寄与することを目的とする。
Although the problems in the imaging apparatus have been described above, such problems can also occur in a mobile terminal equipped with the imaging apparatus. Particularly in a mobile phone with a camera function, it is often impossible to ensure high processing performance for image processing, and this problem becomes apparent.
The present invention has been made in view of the above-described problems, and contributes to shortening the time taken to evaluate the good shooting state of a subject in each image performed during continuous shooting of images in an imaging device or a portable terminal. For the purpose.

本発明に係る撮像装置は、入射光から画像を生成する撮像部と、前記撮像部に所定時間の間隔で所定数の画像を生成する連写を行わせる制御部と、前記撮像部が生成した画像のうち前記所定数より少ない数の画像から被写体を検出する検出部と、画像上での前記検出された被写体の領域を示す位置を記憶する位置記憶部と、前記連写された各画像について、当該画像を評価するための好適度を評価する対象となる当該画像の領域である評価領域の位置を、前記検出を行った画像については前記検出された被写体と同じ位置に特定し、前記検出を行っていない画像である非検出画像については前記位置記憶部に格納されている1以上の位置を用いて特定する特定部とを備える。   An imaging apparatus according to the present invention includes an imaging unit that generates an image from incident light, a control unit that causes the imaging unit to perform a continuous shooting that generates a predetermined number of images at predetermined time intervals, and the imaging unit A detection unit that detects a subject from a smaller number of images than the predetermined number of images, a position storage unit that stores a position indicating a region of the detected subject on the image, and each of the continuously shot images The position of the evaluation area that is the area of the image to be evaluated for the degree of suitability for evaluating the image is specified at the same position as the detected object for the detected image, and the detection is performed. A non-detected image that is an image that has not been performed is provided with a specifying unit that specifies using one or more positions stored in the position storage unit.

ここで、被写体とは画像の一部として写るものであり、例えば人物の顔が該当する。
また、好適度とは被写体の撮影状態の良さを表す値である。被写体が人物の顔であった場合には、好適度として例えばその人物の笑顔の度合いを用いることができる。
Here, the subject is captured as a part of an image, for example, a human face.
Moreover, the degree of suitability is a value that represents the goodness of the shooting state of the subject. When the subject is a person's face, for example, the degree of smile of the person can be used as a suitable degree.

上記の構成を持つ撮像装置によると、撮像装置や携帯電話機における画像の連写時に行う各画像に写る被写体の好適度の評価に掛かる時間の短縮に寄与することができる。   According to the imaging apparatus having the above-described configuration, it is possible to contribute to shortening the time required for evaluating the degree of suitability of the subject appearing in each image that is performed during continuous shooting of images in the imaging apparatus or the mobile phone.

実施形態1の携帯電話機10の外観を示す図である。1 is a diagram illustrating an appearance of a mobile phone 10 according to a first embodiment. 携帯電話機10の連写機能に係る構成を示す図である。3 is a diagram illustrating a configuration related to a continuous shooting function of the mobile phone 10; FIG. 連写画像群を示す図である。It is a figure which shows a continuous-shot image group. 連写画像群の画像から顔を検出する例である。It is an example which detects a face from the image of a continuous-shot image group. 顔の領域の位置並びに検出位置の構造及び内容例を示した図である。It is the figure which showed the structure and content example of the position of a face area | region, and a detection position. 評価領域を特定するイメージを示した図である。It is the figure which showed the image which specifies an evaluation area | region. 各評価領域の笑顔度及び画像の評価結果の例を示す図である。It is a figure which shows the example of the smile degree of each evaluation area | region, and the evaluation result of an image. おすすめ画像の表示例である。It is a display example of a recommended image. 連写モードでの動作を示した流れ図である。It is the flowchart which showed the operation | movement in continuous shooting mode. 画像評価処理を示した流れ図である。It is the flowchart which showed the image evaluation process. 実施形態2での携帯電話機10における連写モードでの動作を示した流れ図である。6 is a flowchart illustrating an operation in a continuous shooting mode in the mobile phone 10 according to the second embodiment. 実施形態2での携帯電話機10が評価領域を特定するイメージを示した図である。It is the figure which showed the image which the mobile telephone 10 in Embodiment 2 specifies an evaluation area | region. 実施形態3の携帯電話機10における連写モードでの動作を示した流れ図である。10 is a flowchart illustrating an operation in a continuous shooting mode in the mobile phone 10 according to the third embodiment. 実施形態3の携帯電話機10において連写画像群の画像から顔を検出する例である。It is an example which detects a face from the image of a continuous-shot image group in the mobile telephone 10 of Embodiment 3. FIG. 実施形態3の携帯電話機10における検出位置の構造及び内容例を示した図である。It is the figure which showed the structure and content example of the detection position in the mobile telephone 10 of Embodiment 3. 実施形態3の携帯電話機10における画像評価処理を示した流れ図である。10 is a flowchart illustrating image evaluation processing in the mobile phone 10 according to the third embodiment. 実施形態3の携帯電話機10において評価領域を特定するイメージを示した図である。It is the figure which showed the image which specifies an evaluation area | region in the mobile telephone 10 of Embodiment 3. FIG. 実施形態3の携帯電話機10において特定された評価領域の位置の例である。12 is an example of the position of an evaluation area specified in the mobile phone 10 of the third embodiment.

<1.実施形態1>
<1−1.構成>
図1は本発明の実施形態1に係る携帯電話機10の外観を示した図である。携帯電話機10はいわゆるスライド式の携帯電話機であり、図1(a)は携帯電話機10の閉状態、(b)は開状態における前面を示し、(c)は開状態における背面を示している。
<1. Embodiment 1>
<1-1. Configuration>
FIG. 1 is a view showing an appearance of a mobile phone 10 according to Embodiment 1 of the present invention. The mobile phone 10 is a so-called slide type mobile phone. FIG. 1A shows the closed state of the mobile phone 10, FIG. 1B shows the front surface in the open state, and FIG. 1C shows the back surface in the open state.

同図に示すように、携帯電話機10はスライド可能な第1の筺体11、第2の筺体12とに分かれている。第1の筺体11を第2の筺体12に対してスライドさせることで携帯電話機10は図1(a)に示す閉状態及び(b)に示す開状態の2つの態様を取ることができる。
また携帯電話機10は、第1の筺体11にスピーカー13及び表示部106を備え、第2の筺体12にマイク14、操作部(キー15、シャッターキーに用いる第1サイドキー16及び第2サイドキー17)及び撮像部20を備える。
As shown in the figure, the mobile phone 10 is divided into a slidable first casing 11 and a second casing 12. By sliding the first casing 11 with respect to the second casing 12, the mobile phone 10 can take two modes, a closed state shown in FIG. 1 (a) and an open state shown in FIG. 1 (b).
The mobile phone 10 includes a speaker 13 and a display unit 106 in the first casing 11, a microphone 14 in the second casing 12, an operation unit (key 15, a first side key 16 and a second side key used for a shutter key). 17) and the imaging unit 20.

更に、データとプログラムを格納するメモリ203(図2を参照)及びプログラムを実行するプロセッサも備える。
以上が携帯電話機10の、携帯電話機としての構成である。次に、改良した連写機能に係る構成について、図2に基づいて説明する。
携帯電話機10の連写機能に係る構成として、第1サイドキー16、撮像制御部201、撮像部20、検出部202、メモリ203、位置記憶部204、画像記憶部205、特定部206、評価部207、表示制御部208及び表示部106を備える。
Furthermore, a memory 203 (see FIG. 2) for storing data and programs and a processor for executing the programs are also provided.
The above is the configuration of the mobile phone 10 as a mobile phone. Next, a configuration related to the improved continuous shooting function will be described with reference to FIG.
The configuration related to the continuous shooting function of the mobile phone 10 includes the first side key 16, the imaging control unit 201, the imaging unit 20, the detection unit 202, the memory 203, the position storage unit 204, the image storage unit 205, the specifying unit 206, and the evaluation unit. 207, a display control unit 208, and a display unit 106.

メモリ203としてはRAM(Random Access Memory)が用いられ、そのメモリ領域には領域記憶部204及び画像記憶部205を含む。
プロセッサはメモリ203に格納されたプログラムを実行することにより、撮像制御部201、検出部202、特定部206、評価部207及び表示制御部208の機能を実現する。
A RAM (Random Access Memory) is used as the memory 203, and the memory area includes an area storage unit 204 and an image storage unit 205.
The processor implements the functions of the imaging control unit 201, the detection unit 202, the specifying unit 206, the evaluation unit 207, and the display control unit 208 by executing a program stored in the memory 203.

第1サイドキー16は第1の筺体11の側面に配置されたキーであり、シャッターキーとして機能する。
撮像制御部201は、撮像部20に所定時間の間隔で所定数の画像を連写させる。ここでは所定時間は125ms、所定数は4とする。
撮像部20はCCD(Charge Coupled Device)イメージセンサとレンズとを備え、レンズから入射した光をCCDイメージセンサで検出して画像を生成する機能を持つ。
The first side key 16 is a key disposed on the side surface of the first casing 11 and functions as a shutter key.
The imaging control unit 201 causes the imaging unit 20 to continuously capture a predetermined number of images at predetermined time intervals. Here, the predetermined time is 125 ms and the predetermined number is 4.
The imaging unit 20 includes a charge coupled device (CCD) image sensor and a lens, and has a function of generating light by detecting light incident from the lens with the CCD image sensor.

撮像部20が連写した画像の例を図3(a)〜(d)に示す。同図において、301a、301b、301c及び301dはそれぞれ4つ連写したうちの1番目、2番目、3番目及び4番目の画像である。
なお、以下では連写された画像(ここでは301a〜301d)をまとめていうときは連写画像群という。また、連写画像群のうちm番目(mは1以上の整数)の画像を画像mと呼ぶこととする。例えば、3番目の画像は画像3という。
Examples of images taken continuously by the imaging unit 20 are shown in FIGS. In the same figure, 301a, 301b, 301c and 301d are the first, second, third and fourth images, respectively, of the four consecutive shots.
In the following, continuous images (here, 301a to 301d) are collectively referred to as a continuous image group. In addition, the m-th image (m is an integer of 1 or more) in the group of continuously shot images is referred to as an image m. For example, the third image is called image 3.

検出部202は撮像部20で生成された画像から被写体として人物の顔(以下、単に「顔」という)を検出し、その顔の領域の位置を特定する。検出した顔の領域の位置は以下では検出位置ということとする。
ここでは、図4に示すように、画像1のみから人物の顔を検出することとする。また、顔の検出は最大で所定個数(例えば4個)まで行う。
The detection unit 202 detects a human face (hereinafter simply referred to as “face”) as a subject from the image generated by the imaging unit 20 and specifies the position of the face region. The position of the detected face area is hereinafter referred to as a detection position.
Here, as shown in FIG. 4, it is assumed that the face of a person is detected from only the image 1. Further, a maximum of a predetermined number (for example, four) of face detection is performed.

顔を検出する技術は従来から知られており、ここでは、画像中の矩形領域からその領域に含まれる複数の画素に係る特徴量を抽出して、顔に係る所定の特徴量のパターンと照合することで顔の検出を行う技術を用いている。検出位置はその矩形領域の、画像の左上端を原点とした左上(始点。図5(a)を参照)の座標と右下(終点。図5(a)を参照)の座標で示されることとする。   A technique for detecting a face is conventionally known. Here, a feature amount related to a plurality of pixels included in the region is extracted from a rectangular region in the image, and is collated with a pattern of a predetermined feature amount related to the face. To detect the face. The detection position is indicated by the coordinates of the upper left corner (start point; see FIG. 5A) and lower right corner (end point; see FIG. 5A) of the rectangular area with the upper left corner of the image as the origin. And

位置記憶部204は検出部202が特定した検出位置のデータ500を記憶するメモリ203の領域である。
検出位置のデータ500の構造は、図5(b)に示すように、検出された顔それぞれの領域を示す矩形の始点の座標501及び終点の座標502により構成されている。なお、顔が1つも検出されなかった場合には検出位置のデータ500の内容は空のデータになることとする。
The position storage unit 204 is an area of the memory 203 that stores the data 500 of the detection position specified by the detection unit 202.
As shown in FIG. 5B, the structure of the detection position data 500 includes a rectangular start point coordinate 501 and an end point coordinate 502 indicating the areas of the detected faces. If no face is detected, the content of the detection position data 500 is empty data.

同図(b)の例は、図3の画像1(301a)から検出した顔に関する検出位置のデータ500を示している。この例では、顔1の検出位置として領域302aの位置(始点(75,125)、終点(275,325))が、顔2の検出位置として領域302bの位置(始点(375,225)、終点(525,375))が格納されている。
画像記憶部205は撮像部20で連写された連写画像群を記憶するメモリ203の領域である。
The example of FIG. 5B shows detection position data 500 relating to the face detected from the image 1 (301a) of FIG. In this example, the position of the region 302a (start point (75, 125), end point (275, 325)) is detected as the detection position of the face 1, and the position of the region 302b (start point (375, 225), end point is detected as the detection position of the face 2. (525, 375)) is stored.
An image storage unit 205 is an area of the memory 203 that stores a group of continuously shot images taken continuously by the imaging unit 20.

特定部206は位置記憶部204に格納されている顔の領域の位置を用いて画像記憶部205に格納されている各画像における評価領域の位置を特定する。
図6は、特定部206が評価領域を特定するイメージを示した図である。同図に示すように、特定部206は画像1での検出位置と同じ個数及び位置に各画像の評価領域(この図の例では601a〜601h)を特定する。
The specifying unit 206 specifies the position of the evaluation region in each image stored in the image storage unit 205 using the position of the face region stored in the position storage unit 204.
FIG. 6 is a diagram illustrating an image in which the specifying unit 206 specifies the evaluation area. As shown in the figure, the specifying unit 206 specifies the evaluation regions (601a to 601h in the example of this figure) in the same number and position as the detection positions in the image 1.

評価部207は画像記憶部205に格納されている各画像の評価を行う。各画像の評価は、図7に示すように、特定部206が特定したその画像の評価領域それぞれに含まれる部分画像の好適度として笑顔度を評価し、画像の評価を示す評価値を算出する。ここでは、評価値は笑顔度の合計とする。
笑顔度を評価する手法としては、例えば特開2004−46591号公報に開示されている笑顔評価の技術を用いることができる。笑顔度は笑顔評価の結果に応じて0から100までの整数値を取ることとし、値が高いほど良い笑顔であることとする。
An evaluation unit 207 evaluates each image stored in the image storage unit 205. As shown in FIG. 7, each image is evaluated by evaluating the smile degree as the suitability of the partial image included in each evaluation area of the image specified by the specifying unit 206, and calculating an evaluation value indicating the evaluation of the image. . Here, the evaluation value is the total smile level.
As a technique for evaluating the smile level, for example, a smile evaluation technique disclosed in Japanese Patent Application Laid-Open No. 2004-46591 can be used. The smile degree takes an integer value from 0 to 100 according to the result of smile evaluation, and the higher the value, the better the smile.

図7の例では、画像1(301a)における顔1(評価領域601a)の笑顔度が0、顔2(評価領域601b)の笑顔度が50であり、画像1の評価値は顔1と顔2の笑顔度の合計50となっている。同様にして画像2〜4についても評価値が算出できる。そして、顔1(評価領域601e)の笑顔度が70、顔2(評価領域601f)の笑顔度が50となっている画像3(301c)の評価値が120で、連写画像群4つの中で最も高い評価値となっている。   In the example of FIG. 7, the smile level of face 1 (evaluation area 601a) in image 1 (301a) is 0, and the smile level of face 2 (evaluation area 601b) is 50. The total smile level of 2 is 50. Similarly, evaluation values can be calculated for the images 2 to 4. The evaluation value of the image 3 (301c) in which the smile degree of the face 1 (evaluation area 601e) is 70 and the smile degree of the face 2 (evaluation area 601f) is 50 is 120. The highest evaluation value.

表示制御部208は画像記憶部205に格納されている各画像を評価部207での評価の結果に従って表示部106に表示させる。
ここでは、図8の表示例に示すように、連写画像群4つを並べて、その中で評価値が最も高い画像を1つおすすめ画像として強調するように表示させる。おすすめ画像の強調は、おすすめマークを付して表示することで行うこととする。なお、評価値が最も高い画像が複数存在した場合、先に撮影された方の画像をおすすめ画像にする。
The display control unit 208 displays each image stored in the image storage unit 205 on the display unit 106 according to the evaluation result of the evaluation unit 207.
Here, as shown in the display example of FIG. 8, four continuous shot image groups are arranged and displayed such that one image having the highest evaluation value is highlighted as a recommended image. The recommendation image is emphasized by displaying a recommendation mark. Note that when there are a plurality of images having the highest evaluation value, the image captured first is set as the recommended image.

表示部106は液晶ディスプレイ(LCD:Liquid Crystal Display)により実現される。表示制御部208の制御によって画面の表示を行う。
<1−2.動作>
携帯電話機10の動作は基本的に従来の携帯電話と同一であり、シャッターキーの押下により連写を行う連写モードにおける動作のみが変更されている。
<1−2−1.連写モード>
以下、連写モードにおいてプロセッサにより実行される動作を、図9に示す流れ図に沿って説明する。なお、連写モードにはユーザの操作を受けて入るものとする。
The display unit 106 is realized by a liquid crystal display (LCD). The screen is displayed under the control of the display control unit 208.
<1-2. Operation>
The operation of the mobile phone 10 is basically the same as that of a conventional mobile phone, and only the operation in the continuous shooting mode in which continuous shooting is performed by pressing the shutter key is changed.
<1-2-1. Continuous mode>
Hereinafter, operations executed by the processor in the continuous shooting mode will be described with reference to a flowchart shown in FIG. It is assumed that the continuous shooting mode is entered upon receiving a user operation.

連写モードに入ってからシャッターキーの押下を受け付ける(ステップS901:YES)と、撮像制御部201が撮像部20に連写を行わせる(ステップS902)。そして、画像記憶部205に連写した連写画像群を格納する。
次に、検出部202が連写画像群のうち画像1から顔の検出を行い(ステップS903)位置記憶部204に格納する(ステップS904)。
When the pressing of the shutter key is accepted after entering the continuous shooting mode (step S901: YES), the imaging control unit 201 causes the imaging unit 20 to perform continuous shooting (step S902). Then, the continuously shot image group continuously stored in the image storage unit 205 is stored.
Next, the detection unit 202 detects a face from the image 1 in the continuous shot image group (step S903), and stores it in the position storage unit 204 (step S904).

そして、連写画像群の各画像を評価する画像評価処理を、特定部206及び評価部207が行う(ステップS905)。画像評価処理は、連写画像群の各画像について、その画像に含まれる評価領域を特定し、特定された評価領域それぞれの笑顔度からその画像の評価値を算出する処理である。
画像評価処理が終わると、表示制御部208が評価部207による評価の結果に基づいて連写画像群を表示部106に表示させ(ステップS906)、連写モードを終了する。
<1−2−2.画像評価処理>
次に、画像評価処理を図10の流れ図に沿って詳細に説明する。
Then, the specifying unit 206 and the evaluation unit 207 perform image evaluation processing for evaluating each image in the continuous shot image group (step S905). The image evaluation process is a process for identifying an evaluation area included in each image of the continuous shot image group and calculating an evaluation value of the image from the smile level of each of the specified evaluation areas.
When the image evaluation process ends, the display control unit 208 causes the display unit 106 to display a continuous shot image group based on the evaluation result by the evaluation unit 207 (step S906), and the continuous shooting mode is ended.
<1-2-2. Image evaluation processing>
Next, the image evaluation process will be described in detail with reference to the flowchart of FIG.

まず、評価部207が処理対象とする画像を特定する番号となる変数Mを1で初期化する(ステップS1001)。変数Mについて、例えばM=3の場合は、画像3が処理対象となる。
次に、評価部207が画像Mの中で処理対象とする評価領域及び画像1における顔を特定する番号となる変数Nを1で初期化する(ステップS1002)。ここで、変数Nで特定される評価領域は評価領域N、変数Nで特定される顔は顔Nということとする。
First, the variable M, which is a number for specifying an image to be processed by the evaluation unit 207, is initialized with 1 (step S1001). For the variable M, for example, when M = 3, the image 3 is a processing target.
Next, the evaluation unit 207 initializes a variable N that is a number for specifying an evaluation region to be processed in the image M and a face in the image 1 with 1 (step S1002). Here, the evaluation area specified by the variable N is the evaluation area N, and the face specified by the variable N is the face N.

変数M及び変数Nの初期化が終了すると、変数Nの値が検出部202により画像1から検出された顔の数以下か否かを評価部207が判定する(ステップS1003)。
変数Nが顔の数以下であった場合(ステップS1003:YES)、特定部206が位置記憶部204から画像1における顔Nの検出位置を取得する(ステップS1004)。
そして特定部206は、画像Mにおける評価領域Nの位置を、取得した顔Nの検出位置と同じ位置に特定する(ステップS1005)。このとき、M=1の場合には、画像Mは実際に検出部202が検出を行った画像1であり、評価領域Nの位置は、その画像中で検出された検出位置を用いていることとなる。
When the initialization of the variable M and the variable N is completed, the evaluation unit 207 determines whether or not the value of the variable N is equal to or less than the number of faces detected from the image 1 by the detection unit 202 (step S1003).
When the variable N is equal to or less than the number of faces (step S1003: YES), the specifying unit 206 acquires the detection position of the face N in the image 1 from the position storage unit 204 (step S1004).
Then, the specifying unit 206 specifies the position of the evaluation region N in the image M as the same position as the acquired detection position of the face N (step S1005). At this time, when M = 1, the image M is the image 1 actually detected by the detection unit 202, and the position of the evaluation region N is the detection position detected in the image. It becomes.

特定部206が特定した評価領域Nについて、評価部207が笑顔度を評価する。なお、画像Mの顔Nの位置が画像1での位置から大きく動いて評価領域Nの中に存在しなくなって笑顔度を評価できない場合には、評価領域Nの笑顔度を0とする。
以上で画像Mにおける評価領域Nの笑顔度の評価は終了する。評価部207は、次なる評価領域の笑顔度を評価するため、Nの値を1増やし(ステップS1007)、ステップS1003に戻る。
For the evaluation region N specified by the specifying unit 206, the evaluation unit 207 evaluates the smile level. When the position of the face N in the image M moves greatly from the position in the image 1 and does not exist in the evaluation area N and the smile level cannot be evaluated, the smile level of the evaluation area N is set to 0.
This completes the evaluation of the smile level of the evaluation area N in the image M. The evaluation unit 207 increases the value of N by 1 in order to evaluate the smile level of the next evaluation area (step S1007), and returns to step S1003.

ステップS1003において否定的な判断がされた場合、即ち変数Nの値が検出部202により画像1から検出された顔の数を超えていた場合(ステップS1003:NO)、評価部207は画像Mの評価値を算出する(ステップS1008)。ここでは、画像Mの評価値はその画像に含まれる各評価領域の笑顔度を合計して算出する。ただし、顔の数が0であった場合には、評価値は0とする。   When a negative determination is made in step S1003, that is, when the value of the variable N exceeds the number of faces detected from the image 1 by the detection unit 202 (step S1003: NO), the evaluation unit 207 An evaluation value is calculated (step S1008). Here, the evaluation value of the image M is calculated by adding the smile levels of the respective evaluation areas included in the image. However, when the number of faces is 0, the evaluation value is 0.

以上で画像Mは評価されたこととなる。画像Mの評価が終了すると、評価部207は、Mの値を1増やす(ステップS1009)。
そして、増やしたMの値が、連写の所定数以下であるか否かを判断する(ステップS1010)。所定数以下であった場合(ステップS1010:YES)、次なる画像を評価するためステップS1002に戻る。所定数を超えた場合(ステップS1010:NO)、連写画像群の全ての画像を評価したことになるので、画像評価処理を終了する。
<2.実施形態2>
実施形態1では顔の検出を連写後に行う携帯電話機について説明したが、顔の検出は連写前に行うこととしても良い。
Thus, the image M has been evaluated. When the evaluation of the image M is completed, the evaluation unit 207 increases the value of M by 1 (step S1009).
Then, it is determined whether or not the increased value of M is equal to or less than a predetermined number of continuous shots (step S1010). If the number is less than the predetermined number (step S1010: YES), the process returns to step S1002 to evaluate the next image. When the predetermined number is exceeded (step S1010: NO), since all the images in the continuous shot image group have been evaluated, the image evaluation process ends.
<2. Second Embodiment>
In the first embodiment, a mobile phone that performs face detection after continuous shooting has been described. However, face detection may be performed before continuous shooting.

以下、実施形態2として、顔の検出を連写後ではなく連写前に行うように動作を変更した携帯電話機10について説明する。
実施形態2の携帯電話機10は実施形態1の携帯電話機10におけるプログラムの一部を変更することで実現可能である。ハードウェアの構成については実施形態1と同一であるため説明を割愛する。
Hereinafter, as a second embodiment, a description will be given of a mobile phone 10 whose operation is changed so that face detection is performed before continuous shooting instead of after continuous shooting.
The mobile phone 10 of the second embodiment can be realized by changing a part of the program in the mobile phone 10 of the first embodiment. Since the hardware configuration is the same as that of the first embodiment, a description thereof will be omitted.

図11はプロセッサに実行される処理の流れを示した図である。以下では実施形態1での処理(図9)から変更した点について説明する。
まず、シャッターキーの押下を受け付ける前(ステップS901:NO)に、顔検出に係る処理を繰り返し行うこととする。
顔検出に係る処理としては、図12に示すように連写前画像1201を撮像部20が生成し(ステップS1101)、次に検出部202が連写前画像1201から顔(図12の402a及び402b)を検出して(ステップS903a)、結果を位置記憶部204に格納する(ステップS904a)処理を行う。
FIG. 11 is a diagram showing a flow of processing executed by the processor. Below, the point which changed from the process (FIG. 9) in Embodiment 1 is demonstrated.
First, before accepting pressing of the shutter key (step S901: NO), processing related to face detection is repeatedly performed.
As processing related to face detection, the imaging unit 20 generates an image 1201 before continuous shooting as shown in FIG. 12 (step S1101), and then the detection unit 202 detects a face (402a in FIG. 402b) is detected (step S903a), and the result is stored in the position storage unit 204 (step S904a).

ステップS903aはステップS903の処理を、顔の検出対象となる画像が連写前画像1201に変更したものである。ステップS904aはステップS904の処理を、位置記憶部204に既に検出位置のデータ500が格納されていた場合には新たに検出した顔の検出位置のデータ500で置き換えるように変更したものである。
連写が行われた(ステップS902)後は、顔検出に係る処理(ステップS903及びステップS904)を省いて直ちに画像評価処理を行う(ステップS905a)。
In step S903a, the process in step S903 is performed by changing the image to be a face detection target to the pre-continuous shooting image 1201. In step S904a, the processing in step S904 is changed to be replaced with the newly detected face detection position data 500 when the detection position data 500 is already stored in the position storage unit 204.
After the continuous shooting is performed (step S902), the image evaluation process is performed immediately (step S905a) without the processing (step S903 and step S904) related to face detection.

実施形態2における画像評価処理は、図10に示す実施形態1の画像評価処理においてステップS1004を、連写前画像1201における顔の検出位置を取得するように変更したものである。この検出位置を用いることで、連写画像群での各評価領域(図12の602a〜602h)が特定できる。
<3.実施形態3>
実施形態1及び2では顔がほとんど動かないと仮定して顔の検出を1つの画像で行い、評価領域を検出された顔の位置と同じ位置に特定する携帯電話機について説明した。しかし、連写中に人物が移動する等して顔が動く場合を想定して顔の検出を2つの画像で行い、評価領域をその2つの画像から検出された顔の位置を用いて特定するようにしても良い。
In the image evaluation process according to the second embodiment, step S1004 in the image evaluation process according to the first embodiment illustrated in FIG. 10 is changed so as to acquire the face detection position in the pre-continuous image 1201. By using this detection position, each evaluation region (602a to 602h in FIG. 12) in the continuous shot image group can be specified.
<3. Embodiment 3>
In the first and second embodiments, the mobile phone that performs face detection with one image on the assumption that the face hardly moves and specifies the evaluation region at the same position as the detected face position has been described. However, assuming that the face moves as a person moves during continuous shooting, face detection is performed with two images, and the evaluation area is specified using the position of the face detected from the two images. You may do it.

以下、実施形態3として、顔の検出を連写画像群のうち最初と最後の2つの画像で行い、評価領域を線形補間で求めるように動作を変更した携帯電話機10を説明する。
実施形態3の携帯電話機10は実施形態1の携帯電話機10におけるプログラムの一部を変更することで実現可能である。ハードウェアの構成については実施形態1と同一であるため説明を割愛する。
Hereinafter, as a third embodiment, a description will be given of a mobile phone 10 in which operation is changed so that face detection is performed on the first and last two images in a group of continuous shot images and an evaluation region is obtained by linear interpolation.
The mobile phone 10 of the third embodiment can be realized by changing a part of the program in the mobile phone 10 of the first embodiment. Since the hardware configuration is the same as that of the first embodiment, a description thereof will be omitted.

図13は実施形態3において連写モードでプロセッサに実行される処理の流れを示した図である。以下では実施形態1での処理(図9)から変更した点について説明する。
まずステップS903を、最初の画像と最後の画像から検出する(ステップS903b)ように変更する。
図14は検出部202が連写画像群(301e〜301h)から顔の検出を行う例である。同図に示すように、連写画像群のうち、最初の画像(画像1:301e)及び最後の画像(画像4:301h)から顔の検出を行い、その間の画像2(301f)及び画像3(301g)からは顔の検出を行っていない。
FIG. 13 is a diagram showing a flow of processing executed by the processor in the continuous shooting mode in the third embodiment. Below, the point which changed from the process (FIG. 9) in Embodiment 1 is demonstrated.
First, step S903 is changed to detect from the first image and the last image (step S903b).
FIG. 14 shows an example in which the detection unit 202 detects a face from the continuous shot image group (301e to 301h). As shown in the figure, a face is detected from the first image (image 1: 301e) and the last image (image 4: 301h) in the group of continuous shot images, and image 2 (301f) and image 3 in the meantime are detected. The face is not detected from (301g).

次にステップS904を、最初の画像と最後の画像から検出した顔の、図15に示す検出位置のデータ500aを格納する(ステップS904b)ように変更する。
検出位置のデータ500aは実施形態1における検出位置のデータ500を拡張したものであり、最初の画像での検出位置と最後の画像での検出位置との両方を含むデータとなっている。
Next, step S904 is changed to store the detection position data 500a shown in FIG. 15 of the face detected from the first image and the last image (step S904b).
The detection position data 500a is an extension of the detection position data 500 in the first embodiment, and includes both the detection position in the first image and the detection position in the last image.

そしてステップS905を、線形補間を用いて評価領域を特定する画像評価処理(ステップS905b及び図16)に変更する。
画像評価処理について、図16に示す流れ図に基づいて実施形態1での画像評価処理(図10を参照)との変更点を説明する。
ステップS1004を、最初の画像と最後の画像における顔Nの検出位置を取得する(ステップS1004b)ように変更する。そしてステップS1005を、取得した2つの検出位置から線形補間(数1を参照)によって評価領域Nの位置を特定する(ステップS1005b)ように変更する。
And step S905 is changed into the image evaluation process (step S905b and FIG. 16) which specifies an evaluation area | region using linear interpolation.
The image evaluation process will be described based on the flowchart shown in FIG. 16 with respect to changes from the image evaluation process in the first embodiment (see FIG. 10).
Step S1004 is changed to acquire the detection position of the face N in the first image and the last image (step S1004b). Then, step S1005 is changed so as to specify the position of the evaluation region N by linear interpolation (see Equation 1) from the two acquired detection positions (step S1005b).

Figure 2011234014
ここで、mは1又はMmax(ここでは4)である。m=1のときのDP(m,N)は画像1、即ち最初の画像における検出位置である。また、m=MmaxのときのDP(m,N)は画像Mmax、即ち最後の画像における検出位置である。
Figure 2011234014
Here, m is 1 or M max (here, 4). DP (m, N) when m = 1 is the detection position in image 1, that is, the first image. Further, DP (m, N) when m = M max is a detection position in the image M max , that is, the last image.

ただし、図17に示すように、線形補間は最初と最後の画像以外の画像(301f及び301g)のみに対して行うこととし、最初の画像(301e)及び最後の画像(301h)における評価領域Nの位置は、その画像で検出された評価領域Nの検出位置をそのまま用いることとして線形補間の計算は行わないこととする。
具体的な数値を用いた例を図18に示す。同図の例では、顔1の始点のX座標に着目すると、始点のX座標は最初の画像1では25、最後の画像4では175であり、その間の画像2では25+(175−25)×(2−1)/(4−1)=75、画像3では25+(175−25)×(3−1)/(4−1)=125となっている。始点のY座標、終点のX座標及びY座標についても同様に計算されている。
<4.補足>
以上、本発明に係る携帯電話機について実施形態に基づいて説明したが、本発明は上述の実施形態で示した通りの携帯電話機に限られないことはもちろんである。
However, as shown in FIG. 17, the linear interpolation is performed only on the images (301f and 301g) other than the first and last images, and the evaluation region N in the first image (301e) and the last image (301h). As for the position of, it is assumed that the detection position of the evaluation area N detected in the image is used as it is, and the calculation of linear interpolation is not performed.
An example using specific numerical values is shown in FIG. In the example of the figure, focusing on the X coordinate of the start point of the face 1, the X coordinate of the start point is 25 in the first image 1, 175 in the last image 4, and 25+ (175-25) × in the image 2 in the meantime. (2-1) / (4-1) = 75, and in the image 3, 25+ (175-25) × (3-1) / (4-1) = 125. The same calculation is performed for the Y coordinate of the start point, the X coordinate of the end point, and the Y coordinate.
<4. Supplement>
Although the mobile phone according to the present invention has been described based on the embodiment, the present invention is not limited to the mobile phone as shown in the above-described embodiment.

(1)実施形態ではカメラ付き携帯電話機を例に挙げて説明したが、連写を可能とする撮像部を持つ装置であればカメラ付き携帯電話機には限らない。例えばデジタルスチルカメラでも良いし、カメラ付きの携帯情報端末でも良い。
(2)実施形態ではスライド式の携帯電話機を例に挙げて説明したが、スライド式には限らない。例えば折りたたみ式の携帯電話機であっても良い。
(1) In the embodiment, the camera-equipped mobile phone has been described as an example. However, the present invention is not limited to the camera-equipped mobile phone as long as the apparatus has an imaging unit that enables continuous shooting. For example, a digital still camera or a portable information terminal with a camera may be used.
(2) Although the embodiment has been described by taking a slide type mobile phone as an example, it is not limited to a slide type. For example, a folding mobile phone may be used.

(3)実施形態1及び2では画像1つを用いて顔を検出し、その結果を他の画像でもそのまま用いて評価領域の位置を特定する場合について説明した。実施形態3では画像2つを用いて顔を検出し、その結果を用いて線形補間により評価領域の位置を特定する場合について説明した。しかし、用いる画像は1つや2つに限らず、連写する数より少なければ3つ以上を用いても良い。   (3) In the first and second embodiments, a case has been described in which a face is detected using one image and the result is used as it is in another image to specify the position of the evaluation region. In the third embodiment, the case where a face is detected using two images and the position of the evaluation region is specified by linear interpolation using the result has been described. However, the number of images used is not limited to one or two, and three or more images may be used as long as the number is less than the number of continuous shots.

3つ以上を用いる場合には、用いることとした3つ以上の画像における検出位置を用いて、多項式補間やスプライン補間等の補間方法を用いて特定することができる。
(4)実施形態1では1番目の画像から顔を検出することとしたが、1番目に限らず2番目から最後の画像までのいずれか1つを用いても良い。
(5)実施形態1〜3では撮像部20はCCDイメージセンサを備えることとしたが、入射光から画像を生成できるのであれば他の方法で撮像部20を実現しても良い。CCDイメージセンサ以外で入射光から画像を生成することができる撮像素子としては、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサがある。
When three or more are used, the detection positions in the three or more images to be used can be used and specified using an interpolation method such as polynomial interpolation or spline interpolation.
(4) In the first embodiment, the face is detected from the first image, but not limited to the first image, any one of the second image to the last image may be used.
(5) In the first to third embodiments, the imaging unit 20 includes the CCD image sensor. However, the imaging unit 20 may be realized by other methods as long as an image can be generated from incident light. As an imaging device that can generate an image from incident light other than a CCD image sensor, there is a complementary metal oxide semiconductor (CMOS) image sensor.

(6)実施形態1〜3では被写体の写る領域を検出する方法として、画像中の矩形領域から特徴量を抽出して所定の特徴量のパターンと照合することとしたが、被写体の写る領域を特定できる方法なら他の方法でも良い。例えば、肌色の部分を人物の顔と見なして検出する方法がある。
(7)実施形態1〜3では、評価領域の好適度を求める方法として、笑顔度を算出することとしたが、画像中の評価領域における撮影状態の良さを示すことができれば他の方法で算出しても良い。例えば、目の領域を検出して、その領域に含まれる画像を所定のパターンと照合することにより、被写体の目がどの程度開いているかを示す値として算出しても良い。
(6) In the first to third embodiments, as a method for detecting a region where a subject is captured, a feature amount is extracted from a rectangular region in an image and collated with a predetermined feature amount pattern. Other methods may be used as long as they can be identified. For example, there is a method of detecting a skin color portion as a person's face.
(7) In the first to third embodiments, the smile degree is calculated as a method for determining the suitability of the evaluation area. However, if the goodness of the shooting state in the evaluation area in the image can be shown, it is calculated by another method. You may do it. For example, the eye area may be detected, and an image included in the area may be compared with a predetermined pattern to calculate a value indicating how much the subject's eyes are open.

(8)実施形態1〜3では、画像の評価値をその画像に含まれる各評価領域の好適度の合計としたが、好適度に基づいた値であれば合計に限らない。例えば、各評価領域の好適度の平均や、各評価領域の好適度の最大値とすることができる。
(9)実施形態3では、最初の画像又は最後の画像における評価領域の位置を特定するときにはその画像における検出位置をそのまま用いることとしたが、他の画像と同じく線形補間を用いて特定しても良い。
(8) In the first to third embodiments, the evaluation value of the image is the sum of the suitability levels of the respective evaluation areas included in the image. However, the value is not limited to the sum as long as the value is based on the suitability level. For example, the average of the degree of suitability of each evaluation region or the maximum value of the degree of suitability of each evaluation region can be used.
(9) In the third embodiment, when the position of the evaluation area in the first image or the last image is specified, the detection position in the image is used as it is. However, as in the other images, it is specified using linear interpolation. Also good.

(10)実施形態1〜3では、表示部は液晶ディスプレイにより実現することとしたが、連写した画像を評価した結果を表示できるのであれば、液晶ディスプレイには限らない。例えば、有機EL(OEL:Organic Electro−Luminescence)ディスプレイにより実現しても良い。
(11)実施形態1〜3では、メモリはRAMとしたが、データやプログラムを格納できるのであれば、RAMには限らない。例えば、ハードディスクやフレキシブルディスクにより実現しても良い。また、プログラムはROM(Read Only Memory)に格納しても良い。
<5.まとめ>
以下、本発明に係る撮像装置及び携帯端末における構成及び効果について説明する。
(10) In the first to third embodiments, the display unit is realized by a liquid crystal display. However, the display unit is not limited to a liquid crystal display as long as the result of evaluating continuous shot images can be displayed. For example, it may be realized by an organic EL (OEL: Organic Electro-Luminescence) display.
(11) In the first to third embodiments, the memory is a RAM, but is not limited to a RAM as long as data and programs can be stored. For example, it may be realized by a hard disk or a flexible disk. The program may be stored in a ROM (Read Only Memory).
<5. Summary>
Hereinafter, configurations and effects of the imaging device and the portable terminal according to the present invention will be described.

(1)本発明の一態様に係る撮像装置は、入射光から画像を生成する撮像部と、前記撮像部に所定時間の間隔で所定数の画像を生成する連写を行わせる制御部と、前記撮像部が生成した画像のうち前記所定数より少ない数の画像から被写体を検出する検出部と、画像上での前記検出された被写体の領域を示す位置を記憶する位置記憶部と、前記連写された各画像について、当該画像を評価するための好適度を評価する対象となる当該画像の領域である評価領域の位置を、前記検出を行った画像については前記検出された被写体と同じ位置に特定し、前記検出を行っていない画像である非検出画像については前記位置記憶部に格納されている1以上の位置を用いて特定する特定部とを備えることを特徴とする。   (1) An imaging apparatus according to an aspect of the present invention includes an imaging unit that generates an image from incident light, a control unit that causes the imaging unit to perform continuous shooting that generates a predetermined number of images at predetermined time intervals, and A detection unit that detects a subject from a smaller number of images than the predetermined number of images generated by the imaging unit; a position storage unit that stores a position indicating a region of the detected subject on the image; For each captured image, the position of the evaluation area, which is the area of the image to be evaluated for the degree of suitability for evaluating the image, is the same position as the detected subject for the detected image. A non-detected image that is an image that has not been detected and is specified using one or more positions stored in the position storage unit.

上記の構成を持つ撮像装置によると、連写した画像全てではなく連写した数より少ない画像のみから被写体の検出を行うため、被写体の検出に掛かる時間が少なくなる。
そして、検出を行わなかった画像については、位置記憶部に格納されている被写体の位置、即ち検出を行った他の画像における検出の結果を用いて、被写体が存在すると考えられる領域の位置を特定している。
According to the imaging apparatus having the above-described configuration, since the subject is detected not from all the continuously shot images but only from the images that are smaller than the number of continuously shot images, the time required to detect the subject is reduced.
For the image that has not been detected, the position of the subject stored in the position storage unit, that is, the position of the region where the subject is considered to be present is specified using the detection result in another image that has been detected. is doing.

この特定する方法としては、被写体の検出に用いるような多数の画素をテンプレートに繰り返し照合する等の複雑な処理ではなく、検出よりも単純な処理を用いる。
この処理については、1つの画像における検出位置を他の画像でもそのまま用いる処理や、2つ以上の画像における検出位置を用いて補間を行う処理等が考えられる。
そのため、被写体を検出する処理を減らして、特定部が特定する処理に置き換えたことで、連写した各画像における被写体の位置の特定に掛かる時間の短縮に寄与できる。
As this specifying method, a simpler process than the detection is used instead of a complicated process such as repeatedly matching a large number of pixels with a template as used for detecting a subject.
As this process, a process that uses the detection position in one image as it is in another image, a process that performs interpolation using the detection position in two or more images, and the like can be considered.
Therefore, by reducing the processing for detecting the subject and replacing it with the processing specified by the specifying unit, it is possible to contribute to shortening the time required for specifying the position of the subject in each continuously shot image.

(2)ここで、前記撮像装置は更に、前記連写された各画像について、当該画像における前記評価領域に対して好適度の評価を行い、当該評価領域の好適度によって当該画像を評価する評価部を備えることとしても良い。
このようにすることで、連写した各画像の評価に掛かる時間の短縮に寄与できる。
(3)ここで、前記検出部は、顔検出によって人物の顔を被写体として検出し、前記評価部は、各評価領域の好適度を人物の笑顔の程度を示す笑顔度によって評価することとしても良い。
(2) Here, the imaging apparatus further evaluates the degree of suitability with respect to the evaluation region in the image for each of the continuously shot images, and evaluates the image based on the degree of suitability of the evaluation region. It is good also as providing a part.
By doing in this way, it can contribute to shortening of the time taken for evaluation of each continuously shot image.
(3) Here, the detection unit may detect a person's face as a subject by face detection, and the evaluation unit may evaluate the suitability of each evaluation area based on a smile level indicating a person's smile level. good.

このようにすることで、連写画像群の中の各画像における人物の笑顔の評価に掛かる時間の短縮に寄与できる。
(4)ここで、前記検出部は、前記連写された画像のうち最初に生成された画像から被写体を検出し、前記特定部は、前記非検出画像それぞれにおける評価領域の位置を、前記最初に生成された画像から検出された被写体の領域と同じ位置に特定することとしても良い。
By doing so, it is possible to contribute to shortening the time required for evaluating the smile of a person in each image in the group of continuous shot images.
(4) Here, the detection unit detects a subject from an image generated first among the continuously shot images, and the specifying unit determines the position of the evaluation region in each of the non-detection images. It may be specified at the same position as the area of the subject detected from the generated image.

このようにすることで、顔検出に掛かる時間が画像1つでの顔検出に掛かる時間だけとなるので、連写画像群の全ての画像で顔検出を行うより顔検出に掛かる時間を短縮できる。
(5)ここで、前記評価部は、各画像を、当該画像に含まれる各評価領域の好適度の合計によって評価することとしても良い。
In this way, since the time required for face detection is only the time required for face detection with one image, the time required for face detection can be shortened compared with the case where face detection is performed for all images in the continuous shot image group. .
(5) Here, the said evaluation part is good also as evaluating each image by the sum total of the suitable degree of each evaluation area | region contained in the said image.

このようにすることで、画像に写る人物の顔が全体的に良い笑顔である画像を高く評価できるようになる。
(6)ここで、前記検出部は、前記連写を行う前に前記撮像部により生成された画像のうち最も新しい一の画像から被写体の検出を行い、前記特定部は、前記非検出画像それぞれにおける評価領域の位置を、前記検出された被写体の領域と同じ位置に特定することとしても良い。
In this way, it is possible to highly evaluate an image in which a person's face in the image has a good smile overall.
(6) Here, the detection unit detects a subject from the newest one of the images generated by the imaging unit before performing the continuous shooting, and the specifying unit detects each of the non-detected images. The position of the evaluation area may be specified at the same position as the area of the detected subject.

このようにすることで、連写後には顔検出を行わなくなるので、連写画像群の全ての画像で顔検出を行うより顔検出に掛かる時間を短縮できる。
(7)ここで、前記所定数は3以上であり、前記検出部は、前記連写された画像のうち最初の画像と最後の画像とから被写体を検出し、前記特定部は、前記非検出画像それぞれにおける評価領域の位置を、前記最初の画像から検出された被写体の領域の位置と前記最後の画像から検出された被写体の領域の位置とで線形補間を行うことで特定することとしても良い。
In this way, since face detection is not performed after continuous shooting, the time required for face detection can be shortened compared to performing face detection on all images in the continuous-shot image group.
(7) Here, the predetermined number is 3 or more, the detection unit detects a subject from a first image and a last image among the continuously shot images, and the specifying unit detects the non-detection The position of the evaluation region in each image may be specified by performing linear interpolation between the position of the subject region detected from the first image and the position of the subject region detected from the last image. .

このようにすることで、顔検出に掛かる時間が画像2つでの顔検出に掛かる時間だけとなるので、連写画像群の全ての画像で顔検出を行うより顔検出に掛かる時間を短縮できる。更に、顔の位置が動いても線形補間により評価領域の位置を特定しているので、精度良く評価領域の位置を特定することができる。
これにより、画像の評価の精度を維持しつつ、評価に掛かる時間の短縮に寄与できる。
In this way, since the time required for face detection is only the time required for face detection with two images, the time required for face detection can be shortened compared with the case where face detection is performed for all images in the continuous shot image group. . Furthermore, since the position of the evaluation region is specified by linear interpolation even if the position of the face moves, the position of the evaluation region can be specified with high accuracy.
Thereby, it is possible to contribute to shortening the time required for evaluation while maintaining the accuracy of image evaluation.

(8)ここで、上記の撮像装置を備える携帯端末であっても良い。
このようにすることで、カメラ機能付き携帯電話などの携帯端末において連写をしたときに、連写した各画像の評価に掛かる時間の短縮に寄与できる。
(8) Here, a mobile terminal including the above-described imaging device may be used.
In this way, when continuous shooting is performed on a portable terminal such as a mobile phone with a camera function, it is possible to contribute to shortening the time required for evaluation of each continuously shot image.

本発明に係る撮像装置及び撮像装置を備える携帯端末は、携帯電話機、デジタルスチルカメラなどに適用することができる。   The imaging device and the mobile terminal including the imaging device according to the present invention can be applied to a mobile phone, a digital still camera, and the like.

10 携帯電話機
16 第1サイドキー
20 撮像部
106 表示部
201 撮像制御部
202 検出部
203 メモリ
204 位置記憶部
205 画像記憶部
206 特定部
207 評価部
208 表示制御部
DESCRIPTION OF SYMBOLS 10 Cellular phone 16 1st side key 20 Imaging part 106 Display part 201 Imaging control part 202 Detection part 203 Memory 204 Position storage part 205 Image storage part 206 Identification part 207 Evaluation part 208 Display control part

Claims (8)

入射光から画像を生成する撮像部と、
前記撮像部に所定時間の間隔で所定数の画像を生成する連写を行わせる制御部と、
前記撮像部が生成した画像のうち前記所定数より少ない数の画像から被写体を検出する検出部と、
画像上での前記検出された被写体の領域を示す位置を記憶する位置記憶部と、
前記連写された各画像について、当該画像を評価するための好適度を評価する対象となる当該画像の領域である評価領域の位置を、前記検出を行った画像については前記検出された被写体と同じ位置に特定し、前記検出を行っていない画像である非検出画像については前記位置記憶部に格納されている1以上の位置を用いて特定する特定部とを備える
ことを特徴とする撮像装置。
An imaging unit for generating an image from incident light;
A control unit that causes the imaging unit to perform continuous shooting to generate a predetermined number of images at predetermined time intervals;
A detection unit for detecting a subject from a smaller number of images than the predetermined number of images generated by the imaging unit;
A position storage unit for storing a position indicating a region of the detected subject on the image;
For each of the continuously shot images, the position of the evaluation area, which is the area of the image to be evaluated for the degree of suitability for evaluating the image, and the detected subject for the detected image. An imaging apparatus comprising: a specifying unit that specifies the same position and uses one or more positions stored in the position storage unit for an undetected image that is an image that has not been detected. .
前記撮像装置は更に、
前記連写された各画像について、当該画像における前記評価領域に対して好適度の評価を行い、当該評価領域の好適度によって当該画像を評価する評価部を備える
ことを特徴とする請求項1に記載の撮像装置。
The imaging device further includes
The evaluation unit according to claim 1, further comprising: an evaluation unit that evaluates the degree of suitability of the evaluation region in the image for each of the continuously shot images and evaluates the image based on the degree of suitability of the evaluation region. The imaging device described.
前記検出部は、
顔検出によって人物の顔を被写体として検出し、
前記評価部は、
各評価領域の好適度を人物の笑顔の程度を示す笑顔度によって評価する
ことを特徴とする請求項2に記載の撮像装置。
The detector is
Detect human face as subject by face detection,
The evaluation unit is
The imaging apparatus according to claim 2, wherein the degree of suitability of each evaluation area is evaluated based on a smile degree indicating a degree of smile of a person.
前記検出部は、
前記連写された画像のうち最初に生成された画像から被写体を検出し、
前記特定部は、
前記非検出画像それぞれにおける評価領域の位置を、前記最初に生成された画像から検出された被写体の領域と同じ位置に特定する
ことを特徴とする請求項3に記載の撮像装置。
The detector is
A subject is detected from an image generated first among the continuously shot images;
The specific part is:
The imaging apparatus according to claim 3, wherein the position of the evaluation area in each of the non-detected images is specified at the same position as the area of the subject detected from the first generated image.
前記評価部は、
各画像を、当該画像に含まれる各評価領域の好適度の合計によって評価する
ことを特徴とする請求項4に記載の撮像装置。
The evaluation unit is
The imaging apparatus according to claim 4, wherein each image is evaluated by a sum of suitability of each evaluation area included in the image.
前記検出部は、
前記連写を行う前に前記撮像部により生成された画像のうち最も新しい一の画像から被写体の検出を行い、
前記特定部は、
前記非検出画像それぞれにおける評価領域の位置を、前記検出された被写体の領域と同じ位置に特定する
ことを特徴とする請求項3に記載の撮像装置。
The detector is
Before the continuous shooting, the subject is detected from the newest one of the images generated by the imaging unit,
The specific part is:
The imaging apparatus according to claim 3, wherein the position of the evaluation area in each of the non-detected images is specified at the same position as the area of the detected subject.
前記所定数は3以上であり、
前記検出部は、
前記連写された画像のうち最初の画像と最後の画像とから被写体を検出し、
前記特定部は、
前記非検出画像それぞれにおける評価領域の位置を、前記最初の画像から検出された被写体の領域の位置と前記最後の画像から検出された被写体の領域の位置とで線形補間を行うことで特定する
ことを特徴とする請求項3に記載の撮像装置。
The predetermined number is 3 or more,
The detector is
A subject is detected from the first image and the last image of the continuously shot images;
The specific part is:
The position of the evaluation area in each of the non-detected images is specified by performing linear interpolation between the position of the subject area detected from the first image and the position of the subject area detected from the last image. The imaging apparatus according to claim 3.
請求項1に記載の撮像装置を備える
ことを特徴とする携帯端末。
A portable terminal comprising the imaging device according to claim 1.
JP2010100864A 2010-04-26 2010-04-26 Imaging device and mobile terminal provided with imaging device Withdrawn JP2011234014A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010100864A JP2011234014A (en) 2010-04-26 2010-04-26 Imaging device and mobile terminal provided with imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010100864A JP2011234014A (en) 2010-04-26 2010-04-26 Imaging device and mobile terminal provided with imaging device

Publications (1)

Publication Number Publication Date
JP2011234014A true JP2011234014A (en) 2011-11-17

Family

ID=45322923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010100864A Withdrawn JP2011234014A (en) 2010-04-26 2010-04-26 Imaging device and mobile terminal provided with imaging device

Country Status (1)

Country Link
JP (1) JP2011234014A (en)

Similar Documents

Publication Publication Date Title
KR101234487B1 (en) Imaging device, terminal device, and imaging method
CN105227838B (en) A kind of image processing method and mobile terminal
KR101727169B1 (en) Method and apparatus for generating image filter
US20140198242A1 (en) Image capturing apparatus and image processing method
WO2017031901A1 (en) Human-face recognition method and apparatus, and terminal
CN101783877A (en) Image capturing device and flash image generating method
JP7223079B2 (en) IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND IMAGING APPARATUS
CN107787463B (en) The capture of optimization focusing storehouse
US8400532B2 (en) Digital image capturing device providing photographing composition and method thereof
CN104641625B (en) Image processing apparatus, camera device and image processing method
WO2013175051A1 (en) Method and apparatus for producing a cinemagraph
CN105991928B (en) Image processing apparatus and image processing method
CN108027496A (en) Focusing control apparatus, focusing control method, focusing control program, lens devices, camera device
US20160292842A1 (en) Method and Apparatus for Enhanced Digital Imaging
KR20210053121A (en) Method and apparatus for training image processing model, and storage medium
US9117110B2 (en) Face detection-processing circuit and image pickup device including the same
JP2013258583A (en) Captured image display, captured image display method, and program
US20150271400A1 (en) Handheld electronic device, panoramic image forming method and non-transitory machine readable medium thereof
JP5880459B2 (en) Electronic device, display control method and program
CN104933677B (en) Method to determine multiple candidate frames in multiple frames
JP2011234014A (en) Imaging device and mobile terminal provided with imaging device
JP6157238B2 (en) Image processing apparatus, image processing method, and image processing program
CN113014820A (en) Processing method and device and electronic equipment
JP6406393B2 (en) Display control apparatus, display control method, and program
JP2016103807A (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130702