JP2006319610A - Camera - Google Patents

Camera Download PDF

Info

Publication number
JP2006319610A
JP2006319610A JP2005139552A JP2005139552A JP2006319610A JP 2006319610 A JP2006319610 A JP 2006319610A JP 2005139552 A JP2005139552 A JP 2005139552A JP 2005139552 A JP2005139552 A JP 2005139552A JP 2006319610 A JP2006319610 A JP 2006319610A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
means
person
direction
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005139552A
Other languages
Japanese (ja)
Inventor
Sotaro Chikusawa
Yoshimasa Honda
義雅 本田
宗太郎 築澤
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a camera which enables acquisition of an image where a photographed person looks in the direction of the camera by one photographing. <P>SOLUTION: The camera is provided with an image input means for inputting an image of a person or a plurality of persons including a face image, an image processing means for determining whether or not the person looks in the direction of the camera by detecting the direction of the eye line of the person from the image inputted by the image input means, and a photographing means for storing the input image determined from the result of the image processing means that the person faces a designated direction. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、被撮影者を撮影する撮像装置に関するものである。 The present invention relates to an imaging device for photographing a person to be photographed.

従来のカメラにおいては、シャッターレリーズボタン、セルフタイマなどが設けられており、撮影者がこれらのシャッターレリーズボタンを押す、またはセルフタイマによって設定した時刻に達することにより被撮影者の画像が記録媒体に記録される。 In conventional cameras, a shutter release button, and the like self-timer is provided, a person to be photographed of the image recording medium by the photographer reaches at the set time by pressing these shutter release button or a self-timer, It is recorded. しかし、撮影者が瞬間を捉えるカメラを用いて、最適なタイミングで撮影することは、相当の訓練を要する。 However, by using the camera the photographer captures the moment, is to shoot at the optimum timing, requires a considerable amount of training. 特に、被撮影者が乳児や幼児のように撮影者の意図を理解してカメラの方向を向いてくれないような場合や、集合写真のように、被撮影者全員の視線がカメラに向いているかどうか撮影者が瞬時に把握困難な場合などでは、最適なシャッタータイミングを判断することは、そういった撮影に熟練したものでなければ難しい。 In particular, or if that does not me facing the direction of the camera and the photographer to understand the intention of the photographer as infants and young children, as a group photo, the line of sight of the person to be photographed everyone is facing the camera in such as whether or not if the photographer is difficult to grasp in an instant there, to determine the optimal shutter timing is difficult as long as they do not skilled in such a shooting.

また、撮影タイミングを的確に判断できた場合でも、レリーズタイムラグによって撮影者が望むタイミングの画像とは異なる画像しか得られない可能性もある。 Further, even if the can better determine the photographing timing, there may not be obtained only image different from the image of the timing desired by the photographer by the release time lag.

このような問題に対して、撮影者が望む画像を取得する手段として、撮影後に簡単に取得した画像を確認でき、最適な画像が得られるまで再度取り直すことができる撮像装置(例えば特許文献1)、シャッタータイミングを非撮影者にフラッシュの点滅状態によって知らせる撮像装置(例えば特許文献2)、一定時間撮影した連続画像の中から複数の被撮影者の顔領域を検出し、検出された顔の状態から各画像における被撮影者の顔状態の評価を行い、各被撮影者の最良の顔を一枚の画像に合成することで各被撮影者がカメラ方向を向いた画像を取得する画像処理手段(例えば特許文献3)などがある。 To solve this problem, a means for obtaining an image the photographer desires, can be confirmed easily acquired image after shooting, an imaging apparatus that can take heart again until the optimum image can be obtained (e.g. Patent Document 1) an imaging device (for example, Patent Document 2) to inform the blinking of the flash shutter timing in a non-photographer, detects a plurality of the photographer's face area from the continuous images taken a certain time, the state of the detected face It evaluates the facial state of the to-be-photographed person in each image from each of the photographer of an image processing unit that best of each person to be photographed by combining the single image face to obtain an image facing camera direction (for example, Patent Document 3), and the like.
特開2003−52038号公報 JP 2003-52038 JP 特開2001−275353号公報 JP 2001-275353 JP 特開2000−259833号公報 JP 2000-259833 JP

しかしながら、前記従来の撮像装置(例えば特許文献1および特許文献2)では、撮影者の意図を理解してくれない被撮影者が対象の場合、一度の撮影で被撮影者がカメラの方向を向いた画像を撮影するのは困難であるという課題を有している。 However, the in the conventional image pickup device (for example, Patent Document 1 and Patent Document 2), if the person to be photographed without me understand the intention of the photographer of the subject, the direction the photographer of the camera in a single shooting direction has a problem that it is difficult to capture an image that had.

また、前記従来の画像処理手段(例えば特許文献3)では、取得した画像が合成であることから不自然さが生じる、連続画像中に最適な顔状態が存在する保証がないため、カメラまたはあらかじめ指定された方向を向いた画像が取得できない可能性があるといった課題を有している。 Further, the in the conventional image processing means (for example, Patent Document 3), since images acquired arises unnaturalness because it is synthesized, there is no guarantee that the optimum facial state during continuous image exists, camera or advance It has a problem that images facing a specified direction may not be acquired.

本発明は、前記従来の課題を解決するもので、一人または複数の被撮影者、もしくは複数人中の特定の被撮影者が、カメラまたはあらかじめ指定された方向を向いた画像を取得する撮像装置を提供することを目的とする。 The present invention is the one that solves the conventional problems, an imaging apparatus in which one person or the person to be photographed, or specific person to be photographed in the plural person acquires an image facing camera or direction specified in advance an object of the present invention is to provide a.

前記従来の課題を解決するために、本発明の撮像装置は、顔画像を含む一人または複数の人物の画像を入力する画像入力手段と、前記画像入力手段が入力した画像から前記人物の視線方向を検出して前記人物が撮像装置を見ているかどうかを判断する画像処理手段と、前記画像処理手段の結果から前記人物が撮像装置を見ていると判断された入力画像の保存を行う保存手段と、を備える。 In order to solve the conventional problems, an imaging apparatus of the present invention, alone or image input means for inputting an image of a plurality of persons, gaze direction of the person from the image by the image input means inputs including a face image image processing means for determining whether to look at the image pickup device is the person to detect, storage means for the person from the result of said image processing means performs the storage of the input image is determined to have seen an imaging apparatus and, equipped with a.

本構成によって、一人または複数人の被撮影者の視線がカメラまたは特定の方向に向いた画像を、一度の撮影で取得することにより、撮影者および被撮影者の負担を軽減することができる。 This structure, the image line of sight of the person or persons of the photographer facing the camera or a specific direction, by obtaining in one shot, it is possible to reduce the burden of the photographer and the person to be photographed.

また本発明の撮像装置は、前記画像処理手段の出力から撮像装置を見ていない人物がいることを撮影者に警告する警告手段と、撮影者が撮影の指令を入力する撮影時機入力手段とをさらに備えた撮像装置である。 The imaging apparatus of the present invention includes: a warning means for warning that there is a person not looking at the imaging apparatus from an output of the image processing unit to the photographer, a photographing timing input means for the photographer to input a command for photographing an image pickup apparatus having further.

本構成によって、撮影者は、カメラを見ていない被撮影者に対して注意を促すことができ、また、前記画像処理手段の判断だけではなく、撮影者の意思によって任意の時機に撮影をすることが可能となる。 This structure, the photographer, attention to the person to be photographed not looking at the camera can prompt. In addition, not only the determination of the image processing means, the imaging any timing by the photographer's intention it becomes possible.

また本発明の撮像装置は、画像を入力する画像入力手段と、前記人物の視線方向を指定する視線方向指定手段と、前記画像入力手段が入力した画像から一人または複数の人物を検出し、前記人物の視線方向を検出して前記視線方向指定手段が指定した方向を見ているかどうか判断する画像処理手段と、前記画像処理手段の結果から前記人物が撮像装置を見ていると判断された入力画像の保存を行う保存手段を備えた撮像装置である。 The imaging apparatus of the present invention detects an image input means for inputting an image, the viewing direction specifying means for specifying a line-of-sight direction of the person, one person or a person from an image by the image input means is input, the image processing means for determining whether to detect the gaze direction of a person looking at the direction of the specified the viewing direction designating means, input the person from the result of said image processing unit is determined to have seen an imaging apparatus an imaging apparatus having a storage means for saving the image.

本構成によって、撮影者は、カメラ方向だけではなく、任意の方向を被撮影者が向いた画像を撮影することができる。 This structure, the photographer is not only a camera direction, an arbitrary direction may be taken an image which the photographer facing.

また本発明の撮像装置は、前記画像処理手段の出力から前記視線指定手段が指定した方向を見ていない人物がいることを撮影者に警告する警告手段と、撮影者が撮影の指令を入力する撮影時機入力手段をさらに備えた撮像装置である。 The imaging apparatus of the present invention includes: a warning means for warning that there is a person that does not look in the specified direction is the line-of-sight designating means from an output of the image processing unit to the photographer, the photographer inputs an instruction for shooting is further comprising an imaging device capturing timing input means.

本構成によって、撮影者は、指定方向を向いていない被撮影者に注意を促したり、指定方向を向かせるための指示を行うことで、撮影を円滑に進めることができる。 This structure, the photographer, or alert the person to be photographed which does not face to the designated direction, by giving an instruction for causing suited to the designated direction, can proceed smoothly shooting. また、前記画像処理手段の判断だけではなく、撮影者の意思によって任意の時機に撮影をすることが可能となる。 Further, not only the determination of the image processing means, it is possible to take pictures at any timing by the photographer's intention.

また本発明の撮像装置は、前記画像処理手段が、入力画像中の一人または複数の人物の視線方向を検出する視線検出手段と、前記視線検出手段の結果から、前記人物が撮像装置または前期視線指定手段が指定した方向を見ているかどうかを判断する適性判断手段を有する撮像装置である。 The imaging apparatus of the present invention, the image processing means, a sight line detecting means for detecting a gaze direction of the person or persons in the input image, the result from the person image pickup apparatus or year sight of the sight line detecting means specifying means is an imaging device having a suitability determination means for determining whether to look at the direction in which the specified.

本構成によって、視線検出手段を共通化し、適性判断手段の変更のみで、本発明の撮像装置の画像処理手段を作ることができるため、撮影者に迅速かつ安価に撮像装置を製造、供給することが可能となる。 This structure, commonly the visual axis detecting means, only changes suitability determination means, it is possible to make the image processing means of the image pickup apparatus of the present invention, quickly and inexpensively manufacturing the imaging device to the photographer, supplying it is possible.

また本発明の撮像装置は、前記視線方向指定手段が、入力画像を表示する画像表示手段と、入力画像中の物体や領域、方向を指定することで目的とする視線方向を指定する指定入力手段と、前記指定入力手段の入力と前記入力画像から指定方向を認識する指定認識手段を有する撮像装置である。 The imaging apparatus of the present invention, the sight line direction designation means, image display means for displaying the input image, the object and the region in the input image, specification input means for designating a viewing direction of interest by specifying a direction When an imaging device having the specific recognition means for recognizing a designated direction from the input and the input image of the designated input means.

本構成によって、撮影者は、直感的に視線方向を指定することができ、指定作業が容易になる。 This structure, the photographer intuitively can be specified viewing direction is facilitated specified work.

また本発明の撮像装置は、前記警告手段が、前記適性判断手段によって撮像装置または指定方向を見ていないと判断された人物を表すよう画像を加工する画像合成手段と、前記画像合成手段が出力した画像を表示する警告表示手段を有する撮像装置である。 The imaging apparatus of the present invention, the warning means, and an image synthesizing means for processing the image to represent a person is determined not to look at the image pickup device and designated direction by the suitability determination means, the image synthesizing means outputs an imaging device having a warning display means for displaying an image.

本構成によって、撮影者は、視覚によって前記被撮影者を確認することができ、容易に前記被撮影者を特定することが可能となる。 This structure, the photographer can confirm the person to be photographed visually, easily the it is possible to identify the person to be photographed.

以上のように、本発明の撮像装置によれば、撮影した画像の確認を何度もすることなく、自動的に、一人または複数人の被撮影者の視線がカメラまたは特定の方向に向いた画像を撮影することすることができる。 As described above, according to the imaging apparatus of the present invention, without several times to confirm the captured image, automatically, the line of sight of the person or persons of the photographer facing the camera or a specific direction it is possible to be to shoot the image.

また、集合写真などを撮影する場合に、視線をカメラに向けていない被撮影者を警告表示手段によって撮影者に知らせることで、撮影者が被撮影者に注意を促すことができ、円滑に撮影を済ませることができる。 In addition, in the case of taking a group photograph or the like, is to inform the photographer by the warning display means the person to be photographed that is not directed toward the line of sight to the camera, it is possible that the photographer is call attention to the person to be photographed, smoothly shooting it can be dispensed with.

以下本発明の実施の形態について、図面を参照しながら説明する。 The following embodiments of the present invention will be described with reference to the drawings.

(実施の形態1) (Embodiment 1)
図1は、本発明の実施の形態1における撮像装置の構成を示すブロック図である。 Figure 1 is a block diagram showing a configuration of an imaging apparatus according to the first embodiment of the present invention.

撮像装置は、CCDやCMOSなどのイメージセンサによって画像を入力する画像入力手段101、撮影の可否を決定する画像処理手段102、メモリカードやハードディスクドライブなどの記録装置に画像の保存を行う保存手段103を備える。 The imaging device includes an image input unit 101 for inputting an image by an image sensor such as a CCD and a CMOS, an image processing unit 102 for determining whether the photographing, storage means 103 for image storage of the recording device such as a memory card or a hard disk drive equipped with a. 画像処理手段102はさらに、画像中の人物の視線を検出する視線検出手段104と、視線検出結果から入力画像の最適性を判断する適性判断手段105を備える。 Image processing means 102 still further comprises a sight line detecting means 104 for detecting a person's line of sight in the image, the suitability judgment unit 105 for judging the optimality of the input image from the visual line detection result.

図2に前記撮像装置の動作フローを示す。 Figure 2 shows an operation flow of the imaging device. また、図3に被撮影者が一人の場合の入力画像の例を、図4に被撮影者が複数人の場合の入力画像の例を示す。 Further, an example of an input image when the photographer in Figure 3 is one person, an example of an input image when the photographer 4 is a plurality of persons.

図1および図2において、撮像装置は、撮影作業を開始すると(STEP201)、画像入力手段101が、一定期間ごとにカメラの撮像面に投影された画像を取得し(STEP202)、画像処理手段102に出力する。 1 and 2, the imaging device starts the imaging operations (STEP 201), the image input unit 101 acquires the image projected on the imaging plane of the camera at regular intervals (STEP 202), the image processing unit 102 and outputs it to.

次に、画像処理手段102の視線検出手段104は、画像入力手段101から出力された画像から、画像中の人物の視線方向を検出し(STEP203)、視線方向検出結果を適正判定手段105へと出力する。 Next, the line-of-sight detection means 104 of the image processing unit 102, the image output from the image input unit 101 detects the gaze direction of the person in the image (STEP 203), to the proper determination section 105 the gaze direction detection result Output.

適正判定手段105は、視線検出手段104から出力された視線方向検出結果を元に、その視線方向がカメラ見ているかどうかを判定し(STEP204)、適性判断結果を保存手段103に出力する。 Money determination unit 105, based on the gaze direction detection result output from the sight line detection unit 104 determines whether the viewing direction is looking camera (STEP 204), and outputs the suitability determination result in the storage unit 103.

保存手段103は、適性判断手段106から出力された判定結果が、カメラ方向を向いていると判断していれば入力画像を保存し(STEP205)、撮影作業を終了する(STEP206)。 Storage means 103, determination result output from the suitability judgment unit 106, if it is determined that faces the camera direction to save the input image (STEP 205), and ends the shooting operations (STEP 206). また、カメラ方向を向いていないと判断した場合は、入力画像は撮影画像として不適であると判断し、撮像面に投影された画像を取り直す(STEP202)。 When it is determined that not facing the camera direction, it determines that the input image is not suitable as a photographic image, take heart image projected on the imaging plane (STEP 202).

以下、本装置の動作について説明する。 The following describes the operation of the apparatus. まず、一人の人物を撮影する際の動作を説明する。 First, a description will be given of the operation at the time of shooting one person.

図3(a)(b)に示すような、一人の人物301が映っている画像を入力画像とする。 FIGS. 3 (a) as (b), the the input image an image in which one person 301 is reflected. 図3(a)(b)において、人物301および人物302は、被撮影者である。 In FIG. 3 (a) (b), the person 301 and the person 302 is a person to be photographed. 撮影は、次の手順で行う。 Shooting, carried out by the following procedure.

1)画像入力 2)顔領域検出 3)瞳検出 4)視線方向検出 5)撮影可否の判定 6)撮影 以下に各処理の詳細について述べる。 1) Image input 2) the face area detecting 3) pupil detection 4) visual line detection 5) describes the details of each process below determination 6) photography shooting permission.

撮影作業開始の際、撮像装置は、入力画像図3(a)に対して、顔領域検出処理を行う。 During imaging operations start, the image pickup apparatus, the input image view 3 (a), performs the face area detecting process. 顔領域検出は入力画像から特徴抽出を行い、あらかじめ用意した顔領域を表す特徴と比較し、類似度が高いものを検出することで行う。 Face area detecting performs feature extraction from the input image, compared with the features representing a prepared facial area is performed by detecting what the degree of similarity is high. 顔領域は、あらかじめ用意した顔領域のテンプレートと輝度の相関が高い領域を画像中から探索したり、画像中からHSV色空間における色相があらかじめ指定した肌色の色相と近い領域を検出する肌色領域検出を行ったり、人の顔を楕円でモデル化し、ハフ変換(Hough Transformation)によって楕円検出を行ったり、統計的パターン識別手法を用いて、あらかじめ学習させた顔の特徴空間との相関の近い領域を検出したりすることで検出してもよい。 Face area, and explore the region of high correlation of the template and the luminance of the previously prepared face region from an image, detected by the skin color area detection hue and near the region of skin color hue previously specified in the HSV color space from an image the and go to model the human face in an ellipse, or perform ellipse detected by Hough transform (Hough transformation), using a statistical pattern recognition method, a region near correlation between the feature space of a face that is learned in advance it may be detected by or detection.

次に、検出した顔領域の中から瞳を検出する。 Then, to detect a pupil from among the detected face area. 瞳検出は、瞳が画像上に楕円として投影されることを利用し、顔領域中からハフ変換を用いて楕円を検出することで行う。 Pupil detection utilizes the fact that the pupil is projected as an ellipse on the image is performed by detecting an ellipse with a Hough transform from within the face region. また、ハフ変換によってエッジに接する円を検出し、その円を繰り返し変形させて楕円にあてはめる楕円成長法や、あらかじめ瞳の画像を入力として学習させて作製した特長空間との相関の高い画像領域を瞳として検出する手法を用いてもよい。 It also detects the circle tangent to the edge by a Hough transformation, the or circle is repeatedly deformed by elliptical growth method for fitting the ellipse, a high image area correlation between feature space produced by learning the image in advance pupil as input it may be used a method for detecting the pupil. また、瞳検出は、顔検出結果を用いず、画像の入力から直接行っても良い。 Further, the pupil detection, without using the face detection result may be performed directly from the input image.

視線方向の検出は、瞳検出で得られた瞳の中心と、目尻、目頭、口などの顔部品との位置関係から計算することで行う。 Detection of line-of-sight direction is performed with the center of the pupil obtained by the iris detection, outer corner of the eye, inner corner of the eye, by calculating the positional relationship between the face parts such as the mouth. 例えば、まず、目尻、目頭、口によって顔方向を検出する。 For example, first, outer corner of the eye, for detecting the face direction inner corner, by mouth.

次に、目尻、目頭と、瞳の中心の位置関係によって顔正面に対する視線の方向を検出する。 Next, the outer corner of the eye, and inner corner, to detect the direction of the line of sight with respect to a front face by the positional relationship of the center of the pupil. 最後に、顔方向と顔正面に対する視線の方向を合成することで、視線方向を検出する。 Finally, by combining the direction of gaze with respect to the face direction and a front face, to detect the gaze direction. また、検出された瞳の輪郭形状を円を3次元空間で回転させたものの投影像とし、その回転角を求めることで視線方向を計測したり、目尻、目頭の位置から3次元的に眼球中心を仮定し、瞳の中心と眼球中心の位置関係から検出してもよい。 Although the detected pupil contour is rotated a circle in 3D space as a projected image, or to measure the gaze direction by finding the rotational angle, outside corner, three-dimensional eyeball center from the position of the inner corner the assumption may be detected from the positional relationship between the center and the eyeball center of the pupil.

さらに、検出結果を用いて画像の最適性の判定を行う。 Furthermore, performing the optimality of the determination of the image using the detected result. 判定は、カメラ方向と視線方向のなす角度を用いて行い、前記角度があらかじめ定められたしきい値以下の場合を最適な画像と判断し、それ以外の場合を不適な画像とする。 Determination is performed using the angle of the camera direction and the viewing direction, said angle determines the optimum image for the following: a predetermined threshold, the otherwise unsuitable images. 図4は、人物401を撮像装置402で撮影する様子を上から表したものであるが、この場合、撮像装置から瞳までを結ぶ直線403と視線方向を表す直線404のなす角405を評価基準とする。 Figure 4 is a representation from above how to shoot the person 401 in the image pickup apparatus 402, in this case, criterion the angle 405 of the straight line 404 representing the straight line 403 and the line-of-sight direction connecting from the imaging device to the pupil to. すなわち、角405がしきい値以下の場合のみ撮影を行う。 That is, the angular 405 performs only shooting when more than the threshold value. ただし、直線403は、鼻や口などの瞳以外の顔部品や、左右の瞳の中心のように、頭や体の一部であっても良い。 However, the straight line 403, and face parts other than the pupil, such as the nose and mouth, as in the center of the left and right of the pupil, may be a part of the head and body. 図3(a)の場合、人物301は、しきい値よりも視線とカメラのなす角が大きいため、不適な画像と判定される。 Figure 3 In the case of (a), the person 301, due to the large angle of sight and camera than the threshold, it is determined that the inappropriate images. また、しきい値は、撮影作業開始からの時間が一定時間以上たち、しきい値以下になるまで長時間かかりそうな場合は、撮影時間を短縮するために、それまでよりも大きく設定しなおすなどして動的に決定しても良い。 In addition, the threshold, who more than a certain time period from the photographing start work, if it is likely to take a long time to become less than or equal to the threshold value, in order to reduce the imaging time, re-set to be larger than before it may be dynamically determined by, for example.

不適な画像と判定された場合は、入力画像を取り直し、前記判定によってカメラ方向を向いていると判断されるまで、前記処理を繰り返す。 If it is determined that the inappropriate image, retaken the input image until it is determined that the facing camera direction by said determining, repeating the process. 例えば、図3(b)の人物302のように、カメラ方向を向いていると判断された際は、入力画像をメモリカードやハードディスクドライブなどに保存し、撮影作業を終了する。 For example, as the person 302 of FIG. 3 (b), when it is determined that faces the camera direction is to store the input image in a memory card and a hard disk drive, and ends the shooting operations. また、入力画像保存後は、撮影作業開始状態に戻り、連続撮影をしてもよい。 Further, after the input image saved, return to the shooting work start condition may be a continuous shooting.

次に、複数の人物を撮影する際の動作を説明する。 Next, the operation when capturing a plurality of persons. 図5(a)(b)に示すような、複数の人物501が映っている画像を入力画像とする。 Figure 5 (a) (b) in as shown, to the input image an image in which a plurality of persons 501 are reflected. 図5(a)(b)において、人物501、図(a)の人物502、人物503、図(b)の人物504は、被撮影者である。 In FIG. 5 (a) (b), the person 501, the person 502 in FIG. (A), the person 503, the person 504 in FIG. (B) is a person to be photographed.

撮影作業開始の際、撮像装置は、図3(a)と同様に、顔領域検出処理および瞳検出処理を行い、その後、視線方向検出をし、画像の最適性の判定を行う。 During imaging operations start, the imaging device, similar to FIG. 3 (a), performs the face area detecting process and the pupil detection process, then the line-of-sight direction detection is performed optimality of the determination image. 判定は、カメラ方向と、人物501、人物502、人物503の視線方向のなす角度を評価基準として行う。 Determination is performed with the camera direction, People 501, People 502, the angle of the gaze direction of the person 503 as an evaluation criterion. 人物501、人物502、人物503全員の前記角度があらかじめ定められたしきい値以下の場合を最適な画像と判断し、それ以外の場合を不適な画像とする。 People 501, People 502, determines that the angle is a predetermined threshold below the optimal case image of a person 503 everyone, the otherwise unsuitable images. 例えば、図4(a)において適性判断手段105は、人物501と人物503はカメラ方向を向いていると判断するが、人物502は、カメラ方向を向いてないと判断するため、入力画像は、撮影に不適な画像と判定される。 For example, suitability determination means 105 in FIG. 4 (a), but determines that the person 501 and the person 503 are oriented in a camera direction, to determine the person 502 is not facing the camera direction, the input image, it is determined that the inappropriate image capturing. また、判定は、以下の方法で行っても良い。 In addition, the determination may be carried out in the manner described below.

カメラ方向を向いていると判断された被撮影者の全被撮影者に対する割合が、あらかじめ定められた割合以上の際、最適と判断し、それ以外を不適と判断する。 Ratio with respect to the photographer's all be photographed who is determined to face the camera direction, when more than a predetermined ratio, determines that the optimum, it is determined otherwise unsuitable.

特定の被撮影者がカメラ方向を向いた場合のみを最適と判断し、それ以外を不適と判断する。 Determine only if a specific person to be photographed is facing camera direction and optimal determines otherwise unsuitable.

被撮影者に重みを設定し、各被撮影者のカメラ方向と視線とのなす角をパラメータとする評価値と重みの積を各被撮影者の評価値とし、その総和があらかじめ定められたしきい値よりも良ければ最適な画像とし、それ以外を不適な画像と判断する。 Set weight to the person to be photographed, a product of the evaluation value and the weight of the angle between the camera direction and the line of sight of the person to be photographed as a parameter as an evaluation value of each person to be photographed, to the sum predetermined When you are ready than threshold and optimal image, determines otherwise unsuitable images.

また、しきい値は、撮影作業開始からの時間が一定時間を超えた場合は大きく設定しなおしたり、各被撮影者の視線方向の履歴から、全員の視線がより小さなしきい値以下に短時間で収まると予想される場合は小さく設定しなおすなど、動的に決定しても良い。 In addition, short-threshold, or re-set to be larger if the time from the shooting start work exceeds a certain time, from the direction of the line of sight of the history of each person to be photographed, all the line of sight of the smaller threshold below etc. If you expect to fall in time again set smaller it may be dynamically determined.

不適な画像と判定された場合は、入力画像を取り直し、図5(b)の人物501、人物504、人物503のように、判定結果が最適となるまで、前記処理を繰り返す。 If it is determined that the inappropriate image, retaken the input image, such as the person 501, People 504, People 503 of FIG. 5 (b), until the determination result becomes optimal, repeating the process. また、一定時間もしくは回数で、判定結果が最適とならなかった場合は、撮影作業を終了してもよい。 Further, at a predetermined time or number of times, if the judgment result is not be optimal may end the imaging operations.

判定結果が最適となった際は、入力画像を保存し、撮影作業を終了する。 When the determination result is optimal stores the input image, and ends the shooting operations. また、入力画像保存後は、撮影作業開始状態に戻り、連続撮影を行ってもよい。 Further, after the input image saved, return to the shooting work start state, it may be subjected to continuous shooting.

以上、本実施の形態では、被撮影者がカメラ方向を向いた画像を撮影することが容易になるという効果を有する。 Above, in the present embodiment has the advantage that it is easy to capture an image of the photographer facing camera direction.

(実施の形態2) (Embodiment 2)
図6は、本発明の実施の形態2の撮像装置の構成を示すブロック図である。 Figure 6 is a block diagram showing a configuration of an imaging apparatus of a second embodiment of the present invention. 図6において、図1と同じ構成要素については同じ符号を用い、説明を省略する。 6, the same reference numerals are given to the same components as in FIG. 1, the description thereof is omitted.

撮像装置は、画像入力手段101、画像処理手段102、保存手段103、警告手段601、撮影時機入力手段604を備える。 The imaging device includes an image input unit 101, the image processing unit 102, storage unit 103, a warning unit 601 includes an imaging timing input means 604. また警告手段601は、画像合成手段602と、警告表示手段603を備える。 The warning means 601 includes an image synthesizing unit 602, the warning display unit 603.

図6において、本実施の形態2は、図1に警告手段601および撮影時機入力手段604が追加される点が異なる。 6, the second embodiment is that the warning means 601 and the photographing timing input means 604 in FIG. 1 is added.

図7に前記撮像装置の動作フローを示す。 Figure 7 shows an operation flow of the imaging device. 図7において、図2と同じ構成要素については同じ符号を用い、説明を省略する。 7, the same reference numerals are given to the same components as in FIG. 2, the description thereof is omitted.

画像合成手段602は、適性判断手段105の出力からカメラ方向を向いていない人物を検出し(STEP701)、前記人物が撮影者にわかるよう、前記人物の領域を示す画像を、画像入力手段101が出力した画像と合成し、警告表示手段603へ出力する(STEP702)。 Image synthesizing means 602 detects a person does not face the camera direction from the output of the suitability judgment unit 105 (STEP 701), so that the person is found to the photographer, an image showing a region of the person, the image input unit 101 and combined with the output image, and outputs it to the warning display unit 603 (STEP 702). また画像合成手段602は、全員カメラ方向を向いていた場合は、全員向いていることを示すよう画像を加工してもよい。 The image combining unit 602, if not face all camera direction may be processed the image to indicate that faces all.

液晶ディスプレイやファインダなどの警告表示手段603は、画像合成手段602が出力した画像を、表示する(STEP703)。 Warning display means 603 such as a liquid crystal display or finder images image synthesizing means 602 is output to the display (STEP 703).

以上の処理を、撮影時機入力手段604が撮影の許可を出力するまで、繰り返す(STEP704)。 The above processing, to the photographing timing input means 604 outputs the permission of photographing is repeated (STEP 704). 撮影許可が出力された場合は、画像入力手段101から入力された画像を保存し(STEP205)、終了する(STEP206)。 If the image capture permission is output, save the image inputted from the image input unit 101 (STEP 205), and ends (STEP 206). また、画像の保存は、視線方向判定(STEP701)において、全員が指定方向を見ていたと判断された場合は自動的に行ってもよい。 The image saving, in the line of sight direction determination (STEP 701), may be performed automatically if it is determined that all were looking to the designated direction.

図8(a)は、カメラを見ていない人物がいる場合の警告手段601の警告表示手段603を示している。 FIG. 8 (a) shows the warning display means 603 of the warning means 601 when there is a person not looking at the camera. 前記警告表示手段に表示される画像は、カメラを見ていない人物が撮影者にわかるよう、当該人物の領域を示すものであるが、図8(a)において、入力画像において人物801と人物803はカメラ方向を向いているが、人物802はカメラ方向を向いていない。 Image displayed on the warning display means, so that a person not looking at the camera is found to the photographer, while indicating area of ​​the person, in FIG. 8 (a), the person and the person 801 in the input image 803 Although facing camera direction, the person 802 is not directed to the camera direction. このとき、画像合成手段502は、人物702の領域を示す括弧状の画像804を入力画像に合成し、警告表示手段603に表示する。 At this time, the image synthesizing unit 502 synthesizes the input image parentheses like image 804 indicating the area of ​​the person 702 is displayed on the warning display unit 603. また、画像804は、記号、文字、絵であってもよい。 The image 804 is, symbols, characters, or may be a picture.

図8(b)は、全員カメラを見ている場合の警告手段601の警告表示手段603を示している。 FIG. 8 (b) shows a warning display unit 603 of the warning means 601 when looking at the whole camera. 図8(b)において、人物801および人物805、人物803は全員カメラ方向を向いていると判定されている。 8 (b), the person 801 and the person 805, the person 803 is determined to be suitable for all camera direction. このとき、画像合成手段は、画像806を入力画像に合成し、警告表示手段603に表示する。 At this time, the image synthesizing unit synthesizes the image 806 in the input image is displayed on the warning display unit 603. また、前記人物が向いている方向や、向いている方向とカメラ方向のなす角度を表示しても良い。 Also, and the direction in which the person is facing may display the angle of the direction the camera direction facing. また、画像806は、記号、文字、絵であってもよい。 The image 806 is, symbols, characters, or may be a picture.

以上、本実施の形態では、カメラを向いていない被撮影者を撮影者が容易に知ることができ、注意を促すなど撮影を円滑に進めることができるという効果を有する。 Above, in the present embodiment, the person to be photographed that is not facing the camera photographer can be easily known, it has the effect that it is possible to proceed smoothly shooting like attention.

(実施の形態3) (Embodiment 3)
図9は、本発明の実施の形態3の撮像装置の構成を示すブロック図である。 Figure 9 is a block diagram showing a configuration of an imaging apparatus of a third embodiment of the present invention. 図9において、図1と同じ構成要素については同じ符号を用い、説明を省略する。 9, the same reference numerals are given to the same components as in FIG. 1, the description thereof is omitted.

撮像装置は、画像入力手段101、画像処理手段102、保存手段103、視線方向指定手段901を備える。 Imaging apparatus includes an image input unit 101, the image processing unit 102, storage unit 103, a viewing direction specifying means 901. また視線方向指定手段901は、画像表示手段902と、指定入力手段903、指定認識手段904を備える。 The viewing direction specifying means 901 includes an image display unit 902, specification input means 903, the specified recognition unit 904.

図10において、本実施の形態3は、図1に視線方向指定手段1001が追加される点が異なる。 10, the third embodiment in that the viewing direction designating means 1001 in FIG. 1 is added.

図10に前記撮像装置の動作フローを示す。 Figure 10 shows an operation flow of the imaging device. 図10において、図2と同じ構成要素については同じ符号を用い、説明を省略する。 10, the same reference numerals are given to the same components as in FIG. 2, the description thereof is omitted.

液晶ディスプレイやファインダなどの画像表示手段902は、入力画像を表示する(STEP1001)。 Image display means 902 such as a liquid crystal display or finder displays an input image (STEP 1001). このとき、入力画像中の物体や方向をマウスやタッチパネル、十字キーなどの指定入力手段903によって入力する(STEP1002)。 In this case, the object and the direction of the input image is input by a mouse or a touch panel, designation input means 903 such as a cross key (STEP 1002). 指定認識手段904は、指定入力手段903の出力から視線の向く対象や方向を認識し、人物との位置関係から視線方向を決定する(STEP1003)。 The specific recognition unit 904 recognizes an object and a direction pointing from the output of the specified input means 903 of sight, determines the gaze direction from the positional relationship between the person (STEP 1003). 画像表示手段902は、指定された物体や方向を表す画像を表示する(STEP1004)。 Image display means 902 displays an image representing the specified object and the direction (STEP 1004).

図11(a)(b)は、画像中の物体を指定することで視線方向を指定する場合の画像表示手段902を示しており、図11(a)は視線方向指定前の画像表示手段902を、図11(b)は視線方向指定後の画像表示手段902を示している。 Figure 11 (a) (b) is to specify the object in the image shows the image display unit 902 for specifying a viewing direction, FIG. 11 (a) line-of-sight direction specified before the image display unit 902 and FIG. 11 (b) shows an image display unit 902 after the line-of-sight direction specified. 視線方向指定前の画像中の人物1101は被撮影者であり、物体1102は、撮影時の被撮影者の視線の対象である。 People 1101 in viewing direction specified previous image is the person to be photographed, an object 1102 is the subject of sight of the photographer during shooting. 図11(a)のように、入力画像が画像表示手段902に表示された際、撮影者は、画像1103をマウスや十字キー、音声、タッチパネルなどの入力デバイスで移動し、物体を指定する。 As shown in FIG. 11 (a), the time of the input image is displayed on the image display unit 902, the photographer moves the image 1103 mouse or a cross key, a voice, an input device such as a touch panel, to specify the object. その後、視線方向指定手段は、指定された物体1102と人物1101の位置関係を、それぞれの焦点があったときの焦点距離から求め、それを用いて指定視線方向を決定する。 Thereafter, the line-of-sight direction specifying means, the positional relationship between the object 1102 and the person 1101 is specified, determined from the focal length when there is the respective focus, determines the specified viewing direction therewith. また決定方法は、カメラの移動をさせ、人物1101や物体1102の特徴点を追跡し、特徴点の座標からなる行列を変形させることで特徴点の3次元位置とカメラ運動を復元する因子分解法を用いても良い。 The determination method is the movement of the camera to track the feature point of the person 1101 and the object 1102, factorization method for restoring a three-dimensional position and camera motion of the feature points by deforming the matrix of the feature point coordinates it may also be used.

指定視線方向決定後、図11(b)のように、物体1102をしめす画像1104を入力画像に合成し、画像表示手段902に表示する。 After specifying gaze direction determination, as shown in FIG. 11 (b), synthesized image 1104 indicating the object 1102 in the input image, on the image display unit 902. なお、画像1104は、記号、文字、絵であってもよく、被撮影者が複数人の場合は、各人物ごとに視線方向を指定しても良い。 Note that the image 1104, symbols, characters, may be a picture, if the photographer of a plurality of persons may be designated the viewing direction for each person. また、過去に視線方向を指定済みの際は、視線方向の指定は行わなくてもよい。 In addition, during the already specified the line-of-sight direction in the past, may not be performed in the specified direction of the line of sight.

図12(a)(b)は、画像中の方向を指定することで視線方向を指定する場合の画像表示手段902を示しており、図12(a)は視線方向指定前の画像表示手段902を、図12(b)は視線方向指定後の画像表示手段902を示している。 Figure 12 (a) (b) is to specify the direction in the image shows the image display unit 902 for specifying a viewing direction, FIG. 12 (a) line-of-sight direction specified before the image display unit 902 and FIG. 12 (b) shows an image display unit 902 after the line-of-sight direction specified. 視線方向指定前の画像中の人物1201は被撮影者である。 People 1201 in viewing direction specified previous image is the person to be photographed.

図12(a)のように、画像が入力された際、指定入力手段903は入力画像中から人物1201の顔を検出し、顔位置に方向の基準となる画像1202および方向を指定する画像1203、方向を示す画像1204を入力画像に合成し、画像表示手段902に表示する。 Figure 12 (a), in case the image is input, designated input unit 903 detects the face of a person 1201 from the input image, image 1203 that specifies the image 1202 and the direction that is the direction of the reference to the face position synthesizes the input image an image 1204 that indicates the direction, on the image display unit 902. 表示後、マウスや十字キー、音声、タッチパネルなどの入力デバイスによって画像1203を移動し、画像1203と人物1201の眼の位置関係から指定視線方向を決定し、画像1204を表示する。 After displaying, mouse or a cross key, speech, by an input device such as a touch panel to move the image 1203 to determine the specified viewing direction from the positional relationship of the eyes of the image 1203 and the person 1201 displays an image 1204. これにより、撮影者は、カメラ方向に対する角度を直接指定するより直感的に方向を指定することができる。 Thus, the photographer may specify the intuitive direction than specifying an angle to the camera direction directly.

決定後、図12(b)のように入力画像に画像1205を合成し、画像表示装置902に表示する。 After determining, by synthesizing an image 1205 to the input image as shown in FIG. 12 (b), displayed on the image display device 902. 画像1205によって示される方向は、決定後は変化しない。 Direction indicated by the image 1205, after the decision is not changed. なお、画像1202および画像1203、画像1204、画像1205は、記号、文字、絵であってもよく、被撮影者が複数人の場合は、各人物ごとに視線方向を指定しても良い。 Note that the image 1202 and image 1203, image 1204, image 1205, symbols, characters, may be a picture, if the photographer of a plurality of persons may be designated the viewing direction for each person. また、過去に視線方向を指定済みの際は、視線方向の指定は行わなくてもよい。 In addition, during the already specified the line-of-sight direction in the past, may not be performed in the specified direction of the line of sight.

図12(c)は、図12(a)の画像1202を表示する際の表示方法の例を示したものである。 FIG. 12 (c) illustrates an example of a display method for displaying an image 1202 of FIG. 12 (a). 撮像装置は、画像中から人物1201を検出した際、その焦点距離や画像上の大きさなどから、人物1201の頭部のおよその位置を推測する。 Imaging apparatus, when detecting a person 1201 from an image, the size, etc. of its focal length and the image to infer the approximate positions of the head of a person 1201. その後、推測した頭部を囲むように、両端が矢印状になっている弧を2本垂直に交わるように仮想的に設置し、これを、撮像装置の撮像面に投影した画像を画像1202とする。 Then, so as to surround the guessed head ends placed virtually to intersect the two vertical arcs have become like an arrow, which, as the image 1202 of the image projected on the imaging surface of the imaging device to. なお、画像1203は画像1202の2本の弧を含む球面上を移動し、画像1204は、推測された頭部の眼の位置から画像1203が表す3次元上の位置までを指すよう矢印を表示する。 Note that the image 1203 move on the spherical surface comprising two arcs of image 1202, image 1204 displays an arrow to point to up to the position in the three-dimensional represented by the image 1203 from the position of the eye of the presumed head to.

以上、本実施の形態では、被撮影者が任意の指定された物体や方向を向いている画像を容易に撮影できるという効果を有する。 Above, in the present embodiment has the effect that the image is facing the object and a direction which the photographer is any specified easily captured.

(実施の形態4) (Embodiment 4)
図13は、本発明の実施の形態4の撮像装置の構成を示すブロック図である。 Figure 13 is a block diagram showing a configuration of an imaging apparatus of a fourth embodiment of the present invention. 図13において、図9と同じ構成要素については同じ符号を用い、説明を省略する。 13, the same reference numerals are given to the same components as in FIG. 9, the description thereof is omitted.

撮像装置は、画像入力手段101、画像処理手段102、保存手段103、警告手段1301、撮影時機入力手段604、視線方向指定手段901を備える。 Imaging apparatus includes an image input unit 101, the image processing unit 102, storage unit 103, a warning unit 1301, photographing timing input means 604, a viewing direction specifying means 901. また、警告手段1301は、画像合成手段1302と警告表示手段1303を備える。 Moreover, warning means 1301 comprises a warning display unit 1303 and the image combining unit 1302.

図13において、本実施の形態4は、図9に警告手段1301が追加される点が異なる。 13, the fourth embodiment in that the warning means 1301 in FIG. 9 is added.

なお、警告手段1301の警告表示手段1303は視線方向指定手段901の画像表示手段902と同一の装置を用いてもよい。 Incidentally, the warning display means a warning means 1301 1303 may be using the same apparatus and the image display unit 902 of the viewing direction specifying means 901.

図14に前記撮像装置の動作フローを示す。 Figure 14 shows an operation flow of the imaging device. 図13において、図2と同じ構成要素については同じ符号を用い、説明を省略する。 13, the same reference numerals are given to the same components as in FIG. 2, the description thereof is omitted.

撮影作業開始後、カメラは視線方向指定手段901に入力画像を入力し、視線方向を指定する。 After shooting operation start, the camera receives the input image in the viewing direction specifying means 901 specifies the viewing direction. その後、視線検出を行い、視線方向を判定し、それに基づいて指定方向を向いていない人物を検出し、警告表示手段1302に出力する。 Thereafter, the line of sight detection, to determine the gaze direction, to detect a person that does not face the specified direction based on it, and outputs a warning display unit 1302. 画像合成手段1302は、指定方向を表す画像1205と、指定方向を向いていない人物を示す画像804を入力画像に合成する。 Image synthesizing means 1302, an image 1205 representing the designated direction, combining images 804 indicating a person does not face the specified direction in the input image.

また、前記人物が向いている方向や、向いている方向と指定方向のなす角度を表示しても良い。 Also, and the direction in which the person is facing may display an angle oriented in the direction designated direction. なお、画像1205は合成せず、画像804のみを合成しても良い。 Note that the image 1205 is not synthesized, it may be synthesized only image 804. 警告表示手段は画像合成手段1302によって合成された画像を表示する。 Warning display means for displaying the image synthesized by the image synthesizing means 1302. シャッターレリーズボタンやセルフタイマなどの撮影時機入力手段604が保存許可を出す、または全員が指定方向を向いていると視線検出の結果判断された場合は、入力画像を保存し、撮影を終了する。 Photographing timing input means 604 such as a shutter release button and a self-timer issues a storage permission, or if everyone that is the determination result of the face the designated direction line-of-sight detection, and save the input image, and ends the shooting. また、入力画像保存後は、撮影作業開始状態に戻り、連続撮影を行ってもよい。 Further, after the input image saved, return to the shooting work start state, it may be subjected to continuous shooting.

以上、本実施の形態では、任意の指定された物体や方向を向いていない被撮影者を撮影者が容易に知ることができ、注意を促すなど撮影を円滑に進めることができるという効果を有する。 Above, in the present embodiment has the effect that the person to be photographed without facing any given object or direction photographer can be easily known, it is possible to proceed smoothly shooting like attention .

本発明にかかる撮像装置は、被撮影者に対する視線検出機能を有し、被撮影者がカメラまたは特定の方向を見ている画像を容易に取得できる撮像装置等として有用である。 Imaging device according to the present invention has a visual axis detection for the person to be photographed, it is useful as an imaging apparatus or the like which can easily acquire an image which the photographer is looking at a camera or a specific direction. また特定の物体をあらかじめ指定することで、その物体を注視している人物のみを撮影できる監視装置等の用途にも応用できる。 And specifying a particular object in advance, it can be applied to applications monitoring apparatus that can photograph only person gazing the object.

本発明の実施の形態1における撮像装置の構成を表すブロック図 Block diagram showing the configuration of an imaging apparatus according to the first embodiment of the present invention 本発明の実施の形態1における撮像装置の処理の流れを表すフロー図 Flowchart showing a flow of processing of an image pickup apparatus according to the first embodiment of the present invention 本発明の実施の形態1における被撮影者が一人の際の動作例を説明する図 Figure-be-photographed person in the first embodiment of the present invention will be explained an operation example when one person 本発明の実施の形態1における被撮影者が複数の際の動作例を説明する図 Figure-be-photographed person in the first embodiment of the present invention will be explained an operation example when a plurality 本発明の実施の形態1における被撮影者が複数の際の動作例を説明する図 Figure-be-photographed person in the first embodiment of the present invention will be explained an operation example when a plurality 本発明の実施の形態2における撮像装置の構成を表すブロック図 Block diagram showing the configuration of an imaging apparatus according to the second embodiment of the present invention 本発明の実施の形態2における撮像装置の処理の流れを表すフロー図 Flowchart showing a flow of processing of an image pickup apparatus in the second embodiment of the present invention 本発明の実施の形態2における動作例を説明する図 Diagram for explaining an operation example in the second embodiment of the present invention 本発明の実施の形態3における撮像装置の構成を表すブロック図 Block diagram showing the configuration of an imaging device in the third embodiment of the present invention 本発明の実施の形態3における撮像装置の処理の流れを表すフロー図 Flowchart showing a flow of processing of the image pickup device in the third embodiment of the present invention 本発明の実施の形態3における動作例を説明する図 Diagram for explaining an operation example in the third embodiment of the present invention 本発明の実施の形態3における動作例を説明する図 Diagram for explaining an operation example in the third embodiment of the present invention 本発明の実施の形態4における撮像装置の構成を表すブロック図 Block diagram showing the configuration of an imaging device in the fourth embodiment of the present invention 本発明の実施の形態4における撮像装置の処理の流れを表すフロー図 Flowchart showing a flow of processing of the image pickup device in the fourth embodiment of the present invention

符号の説明 DESCRIPTION OF SYMBOLS

101 画像入力手段 102 画像処理手段 103 保存手段 104 視線検出手段 105 適性判断手段 601 警告手段 602 画像合成手段 603 警告表示手段 604 撮影時機入力手段 901 視線方向指定手段 902 画像表示手段 903 指定入力手段 904 指定認識手段 1301 警告手段 1302 画像合成手段 1303 警告表示手段 101 image input unit 102 image processing unit 103 storage unit 104 sight line detecting means 105 suitability determination means 601 warning means 602 image synthesizing means 603 warning display unit 604 photographing timing input means 901 viewing direction specifying means 902 image display unit 903 specifies input unit 904 specifies recognition means 1301 warning means 1302 image synthesis means 1303 warning display means

Claims (7)

  1. 画像を入力する画像入力手段と、 An image input means for inputting an image,
    前記画像入力手段が入力した画像から一人または複数の人物を検出し、前記人物の視線方向を検出して前記人物が撮像装置を見ているかどうかを判断する画像処理手段と、 Detecting a person or plurality of persons from the image by the image input means is input, the person to detect the gaze direction of the person and the image processing means for determining whether the viewed image pickup device,
    前記画像処理手段の結果から前記人物が撮像装置を見ていると判断された入力画像の保存を行う保存手段と、 A storage means for the person from the result of said image processing means performs the storage of the input image is determined to have seen an imaging device,
    を備えた撮像装置。 An image pickup apparatus having a.
  2. 前記画像処理手段の出力から撮像装置を見ていない人物がいることを撮影者に警告する警告手段と、 And warning means to warn the photographer that there is a person not looking at the imaging apparatus from an output of said image processing means,
    撮影者が撮影の指令を入力する撮影時機入力手段と、 A photographing timing input means the photographer to enter the command of the shooting,
    をさらに備えた請求項1記載の撮像装置。 The imaging apparatus according to claim 1, further comprising a.
  3. 画像を入力する画像入力手段と、 An image input means for inputting an image,
    前記人物の視線方向を指定する視線方向指定手段と、 A viewing direction specifying means for specifying a line-of-sight direction of the person,
    前記画像入力手段が入力した画像から一人または複数の人物を検出し、前記人物の視線方向を検出して前記視線方向指定手段が指定した方向を見ているかどうか判断する画像処理手段と、 Image processing means for said image input means detects a person or persons from the image input, it is determined whether the sight line direction designating means detects the gaze direction of the person looking at the specified direction,
    前記画像処理手段の結果から前記人物が撮像装置を見ていると判断された入力画像の保存を行う保存手段と、 A storage means for the person from the result of said image processing means performs the storage of the input image is determined to have seen an imaging device,
    を備えた撮像装置。 An image pickup apparatus having a.
  4. 前記画像処理手段の出力から前記視線指定手段が指定した方向を見ていない人物がいることを撮影者に警告する警告手段と、 And warning means to warn the photographer that there is a person that does not look in the specified direction is the line-of-sight designating means from an output of the image processing unit,
    撮影者が撮影の指令を入力する撮影時機入力手段と、 A photographing timing input means the photographer to enter the command of the shooting,
    をさらに備えた請求項3記載の撮像装置。 The imaging apparatus according to claim 3, further comprising a.
  5. 前記画像処理手段は、入力画像中の一人または複数の人物の視線方向を検出する視線検出手段と、 It said image processing means includes a sight line detecting means for detecting a gaze direction of the person or persons in the input image,
    前記視線検出手段の結果から、前記人物が撮像装置または前期視線指定手段が指定した方向を見ているかどうかを判断する適性判断手段を有する、 The results of the visual axis detecting means, the person has a suitability determination means for determining whether to look at the direction in which the specified image pickup apparatus or year gaze specifying means,
    請求項1乃至 4記載の撮像装置。 Imaging device according to claim 1 to 4, wherein.
  6. 前記視線方向指定手段は、入力画像を表示する画像表示手段と、 The sight line direction specifying means, image display means for displaying the input image,
    入力画像中の物体や領域、方向を指定することで目的とする視線方向を指定する指定入力手段と、前記指定入力手段の入力と前記入力画像から指定方向を認識する指定認識手段を有する、 Object or area in the input image has a specification input means for specifying a viewing direction of interest by specifying a direction, the designation recognizing means for recognizing a designated direction from the input and the input image of the designated input means,
    請求項3または4記載の撮像装置。 Imaging device according to claim 3 or 4, wherein.
  7. 前記警告手段は、前記適性判断手段によって撮像装置または指定方向を見ていないと判断された人物を表すよう画像を加工する画像合成手段と、 It said warning means includes an image synthesizing means for processing the image to represent a person is determined not to look at the image pickup device and designated direction by the suitability determination means,
    前記画像合成手段が出力した画像を表示する警告表示手段を有する、 Having a warning display means for displaying an image by the image combining means has an output,
    請求項5または6記載の撮像装置。 Imaging device according to claim 5 or 6, wherein.
JP2005139552A 2005-05-12 2005-05-12 Camera Pending JP2006319610A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005139552A JP2006319610A (en) 2005-05-12 2005-05-12 Camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005139552A JP2006319610A (en) 2005-05-12 2005-05-12 Camera

Publications (1)

Publication Number Publication Date
JP2006319610A true true JP2006319610A (en) 2006-11-24

Family

ID=37539882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005139552A Pending JP2006319610A (en) 2005-05-12 2005-05-12 Camera

Country Status (1)

Country Link
JP (1) JP2006319610A (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182485A (en) * 2007-01-24 2008-08-07 Fujifilm Corp Photographing device and photographing method
JP2008186075A (en) * 2007-01-26 2008-08-14 Advanced Telecommunication Research Institute International Interactive image display device
JP2009059257A (en) * 2007-09-03 2009-03-19 Sony Corp Information processing apparatus and information processing method, and computer program
JP2009147591A (en) * 2007-12-13 2009-07-02 Casio Comput Co Ltd Imaging apparatus, and program
JP2009237899A (en) * 2008-03-27 2009-10-15 Advanced Telecommunication Research Institute International Image processing apparatus
JP2009239347A (en) * 2008-03-25 2009-10-15 Olympus Corp Image processor and image processing program
JP2010161655A (en) * 2009-01-08 2010-07-22 Sony Ericsson Mobile Communications Ab Imaging apparatus, and imaging method
US7917024B2 (en) 2007-04-19 2011-03-29 Panasonic Corporation Imaging apparatus and imaging method
CN102148931A (en) * 2010-02-09 2011-08-10 三洋电机株式会社 Image sensing device
US8107771B2 (en) 2007-03-19 2012-01-31 Sony Corporation Image processing apparatus and image processing method
US8363910B2 (en) 2007-03-08 2013-01-29 Sony Corporation Image processing device, image processing method, and program
US8456536B2 (en) 2007-03-26 2013-06-04 Sony Corporation Image processing apparatus, image processing method and program with sightline detection
US8482651B2 (en) 2007-02-15 2013-07-09 Sony Corporation Image processing device and image processing method
US8872929B2 (en) 2007-06-25 2014-10-28 Sony Corporation Picture imaging apparatus and imaging control method
JP2015159550A (en) * 2015-03-19 2015-09-03 オリンパス株式会社 Imaging apparatus, imaging method, and program
JP2016032193A (en) * 2014-07-29 2016-03-07 株式会社ニコン Imaging apparatus

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182485A (en) * 2007-01-24 2008-08-07 Fujifilm Corp Photographing device and photographing method
JP2008186075A (en) * 2007-01-26 2008-08-14 Advanced Telecommunication Research Institute International Interactive image display device
US8482651B2 (en) 2007-02-15 2013-07-09 Sony Corporation Image processing device and image processing method
US8363910B2 (en) 2007-03-08 2013-01-29 Sony Corporation Image processing device, image processing method, and program
US8107771B2 (en) 2007-03-19 2012-01-31 Sony Corporation Image processing apparatus and image processing method
US8456536B2 (en) 2007-03-26 2013-06-04 Sony Corporation Image processing apparatus, image processing method and program with sightline detection
US8131142B2 (en) 2007-04-19 2012-03-06 Panasonic Corporation Imaging apparatus
US7917024B2 (en) 2007-04-19 2011-03-29 Panasonic Corporation Imaging apparatus and imaging method
US8391704B2 (en) 2007-04-19 2013-03-05 Panasonic Corporation Imaging apparatus
US7991275B2 (en) 2007-04-19 2011-08-02 Panasonic Corporation Imaging apparatus
US8872929B2 (en) 2007-06-25 2014-10-28 Sony Corporation Picture imaging apparatus and imaging control method
JP2009059257A (en) * 2007-09-03 2009-03-19 Sony Corp Information processing apparatus and information processing method, and computer program
US8295556B2 (en) 2007-09-03 2012-10-23 Sony Corporation Apparatus and method for determining line-of-sight direction in a face image and controlling camera operations therefrom
JP2009147591A (en) * 2007-12-13 2009-07-02 Casio Comput Co Ltd Imaging apparatus, and program
JP2009239347A (en) * 2008-03-25 2009-10-15 Olympus Corp Image processor and image processing program
JP2009237899A (en) * 2008-03-27 2009-10-15 Advanced Telecommunication Research Institute International Image processing apparatus
JP2010161655A (en) * 2009-01-08 2010-07-22 Sony Ericsson Mobile Communications Ab Imaging apparatus, and imaging method
US20110193986A1 (en) * 2010-02-09 2011-08-11 Sanyo Electric Co., Ltd. Image sensing device
CN102148931A (en) * 2010-02-09 2011-08-10 三洋电机株式会社 Image sensing device
JP2016032193A (en) * 2014-07-29 2016-03-07 株式会社ニコン Imaging apparatus
JP2015159550A (en) * 2015-03-19 2015-09-03 オリンパス株式会社 Imaging apparatus, imaging method, and program

Similar Documents

Publication Publication Date Title
US7711155B1 (en) Method and system for enhancing three dimensional face modeling using demographic classification
US7206022B2 (en) Camera system with eye monitoring
US8213737B2 (en) Digital image enhancement with reference images
US7349020B2 (en) System and method for displaying an image composition template
US20070110305A1 (en) Digital Image Processing Using Face Detection and Skin Tone Information
US20060092292A1 (en) Image pickup unit
US20090196466A1 (en) Face Detection in Mid-Shot Digital Images
US20120133754A1 (en) Gaze tracking system and method for controlling internet protocol tv at a distance
US7623733B2 (en) Image combination device, image combination method, image combination program, and recording medium for combining images having at least partially same background
US20120069222A1 (en) Foreground/Background Separation Using Reference Images
US7715598B2 (en) Method for detecting facial expressions of a portrait photo by an image capturing electronic device
EP1471455A2 (en) Digital camera
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
US20110013038A1 (en) Apparatus and method for generating image including multiple people
US20120219180A1 (en) Automatic Detection of Vertical Gaze Using an Embedded Imaging Device
US20080181508A1 (en) Image processing apparatus, image processing method, and program
US20080218603A1 (en) Imaging apparatus and control method thereof
JP2008042319A (en) Imaging apparatus and method, and facial expression evaluating device and program
Nishino et al. The world in an eye [eye image interpretation]
JP2000259833A (en) Face image processor and processing method therefor
US20050041111A1 (en) Frame adjustment device and image-taking device and printing device
JP2001357404A (en) Picture extracting device
JP2001051338A (en) Camera
JP2003015816A (en) Face/visual line recognizing device using stereo camera
US20080252745A1 (en) Apparatus for detecting blinking state of eye