JP2003092701A - Imaging apparatus - Google Patents
Imaging apparatusInfo
- Publication number
- JP2003092701A JP2003092701A JP2001284162A JP2001284162A JP2003092701A JP 2003092701 A JP2003092701 A JP 2003092701A JP 2001284162 A JP2001284162 A JP 2001284162A JP 2001284162 A JP2001284162 A JP 2001284162A JP 2003092701 A JP2003092701 A JP 2003092701A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- image pickup
- edge detection
- release button
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Cameras In General (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、撮像装置に関し、
特に、光学系を介して被写体からの光信号を電気信号で
ある画像信号に変換して出力する画像撮像手段を有し、
被写体の顔を検出すると自動的にレリーズボタンが押さ
れる撮像装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup device,
In particular, it has an image pickup means for converting an optical signal from a subject through an optical system into an image signal which is an electric signal and outputting the image signal.
The present invention relates to an image pickup apparatus in which a release button is automatically pressed when a face of a subject is detected.
【0002】[0002]
【従来の技術】近年パーソナルコンピュータの発達に相
まって、その画像入力装置としてのデジタルカメラの利
用が広まってきた。特に、特殊な技術をもたない撮影者
が使用する場合がほとんどであり、撮影の失敗を無くす
ためにシャッター速度、露出、ピント合わせを被写体に
合わせて自動的に設定するようになっているものが多
い。また、一般に被写体は人物である場合が多く、人物
特有の設定モードを特別に備えたデジタルカメラはな
い。特開2001−51338公報には、被写体の顔の
向きを認識し、顔が所定の方向を向いた場合に、被写体
記録動作を行うことのできるカメラについて開示されて
いる。それによると、被写界の画像情報を検出する被写
界像検出手段と、該被写界像検出手段からの画像情報を
基に被写体の顔を認識する顔認識手段と、該顔認識手段
からの情報により、顔が所定方向に向いているかを判定
する判定手段と、該判定手段の判定結果に応じて被写体
記録動作を行わせる制御手段とを有する。2. Description of the Related Art In recent years, along with the development of personal computers, the use of digital cameras as image input devices has become widespread. Especially, it is mostly used by photographers who do not have special technology, and the shutter speed, exposure, and focus are automatically set according to the subject in order to eliminate shooting failures. There are many. Further, in general, the subject is often a person, and there is no digital camera having a special setting mode peculiar to the person. Japanese Unexamined Patent Application Publication No. 2001-51338 discloses a camera capable of recognizing the orientation of a subject's face and performing a subject recording operation when the face faces a predetermined direction. According to this, the object scene image detecting means for detecting the image information of the object scene, the face recognizing means for recognizing the face of the subject based on the image information from the object scene detecting means, and the face recognizing means. It has a determining means for determining whether or not the face is facing in a predetermined direction based on the information from, and a control means for performing the subject recording operation according to the determination result of the determining means.
【0003】[0003]
【発明が解決しようとする課題】従来、シャッター速
度、露出、ピント合わせを被写体によって自動的に設定
するモードを備えたデジタルカメラ撮像装置では、レリ
ーズボタンを押して被写体を撮影するのは、撮影者の意
思によった。そのため人物撮影の場合、撮影者が人物を
認識してもレリーズのタイミングがずれて撮影機会を逸
することがあった。また、特開2001−51338公
報は、顔の向きを認識し、所定の向きであったら被写体
記録動作行なう技術であり、人物が動いてしまったり、
カメラがぶれている場合などは顔を鮮明に撮影できない
恐れがある。本発明は、かかる課題に鑑み、顔画像を認
識、判別することで自動的にレリーズボタンを押し、シ
ャッターチャンスを逃さず、しかも不鮮明な画像を撮影
することを防ぎ、鮮明な画像のみを記録する撮像装置を
提供することを目的とする。Conventionally, in a digital camera image pickup device having a mode in which the shutter speed, exposure, and focusing are automatically set according to the subject, it is the photographer who presses the release button to photograph the subject. It depends on the intention. Therefore, in the case of photographing a person, even if the photographer recognizes the person, the release timing may be shifted and the photographing opportunity may be missed. Further, Japanese Laid-Open Patent Publication No. 2001-51338 is a technique for recognizing the orientation of a face and performing a subject recording operation when the orientation is a predetermined orientation.
If the camera shakes, you may not be able to clearly capture your face. In view of such a problem, the present invention automatically presses the release button by recognizing and discriminating a face image, does not miss a shutter opportunity, and prevents shooting an unclear image, and records only a clear image. An object is to provide an imaging device.
【0004】[0004]
【課題を解決するための手段】本発明はかかる課題を解
決するために、請求項1の発明は、光学系を介して得ら
れた光信号を画像信号に変換して出力する画像撮像手段
を有する撮像装置において、前記画像信号の中から顔画
像を認識する顔画像認識手段と、該顔画像認識手段のデ
ータから前記顔画像の各部分を判別する顔部分判別手段
を更に備え、該顔部分判別手段により前記顔画像の各部
分が全て判別できた場合、被写体の撮影を実行するレリ
ーズボタンが押下されるか、もしくは撮像動作を行うこ
とを特徴とする。カメラで最も多い被写体は圧倒的に人
物である。従って、人物を撮影する場合、そのシャッタ
ーチャンスを逃さず撮影することが重要である。そのた
めには、被写体が人物であることを認識しなければなら
ない。そして、人物を特定する最適な部分は、顔であ
り、被写体中から顔画像を抽出し、その顔画像から目、
口、鼻、眉などの各パーツが判別できて初めて鮮明な画
像を撮影することができる。特に、デジタルカメラは画
像信号をデジタル化して記録するため、コンピュータに
よる解析が容易である。かかる発明によれば、該顔部分
判別手段により前記顔画像の各部分が全て判別できた場
合、被写体の撮影を実行するレリーズボタンが押下され
るか、もしくは撮像動作を行うので、操作性が向上し、
シャッターチャンスを逃がすことなく鮮明な画像を撮影
できる。また、請求項2の発明は、前記顔部分判別手段
が前記顔画像の各部分の全てを判別できなかった場合、
前記顔部分判別手段の動作が前記顔画像の各部分の全て
を判別できるまで継続されることも本発明の有効な手段
である。顔画像の判別は顔の輪郭や、目、鼻、眉、耳等
の形の特徴を捉えて判別する。そして、単純に顔である
ことだけを判別するのであれば、輪郭を捉えれば判別可
能である。しかし、顔の全てを鮮明に撮影するには各部
分が全て判別できるまで判別動作を継続する必要があ
る。かかる技術手段によれば、前記顔画像の各部分の全
てを判別できなかった場合、前記顔部分判別手段の動作
が前記顔画像の各部分の全てを判別できるまで継続され
るので、鮮明な画像を撮影することができる。In order to solve the above problems, the present invention provides an image pickup means for converting an optical signal obtained through an optical system into an image signal and outputting the image signal. The image pickup apparatus further includes: a face image recognition unit that recognizes a face image from the image signal; and a face portion determination unit that determines each portion of the face image from the data of the face image recognition unit. When all the respective parts of the face image can be discriminated by the discriminating means, the release button for photographing the subject is pressed or the photographing operation is performed. The most common subject in a camera is a person. Therefore, when taking a picture of a person, it is important to take the picture without missing a photo opportunity. For that purpose, it is necessary to recognize that the subject is a person. The most suitable part for identifying a person is a face, and a face image is extracted from the subject and the eyes are extracted from the face image.
A clear image can be taken only after the parts such as the mouth, nose, and eyebrows can be identified. In particular, a digital camera records an image signal by digitizing the image signal, so that it can be easily analyzed by a computer. According to the invention, when the face portion determining means can determine all the respective portions of the face image, the release button for photographing the subject is pressed or the image capturing operation is performed, so that the operability is improved. Then
You can shoot clear images without missing a photo opportunity. According to the invention of claim 2, when the face part discriminating means cannot discriminate all of the respective parts of the face image,
It is also an effective means of the present invention that the operation of the face part discriminating means is continued until all the respective parts of the face image can be discriminated. The face image is discriminated by capturing the contour of the face and features such as eyes, nose, eyebrows, and ears. Then, if it is simply determined that it is a face, it can be determined by capturing the contour. However, in order to clearly capture the entire face, it is necessary to continue the discrimination operation until all the parts can be discriminated. According to such a technical means, when all the respective parts of the face image cannot be discriminated, the operation of the face part discriminating means is continued until all the respective parts of the face image can be discriminated. Can be taken.
【0005】また、請求項3の発明は、前記画像信号を
連続して取り込むと共に、前記顔部分判別手段により前
記顔画像の各部分が全て判別できた場合に限り、前記画
像信号を記憶することも本発明の有効な手段である。メ
モリの記憶容量は有限である。また、撮影者はメモリに
記録された画像から必要な画像を選択したり、あるいは
不必要な画像を消去したりする。このとき、不鮮明な画
像をメモリに記録した場合、前記操作が煩雑となり、し
かもメモリを無駄に使用することになる。かかる技術手
段によれば、顔画像の各部分が全て判別できた場合に限
り、前記画像信号を記憶するので、操作性が向上し、メ
モリの無駄がなくなる。また、請求項4の発明は、前記
顔部分判別手段は前記顔画像の各部分ごとにエッジの特
徴点を検出するエッジ検出手段を有し、該エッジ検出手
段からのエッジ検出値が所定の閾値より小さい場合、前
記エッジ検出値が前記閾値を超えるまで待機若しくは前
記エッジ検出手段の動作を継続することも本発明の有効
な手段である。顔の各部分の特徴はエッジにより特徴づ
けられる。従って、それぞれの部分のエッジは特有の閾
値を持ち、エッジ検出手段からのエッジ検出値とこの閾
値との比較で判断可能である。かかる技術手段によれ
ば、エッジ検出値が前記閾値を超えるまで待機若しくは
前記エッジ検出手段の動作を継続するので、確実に各部
分の画像を鮮明に撮影することができる。また、請求項
5の発明は、前記画像信号を連続して取り込ながら前記
エッジ検出手段を繰り返し動作させ、所定の期間前記エ
ッジ検出手段からのエッジ検出値が所定の閾値を超えた
場合、前記画像信号を取り込むか若しくは前記レリーズ
ボタンを押下することも本発明の有効な手段である。前
記請求項4ではエッジ検出値が閾値を超えるまでエッジ
検出動作を継続したが、この場合検出するまで時間がか
かりすぎる場合もでてくる。そこで、検出時間と、閾値
に幅を持たせその許容範囲を超えた場合画像信号として
取り込むか、あるいはレリーズボタンを押して撮影す
る。かかる技術手段によれば、所定の期間前記エッジ検
出手段からのエッジ検出値が所定の閾値を超えた場合、
前記画像信号を取り込むか若しくは前記レリーズボタン
を押下するので、動作時間が速くなる。According to a third aspect of the present invention, the image signal is stored continuously, and the image signal is stored only when all the respective portions of the face image can be discriminated by the face portion discriminating means. Is also an effective means of the present invention. The storage capacity of the memory is finite. Further, the photographer selects a necessary image from the images recorded in the memory or deletes an unnecessary image. At this time, if an unclear image is recorded in the memory, the operation becomes complicated and the memory is wasted. According to such a technical means, the image signal is stored only when all the respective parts of the face image can be discriminated, so that the operability is improved and the memory is not wasted. According to a fourth aspect of the present invention, the face portion discriminating means has edge detecting means for detecting a feature point of an edge for each portion of the face image, and the edge detection value from the edge detecting means is a predetermined threshold value. If it is smaller, it is also an effective means of the present invention to wait until the edge detection value exceeds the threshold value or to continue the operation of the edge detection means. The features of each part of the face are characterized by edges. Therefore, the edge of each portion has a unique threshold value, and it can be determined by comparing the edge detection value from the edge detecting means with this threshold value. According to such a technical means, the edge detection value waits until it exceeds the threshold value or the operation of the edge detection means is continued, so that the image of each portion can be surely captured clearly. According to a fifth aspect of the present invention, when the edge detection means is repeatedly operated while continuously capturing the image signal and the edge detection value from the edge detection means exceeds a predetermined threshold for a predetermined period, Capturing an image signal or pressing the release button is also an effective means of the present invention. In the fourth aspect, the edge detection operation is continued until the edge detection value exceeds the threshold value, but in this case, it may take too long to detect. Therefore, when the detection time and the threshold value have a range and the allowable range is exceeded, the image signal is taken in, or the release button is pressed to take an image. According to such a technical means, when the edge detection value from the edge detection means exceeds a predetermined threshold for a predetermined period,
Since the image signal is fetched or the release button is pressed, the operation time is shortened.
【0006】また、請求項6の発明は、前記撮像装置は
データ内容を表示する表示手段を更に備え、前記撮像装
置が撮像する条件を満足した場合、前記表示手段にその
旨を表示することも本発明の有効な手段である。撮影者
はいつ顔画像の判別が終了したかを認識する必要があ
る。そのためにカメラに液晶等の表示手段があれば好ま
しい。かかる技術手段によれば、撮像する条件を満足し
た場合、前記表示手段にその旨を表示するので、シャッ
ターチャンスを的確に捉えることができ、操作性が向上
する。また、請求項7の発明は、前記表示手段は、前記
撮像装置が所定の時間経過後、撮像する条件を満足しな
かった場合、前記表示手段にその旨を表示することも本
発明の有効な手段である。かかる技術手段によれば、撮
像する条件を満足しなかった場合、前記表示手段にその
旨を表示するので、撮影者が次に行なう動作を迅速に進
めることができる。また、請求項8の発明は、前記撮像
装置は音を発する警報手段を更に備え、前記撮像装置が
撮像する条件を満足した場合、前記警報手段により音を
発することも本発明の有効な手段である。撮影者はいつ
顔画像の判別が終了したかを認識する必要がある。しか
し、常に表示部を見ているわけではない。そこで、音に
より判別するようにすれば、撮影者によりわかりやすく
なる。かかる技術手段によれば、撮像する条件を満足し
た場合、前記警報手段により音を発するので、表示を見
過ごすことがなくなり、操作性がさらに向上する。ま
た、請求項9の発明は、前記警報手段は、前記撮像装置
が所定の時間経過後、撮像する条件を満足しなかった場
合、前記警報手段により音を発することも本発明の有効
な手段である。かかる技術手段によれば、前記撮像装置
が所定の時間経過後、撮像する条件を満足しなかった場
合、前記警報手段により音を発するので、撮影者が次に
行なう動作を迅速に進めることができる。Further, in the invention of claim 6, the image pickup device further comprises display means for displaying data contents, and when the image pickup device satisfies the image pickup condition, the display means may be so informed. It is an effective means of the present invention. The photographer needs to recognize when the face image discrimination is completed. Therefore, it is preferable that the camera has a display means such as a liquid crystal. According to such a technical means, when the image pickup condition is satisfied, the fact is displayed on the display means, so that the photo opportunity can be accurately grasped and the operability is improved. Further, according to the invention of claim 7, it is also effective that the display means displays a message to that effect on the display means when the image pickup device does not satisfy the condition for image pickup after a predetermined time elapses. It is a means. According to such a technical means, when the image capturing condition is not satisfied, the fact is displayed on the display means, so that the photographer can quickly perform the next operation. Further, in the invention of claim 8, the image pickup device further comprises alarm means for emitting a sound, and when the condition for image pickup by the image pickup device is satisfied, it is also an effective means of the present invention to emit a sound by the alarm means. is there. The photographer needs to recognize when the face image discrimination is completed. However, I do not always look at the display. Therefore, if it is determined by the sound, it becomes easier for the photographer to understand. According to the technical means, when the image capturing condition is satisfied, the alarm means emits a sound, so that the display is not overlooked and the operability is further improved. Further, the invention of claim 9 is an effective means of the present invention, wherein the alarm means emits a sound by the alarm means when the image capturing device does not satisfy the condition for capturing an image after a predetermined time elapses. is there. According to such a technical means, when the image pickup device does not satisfy the image pickup condition after a predetermined time elapses, the alarm means emits a sound, so that the photographer can quickly perform the next operation. .
【0007】また、請求項10の発明は、前記警報手段
の音は、前記撮像装置が撮像する条件を満足した場合と
満足しなかった場合とで前記音の周波数若しくはメロデ
ィを変えることも本発明の有効な手段である。警報音が
警報の内容に関係なく1種類の音だけ発する場合、どち
らの警報かを判別することができない。そこで、警報の
内容により音を変えればさらに好ましい。かかる技術手
段によれば、前記撮像装置が撮像する条件を満足した場
合と満足しなかった場合とで前記音の周波数若しくはメ
ロディを変えるので、警報内容が判別でき、より操作性
が向上する。また、請求項11の発明は、前記レリーズ
ボタンは、前記顔部分判別手段が顔画像を検出した場合
でも、前記レリーズボタンを押下るか否かを選択する選
択手段を更に設け、該選択手段が押下否を選択した場
合、前記レリーズボタンは手動により押下されることを
特徴とする。撮影者は常に人物だけを撮影するとは限ら
ないし、また、撮影したくない人物もいる。そこで、レ
リーズボタンの押下を自動にするか手動にするかを撮影
者が選択できればさらに好ましい。かかる技術手段によ
れば、選択手段が押下否を選択した場合、前記レリーズ
ボタンは手動により押下されるので、撮影者の操作性が
さらに向上する。Further, in the invention of claim 10, the sound of the alarm means may change the frequency or melody of the sound depending on whether the condition for imaging by the imaging device is satisfied or not. Is an effective means. When only one type of alarm sound is emitted regardless of the content of the alarm, it is not possible to determine which alarm the alarm sounds. Therefore, it is more preferable to change the sound according to the content of the alarm. According to such a technical means, the frequency of the sound or the melody is changed depending on whether or not the image pickup condition is satisfied by the image pickup device, so that the alarm content can be discriminated and the operability is further improved. Further, in the invention of claim 11, the release button is further provided with selection means for selecting whether or not to press the release button even when the face portion determination means detects a face image, and the selection means The feature is that the release button is manually pressed when the selection is made. The photographer does not always shoot only people, and some people do not want to shoot. Therefore, it is more preferable if the photographer can select whether to press the release button automatically or manually. According to such a technical means, when the selection means selects whether or not to press, the release button is manually pressed, so that the operability of the photographer is further improved.
【0008】[0008]
【発明の実施の形態】以下、本発明を図に示した実施形
態を用いて詳細に説明する。但し、この実施形態に記載
される構成要素、種類、組み合わせ、形状、その相対配
置などは特定的な記載がない限り、この発明の範囲をそ
れのみに限定する主旨ではなく単なる説明例に過ぎな
い。図1は、本発明の実施形態のデジタルスチルカメラ
のブロック図である。この構成は、被写体の光学画像を
集光するレンズ1と、レンズ1により集光された光束を
集束する絞り部2と、図示しない複数のレンズを移動さ
せて合焦したり、絞り部2を駆動するモータドライバ1
1と、レンズ1と絞り部2を通過した光学画像を光電変
換するCCD(Charge Coupled Device:電荷結合素
子)3と、CCD3に含まれる雑音を低減するCDS(C
orrelated Double Sampling)4と、CCD3からのアナ
ログ信号をデジタル信号に変換するA/D変換器5と、
前記CCD3、CDS4、A/D変換器5のタイミング
を発生するタイミング発生器13と、画像処理パラメー
タに従って画像処理を行うデジタル信号処理回路7と、
撮像画素の記録と画像処理された画像を記憶するフレー
ムメモリ6と、液晶(LCD:Liquid Crystal Displa
y)により撮像画像を表示する表示部8と、デジタル信
号処理回路7で処理された画像データを圧縮あるいは源
画像データに伸張する画像圧縮伸張回路9と、画像圧縮
伸張回路9により圧縮された画像データを格納するメモ
リカード10と、制御プログラムに基づいて所定の制御
を実行するマイクロコンピュータ(以下、マイコンと記
す)14と、パラメータを格納するEEPROM(Elect
rically Erasable and Programmable Read Only Memor
y)16と、操作者がカメラ本体を操作するためのレリー
ズボタン等を備えたカメラ操作部17と、フイルム枚数
やストロボの発光状態を監視するOSD(On-Screen Dis
play)15と、被写体を照明するストロボ12により構
成される。尚、レンズ1、絞り2、CCD3が主として
画像撮像手段を構成し、表示部8、デジタル信号処理回
路7、マイコン14が主としてモニタ手段を構成し、カ
メラ操作部17が主として選択手段を構成する。BEST MODE FOR CARRYING OUT THE INVENTION The present invention will be described in detail below with reference to the embodiments shown in the drawings. However, the constituent elements, types, combinations, shapes, relative arrangements, and the like described in this embodiment are merely explanatory examples, not the gist of limiting the scope of the present invention thereto, unless specifically stated. .. FIG. 1 is a block diagram of a digital still camera according to an embodiment of the present invention. In this configuration, a lens 1 for condensing an optical image of a subject, a diaphragm 2 for converging the light flux condensed by the lens 1, and a plurality of lenses (not shown) are moved to focus or the diaphragm 2 is moved. Motor driver 1 to drive
1, a CCD (Charge Coupled Device) 3 for photoelectrically converting an optical image that has passed through the lens 1 and the diaphragm 2, and a CDS (C) for reducing noise included in the CCD 3.
or related Double Sampling) 4, an A / D converter 5 for converting an analog signal from the CCD 3 into a digital signal,
A timing generator 13 for generating timings of the CCD 3, the CDS 4, and the A / D converter 5, a digital signal processing circuit 7 for performing image processing according to image processing parameters,
A frame memory 6 for storing the image pickup pixels and the image processed image, and a liquid crystal (LCD: Liquid Crystal Displa).
y), a display unit 8 for displaying a captured image, an image compression / expansion circuit 9 for compressing or expanding the image data processed by the digital signal processing circuit 7 into source image data, and an image compressed by the image compression / expansion circuit 9. A memory card 10 that stores data, a microcomputer (hereinafter, referred to as a microcomputer) 14 that executes predetermined control based on a control program, and an EEPROM (Elect
rically Erasable and Programmable Read Only Memor
y) 16, a camera operating section 17 provided with a release button or the like for the operator to operate the camera body, and an OSD (On-Screen Disp) that monitors the number of films and the flash emission state.
play) 15 and a strobe 12 for illuminating a subject. The lens 1, the diaphragm 2 and the CCD 3 mainly constitute image pickup means, the display section 8, the digital signal processing circuit 7 and the microcomputer 14 mainly constitute monitor means, and the camera operation section 17 mainly constitutes selection means.
【0009】次に、図1を参照しながら、本構成のデジ
タルスチルカメラ100の動作概要について説明する。
操作者は図示しないファインダから被写体を覗き、カメ
ラ操作部17のレリーズボタンを押すと、マイコン14
はその信号を検出してモータドライバ11に対してレン
ズ1と絞り2を駆動して、被写体の画像をCCD3に合
焦させる。必要であればストロボ12を発光させる。こ
れらの一連の動作は、自動的にマイコン14が図示しな
いセンサの情報に基づいて行われる。CCD3に合焦さ
れた画像は、タイミング発生器13から発生されるクロ
ックにより順次取り出され、CDS4によりデータに含
まれる雑音を低減する。ここで、CCDの出力信号に含
まれる雑音は、リセット雑音が支配的である。この雑音
を低減するために信号期間に含まれる映像信号とリセッ
ト雑音及び、フィールドスルー期間のみに含まれるリセ
ット雑音から両者を引き算することによりリセット雑音
をキャンセルしている。そして、そのアナログ信号をA
/D変換器5により10ビットのデジタル信号に変換し
て、デジタル信号処理回路7に入力され、フレームメモ
リ6に一時保管される。そして、EEPROM16に格
納されたパラメータにより、マイコン14からの指示に
よりフレームメモリ6に一時保管されたデータを処理
し、その処理された画像をフレームメモリ6に再び格納
する。この処理の中にホワイトバランス処理が含まれ
る。さらに、フレームメモリ6に書き込まれたデータを
表示部8の制御部に送り、LCDにその内容を表示す
る。フレームメモリ6は、少なくとも撮像画素の1画面
以上の画像データを蓄積することができる画像メモリで
あり、例えば、VRAM(Video Random Access Memor
y)、SRAM(Static Random Access Memory)、DRA
M(Dynamic Random Access Memory) 、あるいはSDR
AM(Synchronous DRAM)などの一般に用いられている
メモリを用いる。ここで、操作者の意思により、その画
像をメモリカード10に記録しておきたい場合、カメラ
操作部17から指示をすると、マイコン14はそれに従
って、デジタル信号処理回路7に対して画像をメモリカ
ード10に転送する制御を実行する。つまり、画像処理
された画像をフレームメモリ6から読み出し、画像圧縮
伸張回路9に送る。ここで、JPEG(Joint Photogra
phic Experts Group)方式で画像を圧縮し、メモリカー
ド10に記憶する。この符号化アルゴリズムにはADC
T(適応離散コサイン)を用い、最初に解像度の低い画
像を符号化し、次第に解像度が高くなるような階層符号
化も取り入れられる。このようにメモリカードは、フレ
ームメモリ6に格納されたデータを圧縮し、その圧縮デ
ータを格納しておくためのものである。この他に、例え
ば8MB程度の内部メモリあるいはスマートメディア・
コンパクトフラッシュ(登録商標)などに記録する構成
であってもよい。また、逆にメモリカード10の内容を
表示部8に表示する場合や、外部端子により他のPCと
接続して画像データを転送したい場合は、所望のメモリ
カードをカメラ本体の図示しないコネクタに挿入して、
カメラ操作部17から指示すると、マイコン14はデジ
タル信号処理回路7に指示してメモリカードの圧縮され
た画像データを読み出し、画像圧縮伸張回路9に入力し
て、圧縮のアルゴリズムに従ってデータを伸張して元に
戻し、表示部8に画像を表示する。Next, an outline of the operation of the digital still camera 100 of this configuration will be described with reference to FIG.
When the operator looks into the subject through a viewfinder (not shown) and presses the release button of the camera operation unit 17, the microcomputer 14
Detects the signal and drives the lens 1 and the diaphragm 2 with respect to the motor driver 11 to focus the image of the subject on the CCD 3. The strobe 12 is made to emit light if necessary. These series of operations are automatically performed by the microcomputer 14 based on information from a sensor (not shown). The image focused on the CCD 3 is sequentially taken out by the clock generated from the timing generator 13, and the noise included in the data is reduced by the CDS 4. Here, reset noise is dominant in the noise included in the output signal of the CCD. In order to reduce this noise, the reset noise is canceled by subtracting the video signal and the reset noise included in the signal period and the reset noise included only in the field through period. Then, the analog signal is A
The / D converter 5 converts the signal into a 10-bit digital signal, which is input to the digital signal processing circuit 7 and temporarily stored in the frame memory 6. Then, the data stored in the frame memory 6 is processed according to an instruction from the microcomputer 14 by the parameter stored in the EEPROM 16, and the processed image is stored in the frame memory 6 again. White balance processing is included in this processing. Further, the data written in the frame memory 6 is sent to the control unit of the display unit 8 and the contents are displayed on the LCD. The frame memory 6 is an image memory capable of accumulating image data of at least one screen of image pickup pixels, and is, for example, a VRAM (Video Random Access Memor).
y), SRAM (Static Random Access Memory), DRA
M (Dynamic Random Access Memory) or SDR
A commonly used memory such as AM (Synchronous DRAM) is used. Here, if the operator wishes to record the image on the memory card 10, the camera operating unit 17 gives an instruction, and the microcomputer 14 follows the instruction to the digital signal processing circuit 7 to display the image on the memory card. The control to transfer to 10 is executed. That is, the image-processed image is read from the frame memory 6 and sent to the image compression / expansion circuit 9. Here, JPEG (Joint Photogra
The image is compressed by the phic Experts Group) method and stored in the memory card 10. The encoding algorithm is ADC
Using T (adaptive discrete cosine), a low-resolution image is first encoded, and a hierarchical encoding in which the resolution is gradually increased is also adopted. As described above, the memory card compresses the data stored in the frame memory 6 and stores the compressed data. Other than this, for example, about 8MB internal memory or smart media
It may be configured to record on a compact flash (registered trademark) or the like. On the contrary, when displaying the contents of the memory card 10 on the display unit 8 or when connecting to another PC through an external terminal to transfer image data, insert a desired memory card into a connector (not shown) of the camera body. do it,
When instructed from the camera operation unit 17, the microcomputer 14 instructs the digital signal processing circuit 7 to read the compressed image data of the memory card, inputs it to the image compression / expansion circuit 9, and expands the data according to the compression algorithm. The image is returned to the original state and the image is displayed on the display unit 8.
【0010】図2は、本発明の実施形態の顔画像認識部
の概略ブロック図である。この構成は、被写体の画像を
1枚分記憶する画像メモリ20と、そのメモリから所定
の単位で他のメモリあるいはレジスタに取り込む画像取
り込み部21と、全体の制御を司る制御部22と、複数
の顔の特徴を格納する顔特徴記憶部24と、画像取り込
み部21からのデータと顔特徴記憶部24からのデータ
から顔を認識して各部分を判別する認識・判別部23
と、その結果データからエッジ検出値を検出するエッジ
検出部26と、最終的な判断結果を外部に出力する出力
部25から構成されている。ここで、画像メモリ20は
図1のフレームメモリ6を使用しても良い。また、その
他の部分は図1のマイコン14により実現しても構わな
いし、あるいは専用のLSIにより実現しても良い。
尚、認識・判別部23と顔特徴記憶部24が主として顔
画像認識手段と顔部分判別手段を構成し、エッジ検出部
が主としてエッジ検出手段を構成する。次に、顔画像の
検出の説明に入る前に、公知の顔画像の認識技術につい
て、その概要を説明しておく。尚、本発明での顔認識は
従来の個人の顔として確実に認識できるレベルである必
要は無く、被写体が顔か、あるいはそれ以外の他の物体
かの2者択一の認識レベルで充分である。顔画像認識に
おける対象項目は大きく分けると次の2つとなる。
1)人物の識別:対象人物が誰であるかを識別する。
2)表情識別:人物がどのような表情をしているかを識
別する。
すなわち、1)の人物識別は顔の構造認識であり静的識
別といえる。また、2)の表情識別は顔の形状変化の認
識であり、動的識別ともいえる。本発明の場合は、前記
よりさらに単純な識別といえる。また、これらの識別の
手法として、1)2次元的手法、2)3次元的手法があ
り、コンピュータでは主に1)2次元的手法が使用され
ている。これらの詳しい内容はここでは省略する。ま
た、表情識別の手法として、FACS(Facial ACtion u
nit System)による考え方があり、これを用いると表情
構成要素の特徴点の位置を用いて表現できる。今後は、
これらの技術を用いて入室管理システム、人物像データ
ベースシステム、認識通信システム等に適用が考えられ
る。FIG. 2 is a schematic block diagram of the face image recognition section according to the embodiment of the present invention. This configuration has an image memory 20 for storing one image of a subject, an image capturing unit 21 for capturing a predetermined unit from the memory into another memory or a register, a control unit 22 for controlling the overall control, and a plurality of units. A facial feature storage unit 24 for storing facial features, and a recognition / discrimination unit 23 for recognizing a face from the data from the image capturing unit 21 and the data from the facial feature storage unit 24 to discriminate each part.
And an edge detector 26 that detects an edge detection value from the result data, and an output unit 25 that outputs the final determination result to the outside. Here, the image memory 20 may use the frame memory 6 of FIG. Further, the other parts may be realized by the microcomputer 14 of FIG. 1 or may be realized by a dedicated LSI.
The recognition / discrimination unit 23 and the facial feature storage unit 24 mainly constitute the face image recognition unit and the face portion discrimination unit, and the edge detection unit mainly constitutes the edge detection unit. Next, before entering into the description of face image detection, an outline of a known face image recognition technique will be described. It should be noted that the face recognition in the present invention does not have to be a level that can be surely recognized as a face of an individual in the related art, and a recognition level of alternative between a subject as a face and another object other than that is sufficient. is there. The target items in face image recognition are roughly divided into the following two. 1) Identification of person: Identify who the target person is. 2) Facial expression identification: The facial expression of a person is identified. That is, 1) person identification is structure recognition of a face and can be said to be static identification. The facial expression identification in 2) is recognition of a change in the shape of the face, and can be said to be dynamic identification. In the case of the present invention, it can be said that the identification is simpler than the above. Further, there are 1) a two-dimensional method and 2) a three-dimensional method as methods for identifying these, and in computers, the 1) two-dimensional method is mainly used. The detailed contents of these are omitted here. In addition, FACS (Facial ACtion u
(nit system), which can be expressed using the positions of the feature points of facial expression components. From now on,
It is possible to apply these technologies to entry management systems, person image database systems, recognition communication systems, and the like.
【0011】図3は、本発明の第1の実施形態の動作フ
ローチャートである。図1、図2と併せて参照しながら
説明する。被写体の画像データは前記図1のCCDによ
り光電変換され画像処理されて画像メモリ20に記憶さ
れる。その画像データはある所定の単位(フレーム、バ
イト)に画像取り込み部21に取り込まれる(S1)。
次に、画像データは認識・判別部23に入力され、予め
記憶された各種の顔特徴データを格納した顔特徴記憶部
24とのデータから顔の認識と顔の各部分の判別を行な
う。この認識の方法は各種アルゴリズムに基づいて行わ
れる。その結果は逐一制御部22に伝えられ、顔画像が
認識され(S2)、そのデータから各部分が判別される
(S3)。その結果顔画像の認識と各部分が判別された
場合(YESのルート)制御部22は結果信号を出力部
25に出力し、カメラ操作部17の図示しないレリーズ
ボタンを押下する(S4)。ステップS2、S3で顔画
像が検出されなかった場合や各部分が判別されなかった
場合(NOのルート)、制御部22は結果信号を出力部
25に出力し、ステップS1に戻り、顔画像認識・判別
動作を継続する。以上のように、カメラで最も多い被写
体は圧倒的に人物である。従って、人物を撮影する場
合、そのシャッターチャンスを逃さず撮影することが重
要である。そのためには、被写体が人物であることを認
識しなければならない。そして、人物を特定する最適な
部分は、顔であり、被写体中から顔画像を抽出し、その
顔画像から目、口、鼻、眉などの各パーツが判別できて
初めて鮮明な画像を撮影することができる。特に、デジ
タルカメラは画像信号をデジタル化して記録するため、
コンピュータによる解析が容易である。これにより、操
作性が向上し、シャッターチャンスを逃がすことなく鮮
明な画像を撮影できる。また、顔画像の判別は顔の輪郭
や、目、鼻、眉、耳等の形の特徴を捉えて判別する。そ
して、単純に顔であることだけを判別するのであれば、
輪郭を捉えれば判別可能である。しかし、顔の全てを鮮
明に撮影するには各部分が全て判別できるまで判別動作
を継続する必要がある。これにより、鮮明な画像を撮影
することができる。FIG. 3 is an operation flowchart of the first embodiment of the present invention. Description will be made with reference to FIGS. 1 and 2. The image data of the subject is photoelectrically converted by the CCD shown in FIG. 1, subjected to image processing, and stored in the image memory 20. The image data is captured by the image capturing unit 21 in a predetermined unit (frame, byte) (S1).
Next, the image data is input to the recognition / discrimination unit 23, and the face is recognized and each portion of the face is discriminated from the data with the face characteristic storage unit 24 storing various face characteristic data stored in advance. This recognition method is performed based on various algorithms. The result is transmitted to the control unit 22 one by one, the face image is recognized (S2), and each part is discriminated from the data (S3). As a result, when the face image is recognized and each part is determined (YES route), the control unit 22 outputs a result signal to the output unit 25 and presses a release button (not shown) of the camera operation unit 17 (S4). When the face image is not detected in steps S2 and S3 or when each part is not determined (NO route), the control unit 22 outputs a result signal to the output unit 25 and returns to step S1 to recognize the face image.・ Continue the discrimination operation. As described above, the most common subject in the camera is a person. Therefore, when taking a picture of a person, it is important to take the picture without missing a photo opportunity. For that purpose, it is necessary to recognize that the subject is a person. The most suitable part for identifying a person is a face, and a face image is extracted from the subject, and a clear image is captured only after the parts such as eyes, mouth, nose, and eyebrows can be identified from the face image. be able to. In particular, digital cameras record image signals by digitizing them,
Easy to analyze by computer. As a result, operability is improved, and a clear image can be taken without missing a photo opportunity. Further, the face image is discriminated by capturing the contours of the face and features such as eyes, nose, eyebrows, and ears. And if you just want to determine that it is a face,
It can be identified by capturing the contour. However, in order to clearly capture the entire face, it is necessary to continue the discrimination operation until all the parts can be discriminated. This makes it possible to capture a clear image.
【0012】図4は、本発明の第2の実施形態の動作フ
ローチャートである。図1、図2と併せて参照しながら
説明する。被写体の画像データは前記図1のCCDによ
り光電変換され画像処理されて画像メモリ20に記憶さ
れる。その画像データはある所定の単位(フレーム、バ
イト)に画像取り込み部21に取り込まれる(S1
0)。次に、画像データは認識・判別部23に入力さ
れ、予め記憶された各種の顔特徴データを格納した顔特
徴記憶部24とのデータから顔の認識と顔の各部分の判
別を行なう。この認識の方法は各種アルゴリズムに基づ
いて行われる。その結果は逐一制御部22に伝えられ、
顔画像が認識され(S11)、そのデータから各部分が
判別される(S12)。その結果顔画像の認識と各部分
が判別された場合(YESのルート)制御部22は結果
信号を出力部25に出力し、カメラ操作部17の図示し
ないレリーズボタンを押下する(S13)。ステップS
11、S12で顔画像が検出されなかった場合や各部分
が判別されなかった場合(NOのルート)、制御部22
は結果信号を出力部25に出力し、ステップS10に戻
り、顔画像認識・判別動作を継続する。ここで、メモリ
の記憶容量は有限である。また、撮影者はメモリに記録
された画像から必要な画像を選択したり、あるいは不必
要な画像を消去したりする。このとき、不鮮明な画像を
メモリに記録した場合、前記操作が煩雑となり、しかも
メモリを無駄に使用することになる。これにより、顔画
像の各部分が全て判別できた場合に限り、前記画像信号
を記憶するので、操作性が向上し、メモリの無駄がなく
なる。FIG. 4 is an operation flowchart of the second embodiment of the present invention. Description will be made with reference to FIGS. 1 and 2. The image data of the subject is photoelectrically converted by the CCD shown in FIG. 1, subjected to image processing, and stored in the image memory 20. The image data is captured by the image capturing unit 21 in a predetermined unit (frame, byte) (S1).
0). Next, the image data is input to the recognition / discrimination unit 23, and the face is recognized and each portion of the face is discriminated from the data with the face characteristic storage unit 24 storing various face characteristic data stored in advance. This recognition method is performed based on various algorithms. The result is transmitted to the control unit 22 one by one,
The face image is recognized (S11), and each part is discriminated from the data (S12). As a result, when the face image is recognized and each part is determined (YES route), the control unit 22 outputs a result signal to the output unit 25 and presses a release button (not shown) of the camera operation unit 17 (S13). Step S
If the face image is not detected in S11 or S12 or if each part is not determined (NO route), the control unit 22
Outputs a result signal to the output unit 25, returns to step S10, and continues the face image recognition / discrimination operation. Here, the storage capacity of the memory is finite. Further, the photographer selects a necessary image from the images recorded in the memory or deletes an unnecessary image. At this time, if an unclear image is recorded in the memory, the operation becomes complicated and the memory is wasted. As a result, the image signal is stored only when all the respective parts of the face image can be discriminated, so that the operability is improved and the memory is not wasted.
【0013】図5は、本発明の第3の実施形態の動作フ
ローチャートである。図1、図2と併せて参照しながら
説明する。被写体の画像データは前記図1のCCDによ
り光電変換され画像処理されて画像メモリ20に記憶さ
れる。その画像データはある所定の単位(フレーム、バ
イト)に画像取り込み部21に取り込まれる(S1
5)。次に、画像データは認識・判別部23に入力さ
れ、予め記憶された各種の顔特徴データを格納した顔特
徴記憶部24とのデータから顔の認識と顔の各部分の判
別を行なう。この認識の方法は各種アルゴリズムに基づ
いて行われる。その結果は逐一制御部22に伝えられ、
顔画像が認識され(S16)、そのデータから各部分が
判別される(S17)。その結果顔画像の認識と各部分
が判別された場合(YESのルート)、顔のパーツごと
にエリアを分割し(S18)、エッジ検出部26にデー
タを送る。エッジ検出部26はエリアごとにエッジを検
出し(S19)、目のエリアのエッジがエッジ閾値A以
上かを判断し(S20)、鼻のエリアのエッジがエッジ
閾値B以上かを判断し(S21)、口のエリアのエッジ
がエッジ閾値C以上かを判断し(S22)、全てがYE
Sであれば、制御部22は結果信号を出力部25に出力
し、カメラ操作部17の図示しないレリーズボタンを押
下する(S23)。ステップS20、S21、S22で
閾値以下の場合(NOのルート)、ステップS15へ戻
り、顔画像認識・判別動作及びエッジ検出動作を継続す
る。以上のように、顔の各部分の特徴はエッジにより特
徴づけられる。従って、それぞれの部分のエッジは特有
の閾値を持ち、エッジ検出部26からのエッジ検出値と
この閾値との比較で判断可能である。これにより、エッ
ジ検出値が前記閾値を超えるまで待機若しくは前記エッ
ジ検出部26の動作を継続するので、確実に各部分の画
像を鮮明に撮影することができる。また、前記ではエッ
ジ検出値が閾値を超えるまでエッジ検出動作を継続した
が、この場合検出するまで時間がかかりすぎる場合もで
てくる。そこで、検出時間と、閾値に幅を持たせその許
容範囲を超えた場合画像信号として取り込むか、あるい
はレリーズボタンを押して撮影するようにしてもよい。
これにより、所定の期間前記エッジ検出部26からのエ
ッジ検出値が所定の閾値を超えた場合、前記画像信号を
取り込むか若しくは前記レリーズボタンを押下するの
で、動作時間が速くなる。FIG. 5 is an operation flowchart of the third embodiment of the present invention. Description will be made with reference to FIGS. 1 and 2. The image data of the subject is photoelectrically converted by the CCD shown in FIG. 1, subjected to image processing, and stored in the image memory 20. The image data is captured by the image capturing unit 21 in a predetermined unit (frame, byte) (S1).
5). Next, the image data is input to the recognition / discrimination unit 23, and the face is recognized and each portion of the face is discriminated from the data with the face characteristic storage unit 24 storing various face characteristic data stored in advance. This recognition method is performed based on various algorithms. The result is transmitted to the control unit 22 one by one,
The face image is recognized (S16), and each part is discriminated from the data (S17). As a result, when the face image is recognized and each part is determined (YES route), the area is divided for each face part (S18), and the data is sent to the edge detection unit 26. The edge detection unit 26 detects an edge for each area (S19), determines whether the edge of the eye area is the edge threshold A or more (S20), and determines whether the edge of the nose area is the edge threshold B or more (S21). ), It is determined whether the edge of the mouth area is equal to or more than the edge threshold C (S22), and all are
If S, the control unit 22 outputs a result signal to the output unit 25 and presses a release button (not shown) of the camera operation unit 17 (S23). When it is less than the threshold value in steps S20, S21, and S22 (NO route), the process returns to step S15, and the face image recognition / discrimination operation and the edge detection operation are continued. As described above, the feature of each part of the face is characterized by the edge. Therefore, the edge of each part has a unique threshold value, and it can be determined by comparing the edge detection value from the edge detection unit 26 with this threshold value. As a result, the standby state is maintained until the edge detection value exceeds the threshold value or the operation of the edge detection unit 26 is continued, so that the image of each portion can be captured clearly. Further, in the above, the edge detection operation is continued until the edge detection value exceeds the threshold value, but in this case, it may take too long to detect. Therefore, the detection time and the threshold value may be set to have a range, and if the allowable range is exceeded, the image signal may be captured, or the release button may be pressed to capture an image.
As a result, when the edge detection value from the edge detection unit 26 exceeds the predetermined threshold for a predetermined period, the image signal is taken in or the release button is pressed, so that the operation time is shortened.
【0014】図6は、本発明の第4の実施形態の動作フ
ローチャートである。図1、図2と併せて参照しながら
説明する。被写体の画像データは前記図1のCCDによ
り光電変換され画像処理されて画像メモリ20に記憶さ
れる。その画像データはある所定の単位(フレーム、バ
イト)に画像取り込み部21に取り込まれる(S3
0)。次に、画像データは認識・判別部23に入力さ
れ、予め記憶された各種の顔特徴データを格納した顔特
徴記憶部24とのデータから顔の認識と顔の各部分の判
別を行なう。この認識の方法は各種アルゴリズムに基づ
いて行われる。その結果は逐一制御部22に伝えられ、
顔画像が認識され(S31)、そのデータから各部分が
判別される(S32)。その結果顔画像の認識と各部分
が判別された場合(YESのルート)、図1の表示部8
のLCDに撮像可の旨を表示する(S33)。ステップ
S31かS32でNOの場合、所定時間経過したかを判
断し(S34)、経過した場合(YESのルート)、図
1の表示部8のLCDに撮像否の旨を表示する(S3
5)。以上のように、撮影者はいつ顔画像の判別が終了
したかを認識する必要がある。そのためにカメラに液晶
等の表示手段があれば好ましい。これにより、撮像する
条件を満足した場合、前記表示部8にその旨を表示する
ので、シャッターチャンスを的確に捉えることができ、
操作性が向上する。また、撮像する条件を満足しなかっ
た場合、前記表示部8にその旨を表示するので、撮影者
が次に行なう動作を迅速に進めることができる。FIG. 6 is an operation flowchart of the fourth embodiment of the present invention. Description will be made with reference to FIGS. 1 and 2. The image data of the subject is photoelectrically converted by the CCD shown in FIG. 1, subjected to image processing, and stored in the image memory 20. The image data is captured by the image capturing unit 21 in a predetermined unit (frame, byte) (S3).
0). Next, the image data is input to the recognition / discrimination unit 23, and the face is recognized and each portion of the face is discriminated from the data with the face characteristic storage unit 24 storing various face characteristic data stored in advance. This recognition method is performed based on various algorithms. The result is transmitted to the control unit 22 one by one,
The face image is recognized (S31), and each part is discriminated from the data (S32). As a result, when the face image is recognized and each part is determined (YES route), the display unit 8 in FIG.
The LCD indicates that the image can be taken (S33). In the case of NO in step S31 or S32, it is determined whether or not a predetermined time has elapsed (S34), and when the time has elapsed (YES route), the LCD of the display unit 8 in FIG.
5). As described above, the photographer needs to recognize when the face image determination is completed. Therefore, it is preferable that the camera has a display means such as a liquid crystal. As a result, when the image capturing condition is satisfied, the fact is displayed on the display unit 8, so that it is possible to accurately capture the photo opportunity.
Operability is improved. Further, if the image capturing condition is not satisfied, the fact is displayed on the display unit 8, so that the photographer can quickly perform the next operation.
【0015】図7は、本発明の第5の実施形態の動作フ
ローチャートである。図1、図2と併せて参照しながら
説明する。被写体の画像データは前記図1のCCDによ
り光電変換され画像処理されて画像メモリ20に記憶さ
れる。その画像データはある所定の単位(フレーム、バ
イト)に画像取り込み部21に取り込まれる(S4
0)。次に、画像データは認識・判別部23に入力さ
れ、予め記憶された各種の顔特徴データを格納した顔特
徴記憶部24とのデータから顔の認識と顔の各部分の判
別を行なう。この認識の方法は各種アルゴリズムに基づ
いて行われる。その結果は逐一制御部22に伝えられ、
顔画像が認識され(S41)、そのデータから各部分が
判別される(S42)。その結果顔画像の認識と各部分
が判別された場合(YESのルート)、図1のカメラ操
作部17の図示しない発音器で第1の警報音を発する
(S43)。ステップS41かS42でNOの場合、所
定時間経過したかを判断し(S44)、経過した場合
(YESのルート)、図1のカメラ操作部17の図示し
ない発音器で第2の警報音を発する(S45)。以上の
ように、撮影者はいつ顔画像の判別が終了したかを認識
する必要がある。しかし、常に表示部を見ているわけで
はない。そこで、音により判別するようにすれば、撮影
者によりわかりやすくなる。これにより、撮像する条件
を満足した場合、発音器により音を発するので、表示を
見過ごすことがなくなり、操作性がさらに向上する。ま
た、撮像装置が所定の時間経過後、撮像する条件を満足
しなかった場合、発音器により音を発するので、撮影者
が次に行なう動作を迅速に進めることができる。ここ
で、警報音が警報の内容に関係なく1種類の音だけ発す
る場合、どちらの警報かを判別することができない。そ
こで、警報の内容により音を変えればさらに好ましい。
これにより、警報内容が判別でき、より操作性が向上す
る。FIG. 7 is an operation flowchart of the fifth embodiment of the present invention. Description will be made with reference to FIGS. 1 and 2. The image data of the subject is photoelectrically converted by the CCD shown in FIG. 1, subjected to image processing, and stored in the image memory 20. The image data is captured by the image capturing unit 21 in a predetermined unit (frame, byte) (S4).
0). Next, the image data is input to the recognition / discrimination unit 23, and the face is recognized and each portion of the face is discriminated from the data with the face characteristic storage unit 24 storing various face characteristic data stored in advance. This recognition method is performed based on various algorithms. The result is transmitted to the control unit 22 one by one,
The face image is recognized (S41), and each part is discriminated from the data (S42). As a result, when the face image is recognized and each part is determined (YES route), the first alarm sound is emitted by the sounding device (not shown) of the camera operation unit 17 of FIG. 1 (S43). If NO in step S41 or S42, it is determined whether or not a predetermined time has elapsed (S44), and if it has elapsed (YES route), a second alarm sound is emitted by a sounding device (not shown) of the camera operation unit 17 of FIG. (S45). As described above, the photographer needs to recognize when the face image determination is completed. However, I do not always look at the display. Therefore, if it is determined by the sound, it becomes easier for the photographer to understand. As a result, when the image capturing condition is satisfied, the sound is emitted by the sound generator, so that the display is not overlooked and the operability is further improved. Further, when the image pickup device does not satisfy the image pickup condition after the lapse of a predetermined time, the sound is emitted by the sound generator, so that the photographer can quickly perform the next operation. Here, when only one type of alarm sound is emitted regardless of the content of the alarm, it is not possible to determine which alarm the alarm is. Therefore, it is more preferable to change the sound according to the content of the alarm.
Thereby, the content of the alarm can be discriminated and the operability is further improved.
【0016】以上の説明で、撮影者は常に人物だけを撮
影するとは限らないし、また、撮影したくない人物もい
る。そこで、レリーズボタンの押下を自動にするか手動
にするかを撮影者が選択できるようにすれば、撮影者の
操作性がさらに向上する。In the above description, the photographer does not always photograph only the person, and there are persons who do not want to photograph. Therefore, if the photographer can select whether to press the release button automatically or manually, the operability of the photographer is further improved.
【0017】[0017]
【発明の効果】以上記載のごとく本発明によれば、請求
項1は、該顔部分判別手段により前記顔画像の各部分が
全て判別できた場合、被写体の撮影を実行するレリーズ
ボタンが押下されるか、もしくは撮像動作を行うので、
操作性が向上し、シャッターチャンスを逃がすことなく
鮮明な画像を撮影できる。請求項2は、前記顔画像の各
部分の全てを判別できなかった場合、前記顔部分判別手
段の動作が前記顔画像の各部分の全てを判別できるまで
継続されるので、鮮明な画像を撮影することができる。
請求項3は、顔画像の各部分が全て判別できた場合に限
り、前記画像信号を記憶するので、操作性が向上し、メ
モリの無駄がなくなる。請求項4は、エッジ検出値が前
記閾値を超えるまで待機若しくは前記エッジ検出手段の
動作を継続するので、確実に各部分の画像を鮮明に撮影
することができる。請求項5は、所定の期間前記エッジ
検出手段からのエッジ検出値が所定の閾値を超えた場
合、前記画像信号を取り込むか若しくは前記レリーズボ
タンを押下するので、動作時間が速くなる。請求項6
は、撮像する条件を満足した場合、前記表示手段にその
旨を表示するので、シャッターチャンスを的確に捉える
ことができ、操作性が向上する。請求項7は、撮像する
条件を満足しなかった場合、前記表示手段にその旨を表
示するので、撮影者が次に行なう動作を迅速に進めるこ
とができる。請求項8は、撮像する条件を満足した場
合、前記警報手段により音を発するので、表示を見過ご
すことがなくなり、操作性がさらに向上する。請求項9
は、前記撮像装置が所定の時間経過後、撮像する条件を
満足しなかった場合、前記警報手段により音を発するの
で、撮影者が次に行なう動作を迅速に進めることができ
る。請求項10は、前記撮像装置が撮像する条件を満足
した場合と満足しなかった場合とで前記音の周波数若し
くはメロディを変えるので、警報内容が判別でき、より
操作性が向上する。請求項11は、選択手段が押下否を
選択した場合、前記レリーズボタンは手動により押下さ
れるので、撮影者の操作性がさらに向上する。As described above, according to the present invention, in claim 1, when all the respective portions of the face image can be discriminated by the face portion discriminating means, the release button for photographing the subject is pressed. Or the image capturing operation is performed,
Operability is improved, and you can shoot clear images without missing a photo opportunity. According to a second aspect of the present invention, when all the respective parts of the face image cannot be discriminated, the operation of the face part discriminating means is continued until all the respective parts of the face image can be discriminated. can do.
According to the third aspect, the image signal is stored only when all the respective parts of the face image can be discriminated, so that the operability is improved and the memory is not wasted. According to the fourth aspect of the invention, the edge detection value waits until it exceeds the threshold value or the operation of the edge detection means is continued, so that the image of each portion can be surely captured clearly. According to a fifth aspect of the present invention, when the edge detection value from the edge detecting means exceeds a predetermined threshold for a predetermined period, the image signal is captured or the release button is pressed, so that the operation time is shortened. Claim 6
When the image capturing condition is satisfied, the fact is displayed on the display unit, so that it is possible to accurately capture the photo opportunity and improve the operability. According to the seventh aspect, when the image capturing condition is not satisfied, the fact is displayed on the display means, so that the photographer can quickly proceed with the next operation. According to the eighth aspect, when the image capturing condition is satisfied, the alarm means emits a sound, so that the display is not overlooked and the operability is further improved. Claim 9
If the image pickup device does not satisfy the image pickup condition after a lapse of a predetermined time, the alarm means emits a sound, so that the photographer can quickly perform the next operation. According to the tenth aspect, the frequency of the sound or the melody is changed depending on whether or not the image pickup condition is satisfied by the image pickup device, so that the alarm content can be discriminated and the operability is further improved. According to the eleventh aspect, since the release button is manually pressed when the selection means selects whether or not to press the button, the operability of the photographer is further improved.
【図1】本発明の実施形態のデジタルスチルカメラのブ
ロック図である。FIG. 1 is a block diagram of a digital still camera according to an embodiment of the present invention.
【図2】本発明の実施形態の顔画像認識部の概略ブロッ
ク図である。FIG. 2 is a schematic block diagram of a face image recognition unit according to the embodiment of the present invention.
【図3】本発明の第1の実施形態の動作フローチャート
である。FIG. 3 is an operation flowchart of the first embodiment of the present invention.
【図4】本発明の第2の実施形態の動作フローチャート
である。FIG. 4 is an operation flowchart of the second embodiment of the present invention.
【図5】本発明の第3の実施形態の動作フローチャート
である。FIG. 5 is an operation flowchart of the third embodiment of the present invention.
【図6】本発明の第4の実施形態の動作フローチャート
である。FIG. 6 is an operation flowchart of the fourth embodiment of the present invention.
【図7】本発明の第5の実施形態の動作フローチャート
である。FIG. 7 is an operation flowchart of the fifth embodiment of the present invention.
20 画像メモリ、21 画像取り込み部、22 制御
部、23 認識・判別部、24 顔特徴記憶部、25
出力部、26 エッジ検出部20 image memory, 21 image capturing unit, 22 control unit, 23 recognition / determination unit, 24 face feature storage unit, 25
Output unit, 26 Edge detection unit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) // H04N 101:00 H04N 101:00 Fターム(参考) 2H054 AA01 2H102 AA71 BB08 BB33 5B057 AA20 BA02 BA19 BA26 DA08 DB02 DB06 DB09 DC16 DC36 5C022 AA13 AB55 AC31 AC42 AC52 AC69 5L096 AA02 AA06 BA08 CA02 FA06 GA19 JA16 ─────────────────────────────────────────────────── ─── Continued Front Page (51) Int.Cl. 7 Identification Code FI Theme Coat (Reference) // H04N 101: 00 H04N 101: 00 F Term (Reference) 2H054 AA01 2H102 AA71 BB08 BB33 5B057 AA20 BA02 BA19 BA26 DA08 DB02 DB06 DB09 DC16 DC36 5C022 AA13 AB55 AC31 AC42 AC52 AC69 5L096 AA02 AA06 BA08 CA02 FA06 GA19 JA16
Claims (11)
号に変換して出力する画像撮像手段を有する撮像装置に
おいて、 前記画像信号の中から顔画像を認識する顔画像認識手段
と、該顔画像認識手段のデータから前記顔画像の各部分
を判別する顔部分判別手段を更に備え、 該顔部分判別手段により前記顔画像の各部分が全て判別
できた場合、被写体の撮影を実行するレリーズボタンが
押下されるか、もしくは撮像動作を行うことを特徴とす
る撮像装置。1. An image pickup apparatus having an image pickup means for converting an optical signal obtained through an optical system into an image signal and outputting the image signal, comprising: a face image recognition means for recognizing a face image from the image signal; A face part discriminating means for discriminating each part of the face image from the data of the face image recognizing means is further provided, and when each part of the face image can be discriminated by the face part discriminating means, photographing of a subject is executed. An image pickup apparatus, wherein a release button is pressed or an image pickup operation is performed.
分の全てを判別できなかった場合、前記顔部分判別手段
の動作が前記顔画像の各部分の全てを判別できるまで継
続されることを特徴とする請求項1記載の撮像装置。2. When the face portion discriminating means cannot discriminate all the respective portions of the face image, the operation of the face portion discriminating means is continued until all the portions of the face image can be discriminated. The image pickup apparatus according to claim 1, wherein:
に、前記顔部分判別手段により前記顔画像の各部分が全
て判別できた場合に限り、前記画像信号を記憶すること
を特徴とする請求項1、2記載の撮像装置。3. The image signal is continuously stored, and the image signal is stored only when all the respective portions of the face image can be discriminated by the face portion discriminating means. 2. The imaging device according to 2.
分ごとにエッジの特徴点を検出するエッジ検出手段を有
し、該エッジ検出手段からのエッジ検出値が所定の閾値
より小さい場合、前記エッジ検出値が前記閾値を超える
まで待機若しくは前記エッジ検出手段の動作を継続する
ことを特徴とする請求項1、2記載の撮像装置。4. The face portion discriminating means has edge detecting means for detecting a feature point of an edge for each portion of the face image, and when an edge detection value from the edge detecting means is smaller than a predetermined threshold value, The image pickup apparatus according to claim 1, wherein the edge detection value is on standby or the operation of the edge detection unit is continued until the edge detection value exceeds the threshold value.
記エッジ検出手段を繰り返し動作させ、所定の期間前記
エッジ検出手段からのエッジ検出値が所定の閾値を超え
た場合、前記画像信号を取り込むか若しくは前記レリー
ズボタンを押下することを特徴とする請求項1、2記載
の撮像装置。5. The image signal is captured when the edge detection unit repeatedly operates while continuously capturing the image signal and the edge detection value from the edge detection unit exceeds a predetermined threshold for a predetermined period. 3. The image pickup device according to claim 1, wherein the release button is pressed.
示手段を更に備え、前記撮像装置が撮像する条件を満足
した場合、前記表示手段にその旨を表示することを特徴
とする請求項1〜5記載の撮像装置。6. The image pickup device further comprises display means for displaying data contents, and when the image pickup condition of the image pickup device is satisfied, a message to that effect is displayed on the display means. 5. The imaging device according to item 5.
時間経過後、撮像する条件を満足しなかった場合、前記
表示手段にその旨を表示することを特徴とする請求項1
〜5記載の撮像装置。7. The display means displays a message to that effect on the display means when the image pickup device does not satisfy the image pickup condition after a predetermined time has elapsed.
The image pickup device according to any one of claims 1 to 5.
に備え、前記撮像装置が撮像する条件を満足した場合、
前記警報手段により音を発することを特徴とする請求項
1〜5記載の撮像装置。8. The image pickup device further comprises alarm means for emitting a sound, and when the image pickup condition of the image pickup device is satisfied,
The image pickup apparatus according to claim 1, wherein the alarm means emits a sound.
時間経過後、撮像する条件を満足しなかった場合、前記
警報手段により音を発することを特徴とする請求項1〜
5記載の撮像装置。9. The alarm means emits a sound by the alarm means when the image capturing device does not satisfy a condition for capturing an image after a predetermined time elapses.
5. The imaging device according to item 5.
撮像する条件を満足した場合と満足しなかった場合とで
前記音の周波数若しくはメロディを変えることを特徴と
する請求項8、9記載の撮像装置。10. The sound of the alarm means changes the frequency or melody of the sound depending on whether or not the image pickup condition of the image pickup device is satisfied. Imaging device.
別手段が顔画像を検出した場合でも、前記レリーズボタ
ンを押下るか否かを選択する選択手段を更に設け、該選
択手段が押下否を選択した場合、前記レリーズボタンは
手動により押下されることを特徴とする請求項1記載の
撮像装置。11. The release button further comprises selection means for selecting whether or not to press the release button even when the face portion determination means detects a face image, and the selection means selects whether or not the release button is pressed. The image pickup apparatus according to claim 1, wherein the release button is manually pressed when pressed.
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001284162A JP4364465B2 (en) | 2001-09-18 | 2001-09-18 | Imaging device |
US10/244,670 US7298412B2 (en) | 2001-09-18 | 2002-09-17 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
US11/745,753 US7973853B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device, automatic focusing method, automatic exposure method calculating an exposure based on a detected face |
US11/745,686 US7978261B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
US11/745,703 US7903163B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
US11/745,789 US7920187B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device that identifies portions of a face |
US11/745,775 US7787025B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device that cuts out a face image from subject image data |
US13/012,558 US8421899B2 (en) | 2001-09-18 | 2011-01-24 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001284162A JP4364465B2 (en) | 2001-09-18 | 2001-09-18 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003092701A true JP2003092701A (en) | 2003-03-28 |
JP4364465B2 JP4364465B2 (en) | 2009-11-18 |
Family
ID=19107535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001284162A Expired - Fee Related JP4364465B2 (en) | 2001-09-18 | 2001-09-18 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4364465B2 (en) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005266984A (en) * | 2004-03-17 | 2005-09-29 | Konica Minolta Holdings Inc | Image processing system |
JP2006074368A (en) * | 2004-09-01 | 2006-03-16 | Nikon Corp | Electronic camera |
JP2006155084A (en) * | 2004-11-26 | 2006-06-15 | Olympus Corp | Information terminal unit and state display system |
JP2007067560A (en) * | 2005-08-29 | 2007-03-15 | Canon Inc | Imaging apparatus and its control method, computer program and recording medium |
JP2007184787A (en) * | 2006-01-06 | 2007-07-19 | Fujifilm Corp | Digital camera |
JP2009010776A (en) * | 2007-06-28 | 2009-01-15 | Sony Corp | Imaging device, photography control method, and program |
JP2009017215A (en) * | 2007-07-04 | 2009-01-22 | Canon Inc | Image processing apparatus, image processing method, and image processing program |
JP2009169282A (en) * | 2008-01-18 | 2009-07-30 | Casio Comput Co Ltd | Imaging apparatus and its program |
US7623678B2 (en) | 2005-02-24 | 2009-11-24 | Funai Electric Co., Ltd. | Image pick-up apparatus having a function of automatically picking-up an object image and automatic image pick-up method |
US7660519B2 (en) | 2005-08-31 | 2010-02-09 | Nikon Corporation | Autofocus apparatus |
JP2010183185A (en) * | 2009-02-03 | 2010-08-19 | Nec Corp | Method for recording photographed image by digital camera, digital camera and program |
CN101867718A (en) * | 2010-02-26 | 2010-10-20 | 深圳市同洲电子股份有限公司 | Method and device for taking picture automatically |
JP2011018362A (en) * | 2003-07-18 | 2011-01-27 | Canon Inc | Image processing apparatus, imaging apparatus and image processing method |
CN101382721B (en) * | 2007-08-31 | 2012-09-19 | 富士胶片株式会社 | Image pickup apparatus and focusing condition displaying method |
US8284264B2 (en) | 2006-09-19 | 2012-10-09 | Fujifilm Corporation | Imaging apparatus, method, and program |
US8379942B2 (en) | 2007-05-02 | 2013-02-19 | Casio Computer Co., Ltd. | Imaging device, recording medium having recorded therein imaging control program, and imaging control method |
US8477993B2 (en) | 2007-09-28 | 2013-07-02 | Fujifilm Corporation | Image taking apparatus and image taking method |
US8515136B2 (en) | 2003-07-18 | 2013-08-20 | Canon Kabushiki Kaisha | Image processing device, image device, image processing method |
-
2001
- 2001-09-18 JP JP2001284162A patent/JP4364465B2/en not_active Expired - Fee Related
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8942436B2 (en) | 2003-07-18 | 2015-01-27 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
JP2013178816A (en) * | 2003-07-18 | 2013-09-09 | Canon Inc | Image processing apparatus, imaging apparatus and image processing method |
US8515136B2 (en) | 2003-07-18 | 2013-08-20 | Canon Kabushiki Kaisha | Image processing device, image device, image processing method |
JP2011018362A (en) * | 2003-07-18 | 2011-01-27 | Canon Inc | Image processing apparatus, imaging apparatus and image processing method |
JP2005266984A (en) * | 2004-03-17 | 2005-09-29 | Konica Minolta Holdings Inc | Image processing system |
JP2006074368A (en) * | 2004-09-01 | 2006-03-16 | Nikon Corp | Electronic camera |
JP4573634B2 (en) * | 2004-11-26 | 2010-11-04 | オリンパス株式会社 | Information terminal device and status display system |
JP2006155084A (en) * | 2004-11-26 | 2006-06-15 | Olympus Corp | Information terminal unit and state display system |
US7623678B2 (en) | 2005-02-24 | 2009-11-24 | Funai Electric Co., Ltd. | Image pick-up apparatus having a function of automatically picking-up an object image and automatic image pick-up method |
JP2007067560A (en) * | 2005-08-29 | 2007-03-15 | Canon Inc | Imaging apparatus and its control method, computer program and recording medium |
US7660519B2 (en) | 2005-08-31 | 2010-02-09 | Nikon Corporation | Autofocus apparatus |
JP2007184787A (en) * | 2006-01-06 | 2007-07-19 | Fujifilm Corp | Digital camera |
US8284264B2 (en) | 2006-09-19 | 2012-10-09 | Fujifilm Corporation | Imaging apparatus, method, and program |
US8379942B2 (en) | 2007-05-02 | 2013-02-19 | Casio Computer Co., Ltd. | Imaging device, recording medium having recorded therein imaging control program, and imaging control method |
US8624988B2 (en) | 2007-06-28 | 2014-01-07 | Sony Corporation | Image pickup apparatus, image pickup method, and program thereof |
JP2009010776A (en) * | 2007-06-28 | 2009-01-15 | Sony Corp | Imaging device, photography control method, and program |
JP2009017215A (en) * | 2007-07-04 | 2009-01-22 | Canon Inc | Image processing apparatus, image processing method, and image processing program |
CN101382721B (en) * | 2007-08-31 | 2012-09-19 | 富士胶片株式会社 | Image pickup apparatus and focusing condition displaying method |
US8477993B2 (en) | 2007-09-28 | 2013-07-02 | Fujifilm Corporation | Image taking apparatus and image taking method |
JP4614143B2 (en) * | 2008-01-18 | 2011-01-19 | カシオ計算機株式会社 | Imaging apparatus and program thereof |
US8035729B2 (en) | 2008-01-18 | 2011-10-11 | Casio Computer Co., Ltd. | Imaging apparatus and program thereof |
US8253850B2 (en) | 2008-01-18 | 2012-08-28 | Casio Computer Co., Ltd. | Imaging apparatus and program thereof |
JP2009169282A (en) * | 2008-01-18 | 2009-07-30 | Casio Comput Co Ltd | Imaging apparatus and its program |
JP2010183185A (en) * | 2009-02-03 | 2010-08-19 | Nec Corp | Method for recording photographed image by digital camera, digital camera and program |
CN101867718A (en) * | 2010-02-26 | 2010-10-20 | 深圳市同洲电子股份有限公司 | Method and device for taking picture automatically |
Also Published As
Publication number | Publication date |
---|---|
JP4364465B2 (en) | 2009-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4364464B2 (en) | Digital camera imaging device | |
JP4364465B2 (en) | Imaging device | |
US7920187B2 (en) | Image pickup device that identifies portions of a face | |
JP4645685B2 (en) | Camera, camera control program, and photographing method | |
US8077216B2 (en) | Image pickup apparatus with a human face detecting function, method and program product for detecting a human face | |
JP5401420B2 (en) | Imaging device | |
JP4421151B2 (en) | Digital camera imaging device | |
US20070242149A1 (en) | Image display control apparatus, method of controlling the same, and control program therefor | |
JP5129683B2 (en) | Imaging apparatus and control method thereof | |
JP2008084213A (en) | Image processor, imaging apparatus, image processing method, and program | |
JP4802884B2 (en) | Imaging apparatus, captured image recording method, and program | |
JP2010171797A (en) | Imaging apparatus and program | |
JP4127521B2 (en) | Digital camera and control method thereof | |
JP4364466B2 (en) | Imaging device | |
JP2010063085A (en) | Imaging device, photographing method, and program | |
JP2007049631A (en) | Imaging apparatus | |
JP4560805B2 (en) | Imaging apparatus and program thereof | |
JP4632417B2 (en) | Imaging apparatus and control method thereof | |
JP2007208355A (en) | Photographing device, method, and program | |
JP3667065B2 (en) | Imaging recording apparatus and control method thereof | |
JP5640377B2 (en) | Image processing apparatus, camera, and image processing program | |
JP2010004357A (en) | Image capturing apparatus and image capturing method | |
JP2012029119A (en) | Display control device, camera and display device | |
JP2003209725A (en) | Digital camera | |
JP2006253761A (en) | Imaging device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070323 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090819 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |