JP2010048994A - Image pickup device - Google Patents
Image pickup device Download PDFInfo
- Publication number
- JP2010048994A JP2010048994A JP2008212548A JP2008212548A JP2010048994A JP 2010048994 A JP2010048994 A JP 2010048994A JP 2008212548 A JP2008212548 A JP 2008212548A JP 2008212548 A JP2008212548 A JP 2008212548A JP 2010048994 A JP2010048994 A JP 2010048994A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- focus
- imaging
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、顔検出(顔認識)して焦点調節する焦点調節装置を備えた撮像装置、特に低輝度において効果的な撮像装置に関する。 The present invention relates to an image pickup apparatus including a focus adjustment device that performs face adjustment by performing face detection (face recognition), and particularly relates to an image pickup apparatus effective at low luminance.
従来の画像コントラスト法による焦点検出装置を備えたデジタルカメラにおいて、顔検出して検出した顔を焦点検出領域として焦点調節ものが知られている(特許文献1)。この特許文献1には、夜景などの低輝度環境の中では顔検出が困難なため、ストロボプリ発光時に顔検出する技術が記載されている。また、近接撮影時には、画像領域中のストロボ光の照射中心位置と画像領域の中心位置のずれから概算距離を求め、フォーカスサーチ範囲をその概算距離を含む範囲に制限する発明が知られている(特許文献2)。
顔検出して検出した顔に対して焦点調節する場合は、顔検出をモニタモード撮影中に実行しておくと、シャッタボタンが押されたときに改めて顔検出しなくて済むので、撮影までのタイムラグの短縮が可能になり好ましい。しかしながら、顔検出は撮影した画像データを利用するので、モニタモード撮影によって取得した画像データは、低輝度時には画像データの出力が低過ぎて、正確な顔検出ができない。逆光時も低輝度時と同様の問題がある。 When adjusting the focus for a detected face, if face detection is performed during monitor mode shooting, it is not necessary to detect the face again when the shutter button is pressed. It is preferable because the time lag can be shortened. However, since face detection uses photographed image data, the image data obtained by monitor mode photography has an output of image data that is too low when the luminance is low, and accurate face detection cannot be performed. There is a problem similar to that at low luminance when backlit.
また、モニタモード撮影は、焦点調節レンズ群が前回の撮影状態のまま、過焦点距離または任意の焦点距離に位置しているので、低輝度時や逆光時にモニタモード撮影した画像により顔の特徴を検出するのは困難であり、顔検出するのは厳しかった。 In monitor mode shooting, the focus adjustment lens group is located at the hyperfocal distance or an arbitrary focal length in the previous shooting state. It was difficult to detect and face detection was severe.
そこで本発明は、低輝度時においても顔検出して顔に合焦させて撮影することが可能な撮像装置を提供することを目的とする。 Accordingly, an object of the present invention is to provide an imaging apparatus capable of detecting a face and focusing on the face even when the luminance is low.
かかる課題を解決する本発明は、焦点調節光学系を含む撮影光学系、撮像手段、この撮像手段により撮影した画像を表示するモニタと、ストロボ手段と、上記撮像手段が一定時間間隔で撮影した画像を上記モニタに表示するモニタモード撮影を制御する制御手段と、上記焦点調節光学系を近位置から遠位置までの可動範囲内において移動しながら上記撮像手段で撮影し、撮影した画像に基づいて焦点状態を検出するフォーカスサーチ機能を有する焦点調節手段と、上記モニタモード撮影した画像から人物の顔画像を検出する顔検出手段と、を備え、上記制御手段は、上記顔検出手段が顔画像を検出したときは、上記焦点検出手段にその顔画像を含む領域をフォーカスエリアに設定してフォーカスサーチさせ、上記顔検出手段が顔画像を検出しなかったときは、上記焦点調節手段に上記焦点調節光学系をバストアップ撮影距離に移動させ、上記ストロボ手段に上記バストアップ撮影距離において適正露出となるプリ発光量で発光させて上記撮像手段に撮影させ、上記顔検出手段にこの撮像した画像から人物の顔画像を検出させて、上記焦点検出手段にこの検出した顔画像を含む領域をフォーカスエリアに設定してフォーカスサーチさせること、に特徴を有する。 The present invention that solves such a problem is an imaging optical system including a focus adjustment optical system, an imaging unit, a monitor that displays an image captured by the imaging unit, a strobe unit, and an image captured by the imaging unit at regular time intervals. The control means for controlling the monitor mode photographing for displaying the image on the monitor and the imaging means while photographing the focus adjusting optical system within the movable range from the near position to the far position, and focusing based on the photographed image. A focus adjustment unit having a focus search function for detecting a state; and a face detection unit for detecting a face image of a person from the monitor mode imaged image, wherein the control unit detects the face image. When the focus detection unit performs the focus search by setting an area including the face image as a focus area, the face detection unit detects the face image. When this occurs, the focus adjustment unit moves the focus adjustment optical system to a bust-up shooting distance, and the strobe unit emits light with a pre-emission amount that provides an appropriate exposure at the bust-up shooting distance, and the imaging unit shoots. And causing the face detection means to detect a face image of a person from the captured image, and causing the focus detection means to set a region including the detected face image as a focus area and perform a focus search. .
さらに本発明の上記制御手段は、上記プリ発光させて撮像しても上記顔検出手段が顔検出できなかった場合は、撮影した画像の輝度が飽和するほど大きかったかどうか判定し、飽和するほど大きかったと判定した場合は、上記1回目のプリ発光量よりも小さいプリ発光量を設定し、上記焦点調節光学系を上記バストアップ位置よりも近側に移動し、上記ストロボ手段をプリ発光させて撮影し、上記顔検出手段により顔検出する。人物がバストアップ位置よりもより近距離に位置した場合でも、顔検出し、合焦させることが可能になる。 Further, the control means of the present invention determines whether or not the brightness of the photographed image is saturated if the face detection means fails to detect the face even if the pre-flash is used for imaging, and the saturation is so large that the image is saturated. If it is determined that the pre-emission amount is smaller than the first pre-emission amount, the focus adjustment optical system is moved closer to the bust-up position, and the flash unit is pre-emission to take a picture. The face is detected by the face detecting means. Even when a person is located at a closer distance than the bust-up position, the face can be detected and focused.
上記制御手段が撮影した画像の輝度が飽和するほど大きくなかったと判定した場合は、上記画像の輝度が小さいかどうか判定し、小さいと判定した場合は、上記1回目のプリ発光量よりも大きいプリ発光量を設定し、上記焦点調節光学系を上記バストアップ位置よりも遠側に移動し、上記ストロボ手段をプリ発光させて撮像し、上記顔検出手段により顔検出する。人物がバストアップ位置よりもより遠距離に位置した場合でも、顔検出し、合焦させることが可能になる。 When it is determined that the brightness of the captured image is not so high that the control means is saturated, it is determined whether the brightness of the image is low. If it is determined that the brightness is low, a pre-light emission amount greater than the first pre-emission amount is determined. A light emission amount is set, the focus adjustment optical system is moved farther than the bust-up position, the strobe unit is pre-flashed and imaged, and the face is detected by the face detection unit. Even when a person is located farther than the bust-up position, the face can be detected and focused.
上記制御手段が小さいと判定しなかった場合は、過焦点距離で適正露光となるプリ発光量を設定し、上記焦点調節光学系を上記過焦点距離に移動し、上記ストロボをプリ発光させて撮像し、上記顔検出手段により顔検出する。人物がバストアップ撮影距離における被写界深度内顔検出可能範囲よりも遠距離に居た場合でも、顔検出し、合焦させることが可能になる。 If it is not determined that the control means is small, the pre-emission amount for proper exposure is set at the hyperfocal distance, the focus adjustment optical system is moved to the hyperfocal distance, and the strobe is pre-flashed for imaging. The face is detected by the face detecting means. Even when a person is far away from the within-depth face detection range at the bust-up shooting distance, the face can be detected and focused.
実際的には、上記焦点検出手段は、上記顔検出手段が検出した顔画像をフォーカスエリアに設定してフォーカスサーチするときは、近位置からフォーカスサーチを開始して合焦位置を検出したときにフォーカスサーチを終了させてその合焦位置に焦点調節光学系を移動させる。合焦位置を検出したときにフォーカスサーチを終了させて合焦させるので、焦点調節時間を短縮できる。上記顔検出手段が顔画像を検出しなかったときは、近位置から遠位置までフォーカスサーチすることで、人物以外が被写体の場合も合焦させることが可能になる。 Actually, when the focus detection unit sets the focus image with the face image detected by the face detection unit as a focus area and starts the focus search, the focus detection unit starts the focus search from the near position and detects the in-focus position. The focus search is terminated and the focus adjustment optical system is moved to the in-focus position. When the in-focus position is detected, the focus search is terminated and in-focus is performed, so that the focus adjustment time can be shortened. When the face detection means does not detect a face image, a focus search is performed from a near position to a far position, so that it is possible to focus even when a subject other than a person is a subject.
バストアップ撮影距離が得られる撮影倍率を予め設定し、撮影時の焦点距離と上記予め設定された撮影倍率からバストアップ撮影距離を算出することが好ましい。撮影時の焦点距離に基づき、簡単にバストアップ撮影距離を求めることができる。 It is preferable that a shooting magnification at which the bust-up shooting distance is obtained is set in advance, and the bust-up shooting distance is calculated from the focal length at the time of shooting and the preset shooting magnification. Based on the focal length at the time of shooting, the bust-up shooting distance can be easily obtained.
以上の通り本発明の撮像装置によれば、モニタモード撮影中に顔検出できなかったときは、ストロボ手段をプリ発光させて顔検出するので、顔が低輝度の場合、例えば被写体が暗くて顔検出できなかった場合、または逆光のため顔が暗くて顔検出できなかった場合でも顔検出が可能になり、顔に対して合焦させることが可能になる。 As described above, according to the imaging apparatus of the present invention, when a face cannot be detected during monitor mode shooting, the strobe unit is pre-flashed to detect the face. Therefore, when the face has low brightness, for example, the subject is dark and the face Even if the face cannot be detected due to backlight failure, the face can be detected even when the face is too dark to detect the face, and the face can be focused.
本発明について、添付図面に示した実施形態を参照して詳述する。図1は、撮像装置として、画像コントラストAF方式のAF撮像装置を備えたデジタルカメラに適用した実施形態の要部構成をブロックで示す図である。このデジタルカメラは、撮影光学系としての撮影レンズブロックLによって形成された被写体像をCCDイメージセンサ11で撮影するコンパクトデジタルカメラである。撮影レンズブロックLは、ズーミング用の変倍レンズ群LZと、焦点調節用のフォーカスレンズ群LFを含み、光路途中に機械的なシャッタ及び絞りとして機能する絞り・シャッタユニット31が設けられている。絞り・シャッタユニット31は絞り・シャッタ制御回路33により駆動され、フォーカスレンズ群LFはフォーカス制御回路35を介してフォーカスモータMFにより駆動され、変倍レンズ群LZはズーム制御回路37を介してズームモータMZにより駆動される。フォーカスレンズ群LFは、最短撮影距離となる近位置から無限遠合焦位置となる遠位置まで移動可能である。なお、このデジタルカメラはズームボタンを備えていて、制御部15は、ズームボタン操作に応じてズームモータMZを駆動し、変倍レンズ群LZを移動させてズーミングする。
The present invention will be described in detail with reference to the embodiments shown in the accompanying drawings. FIG. 1 is a block diagram showing a main configuration of an embodiment applied to a digital camera having an image contrast AF type AF imaging device as an imaging device. This digital camera is a compact digital camera that uses a CCD image sensor 11 to photograph a subject image formed by a photographing lens block L as a photographing optical system. The photographing lens block L includes a zooming variable power lens group LZ and a focus adjusting focus lens group LF, and a diaphragm /
このCCDイメージセンサ11は、制御部15の制御下で動作するCCD駆動回路13によって、モニタモード撮影及びスチル撮影動作する。制御部15はCPUによって構成され、さらに各種データを格納するフラッシュROM15a、AE用データなどを一時的に格納するRAM15bを備えている。
The CCD image sensor 11 performs monitor mode photographing and still photographing operation by a
CCDイメージセンサ11が撮影し、出力した映像信号は、相関二重サンプリング回路(CDS)17でノイズが除去され、A/D変換器19でデジタル信号に変換されて、RAWデータ回路21においてRAWデータが生成され、画像処理回路23とAEデータ処理回路25に送られる。画像処理回路(DSP)23は、RAWデータに所定の画像信号処理(ホワイトバランス調整、ガンマ補正等)を施してモニタ表示用の映像データに変換してモニタ44に表示し、また、RAWデータのまま、あるいはJPEGデータ等に変換してメモリ43に書き込む。メモリ43は、リムーバブルフラッシュメモリカードが一般的である。
The image signal captured and output by the CCD image sensor 11 is subjected to noise removal by a correlated double sampling circuit (CDS) 17, converted into a digital signal by an A /
AEデータ処理回路25に送られたRAWデータは、AE演算に使用する画像領域のデータがAE用データに変換され、このAE用データを使用してAE演算回路27によって演算された露出値が制御部15に送られる。制御部15では、撮影モード、露出値等に応じて、絞り値及びシャッタ速度等の現露出条件を設定する。動作モードにはモニタモードとスチルモードがあり、モニタモード撮影の場合は、フレームレート、開放絞り値における電子シャッタ速度を設定してそのフレームレート、電子シャッタ速度でCCD駆動回路13を介してCCDイメージセンサ11を駆動して撮像し、撮像した画像を画像処理回路23を介してモニタ44に表示する。スチルモード撮影の場合は、モニタモード撮影の際に得たシャッタ速度、絞り値で絞り・シャッタユニット31を駆動し、CCD駆動回路13を介してCCDイメージセンサ11を駆動して撮像し、撮像した画像データを画像処理回路23を介してメモリ43に書き込む。また、モニタモード撮影の場合は、フォーカスレンズ群LFを過焦点距離位置またはパンフォーカス位置に保持しておくことが好ましい。また、撮影モードとしてポートレート(人物撮影)モードが選択されている場合は、後述のバストアップ位置に保持することが好ましい。
In the RAW data sent to the AE
さらにこのカメラは、内蔵ストロボとして、ストロボ発光部41及びストロボ制御回路39を備えている。ストロボ制御回路39は、制御部15からの指令によりメインコンデンサへの充電及び発光を制御する。制御部15及びストロボ制御回路39により、ストロボ制御手段を構成している。また、制御部15は、ストロボ発光方法を設定するストロボ発光モードを選択する機能など、ストロボ発光に関する選択、制御機能を備えている。
The camera further includes a strobe
このデジタルカメラは、CCDイメージセンサ11が撮像し、出力した画像信号に基づいて、この画像信号の中に顔画像に関する画像信号が含まれているか否か検出する顔画像認識機能を備えている。この実施形態においては、CCDイメージセンサ11により撮像して取得したRAWデータを使用して画像処理回路23が顔検出処理(顔画像認識及び画像領域抽出処理)を実行する。制御部15は、フラッシュROM15aに書き込まれた所定のプログラムに基づいて、人物の顔検出(顔認識、顔画像の検出)、顔画像が含まれる領域、つまり顔画像領域を検出する。顔画像の認識、顔画像領域の抽出処理は、画像全体の中における肌色の検出、肌色領域の中から人の顔における目、鼻、または口などの特徴点の検出、または顔の輪郭の抽出等、従来公知の顔、顔画像の認識方法による。
This digital camera has a face image recognition function for detecting whether or not an image signal related to a face image is included in the image signal based on the image signal captured and output by the CCD image sensor 11. In this embodiment, the
画像処理回路23によって顔検出(顔画像検出)したときは、その顔画像情報として、顔画像の中心位置、大きさに関する情報がフォーカス制御回路35に通信される。
When face detection (face image detection) is performed by the
このデジタルカメラのAF機能は、いわゆる画像コントラスト法によるものである。このデジタルカメラのAF処理について、図2を参照して説明する。図2(A)に撮影画面51を示したように、近距離側から、左下に人物A、中央右よりに人物B、左上に樹木Cが位置しているものとする。図において、符号53fは固定フォーカスフレーム、符号55aは人物Aの顔画像領域、符号55bは人物Bの顔画像領域を示している。
The AF function of this digital camera is based on the so-called image contrast method. The AF processing of this digital camera will be described with reference to FIG. As shown in the
このデジタルカメラ10は、フォーカスレンズ群LFを過焦点距離位置に停止させた状態で、モニタモード撮影をしながら画像処理回路23において顔検出処理を実行する。ここで、人物A及び人物Bにつき顔検出したものとする。画像処理回路23が検出した顔画像情報は、制御部15に通信される。この顔画像情報には、撮影画面上での顔画像の中心位置とその大きさについてのピクセル情報が含まれる。制御部15は、顔検出した顔画像領域の大きさ(高さ)から、最近距離の顔画像領域を選択する。つまり、最も高さの高い顔画像領域を選択する。そうして、サーチ範囲限定を選択する。好ましい実施形態におけるサーチ範囲限定とは、フォーカスサーチ処理において、選択した顔画像領域から得られる概算撮影距離を含む範囲にサーチ範囲を限定し、近位置からサーチして、コントラストのピークを検出したら、遠位置までサーチしていなくても、サーチ処理を終了することを意味し、サーチ処理を終了したらピークが得られたレンズ位置にフォーカスレンズ群LFを移動させる。
The
以上のサーチ範囲限定処理は、第1スイッチSW1がオンしたときに実行される。第1スイッチSW1がオンすると、制御部15は上記最近距離の顔画像領域をフォーカスエリアに設定する。この実施形態では、人物Aの顔画像領域55aをフォーカスエリアに設定する。そうしてフォーカス制御回路35、フォーカスモータMFを介して、フォーカスレンズ群LFを近位置(至近距離合焦位置)に移動し、最遠距離合焦位置方向に移動させながら撮影して、フォーカスエリア(顔画像領域)55a内の画像データのコントラストを検出する、画像コントラスト法による焦点検出処理を開始する。
The search range limiting process described above is executed when the first switch SW1 is turned on. When the first switch SW1 is turned on, the
そうしてフォーカスエリア(顔画像領域)55a内の画像データのコントラストのピークを検出したら、そのピークが得られたときのフォーカスレンズ群LFの位置を合焦位置として、その位置にフォーカスレンズ群LFを移動して、画像コントラスト法によるAF処理を終了する。 When the contrast peak of the image data in the focus area (face image area) 55a is detected, the position of the focus lens group LF at the time when the peak is obtained is set as the in-focus position, and the focus lens group LF is located at that position. To finish the AF processing by the image contrast method.
なお、モニタモード撮影において顔検出(顔画像を検出)していない場合は、通常のフォーカスサーチ処理を実行する。通常のフォーカスサーチ処理は、固定フォーカスエリア53f内の画像につき、フォーカスレンズ群LFを近位置から遠位置まで可動領域全域に亘ってステップ駆動させてサーチする処理である(図2(A)、(C))。
If face detection (face image detection) is not performed in monitor mode shooting, normal focus search processing is executed. The normal focus search process is a process for searching the image in the fixed
ここで、モニタモード撮影において、顔検出ができなかった場合、例えば、被写界に人物が居なかった場合もあるが、被写界に人物が居たとしても被写界が暗くまたは逆光で人物の顔が暗くて顔検出できなかった場合がある。本発明は、モニタモード撮影において上記のような悪条件下で顔検出できなかった場合は、第1スイッチSW1がオンされたときにストロボプリ発光により顔検出可能な環境を実現して顔検出することに特徴を有する。その構成について、図3乃至図5を参照して説明する。 Here, when face detection is not possible in monitor mode shooting, for example, there may be no person in the scene, but even if there is a person in the scene, the scene is dark or backlit. In some cases, the face of a person is too dark to be detected. According to the present invention, when face detection cannot be performed under the above-mentioned adverse conditions in monitor mode shooting, an environment in which face detection can be performed by strobe pre-light emission when the first switch SW1 is turned on is performed. It has a special feature. The configuration will be described with reference to FIGS.
図3には、バストアップ撮影距離で適正露光となるようにストロボを発光させて撮影した場合の撮影距離(被写体までの距離)と画像信号レベル(輝度)との関係をグラフで示してある。このグラフにおいて、横軸は撮影距離、縦軸は画像信号レベルである。被写体が人物であった場合、人物の上半身が撮影画面一杯に入る大きさ(バストアップ)となる距離(以下「バストアップ撮影距離」という)において適正となるストロボ発光量をプリ発光光量として設定する。そうして、ストロボをこのプリ発光光量で発光させて撮影し、撮影した画像により顔検出する。 FIG. 3 is a graph showing the relationship between the shooting distance (distance to the subject) and the image signal level (luminance) when shooting with a strobe light so as to achieve proper exposure at the bust-up shooting distance. In this graph, the horizontal axis represents the shooting distance, and the vertical axis represents the image signal level. When the subject is a person, set the appropriate flash emission amount as the pre-emission amount at a distance (hereinafter referred to as “bust-up shooting distance”) that makes the person's upper body full of the shooting screen (bust-up). . Then, the flash is emitted with the pre-emission light quantity and photographed, and the face is detected from the photographed image.
プリ発光撮影に際して、撮影レンズブロックLの現在の焦点距離fにおいて、人物画像がバストアップとなる撮影距離dにフォーカスレンズ群LFを移動する。この実施形態では、人物(平均的な成人男子)の上半身が撮影画面51の上下一杯に撮影される位置にフォーカスレンズ群LFを移動する。例えば、撮影レンズブロックLの焦点距離f=10mm、イメージセンサの有効高さhが5mm、人物の上半身の高さHが500mmの場合は撮影距離d=1000mmとなる位置にフォーカスレンズ群LFを移動する。
At the time of pre-flash shooting, the focus lens group LF is moved to the shooting distance d at which the person image is bust up at the current focal length f of the shooting lens block L. In this embodiment, the focus lens group LF is moved to a position where the upper body of a person (average adult male) is photographed fully up and down on the photographing
このバストアップ撮影距離は、ストロボ発光部41のプリ発光調光可能範囲において、顔画像を検出することが可能な画像信号レベルが得られる撮影距離範囲で設定される。また、撮影レンズブロックLがズームレンズの場合は、設定された焦点距離fに応じてバストアップ撮影距離が設定される。
This bust-up shooting distance is set within a shooting distance range in which an image signal level capable of detecting a face image is obtained in the pre-flash dimmable range of the strobe
『バストアップ撮影距離』
図4は、バストアップ撮影となる状態、つまり人物の上半身が撮影画面の高さ(上下)方向に一杯に写るときの撮影距離dを求める模式図である。バストアップ撮影となる場合の撮影倍率mは、一般的に画面中に人物の占める割合によって下記式のように概算できる。
撮影倍率m=焦点距離f/撮影距離d
=撮像素子の高さh/ある撮影距離で人物が写り込む最大の高さH
撮影倍率mを予め設定できれば、バストアップ撮影距離dは、
d=f/m により求めることができる。
"Bust-up shooting distance"
FIG. 4 is a schematic diagram for obtaining a shooting distance d in a state of bust-up shooting, that is, when the upper body of the person is fully captured in the height (vertical) direction of the shooting screen. The shooting magnification m in the case of bust-up shooting can generally be approximated by the following equation depending on the proportion of the person in the screen.
Shooting magnification m = focal length f / shooting distance d
= Height of the image sensor h / maximum height H at which a person appears at a certain shooting distance
If the shooting magnification m can be set in advance, the bust-up shooting distance d is
d = f / m.
また、ある撮影距離で人物の上半身が撮影画面に写り込む最大限の高さは、予め設定した顔の平均長とバストアップと言える画面比から逆算して求めることができる。例えば、顔の平均的な長さと、ある撮影距離において写り込む被写体の最大限の高さHの比を、1:2.5 に設定し、顔の平均的な長さを約20cmに設定する。なお、高さHは50cmになる。 In addition, the maximum height at which a person's upper body appears on the shooting screen at a certain shooting distance can be obtained by calculating backward from a preset average length of the face and a screen ratio that can be said to be bust-up. For example, the ratio between the average length of the face and the maximum height H of the subject captured at a certain shooting distance is set to 1: 2.5, and the average length of the face is set to about 20 cm. . The height H is 50 cm.
以上のパラメータ(撮影倍率m)を予め設定し、フラッシュROM15aに書き込んでおく。そうして撮影時には焦点距離fが決まるので、バストアップバストアップ撮影距離dが決まる。
The above parameters (shooting magnification m) are set in advance and written in the
撮影レンズブロックLが単焦点距離の場合は、バストアップ撮影距離を予め計算してフラッシュROM15aに書き込む。撮影レンズブロックLがズームレンズの場合は、設定された焦点距離fに基づき計算により求める構成にしてもよいが、ステップズームの場合は、予めステップ焦点距離毎にバストアップとなる撮影距離を計算により求め、テーブルデータ化してフラッシュROM15aに書き込み、必要なときに、ステップズームにより設定された焦点距離に対応する撮影距離をテーブルデータから読み出す構成にしてもよい。
When the photographing lens block L has a single focal length, the bust-up photographing distance is calculated in advance and written in the
このデジタルカメラ10による顔検出AF処理の特徴について、図3乃至図5を参照して説明する。図5において、
符号dはバストアップ撮影距離、
符号d1は1回目プリ発光調光可能範囲の最短距離より近い距離範囲、
符号d2は1回目プリ発光調光可能範囲内であるが被写界深度内顔検出可能範囲よりも近い距離範囲、
符号d3は被写界深度内顔検出可能範囲、
符号d4は1回目プリ発光調光可能範囲内であるが、被写界深度内顔検出可能範囲d3よりも遠い距離範囲、
符号d5は1回目プリ発光調光可能範囲よりも遠い距離範囲であって、
d1+d2+d3+d4=d5
である。
バストアップ撮影距離dは、通常、被写界深度内顔検出可能範囲d3内に入る。なお、被写界深度内顔検出可能範囲d3は、焦点距離f、絞り値及び過焦点距離によって変わる変数である。
The features of the face detection AF process by the
Symbol d is the bust-up shooting distance,
Reference sign d1 is a distance range closer to the shortest distance of the first pre-light emission dimmable range,
Reference sign d2 is within the first pre-emission dimmable range but is closer to the distance range within the depth of field face detectable range,
Reference sign d3 is a face detectable range within the depth of field,
Reference sign d4 is within the first pre-flash dimmable range, but is a distance range farther than the in-depth-of-field face detectable range d3,
Reference sign d5 is a distance range farther than the first pre-emission dimmable range,
d1 + d2 + d3 + d4 = d5
It is.
The bust-up shooting distance d usually falls within the face detectable range d3 within the depth of field. The in-depth-of-field face detectable range d3 is a variable that varies depending on the focal length f, the aperture value, and the hyperfocal length.
以上の条件で1回目プリ発光して撮影し、撮影した画像データに基づいて顔検出処理を実行する。
1回目プリ発光量は、過焦点距離で適正出力(適正露出)になる発光量を設定することもできる。
概算距離=過焦点距離×(適正出力/プリ発光出力)1/2
Under the above conditions, the first pre-flash is photographed and face detection processing is executed based on the photographed image data.
The first pre-emission amount can be set to an emission amount that provides an appropriate output (appropriate exposure) at the hyperfocal distance.
Approximate distance = hyperfocal distance x (appropriate output / pre-flash output) 1/2
モニタモード撮影中に顔検出できなかった場合は、フォーカスレンズ群LFをバストアップ撮影位置に移動してからストロボ発光部41をプリ発光撮影し、得られた画像データから顔画像を検出する。
If the face cannot be detected during monitor mode shooting, the
次に、このデジタルカメラの顔検出撮像動作について、図6に示したフローチャートを参照して詳細に説明する。図6は、このデジタルカメラのメインシーケンスをフローチャートで示す図である。このメインシーケンスには、電源スイッチがオンされたときに入る。 Next, the face detection imaging operation of this digital camera will be described in detail with reference to the flowchart shown in FIG. FIG. 6 is a flowchart showing the main sequence of this digital camera. This main sequence is entered when the power switch is turned on.
「メインシーケンス」
メインシーケンスに入ると、先ずステップS101において内部RAM、変数、ポートなどソフト的、ハード的な初期化を実行する。
"Main sequence"
When entering the main sequence, first, in step S101, initialization of software and hardware such as internal RAM, variables, and ports is executed.
次に、モニタをオンし(S103)、モニタモード撮影を開始してモニタに被写体像を表示(スルー表示)する(S105)。つまり、撮像素子をモニタフレームで駆動して撮像素子から出力された画像データをモニタ表示用画像信号に変換してモニタに表示する。 Next, the monitor is turned on (S103), monitor mode imaging is started, and a subject image is displayed (through display) on the monitor (S105). That is, the image sensor is driven by the monitor frame, and the image data output from the image sensor is converted into an image signal for monitor display and displayed on the monitor.
このモニタモード撮影で得られた画像データの中に、顔画像が含まれているか否か検出する(S107)。続いて、第1スイッチ(測光スイッチ)SW1がオンしているか否かチェックし(S109)、オンしていなければステップS103に戻る(S109:NO)。第1スイッチSW1がオンしている場合(S109:YES)は、以下の処理を実行する。 It is detected whether or not a face image is included in the image data obtained by the monitor mode photographing (S107). Subsequently, it is checked whether or not the first switch (photometry switch) SW1 is turned on (S109), and if not turned on, the process returns to step S103 (S109: NO). When the first switch SW1 is on (S109: YES), the following processing is executed.
ステップS107の顔検出処理の結果に応じてフォーカスサーチ範囲を決定し(S111)、画像コントラスト法によるフォーカスサーチを実行するとともに、AE演算を実行する(S113)。そうして第1スイッチSW1がオンしているかどうかチェックし(S115)、オンしていなければステップS103に戻る(S115:NO、S103)。第1スイッチSW1がオンしていれば(S115:YES)、第2スイッチ(レリーズスイッチ)SW2がオンしているかどうかチェックし(S117)、オンしていなければ(S117:NO)、第1スイッチSW1がオンしているかどうかのチェック(S115)に戻る。 A focus search range is determined according to the result of the face detection process in step S107 (S111), a focus search by the image contrast method is executed, and an AE calculation is executed (S113). Then, it is checked whether or not the first switch SW1 is turned on (S115). If it is not turned on, the process returns to step S103 (S115: NO, S103). If the first switch SW1 is on (S115: YES), it is checked whether the second switch (release switch) SW2 is on (S117). If not (S117: NO), the first switch The process returns to the check (S115) of whether SW1 is on.
第2スイッチSW2がオンすると(S117:YES)、ステップS113で設定した露出値で撮影して撮影した画像信号を設定されたフォーマットでフラッシュメモリに書き込む(S119)。そうして、電源がオフしていなければ(S121:YES)、ステップS103に戻る。電源がオフしていれば(S121:YES)、メインフローを終了する。このメインフローを終了すると、いわゆる待機モードに入り、所定時間ごとに電源スイッチがオンしたかどうかのチェックを繰り返す。 When the second switch SW2 is turned on (S117: YES), the image signal obtained by photographing with the exposure value set in step S113 is written in the flash memory in the set format (S119). If the power is not turned off (S121: YES), the process returns to step S103. If the power is off (S121: YES), the main flow is terminated. When this main flow is finished, a so-called standby mode is entered, and a check is repeated whether the power switch is turned on every predetermined time.
「顔検出判別&フォーカスサーチ範囲決定処理」
次に、ステップS111で実行される顔検出判別&フォーカスサーチ範囲決定処理の詳細について、図7に記載したフローチャートを参照して説明する。
"Face detection discrimination & focus search range determination process"
Next, details of the face detection determination & focus search range determination process executed in step S111 will be described with reference to the flowchart shown in FIG.
このフローチャートに入ると、先ず、既にモニタモードで顔検出しているかどうかをチェックする(S201)。顔検出していた場合(S201:YES)は、フォーカスサーチ範囲限定設定(S221)に飛び、顔検出していなかった場合(S201:NO)は、フォーカスレンズ群LFをバスアップ撮影距離に移動する(S203)。 If this flowchart is entered, it is first checked whether or not a face has already been detected in the monitor mode (S201). If the face is detected (S201: YES), the process jumps to the focus search range limit setting (S221). If the face is not detected (S201: NO), the focus lens group LF is moved to the bus-up shooting distance. (S203).
フォーカスサーチ範囲限定設定は、フォーカスエリアを最近距離相当の顔検出領域に設定し、検出した顔についてフォーカスサーチし、コントラストピークを検出したらフォーカスサーチを停止せてフォーカスレンズ群LFをコントラストピーク位置に基づく合焦位置に移動させるモードである。 In the focus search range limited setting, the focus area is set to the face detection area corresponding to the nearest distance, the focus search is performed on the detected face, and when the contrast peak is detected, the focus search is stopped and the focus lens group LF is based on the contrast peak position. In this mode, the lens is moved to the in-focus position.
フォーカスレンズ群LFをバストアップ撮影距離に移動したら(S203)、ストロボ発光部41をプリ発光量でプリ発光させて撮影すると共に、撮影した画像データから顔検出する(S205)。そうして顔検出できたかどうかチェックし(S207)、顔検出できた場合(S207:YES)はステップS219に飛び、顔検出できなかった場合(S207:NO)は、以下の処理を実行する(S209〜S219)。
When the focus lens group LF is moved to the bust-up shooting distance (S203), the strobe
ステップS209では、プリ発光出力が不適切であったかどうかをチェックし、プリ発光が不適切ではなかった場合(S209:NO)は、サーチ範囲を限定せずに(サーチ範囲を全範囲に設定して)(S221)、AF処理を開始する。 In step S209, it is checked whether or not the pre-light emission output is inappropriate. If the pre-light emission is not inappropriate (S209: NO), the search range is not limited (the search range is set to the entire range). (S221), AF processing is started.
プリ発光出力が不適切であった場合(S209:YES)は、プリ発光出力による概算距離を計算し(S211)、プリ発光量及びフォーカス位置を再計算し(S213)、再計算したフォーカス位置にフォーカスレンズ群LFを移動し、プリ発光量でストロボ発光部41をプリ発光させて撮影し、撮影した画像データを使用して顔検出する(S217)。
なお、概算距離は、既述の式、
概算距離=過焦点距離×(適正出力/プリ発光出力)1/2
で算出されるが、過焦点距離を設定してもよい。
If the pre-emission output is inappropriate (S209: YES), an approximate distance based on the pre-emission output is calculated (S211), the pre-emission amount and the focus position are recalculated (S213), and the recalculated focus position is set. The focus lens group LF is moved, the
Note that the approximate distance is the above-described formula,
Approximate distance = hyperfocal distance x (appropriate output / pre-flash output) 1/2
However, the hyperfocal distance may be set.
顔検出できた場合(S217:YES)はサーチ範囲を限定して(S219)AF処理を開始し、顔検出できなかった場合(S217:NO)はサーチ範囲を限定しないで(S221)AF処理を開始する。 If the face can be detected (S217: YES), the search range is limited (S219), and AF processing is started. If the face cannot be detected (S217: NO), the search range is not limited (S221). Start.
「プリ発光量&フォーカス位置再計算処理」
ステップS213のプリ発光量&フォーカス位置再計算処理について、図8に示したフローチャートを参照して詳細に説明する。
先ず、1回目プリ発光により顔検出できたかどうかチェックし(S301)、顔検出できた場合はそのままリターンする(S301:YES、RET)。ここで顔検出できる場合は通常、人物が被写界深度内顔検出可能範囲d3範囲内に位置している。
"Pre-flash amount & focus position recalculation process"
The pre-emission amount & focus position recalculation process in step S213 will be described in detail with reference to the flowchart shown in FIG.
First, it is checked whether or not a face can be detected by the first pre-flash (S301). If a face can be detected, the process returns as it is (S301: YES, RET). Here, when the face can be detected, the person is usually located within the face detectable range d3 within the depth of field.
顔検出できなかった場合(S301:NO)は、1回目プリ発光したときの出力データを入力し(ストロボ発光光量データをストロボ制御回路39から入力?)(S303)、1回目プリ発光光量が距離d1では飽和するくらい大であったかどうかをチェックする(S305)。1回目プリ発光光量が飽和するくらい大であった場合(S305:YES)は、1回目よりも小さいプリ発光量を設定し(S307)、1回目より近側のフォーカス位置(バストアップ位置よりも近側)を設定して(S309)リターンする。例えば、1回目よりも小さいプリ発光量は1/8倍、1回目より近側のフォーカス位置はd1とする。)
以上のステップS307:YES、S307、S309の処理により、人物がバストアップ撮影距離dよりもより近距離に居ても、顔検出が可能になり、人物に対して合焦させることが可能になる。
If the face cannot be detected (S301: NO), input the output data when the first pre-emission is made (input the flash emission light quantity data from the
By the processes in steps S307: YES, S307, and S309, face detection is possible even when the person is closer than the bust-up shooting distance d, and the person can be focused. .
飽和するくらい大でなかった場合(S305:NO)は、プリ発光量が小さいかどうか(画像データの輝度が低いか否か?)をチェックする(S311)。小さい場合(S311:YES)は、1回目より大きいプリ発光量(例えば8倍)を設定し(S313)、1回目よりも遠側のフォーカス位置d5を設定して(S315)リターンする。
以上のステップS311:YES、S313、S315の処理により、人物がバストアップ撮影距離dよりも遠距離に居ても、顔検出して合焦させることが可能になる。
If it is not so large as to be saturated (S305: NO), it is checked whether the pre-emission amount is small (whether the brightness of the image data is low) (S311). If it is smaller (S311: YES), a pre-emission amount (for example, 8 times) larger than the first time is set (S313), a focus position d5 farther than the first time is set (S315), and the process returns.
Through the processes in steps S311: YES, S313, and S315 described above, even if a person is far away from the bust-up shooting distance d, the face can be detected and focused.
小さくなかった場合(S311:NO)は、1回目のプリ発光量は適正でバストアップ位置で被写体がぼけていると考えられる。つまり、被写体が被写界深度内顔検出可能範囲d3外に位置していると考えられる。そこで、ステップS211の概算距離計算により求めた概算撮影距離で適正露光となるプリ発光量を設定し(S317)、概算撮影距離でのフォーカス位置を設定して(S319)リターンする。
以上のステップS311:NO、S317、S319の処理により、人物が被写界深度内顔検出可能範囲d3外に居ても、顔検出して合焦させることが可能になる。
If it is not small (S311: NO), it is considered that the first pre-emission amount is appropriate and the subject is blurred at the bust-up position. That is, it is considered that the subject is located outside the face detectable range d3 within the depth of field. Therefore, a pre-emission amount that provides appropriate exposure is set at the approximate shooting distance obtained by the approximate distance calculation in step S211 (S317), the focus position at the approximate shooting distance is set (S319), and the process returns.
By the processes in steps S311: NO, S317, and S319 described above, even if a person is outside the face detectable range d3 within the depth of field, the face can be detected and focused.
以上の通り本発明の実施形態によれば、モニタモード撮影時に顔検出できなかった場合は、バストアップ撮影距離にフォーカスレンズ群LFを移動し、プリ発光量でストロボ発光部41を発光させて撮影し、顔検出してから検出した顔画像についてAF処理を実行するので、被写界が暗い、または逆光で人物の顔が暗くて顔検出できなかった場合でも顔検出して検出した顔に対して合焦させることができる。
As described above, according to the embodiment of the present invention, when face detection cannot be performed during monitor mode shooting, the focus lens group LF is moved to the bust-up shooting distance, and the
なお、本発明のプリ発光処理は、特定の撮影モード、例えばポートレートモードが設定されていた場合のみ実行し、他の撮影モードが設定されていた場合は実行しない構成が好ましい。ポートレートモード以外の場合は人物をアップで撮影していない場合、または遠距離の人物を撮影している場合が多いと推測できるからである。 The pre-flash processing according to the present invention is preferably executed only when a specific shooting mode, for example, a portrait mode is set, and is not executed when another shooting mode is set. This is because, in cases other than the portrait mode, it can be assumed that there are many cases where a person is not photographed up or a person at a long distance is photographed.
11 CCDイメージセンサ(撮像手段)
13 CCD駆動回路
15 制御部(制御手段、顔検出手段)
15a フラッシュROM
15b RAM(画像記憶手段)
17 相関二重サンプリング回路(CDS)
19 A/D変換器
21 RAWデータ回路
23 画像処理回路(DSP)(顔検出手段)
25 AEデータ処理回路
31 絞り・シャッタユニット
33 絞り・シャッタ制御回路
35 フォーカス制御回路
37 ズーム制御回路
39 ストロボ制御回路
41 ストロボ発光部
43 メモリ
44 モニタ
51 撮影画面
53f 固定フォーカスエリア
55a フォーカスエリア(顔画像領域)
55b フォーカスエリア(顔画像領域)
11 CCD image sensor (imaging means)
13
15a Flash ROM
15b RAM (image storage means)
17 Correlated Double Sampling Circuit (CDS)
19 A /
25 AE
55b Focus area (face image area)
Claims (6)
上記制御手段は、上記顔検出手段が顔画像を検出したときは、上記焦点検出手段にその顔画像を含む領域をフォーカスエリアに設定してフォーカスサーチさせ、
上記顔検出手段が顔画像を検出しなかったときは、上記焦点調節手段に上記焦点調節光学系をバストアップ撮影距離に移動させ、上記ストロボ手段に上記バストアップ撮影距離において適正露出となるプリ発光量で発光させて上記撮像手段に撮影させ、上記顔検出手段にこの撮像した画像から人物の顔画像を検出させて、上記焦点検出手段にこの検出した顔画像を含む領域をフォーカスエリアに設定してフォーカスサーチさせることを特徴とする撮像装置。 Shooting optical system including a focus adjustment optical system, imaging means, monitor for displaying images taken by the imaging means, strobe means, and monitor mode photography for displaying images taken by the imaging means at regular time intervals on the monitor And a focus search function for detecting a focus state based on the photographed image while the focus adjusting optical system is moved within a movable range from a near position to a far position while moving within the movable range. A focus adjustment means, and a face detection means for detecting a human face image from the monitor mode image,
When the face detection means detects a face image, the control means causes the focus detection means to set a region including the face image as a focus area and perform a focus search,
When the face detection means does not detect a face image, the focus adjustment optical system is moved to the focus adjustment means to the bust-up shooting distance, and the strobe means has a pre-flash that provides proper exposure at the bust-up shooting distance. The face detection means detects the person's face image from the captured image, and the focus detection means sets an area including the detected face image as a focus area. An imaging apparatus characterized by performing a focus search.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008212548A JP5054635B2 (en) | 2008-08-21 | 2008-08-21 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008212548A JP5054635B2 (en) | 2008-08-21 | 2008-08-21 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010048994A true JP2010048994A (en) | 2010-03-04 |
JP5054635B2 JP5054635B2 (en) | 2012-10-24 |
Family
ID=42066130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008212548A Expired - Fee Related JP5054635B2 (en) | 2008-08-21 | 2008-08-21 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5054635B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101908212A (en) * | 2010-07-09 | 2010-12-08 | 深圳超多维光电子有限公司 | Tracking three-dimensional display equipment, tracking equipment and method |
JP2011209620A (en) * | 2010-03-30 | 2011-10-20 | Sony Corp | Image-processing apparatus and method, and program |
JP2018157487A (en) * | 2017-03-21 | 2018-10-04 | 株式会社東海理化電機製作所 | Image recognition system and lighting device |
JP2019197083A (en) * | 2018-05-07 | 2019-11-14 | シャープ株式会社 | Electronic device, control device, control method and control program |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110913147B (en) * | 2018-09-14 | 2021-06-22 | 浙江宇视科技有限公司 | Exposure adjusting method and device and electronic equipment |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1195278A (en) * | 1997-09-19 | 1999-04-09 | Canon Inc | Image pickup device |
JP2002311481A (en) * | 2001-04-19 | 2002-10-23 | Ricoh Co Ltd | Imaging unit |
JP2006033438A (en) * | 2004-07-16 | 2006-02-02 | Nikon Corp | Digital camera |
JP2007004005A (en) * | 2005-06-27 | 2007-01-11 | Canon Inc | Automatic focusing device and imaging apparatus |
JP2007065290A (en) * | 2005-08-31 | 2007-03-15 | Nikon Corp | Automatic focusing device |
JP2007086269A (en) * | 2005-09-21 | 2007-04-05 | Hitachi Kokusai Electric Inc | Camera system and focal length adjusting method of zoom lens optical system of camera system |
JP2007233113A (en) * | 2006-03-02 | 2007-09-13 | Fujifilm Corp | Distance measuring device and method |
JP2008136035A (en) * | 2006-11-29 | 2008-06-12 | Ricoh Co Ltd | Imaging apparatus |
JP2008152058A (en) * | 2006-12-19 | 2008-07-03 | Hoya Corp | Camera with focusing device |
-
2008
- 2008-08-21 JP JP2008212548A patent/JP5054635B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1195278A (en) * | 1997-09-19 | 1999-04-09 | Canon Inc | Image pickup device |
JP2002311481A (en) * | 2001-04-19 | 2002-10-23 | Ricoh Co Ltd | Imaging unit |
JP2006033438A (en) * | 2004-07-16 | 2006-02-02 | Nikon Corp | Digital camera |
JP2007004005A (en) * | 2005-06-27 | 2007-01-11 | Canon Inc | Automatic focusing device and imaging apparatus |
JP2007065290A (en) * | 2005-08-31 | 2007-03-15 | Nikon Corp | Automatic focusing device |
JP2007086269A (en) * | 2005-09-21 | 2007-04-05 | Hitachi Kokusai Electric Inc | Camera system and focal length adjusting method of zoom lens optical system of camera system |
JP2007233113A (en) * | 2006-03-02 | 2007-09-13 | Fujifilm Corp | Distance measuring device and method |
JP2008136035A (en) * | 2006-11-29 | 2008-06-12 | Ricoh Co Ltd | Imaging apparatus |
JP2008152058A (en) * | 2006-12-19 | 2008-07-03 | Hoya Corp | Camera with focusing device |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011209620A (en) * | 2010-03-30 | 2011-10-20 | Sony Corp | Image-processing apparatus and method, and program |
US9253388B2 (en) | 2010-03-30 | 2016-02-02 | Sony Corporation | Image processing device and method, and program |
CN101908212A (en) * | 2010-07-09 | 2010-12-08 | 深圳超多维光电子有限公司 | Tracking three-dimensional display equipment, tracking equipment and method |
JP2018157487A (en) * | 2017-03-21 | 2018-10-04 | 株式会社東海理化電機製作所 | Image recognition system and lighting device |
JP2019197083A (en) * | 2018-05-07 | 2019-11-14 | シャープ株式会社 | Electronic device, control device, control method and control program |
Also Published As
Publication number | Publication date |
---|---|
JP5054635B2 (en) | 2012-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7756354B2 (en) | Image processing apparatus, image taking apparatus and program | |
JP4554529B2 (en) | Imaging device | |
JP2001330882A (en) | Camera with subject recognizing function | |
JP2003344891A (en) | Automatic photographing mode setting camera | |
JP2005033508A (en) | Imaging device | |
JP2008242226A (en) | Photographing device and focusing control method of photographic lens | |
JP2008197531A (en) | Imaging apparatus | |
JP4652998B2 (en) | Imaging device | |
JP2008070611A (en) | Imaging apparatus, exposure condition adjustment method and program | |
JP5054635B2 (en) | Imaging device | |
JP2009175821A (en) | Detection method and photographing device for specific image | |
JP2010107862A (en) | Af-bracket photographic method and device | |
JP2008199443A (en) | Imaging apparatus and control method therefor | |
JP2008172732A (en) | Imaging apparatus, control method thereof, and program | |
JP2007006097A (en) | Camera | |
JP2019020508A (en) | Imaging apparatus, method for controlling the same, and control program | |
JP5217613B2 (en) | Camera system, camera body and flash device | |
JP2008257083A (en) | Electronic camera | |
JP3955080B2 (en) | Digital camera and operation control method thereof | |
JP5546381B2 (en) | Imaging apparatus and control method thereof | |
JP2011114442A (en) | Electronic camera | |
JP2010134176A (en) | Photographing device and photographing method | |
JP2007049363A (en) | Camera | |
JP2006041796A (en) | Photography apparatus | |
JP4874750B2 (en) | Digital camera and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110523 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20111208 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120717 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5054635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150803 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |