JP2007104200A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2007104200A
JP2007104200A JP2005290166A JP2005290166A JP2007104200A JP 2007104200 A JP2007104200 A JP 2007104200A JP 2005290166 A JP2005290166 A JP 2005290166A JP 2005290166 A JP2005290166 A JP 2005290166A JP 2007104200 A JP2007104200 A JP 2007104200A
Authority
JP
Japan
Prior art keywords
imaging
image
area
frame
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005290166A
Other languages
Japanese (ja)
Other versions
JP4844073B2 (en
Inventor
Tetsuya Takeshita
哲也 武下
Original Assignee
Nikon Corp
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp, 株式会社ニコン filed Critical Nikon Corp
Priority to JP2005290166A priority Critical patent/JP4844073B2/en
Publication of JP2007104200A publication Critical patent/JP2007104200A/en
Application granted granted Critical
Publication of JP4844073B2 publication Critical patent/JP4844073B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of properly correcting the exposure and the white balance independently in spite of a rapid change in a screen image. <P>SOLUTION: The imaging apparatus for photographing a moving picture by sequentially recording image data of each frame obtained by applying photoelectric conversion to an object image formed on an imaging element through a photographing lens includes: a region setting means for setting an optional reference region to an imaging range captured by the imaging element on the basis of characteristics of the image data of a prescribed frame; a tracking means that sets a reference region to each frame by tracking the object image or its part captured by the reference region set to the prescribed frame from each of succeeding frames; and a control value calculation means that calculates a control value associated with at least either of an exposure time and the white balance on the basis of pixel values of each pixel included in the reference region. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、撮影レンズによって撮像素子上に結像された被写体像を光電変換して得られた画像データに基づいて、露出およびホワイトバランスを自動的に補正しつつ、動画撮影を行う撮像装置に関する。   The present invention relates to an image pickup apparatus that performs moving image shooting while automatically correcting exposure and white balance based on image data obtained by photoelectrically converting a subject image formed on an image pickup element by a shooting lens. .
動画撮影を行う撮像装置において、CCDなどの撮像素子によって得られた画像データの読み出しには、撮像素子の全画素の画素値を読み出す全画面モードと、複数ラインごとに選択されたラインを選択的に読み出すドラフトモードとが一般に用意されている。
従来の撮像装置では、上述したドラフトモードで読み出されたドラフト画像に基づいて、露出およびホワイトバランスの調整のための適切な制御値が決定され、これらの制御値が全画面モードで読み出された撮影画像データに適用される。
In an image pickup apparatus that performs moving image shooting, image data obtained by an image pickup device such as a CCD is read out in a full screen mode in which pixel values of all pixels of the image pickup device are read and a line selected for each of a plurality of lines is selectively used. In general, a draft mode for reading data is prepared.
In a conventional imaging apparatus, appropriate control values for exposure and white balance adjustment are determined based on the draft image read in the draft mode described above, and these control values are read in the full screen mode. Applied to captured image data.
ドラフト画像は、撮像素子全体から均一に抽出された画像であるので、上述した処理により、撮像素子に捉えられた視野全体の情報に基づいて、露出およびホワイトバランスの調整が行われる。
一方、1フレームの画像から切り出した各領域について、それぞれ独立にホワイトバランスなどに関する制御値を決定し、決定した制御値をそれぞれの領域に適用する技術も提案されている(特許文献1参照)。
Since the draft image is an image extracted uniformly from the entire image sensor, the exposure and white balance are adjusted based on the information on the entire field of view captured by the image sensor by the above-described processing.
On the other hand, a technique has also been proposed in which a control value related to white balance or the like is independently determined for each region cut out from an image of one frame, and the determined control value is applied to each region (see Patent Document 1).
また、従来の露出およびホワイトバランス調整技術では、手ぶれや照明の揺らぎなどに応じてフレームごとに制御値が変動することを避けるために、特に、ホワイトバランスの調整に用いる制御値の決定には、強いヒステリシスを持たせる場合が多い。
特開2004−187124号公報
In addition, in the conventional exposure and white balance adjustment technology, in order to avoid the control value fluctuating from frame to frame depending on camera shake or illumination fluctuation, in particular, in determining the control value used for white balance adjustment, In many cases, strong hysteresis is provided.
Japanese Patent Laid-Open No. 2004-187124
ところで、動画撮影では、主要な被写体が画面内で大きく位置を変えたり、また、被写体の象が画面内で占める領域の面積が大きく変動したりすることがある。このような場合に、従来の技術に従って、画面全体の色情報を考慮してホワイトバランスを決定すると、人物の顔が画面の大部分を占めた場合などに、被写体である人物の顔の肌色を、背景を照明する照明光の色として除去してしまう場合があった。   By the way, in moving image shooting, the position of the main subject may change greatly in the screen, or the area of the area occupied by the elephant of the subject in the screen may vary greatly. In such a case, if the white balance is determined in consideration of the color information of the entire screen according to the conventional technique, the skin color of the face of the person who is the subject is determined when the face of the person occupies most of the screen. In some cases, the color of the illumination light that illuminates the background is removed.
また、従来の技術では、ドラフト画像も本画像も蓄積時間が同じである。したがって、日影から日向に移動した被写体を追ってカメラがパンした場合などに、撮像素子が飽和状態になってしまうと、当然、露出調整用の制御値の算出に用いられるドラフト画像も白飛びしてしまう。このような場合には、蓄積時間を段階的に削減していきながら、適正な露出時間を探索する必要があるので、適正な露出を決定するために時間がかかってしまう。   In the conventional technique, the draft image and the main image have the same accumulation time. Therefore, if the image sensor becomes saturated, such as when the camera pans following a subject that has moved in the sun from the shade, naturally the draft image used to calculate the exposure adjustment control value will also be overexposed. End up. In such a case, since it is necessary to search for an appropriate exposure time while gradually reducing the accumulation time, it takes time to determine an appropriate exposure.
また、従来のように大きなヒステリシスを設定した制御では、手ぶれや照明の揺らぎなどの微小な変動の影響によってフレームごとにホワイトバランスが変動することを防ぐことができる反面、場面転換によって撮像素子に捉えられる被写体が大きく変化した場合に、画像の特徴の変化に迅速に対応することは困難である。
本発明は、画面の急激な変化にかかわらず、露出およびホワイトバランスを適正に補正することが可能な撮像装置を提供することを目的とする。
In addition, control with a large hysteresis as in the past can prevent the white balance from fluctuating from frame to frame due to the effects of minute fluctuations such as camera shake and lighting fluctuations. It is difficult to quickly respond to changes in image characteristics when the subject to be changed changes greatly.
An object of the present invention is to provide an imaging apparatus capable of appropriately correcting exposure and white balance regardless of a sudden change in the screen.
本発明にかかわる第1の撮像装置は、領域設定手段と、追尾手段と、制御値算出手段とから構成される。
本発明にかかわる第1の撮像装置の原理は、以下の通りである。
撮影レンズによって撮像素子上に結像された被写体像を光電変換して得られる各フレームの画像データを順次に記録することで動画撮影を行う撮像装置において、領域設定手段は、所定のフレームの画像データの特徴に基づいて、撮像素子によって捉えられる撮像範囲に任意の基準領域を設定する。追尾手段は、所定のフレームについて設定された基準領域に捉えられた被写体像あるいはその一部を以降の各フレームについて追尾して、各フレームについて基準領域を設定する。制御値算出手段は、基準領域に含まれる各画素の画素値に基づいて、それぞれ対応するフレームにおける露出時間およびホワイトバランスの少なくとも一つに関する制御値を算出する。
A first imaging apparatus according to the present invention includes an area setting unit, a tracking unit, and a control value calculation unit.
The principle of the first imaging apparatus according to the present invention is as follows.
In an imaging apparatus that shoots moving images by sequentially recording image data of each frame obtained by photoelectrically converting a subject image formed on an imaging element by a photographing lens, an area setting unit includes an image of a predetermined frame An arbitrary reference area is set in the imaging range captured by the imaging device based on the data characteristics. The tracking means tracks the subject image or a part thereof captured in the reference area set for a predetermined frame for each subsequent frame, and sets a reference area for each frame. The control value calculation means calculates a control value related to at least one of the exposure time and the white balance in each corresponding frame based on the pixel value of each pixel included in the reference region.
このように構成された第1の撮像装置の動作は、下記の通りである。
例えば、領域設定手段により、画面内に捉えられた主要な被写体の代表的な色を示す領域(例えば、被写体が人物である場合の肌色の領域)を基準領域として設定し、追尾手段により、この基準領域を画面内での被写体の移動に合わせて追従させ、この基準領域に含まれる各画素の画素値を制御値の算出処理に供する。このようにして、画面内での被写体の動きに基準領域を追従させることにより、各フレームにおいて被写体の同一の部分(例えば、人物の頬の部分など)を表す画像データに基づいて、露出値およびホワイトバランスに関する制御値が算出される。このようにして得られた制御値を露出補正およびホワイトバランス補正に適用することにより、安定的な画像処理を実現することができる。
The operation of the first imaging apparatus configured as described above is as follows.
For example, the region setting means sets a region indicating the representative color of the main subject captured in the screen (for example, a skin color region when the subject is a person) as a reference region, and the tracking unit sets this region. The reference area is made to follow the movement of the subject in the screen, and the pixel value of each pixel included in the reference area is used for the control value calculation process. In this way, by making the reference region follow the movement of the subject in the screen, the exposure value and the image data representing the same portion of the subject (for example, the cheek portion of a person) in each frame are determined. A control value related to white balance is calculated. By applying the control values obtained in this way to exposure correction and white balance correction, stable image processing can be realized.
本発明にかかわる第2の撮像装置は、上述した第1の撮像装置に備えられる制御値算出手段に、読出手段を備えて構成される。
本発明にかかわる第2の撮像装置の原理は、以下の通りである。
上述した第1の撮像装置に備えられる制御値算出手段において、読出手段は、基準領域に含まれる各画素の画素値を、動画撮影のための画像データの記録とは独立に決定した蓄積時間で読み出して、制御値を求める演算処理に供する。
A second image pickup apparatus according to the present invention is configured by including a reading means in the control value calculation means provided in the first image pickup apparatus described above.
The principle of the second imaging apparatus according to the present invention is as follows.
In the control value calculation means provided in the first imaging device described above, the reading means has the accumulation time determined independently of the recording of the image data for moving image shooting with respect to the pixel value of each pixel included in the reference area. The data is read out and used for calculation processing for obtaining a control value.
このように構成された第2の撮像装置の動作は、下記の通りである。
読出手段によって基準領域に属する各画素の画素値を読み出す際の蓄積時間は、通常の動画データとは独立に設定される。例えば、通常の動画データよりも短い蓄積時間で読出手段が基準領域の各画素の画素値を読み出せば、被写体の照度が急激に増大した場合にも、この読出手段によって読み出された画素値が飽和していない可能性が高くなり、適切な露出時間を迅速に探索することが可能である。
The operation of the second imaging apparatus configured as described above is as follows.
The accumulation time when the pixel value of each pixel belonging to the reference area is read by the reading means is set independently of normal moving image data. For example, if the readout means reads out the pixel value of each pixel in the reference area with a shorter accumulation time than normal moving image data, the pixel value read out by this readout means even when the illuminance of the subject increases rapidly Is likely not saturated, and it is possible to quickly search for an appropriate exposure time.
本発明にかかわる第3の撮像装置は、上述した第1の撮像装置に備えられる追尾手段に、保持手段と、収集手段と、推定手段とを備えて構成される。
本発明にかかわる第3の撮像装置の原理は、以下の通りである。
上述した第1の撮像装置に備えられる追尾手段において、保持手段は、設定された基準領域に捉えられた被写体の像あるいはその一部の特徴を示す情報を保持する。収集手段は、撮影レンズに備えられた角速度センサによって得られる角速度および焦点距離、撮影距離を含む撮影条件を新たなフレームについて収集する。推定手段は、収集手段によって収集された撮影条件に基づいて、新たなフレームにおいて基準領域が存在する可能性のある範囲を推定する。抽出手段は、保持手段に保持された特徴情報に基づいて、推定手段による推定結果で示される範囲から新たなフレームにおける基準領域を抽出する。
A third imaging apparatus according to the present invention includes a tracking unit included in the first imaging apparatus described above, and a holding unit, a collecting unit, and an estimating unit.
The principle of the third imaging apparatus according to the present invention is as follows.
In the tracking means provided in the first imaging device described above, the holding means holds information indicating the image of the subject captured in the set reference area or a part of the characteristics thereof. The collecting means collects the photographing conditions including the angular velocity, the focal length, and the photographing distance obtained by the angular velocity sensor provided in the photographing lens for a new frame. The estimation unit estimates a range in which a reference region may exist in a new frame based on the imaging conditions collected by the collection unit. The extraction unit extracts a reference region in a new frame from the range indicated by the estimation result by the estimation unit based on the feature information held in the holding unit.
このように構成された第3の撮像装置の動作は、下記の通りである。
収集手段によって収集される撮影条件で示される手ぶれの量、焦点距離や撮影距離の変化に基づいて、推定手段によって基準領域が新たなフレームにおいて占める概略の位置が推定される。この推定結果で示される範囲から、抽出手段により、例えば、保持手段に保持された特徴情報に一致する特徴(例えば、色)を持つ領域が抽出され、制御値算出手段による処理に供される。
The operation of the third imaging apparatus configured in this way is as follows.
Based on the amount of camera shake, the focal length, and the change in the shooting distance indicated by the shooting conditions collected by the collecting unit, the approximate position that the reference area occupies in the new frame is estimated by the estimating unit. From the range indicated by the estimation result, for example, a region having a feature (for example, color) that matches the feature information held in the holding unit is extracted by the extracting unit, and used for processing by the control value calculating unit.
本発明にかかわる第4の撮像装置は、上述した第3の撮像装置に備えられる追尾手段に、同一性判定手段と、設定指示手段とを備えて構成される。
本発明にかかわる第4の撮像装置の原理は、以下の通りである。
上述した第3の撮像装置に備えられる追尾手段において、同一性判定手段は、収集手段によって収集された撮影条件と撮像装置への電源投入および録画開始を含む撮影にかかわる操作を示す情報とに基づいて、直前のフレームにおける被写体の特徴と新たなフレームにおける被写体の特徴に関する同一性を判定する。設定指示手段は、同一性判定手段によって被写体の特徴に関する同一性が否定されたときに、領域設定手段に新たな基準領域の設定を指示する。
A fourth imaging device according to the present invention is configured by including, in the tracking unit provided in the above-described third imaging device, an identity determination unit and a setting instruction unit.
The principle of the fourth imaging apparatus according to the present invention is as follows.
In the tracking means provided in the third imaging apparatus described above, the identity determination means is based on the imaging conditions collected by the collection means and information indicating operations related to imaging including power-on and recording start of the imaging apparatus. Thus, the identity of the subject feature in the previous frame and the subject feature in the new frame is determined. The setting instructing unit instructs the region setting unit to set a new reference region when the identity regarding the subject feature is denied by the identity determining unit.
このように構成された第4の撮像装置の動作は、下記の通りである。
例えば、角速度センサによって撮像装置の視野が大きくパンしたことが示された場合や焦点距離や撮影距離が大きく変化した場合などには、撮影者に意思によって全く別の被写体が画面に捉えられている可能性が高い。このような場合に、同一性判定手段により、直前のフレームにおける被写体の特徴と新たなフレームにおける被写体の特徴とが同一ではない旨の判定結果が得られ、これに応じて、設定指示手段により、領域設定手段に新たな基準領域の設定が指示される。
The operation of the fourth imaging device configured as described above is as follows.
For example, when the angular velocity sensor indicates that the field of view of the imaging device has been panned greatly, or when the focal length or shooting distance has changed significantly, a completely different subject is captured on the screen by the photographer's intention. Probability is high. In such a case, the identity determination unit obtains a determination result that the feature of the subject in the previous frame and the feature of the subject in the new frame are not the same, and accordingly, the setting instruction unit The area setting unit is instructed to set a new reference area.
上述したように、本発明にかかわる撮像装置によれば、画面内での被写体の動きに応じて、被写体の同一の部分(例えば、人物の頬の部分など)を表す画像データに基づいて、露出値およびホワイトバランスに関する制御値が算出し、露出補正およびホワイトバランス補正に適用することができる。これにより、例えば、被写体が撮像装置に近づいてきて、被写体の像が画面の大部分を占めてしまうような画面の急激な変化が起こった場合にも、適正な露出補正およびホワイトバランス補正を行うことが可能であり、画像処理の安定性の向上を図ることができる。   As described above, according to the imaging device according to the present invention, the exposure based on the image data representing the same portion of the subject (for example, the cheek portion of a person) according to the movement of the subject in the screen. A control value related to the value and white balance can be calculated and applied to exposure correction and white balance correction. Thus, for example, even when the subject approaches the imaging device and a sudden screen change occurs where the subject image occupies most of the screen, appropriate exposure correction and white balance correction are performed. It is possible to improve the stability of the image processing.
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(第1の実施形態)
図1に、本発明にかかわる撮像装置の第1の実施形態を示す。
図1に示した撮像装置において、電源投入や撮影ボタンの操作を含む利用者による操作指示は、操作受付部201によって受け付けられ、この操作受付部201により、入力された操作指示の解釈が行われ、撮像処理部210、記録処理部203および画質調整処理部220への制御指示の作成に供される。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(First embodiment)
FIG. 1 shows a first embodiment of an imaging apparatus according to the present invention.
In the imaging apparatus shown in FIG. 1, an operation instruction by the user including power-on and shooting button operation is received by the operation reception unit 201, and the input operation instruction is interpreted by the operation reception unit 201. The image processing unit 210, the recording processing unit 203, and the image quality adjustment processing unit 220 are used to create control instructions.
図1に示した撮像処理部210において、光学系211によって撮像素子212上に結像された被写体の像は、この撮像素子212による光電変換作用によって電気信号に変換され、更に、信号処理部213によって被写体の像を表す画像データに変換されてメモリ214に保持される。また、図1に示した自動焦点制御部215は、操作受付部201からの指示に応じて、このメモリ214に保持された画像データあるいは測距部(図示せず)による被写体までの距離に関する測定結果に基づいて光学系211を操作し、被写体にピントが合った状態を維持する。一方、図1に示した角速度センサ216によって得られた検出結果は、光学系211内に設けられた補正光学系(図示せず)の駆動に供されるとともに、画質調整処理部220の処理に供される。   In the imaging processing unit 210 shown in FIG. 1, an image of a subject formed on the imaging device 212 by the optical system 211 is converted into an electric signal by a photoelectric conversion action by the imaging device 212, and further, the signal processing unit 213. Thus, it is converted into image data representing the image of the subject and held in the memory 214. In addition, the automatic focus control unit 215 shown in FIG. 1 measures the image data held in the memory 214 or the distance to the subject by the distance measurement unit (not shown) in response to an instruction from the operation reception unit 201. Based on the result, the optical system 211 is operated to keep the subject in focus. On the other hand, the detection result obtained by the angular velocity sensor 216 shown in FIG. 1 is used to drive a correction optical system (not shown) provided in the optical system 211 and is processed by the image quality adjustment processing unit 220. Provided.
また、図1に示した記録処理部203は、操作受付部201を介して入力される録画開始指示に応じて記録動作を開始し、撮像処理部210によって得られた各フレームの画像データを画質調整処理部220を介して受け取り、適切な変換処理(例えば、M−JPEGデータへの変換処理)を施した上で記録媒体202に記録する。
次に、画質調整処理部220の詳細な構成をその動作とともに説明する。
Also, the recording processing unit 203 illustrated in FIG. 1 starts a recording operation in response to a recording start instruction input via the operation receiving unit 201, and converts the image data of each frame obtained by the imaging processing unit 210 into image quality. The data is received via the adjustment processing unit 220 and is recorded on the recording medium 202 after appropriate conversion processing (for example, conversion processing to M-JPEG data).
Next, a detailed configuration of the image quality adjustment processing unit 220 will be described along with its operation.
図2に、画質調整動作を表す流れ図を示す。
利用者によって録画開始ボタンが操作されると、図1に示した操作受付部201からの指示に応じて、画質調整処理部220による画質調整動作が開始される。
まず、画質調整処理部220の調整制御部224は、読出処理部221および制御値算出部226に適切な指示を送って、画質制御動作の初期設定を行う(ステップ301)。このとき、調整制御部224は、読出処理部221にドラフトモードでの読み出しを指示し、これに応じて得られたドラフト画像を制御値算出部226に渡す。このドラフト画像に基づいて、制御値算出部226は、従来と同様の制御値算出処理を実行し、露出制御値およびホワイトバランス制御値を決定し、これらの画像制御値を画質調整部227の処理に供する。
FIG. 2 is a flowchart showing the image quality adjustment operation.
When the recording start button is operated by the user, the image quality adjustment operation by the image quality adjustment processing unit 220 is started in response to an instruction from the operation receiving unit 201 shown in FIG.
First, the adjustment control unit 224 of the image quality adjustment processing unit 220 sends appropriate instructions to the read processing unit 221 and the control value calculation unit 226 to perform initial setting of the image quality control operation (step 301). At this time, the adjustment control unit 224 instructs the reading processing unit 221 to read in the draft mode, and passes the draft image obtained in response thereto to the control value calculation unit 226. Based on the draft image, the control value calculation unit 226 executes a control value calculation process similar to the conventional one, determines an exposure control value and a white balance control value, and uses these image control values as processing of the image quality adjustment unit 227. To serve.
また、このとき、図1に示した基準領域決定部222により、自動焦点制御部215から得られる焦点制御情報に基づいて、例えば、ピントが合っている被写体が捉えられている画面の領域の一部が基準領域(例えば、10画素×10画素の領域)として抽出される。そして、この領域を示すアドレス情報が調整制御部224に渡され、このアドレス情報で示される領域について得られたドラフト画像に基づいて、調整制御部224により、上述した基準領域における画像の色および輝度に関する基準データが求められ、基準領域の位置を示すアドレスとともに基準データ保持部225に格納される(図2のステップ302)。   At this time, based on the focus control information obtained from the automatic focus control unit 215 by the reference region determination unit 222 shown in FIG. 1, for example, one of the areas of the screen where the subject in focus is captured. Are extracted as a reference area (for example, an area of 10 pixels × 10 pixels). Then, the address information indicating this area is passed to the adjustment control unit 224, and based on the draft image obtained for the area indicated by this address information, the adjustment control unit 224 causes the color and brightness of the image in the reference area described above. The reference data is obtained and stored in the reference data holding unit 225 together with the address indicating the position of the reference area (step 302 in FIG. 2).
次に、図1に示した画質調整部227からの指示に含まれる露出制御値に基づいて、読出処理部221により、撮像処理部210の撮像素子212に上述した露出制御値に対応する蓄積時間を設定して得られる出力信号に対応する画像データが1フレーム分の全画素に対応する全画面モードで読み出され(図2のステップ303)、画質調整部227に渡される。そして、この画質調整部227により、上述した制御値算出部226によって得られたホワイトバランス制御値が上述した全画面モードの画像データに適用され、画質調整された画像データが記録処理部203により記録媒体202に記録される(ステップ304)。   Next, based on the exposure control value included in the instruction from the image quality adjustment unit 227 shown in FIG. 1, the reading processing unit 221 causes the image sensor 212 of the imaging processing unit 210 to store the accumulation time corresponding to the above-described exposure control value. The image data corresponding to the output signal obtained by setting is read in the full screen mode corresponding to all pixels for one frame (step 303 in FIG. 2), and passed to the image quality adjustment unit 227. The image quality adjustment unit 227 applies the white balance control value obtained by the control value calculation unit 226 to the image data in the full screen mode described above, and the image processing unit 203 records the image data whose image quality has been adjusted. It is recorded on the medium 202 (step 304).
このようにして1フレームの記録が完了した後、操作受付部201によって録画終了を示す操作が受け付けられていなければ(ステップ305の否定判定)、以降の基準領域の探索および基準領域の画像に基づく画質調整処理を行う。
図1に示した領域追跡部223は、調整制御部224を介して上述した基準データ保持部225に保持された基準領域のアドレスを受け取り、前のフレームにおける基準領域のアドレスと自動焦点制御部215および角速度センサ216による検出結果に基づいて、前フレームにおいて基準領域に捉えられていた被写体の像の部分を新たなフレームにおいて占める領域の位置を推定し、該当する領域を探索する(図2のステップ306)。
After the recording of one frame is completed in this way, if an operation indicating the end of recording is not accepted by the operation accepting unit 201 (No determination in step 305), it is based on the subsequent search of the reference area and the image of the reference area. Perform image quality adjustment processing.
The area tracking unit 223 illustrated in FIG. 1 receives the address of the reference area held in the reference data holding unit 225 described above via the adjustment control unit 224, and receives the address of the reference area in the previous frame and the automatic focus control unit 215. Based on the detection result by the angular velocity sensor 216, the position of the region that occupies the portion of the subject image captured in the reference region in the previous frame in the new frame is estimated, and the corresponding region is searched (step of FIG. 2). 306).
上述したようにして得られた新たな基準領域に関する推定結果に基づいて、読出処理部221により、撮像処理部210の信号処理部213に対して、推定された基準領域を含む所定の範囲の領域(例えば、30画素×30画素の領域)に対応する撮像素子212の領域について、領域探索用にドラフトモードの蓄積時間とは独立に決定された蓄積時間で得られる出力信号について信号処理を行う旨が指示される。これに応じて、推定された基準領域を含む所定の領域の画像データが上述した信号処理部213によって得られ、この画像データが、メモリ214を介して読出処理部221によって読み出されて、調整制御部224の処理に供される(図2のステップ307)。なお、読出処理部221が基準領域の探索用に読み出す領域の大きさは、撮像素子212の全画素数に応じて、例えば、全画素の256分の1程度のように、予め決定しておくことができる。   Based on the estimation result regarding the new reference region obtained as described above, the readout processing unit 221 instructs the signal processing unit 213 of the imaging processing unit 210 to have a predetermined range including the estimated reference region. For the area of the image sensor 212 corresponding to (for example, an area of 30 pixels × 30 pixels), signal processing is performed on an output signal obtained with an accumulation time determined independently of the accumulation time of the draft mode for area search Is instructed. In response to this, image data of a predetermined region including the estimated reference region is obtained by the signal processing unit 213 described above, and this image data is read by the read processing unit 221 via the memory 214 and adjusted. It is used for the process of the control part 224 (step 307 of FIG. 2). It should be noted that the size of the area read by the reading processing unit 221 for searching for the reference area is determined in advance, for example, about 1/256 of all the pixels according to the total number of pixels of the image sensor 212. be able to.
図1に示した調整制御部224は、上述したようにして得られた基準領域を含む所定の領域の画像データから求めた色および輝度を示す情報と基準データとを照合し、所定の範囲内で一致していれば、この一致した領域に捉えられた被写体の像の一部と前のフレームにおいて基準領域に捉えられた被写体の像の注目部分とが同一であると判定し、新たなフレームに関する基準領域の探索が成功したと判断する(ステップ308の肯定判定)。このとき、調整制御部224は、例えば、基準領域を含む所定の領域の画像データをそれぞれ10画素×10画素程度のブロックに分割して、これらの各ブロックについて色度座標値および輝度値を求め、これらの色度座標値および輝度値と基準データ保持部225に保持された基準データに含まれる色度座標値および輝度値との差のいずれかが所定の閾値以下であるか否かに基づいて、探索が成功したか否かを判断することができる。   The adjustment control unit 224 shown in FIG. 1 collates information indicating the color and brightness obtained from the image data of the predetermined area including the reference area obtained as described above with the reference data, and within the predetermined range. If the two images match, it is determined that a part of the subject image captured in the matched region is the same as the target portion of the subject image captured in the reference region in the previous frame, and a new frame It is determined that the search of the reference region for the above has succeeded (positive determination in step 308). At this time, for example, the adjustment control unit 224 divides the image data of a predetermined area including the reference area into blocks each having about 10 pixels × 10 pixels, and obtains chromaticity coordinate values and luminance values for each of these blocks. Based on whether any of the difference between the chromaticity coordinate value and the luminance value and the chromaticity coordinate value and the luminance value included in the reference data held in the reference data holding unit 225 is equal to or less than a predetermined threshold value. Thus, it can be determined whether or not the search is successful.
上述したようにして得られた各ブロックの色度座標値および輝度との全てと基準データとの差が閾値よりも大きかった場合(ステップ308の否定判定の場合)に、調整制御部224により、そのフレームに関する領域追跡処理を所定数K回(例えば、K=3)試行したか否かが判定され(ステップ311)、否定判定の場合に、領域追跡部223に領域追跡処理の再試行が指示され、上述したステップ306、307の処理が行われる。   When the difference between all the chromaticity coordinate values and luminances of the respective blocks obtained as described above and the reference data is larger than the threshold value (in the case of negative determination in step 308), the adjustment control unit 224 It is determined whether or not the region tracking process relating to the frame has been tried a predetermined number of K times (for example, K = 3) (step 311), and if the determination is negative, the region tracking unit 223 is instructed to retry the region tracking process. Then, the processing of steps 306 and 307 described above is performed.
このようにして、領域追跡処理を各フレームについて所定数K回試行するまでに基準領域の探索が成功した場合に(ステップ308の肯定判定)、調整制御部224は、最も基準データに近い色度座標値および輝度値が得られたブロックを新たな基準領域とし、そのアドレスおよび色度座標値および輝度値を用いて、基準データ保持部225の内容を更新するとともに(ステップ309)、新たに得られた基準データを制御値算出部226に渡す。   In this manner, when the reference region search is successful before the region tracking process is tried for a predetermined number K times for each frame (affirmative determination in step 308), the adjustment control unit 224 has the chromaticity closest to the reference data. The block from which the coordinate value and the luminance value are obtained is set as a new reference area, and the contents of the reference data holding unit 225 are updated using the address, the chromaticity coordinate value, and the luminance value (step 309), and a new value is obtained. The obtained reference data is passed to the control value calculation unit 226.
これに応じて、制御値算出部226により、新たな制御値が算出され(ステップ310)、全画面モードで読み出された新たなフレームにおける画質調整処理に供され、適切に画質調整された画像データが記録処理部203によって記録媒体202に記録される(ステップ303、304)。
このように、本発明にかかわる撮像装置では、自動焦点制御部215および角速度センサ216によって得られる検出結果から推定される範囲内に前のフレームにおいて基準領域に捉えられていた被写体の像の注目部分が存在する限り、この該当する部分に関する色や輝度の変化を反映しつつ、適切な露出補正値およびホワイトバランス制御値を求め、新たなフレームの画像データ全体に適用することができる。
In response to this, a new control value is calculated by the control value calculation unit 226 (step 310), and is subjected to image quality adjustment processing in a new frame read out in the full screen mode, and an image in which image quality is appropriately adjusted. Data is recorded on the recording medium 202 by the recording processing unit 203 (steps 303 and 304).
As described above, in the imaging apparatus according to the present invention, the target portion of the image of the subject captured in the reference area in the previous frame within the range estimated from the detection results obtained by the automatic focus control unit 215 and the angular velocity sensor 216. As long as there is, the appropriate exposure correction value and white balance control value can be obtained while reflecting the change in color and luminance related to the corresponding portion, and can be applied to the entire image data of a new frame.
これにより、例えば、図3(a),(b)に示すように、被写体となった人物が撮像装置に急に近づいてきて、被写体の顔が画面の大部分を占めてしまったような場合でも、その人物の顔の色や輝度に適合した露出補正値およびホワイトバランス制御値を確実に算出し、適用することができる。なぜなら、このような場合には、それまでのフレームにおいて追跡されてきた基準領域に対応する部分(図3の例では、被写体の人物の頬の部分)が新たなフレームにも確実に捉えられているので、上述したようにして、利用者が注目している被写体の色や輝度を忠実に表す画像の部分を確実に抽出することができるからである。   As a result, for example, as shown in FIGS. 3A and 3B, a person who becomes a subject suddenly approaches the imaging apparatus, and the face of the subject occupies most of the screen. However, it is possible to reliably calculate and apply an exposure correction value and a white balance control value suitable for the color and brightness of the person's face. This is because in such a case, the portion corresponding to the reference area that has been tracked in the previous frame (in the example of FIG. 3, the cheek portion of the subject person) is also reliably captured in the new frame. This is because, as described above, it is possible to reliably extract the portion of the image that faithfully represents the color and luminance of the subject that the user is paying attention to.
また、追跡された基準領域に含まれる画像データに基づいて画像制御値を求めることにより、利用者が注目している被写体の同一部分の色や輝度を反映した画像制御値を得ることができる。したがって、手ぶれや照明のちらつきなどにかかわらず、画像制御値の安定性を極めて高く保つことと、撮像装置によって捉えられた被写体の像の色や大きさに大きな変化があった場合の追従性を向上することとを実現することができる。   Further, by obtaining the image control value based on the image data included in the tracked reference area, it is possible to obtain an image control value that reflects the color and brightness of the same part of the subject that the user is paying attention to. Therefore, regardless of camera shake or flickering of lighting, the stability of the image control value is kept extremely high, and the followability when there is a large change in the color or size of the subject image captured by the imaging device. It can be realized.
一方、カメラが大きくパンした場合のように、撮像装置によって捉えられる被写体が完全に変わってしまった場合には、当然ながら、上述した基準領域探索処理によっては基準領域が見出せない(ステップ311の肯定判定)。このような場合に、図1に示した調整制御部224は、新たなフレームの画像データに捉えられた被写体は、それまでの各フレームにおいて捉えられていた被写体とは同一でないと判断し、録画開始時と同様のドラフト画像に基づく画質調整処理を行う。   On the other hand, when the subject captured by the imaging device has completely changed, as in the case where the camera pans greatly, the reference region cannot be found by the above-described reference region search process (Yes in step 311). Judgment). In such a case, the adjustment control unit 224 illustrated in FIG. 1 determines that the subject captured in the image data of the new frame is not the same as the subject captured in each of the previous frames. The image quality adjustment process based on the draft image similar to that at the start is performed.
このとき、読出処理部221によって読み出されたドラフト画像は、調整制御部224を介して制御値算出部226に渡され、このドラフト画像に基づいて画像制御値が算出される(ステップ312、313)。このようにして得られた画像制御値が適切であった場合に(ステップ314の肯定判定)、処理は、ステップ302に進み、新たな基準領域の決定および基準データの保持が行われるとともに、新たに求められた画像制御値が全画面モードで読み出された画像データに適用され、記録媒体202への記録処理に供される(ステップ303,304)。   At this time, the draft image read by the read processing unit 221 is transferred to the control value calculation unit 226 via the adjustment control unit 224, and the image control value is calculated based on the draft image (steps 312 and 313). ). If the image control value obtained in this way is appropriate (affirmative determination in step 314), the process proceeds to step 302, where a new reference area is determined and reference data is held, and a new one is stored. The image control value obtained in step (b) is applied to the image data read out in the full screen mode, and used for recording processing on the recording medium 202 (steps 303 and 304).
このように、本発明にかかわる撮像装置では、基準領域探索の失敗に応じて、自動的に、録画開始時と同様にドラフトモードで得られるドラフト画像に基づく画質調整処理を行うことにより、大きなシーンの変化にも迅速に対応することができる。
また、もちろん、操作受付部201によって電源投入や録画開始、停止および再開などの操作が受け付けられたときに、自動的に、ドラフト画像に基づく画質調整処理を行うことも可能である。更に、例えば、角速度センサ216から所定の閾値を超える角速度が検出された旨が通知されたときに、領域追跡部223において、利用者の意識的なカメラ操作(つまり、カメラのパン)によってシーンが大きく変化したと判断し、追跡処理を中止して、直ちに、ドラフト画像に基づく画質調整処理を開始することも可能である。
As described above, in the imaging apparatus according to the present invention, in response to the failure of the reference area search, the image quality adjustment processing based on the draft image obtained in the draft mode is automatically performed in the same manner as at the start of recording, thereby enabling a large scene. It is possible to respond quickly to changes.
Of course, it is also possible to automatically perform image quality adjustment processing based on the draft image when the operation accepting unit 201 accepts operations such as power-on, recording start, stop, and restart. Further, for example, when the angular velocity sensor 216 notifies that the angular velocity exceeding a predetermined threshold is detected, the area tracking unit 223 causes the scene to be detected by the user's conscious camera operation (that is, camera pan). It is also possible to determine that there has been a significant change, stop the tracking process, and immediately start the image quality adjustment process based on the draft image.
なお、図2に示したステップ307の手順において、信号処理部213は、読出処理部221からの指示に応じて、全画面モードやドラフトモードでの蓄積時間にかかわらず、これとは全く独立な領域探索用の蓄積時間で得られる撮像素子212の出力信号に関する信号処理を行い、得られた画像データをメモリ214を介して画質調整処理部220の処理に供している。したがって、例えば、全画面モードやドラフトモードよりも短い蓄積時間で上述した基準領域にかかわる撮像素子212の出力信号に対応する画像データを得ることにより、飽和状態となっていない可能性の高い画像データを露出制御値の算出処理に供することができる。   In the procedure of step 307 shown in FIG. 2, the signal processing unit 213 is completely independent of the accumulation time in the full screen mode or the draft mode according to the instruction from the reading processing unit 221. Signal processing relating to the output signal of the image sensor 212 obtained with the storage time for area search is performed, and the obtained image data is provided to the processing of the image quality adjustment processing unit 220 via the memory 214. Therefore, for example, by obtaining image data corresponding to the output signal of the image sensor 212 related to the above-described reference region in an accumulation time shorter than that of the full screen mode or the draft mode, it is highly possible that the image data is not saturated. Can be used for the calculation process of the exposure control value.
これにより、例えば、図3(b)に示したように、被写体の人物が撮像装置に急激に近づいたために、被写体の輝度が急峻に増大した場合などにも、基準領域に対応して得られた画像データに基づいて露出制御値を求めることにより、被写体の輝度の増大を見越して露出時間を調整することができる。
昼間の屋外のように、十分な明るさが期待できる撮影環境では、記録媒体202に記録される全画面モードの画像データの取得に必要な蓄積時間が短いので、上述したように、全画面モードの画像データの取得に先立って、領域探索のための限定的な露光および部分的な画像データの取得を行うことは十分に可能である。また、更に、領域探索用の蓄積時間を適切な値に設定すれば、図2のステップ306〜308およびステップ311の処理を複数回繰り返して基準領域を探索することも十分に可能である。
As a result, for example, as shown in FIG. 3B, even when the subject's brightness suddenly increases because the subject's person has suddenly approached the imaging device, it can be obtained corresponding to the reference region. By obtaining the exposure control value based on the obtained image data, it is possible to adjust the exposure time in anticipation of an increase in luminance of the subject.
In a shooting environment where sufficient brightness can be expected, such as outdoors in the daytime, the accumulation time required to acquire image data in the full screen mode recorded on the recording medium 202 is short. Prior to the acquisition of the image data, it is sufficiently possible to perform limited exposure for area search and acquisition of partial image data. Furthermore, if the storage time for area search is set to an appropriate value, it is possible to search the reference area by repeating the processes of steps 306 to 308 and step 311 of FIG. 2 a plurality of times.
一方、十分な明るさが期待できない環境では、例えば、あるフレームにおける基準領域の探索が失敗した場合に、暫定的に前のフレームの画像制御値を適用してそのフレームの記録を行い、所定数のフレームに渡って連続して探索が失敗したときに、図2に示したステップ312に進んで、画像制御値の再設定を行うこともできる。   On the other hand, in an environment where sufficient brightness cannot be expected, for example, when a reference area search in a certain frame fails, the image control value of the previous frame is temporarily applied to record the frame, and a predetermined number When the search fails continuously over the frames, it is possible to proceed to step 312 shown in FIG. 2 and reset the image control value.
本発明にかかわる撮像装置によれば、動画撮影の際の画質調整値に関する制御において、被写体の像に関する揺らぎに左右されない安定性と被写体の変化に対する追従性とを両立させることができるので、一般的な利用者を想定した動画撮影装置の分野において、極めて有用である。   According to the image pickup apparatus according to the present invention, in the control related to the image quality adjustment value at the time of moving image shooting, it is possible to achieve both stability that is not influenced by fluctuations related to the image of the subject and followability to changes in the subject. The present invention is extremely useful in the field of moving image photographing devices that are intended for various users.
本発明にかかわる撮像装置の第1の実施形態を示す図である。1 is a diagram illustrating a first embodiment of an imaging apparatus according to the present invention. 画質調整動作を表す流れ図である。It is a flowchart showing image quality adjustment operation. 基準領域追跡処理を説明する図である。It is a figure explaining a reference area tracking process.
符号の説明Explanation of symbols
201…操作受付部、202…記録媒体、203…記録処理部、210…撮像処理部、211…光学系、212…撮像素子、213…信号処理部、214…メモリ、215…自動焦点制御部、216…角速度センサ、220…画質調整処理部、221…読出処理部、222…基準領域決定部、223…領域追跡部、224…調整制御部、225…基準データ保持部、226…制御値算出部、227…調整処理部
DESCRIPTION OF SYMBOLS 201 ... Operation reception part, 202 ... Recording medium, 203 ... Recording processing part, 210 ... Imaging processing part, 211 ... Optical system, 212 ... Imaging device, 213 ... Signal processing part, 214 ... Memory, 215 ... Automatic focus control part, 216 ... Angular velocity sensor, 220 ... Image quality adjustment processing unit, 221 ... Reading processing unit, 222 ... Reference region determination unit, 223 ... Region tracking unit, 224 ... Adjustment control unit, 225 ... Reference data holding unit, 226 ... Control value calculation unit 227 ... Adjustment processing unit

Claims (4)

  1. 撮影レンズによって撮像素子上に結像された被写体像を光電変換して得られる各フレームの画像データを順次に記録することで動画撮影を行う撮像装置において、
    所定のフレームの前記画像データの特徴に基づいて、前記撮像素子によって捉えられる撮像範囲に任意の基準領域を設定する領域設定手段と、
    前記所定のフレームについて設定された前記基準領域に捉えられた被写体像あるいはその一部を以降の各フレームについて追尾して、前記各フレームについて基準領域を設定する追尾手段と、
    前記基準領域に含まれる各画素の画素値に基づいて、それぞれ対応するフレームにおける露出時間およびホワイトバランスの少なくとも一つに関する制御値を算出する制御値算出手段と
    を備えたことを特徴とする撮像装置。
    In an imaging apparatus that performs moving image shooting by sequentially recording image data of each frame obtained by photoelectrically converting a subject image formed on an imaging element by a shooting lens,
    An area setting means for setting an arbitrary reference area in an imaging range captured by the imaging element based on characteristics of the image data of a predetermined frame;
    Tracking means for tracking the subject image captured in the reference area set for the predetermined frame or a part thereof for each subsequent frame and setting the reference area for each frame;
    An image pickup apparatus comprising: a control value calculation unit that calculates a control value related to at least one of an exposure time and a white balance in a corresponding frame based on a pixel value of each pixel included in the reference region. .
  2. 請求項1に記載の撮像装置において、
    制御値算出手段は、前記基準領域に含まれる各画素の画素値を、前記動画撮影のための画像データの記録とは独立に決定した蓄積時間で読み出して、前記制御値を求める演算処理に供する読出手段を備えた
    ことを特徴とする撮像装置。
    The imaging device according to claim 1,
    The control value calculation means reads out the pixel value of each pixel included in the reference area at an accumulation time determined independently of recording of image data for moving image shooting, and provides the calculation value to obtain the control value An image pickup apparatus comprising a reading unit.
  3. 請求項1に記載の撮像装置において、
    追尾手段は、
    設定された基準領域に捉えられた被写体の像あるいはその一部の特徴を示す情報を保持する保持手段と、
    前記撮影レンズに備えられた角速度センサによって得られる角速度および焦点距離、撮影距離を含む撮影条件を新たなフレームについて収集する収集手段と、
    前記収集手段によって収集された撮影条件に基づいて、新たなフレームにおいて基準領域が存在する可能性のある範囲を推定する推定手段と、
    前記保持手段に保持された特徴情報に基づいて、前記推定手段による推定結果で示される範囲から前記新たなフレームにおける基準領域を抽出する抽出手段とを備えた
    ことを特徴とする撮像装置。
    The imaging device according to claim 1,
    The tracking means is
    Holding means for holding information indicating an image of a subject captured in the set reference area or a characteristic of a part thereof;
    Collecting means for collecting the imaging conditions including the angular velocity and the focal length obtained by the angular velocity sensor provided in the photographing lens, and the photographing distance for a new frame;
    Estimating means for estimating a range in which a reference area may exist in a new frame based on the imaging conditions collected by the collecting means;
    An image pickup apparatus comprising: extraction means for extracting a reference region in the new frame from a range indicated by an estimation result by the estimation means based on feature information held in the holding means.
  4. 請求項3に記載の撮像装置において、
    前記追尾手段は、
    前記収集手段によって収集された撮影条件と前記撮像装置への電源投入および録画開始を含む撮影にかかわる操作を示す情報とに基づいて、直前のフレームにおける被写体の特徴と新たなフレームにおける被写体の特徴に関する同一性を判定する同一性判定手段と、
    前記同一性判定手段によって被写体の特徴に関する同一性が否定されたときに、前記領域設定手段に新たな基準領域の設定を指示する設定指示手段とを備えた
    ことを特徴とする撮像装置。
    The imaging device according to claim 3.
    The tracking means includes
    Based on the shooting conditions collected by the collecting means and information indicating operations related to shooting including power-on and recording start of the imaging device, the characteristics of the subject in the previous frame and the characteristics of the subject in the new frame Identity determination means for determining identity;
    An imaging apparatus comprising: setting instruction means for instructing the area setting means to set a new reference area when the identity regarding the feature of the subject is denied by the identity determination means.
JP2005290166A 2005-10-03 2005-10-03 Imaging device Expired - Fee Related JP4844073B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005290166A JP4844073B2 (en) 2005-10-03 2005-10-03 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005290166A JP4844073B2 (en) 2005-10-03 2005-10-03 Imaging device

Publications (2)

Publication Number Publication Date
JP2007104200A true JP2007104200A (en) 2007-04-19
JP4844073B2 JP4844073B2 (en) 2011-12-21

Family

ID=38030713

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005290166A Expired - Fee Related JP4844073B2 (en) 2005-10-03 2005-10-03 Imaging device

Country Status (1)

Country Link
JP (1) JP4844073B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155067A1 (en) * 2010-06-11 2011-12-15 株式会社アルトロン Character generation system, character generation method, and program
US8284257B2 (en) 2008-08-29 2012-10-09 Canon Kabushiki Kaisha Image pick-up apparatus and tracking method therefor
JP2016122905A (en) * 2014-12-24 2016-07-07 ソニー株式会社 Image processing apparatus, image processing method, and program

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04219080A (en) * 1990-10-18 1992-08-10 Olympus Optical Co Ltd Exposure controller of video camera
JPH04243206A (en) * 1991-01-17 1992-08-31 Olympus Optical Co Ltd Area selector within photographing image plane of camera
JPH0630318A (en) * 1992-07-10 1994-02-04 Sony Corp Video camera system
JPH06230454A (en) * 1993-02-02 1994-08-19 Nikon Corp Camera provided with object tracking function
JPH0730795A (en) * 1993-07-13 1995-01-31 Sony Corp Video camera system
JPH0918773A (en) * 1995-06-27 1997-01-17 Canon Inc Image pickup device
JPH1164920A (en) * 1997-08-12 1999-03-05 Asahi Optical Co Ltd Exposure controller for camera
JP2003189183A (en) * 2001-12-13 2003-07-04 Chinon Ind Inc Image pickup device
JP2004080376A (en) * 2002-08-19 2004-03-11 Fuji Photo Film Co Ltd Moving picture imaging apparatus and moving picture reproducing apparatus
JP2005170290A (en) * 2003-12-12 2005-06-30 Nissan Motor Co Ltd Obstacle detecting device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04219080A (en) * 1990-10-18 1992-08-10 Olympus Optical Co Ltd Exposure controller of video camera
JPH04243206A (en) * 1991-01-17 1992-08-31 Olympus Optical Co Ltd Area selector within photographing image plane of camera
JPH0630318A (en) * 1992-07-10 1994-02-04 Sony Corp Video camera system
JPH06230454A (en) * 1993-02-02 1994-08-19 Nikon Corp Camera provided with object tracking function
JPH0730795A (en) * 1993-07-13 1995-01-31 Sony Corp Video camera system
JPH0918773A (en) * 1995-06-27 1997-01-17 Canon Inc Image pickup device
JPH1164920A (en) * 1997-08-12 1999-03-05 Asahi Optical Co Ltd Exposure controller for camera
JP2003189183A (en) * 2001-12-13 2003-07-04 Chinon Ind Inc Image pickup device
JP2004080376A (en) * 2002-08-19 2004-03-11 Fuji Photo Film Co Ltd Moving picture imaging apparatus and moving picture reproducing apparatus
JP2005170290A (en) * 2003-12-12 2005-06-30 Nissan Motor Co Ltd Obstacle detecting device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284257B2 (en) 2008-08-29 2012-10-09 Canon Kabushiki Kaisha Image pick-up apparatus and tracking method therefor
WO2011155067A1 (en) * 2010-06-11 2011-12-15 株式会社アルトロン Character generation system, character generation method, and program
US20120139920A1 (en) * 2010-06-11 2012-06-07 Altron Corporation Character generation system, character generation method, and program
US8730265B2 (en) 2010-06-11 2014-05-20 Altron Corporation Character generating system and character generating method
JP5659228B2 (en) * 2010-06-11 2015-01-28 株式会社アルトロン Character generation system, character generation method and program
JP2016122905A (en) * 2014-12-24 2016-07-07 ソニー株式会社 Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP4844073B2 (en) 2011-12-21

Similar Documents

Publication Publication Date Title
KR101342477B1 (en) Imaging apparatus and imaging method for taking moving image
US7791668B2 (en) Digital camera
JP4254873B2 (en) Image processing apparatus, image processing method, imaging apparatus, and computer program
JP4819001B2 (en) Imaging apparatus and method, program, image processing apparatus and method, and program
JP4127521B2 (en) Digital camera and control method thereof
JP4861952B2 (en) Image processing apparatus and imaging apparatus
JP2007281760A (en) Electronic camera
JP4974812B2 (en) Electronic camera
JP2004040712A (en) Imaging apparatus
JP2009098351A (en) Photographing method and apparatus
JP5180349B2 (en) Imaging apparatus, method, and program
JP4818999B2 (en) Imaging apparatus, method, and program
JP3927802B2 (en) Image processing device
JP4844073B2 (en) Imaging device
JP2006039254A (en) Camera
JP4948014B2 (en) Electronic camera
JP5530548B2 (en) Facial expression database registration method and facial expression database registration apparatus
JP2008160280A (en) Imaging apparatus and automatic imaging method
JP4810440B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP4865631B2 (en) Imaging device
JP5200820B2 (en) Imaging apparatus, imaging method, and image processing program
JP2008172395A (en) Imaging apparatus and image processing apparatus, method, and program
JP2008028924A (en) Imaging apparatus and control method thereof
JP4074883B2 (en) Image processing device
JP4789776B2 (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110913

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110926

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4844073

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees