JP2010114752A - Device and method of imaging and program - Google Patents
Device and method of imaging and program Download PDFInfo
- Publication number
- JP2010114752A JP2010114752A JP2008286725A JP2008286725A JP2010114752A JP 2010114752 A JP2010114752 A JP 2010114752A JP 2008286725 A JP2008286725 A JP 2008286725A JP 2008286725 A JP2008286725 A JP 2008286725A JP 2010114752 A JP2010114752 A JP 2010114752A
- Authority
- JP
- Japan
- Prior art keywords
- face
- motion vector
- image
- detected
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は動きベクトルを検出して手ぶれ補正を行うぶれ補正装置を搭載した撮像装置及び撮像方法及びプログラムに関するものである。 The present invention relates to an imaging apparatus, an imaging method, and a program that include a shake correction apparatus that detects a motion vector and corrects camera shake.
ビデオカメラなどの動画像を撮影する撮像装置においては、特にレンズを望遠側にズームしたときに、手ぶれにより画像がぶれることが問題となる。このような手ぶれによる画像のぶれを防止するために、従来より撮影した画像信号から画像の動きベクトルを検出し、この動きベクトルに基づいて画像のぶれを補正する技術が提案されている。また、撮影中に、撮りたい人の顔にピントを合わせるために、画面内にある人間の顔の部分を検出する技術がある。 In an imaging apparatus such as a video camera that captures a moving image, there is a problem that the image is blurred due to camera shake, particularly when the lens is zoomed to the telephoto side. In order to prevent such image blur due to camera shake, a technique has been proposed in which a motion vector of an image is detected from an image signal taken in the past and the image blur is corrected based on the motion vector. In addition, there is a technique for detecting a part of a human face in the screen in order to focus on the face of the person who wants to take the picture during shooting.
動きベクトルを検出し、画像のぶれを補正する技術の中で、画像の動きベクトルを検出する方法としては、従来より、相関演算に基づく相関法やブロックマッチング法等が知られている。 Among techniques for detecting motion vectors and correcting image blurring, a correlation method based on correlation calculation, a block matching method, and the like have been known as methods for detecting a motion vector of an image.
ブロックマッチング法では、入力された画像信号を複数の適当な大きさのブロック領域(例えば8画素×8ライン)に分割する。そして、このブロック単位で前のフィールド(またはフレーム)の一定範囲の画素との差を計算し、この差の絶対値の和が最小となる前のフィールド(またはフレーム)のブロックを探索する。そして、画面間の相対的なずれが、そのブロックの動きベクトルを示している。 In the block matching method, an input image signal is divided into a plurality of block areas (for example, 8 pixels × 8 lines) having an appropriate size. Then, the difference between the previous field (or frame) and a certain range of pixels is calculated in units of blocks, and the block of the previous field (or frame) that minimizes the sum of the absolute values of the differences is searched. And the relative shift | offset | difference between screens has shown the motion vector of the block.
また、マッチング演算については、尾上守夫等により、情報処理Vol.17,No.7,p.634 〜640 July 1976 で詳しく論じられている。 For matching operations, Morio Onoe et al., Information Processing Vol. 17, no. 7, p. 634-640 July 1976.
ブロックマッチング法を用いた従来の動きベクトル検出法の一例を、図面を用いて説明する。図11は従来の動きベクトル検出法によりぶれを防止する装置の概略ブロック図である。 An example of a conventional motion vector detection method using the block matching method will be described with reference to the drawings. FIG. 11 is a schematic block diagram of an apparatus for preventing shake by a conventional motion vector detection method.
まず動きベクトルの検出対象となる画像信号(フィールドまたはフレーム)が画像メモリ9及び空間周波数成分を抽出するフィルタ2に加えられる。画像メモリ9は画像信号を一時記憶する。フィルタ2は画像信号から動きベクトル検出に有用な空間周波数成分を抽出する。即ち、画像信号の低空間周波数成分及び高空間周波数成分を除去する。 First, an image signal (field or frame) as a motion vector detection target is applied to the image memory 9 and the filter 2 for extracting a spatial frequency component. The image memory 9 temporarily stores image signals. The filter 2 extracts a spatial frequency component useful for motion vector detection from the image signal. That is, the low spatial frequency component and the high spatial frequency component of the image signal are removed.
フィルタ2を通過した画像信号は2値化回路3に加えられる。2値化回路3は画像信号を、ゼロレベルを基準として2値化する。具体的には出力信号の符号ビットを出力する。2値化された画像信号は相関演算回路4及び1フィールド期間遅延手段としてのメモリ5に加えられる。相関演算回路4には更にメモリ5から前フィールドの画像信号が加えられている。 The image signal that has passed through the filter 2 is added to the binarization circuit 3. The binarization circuit 3 binarizes the image signal with reference to the zero level. Specifically, the sign bit of the output signal is output. The binarized image signal is applied to the correlation calculation circuit 4 and the memory 5 as one field period delay means. Further, the image signal of the previous field is added from the memory 5 to the correlation calculation circuit 4.
相関演算回路4はブロックマッチング法に従い、上記のように適当な大きさのブロック領域に画像領域を分割し、ブロック単位に現フィールドと前フィールドとの相関演算を行い、その結果の相関値を動きベクトル検出回路6に加える。動きベクトル検出回路6は算出された相関値からブロック単位の動きベクトルを検出する。具体的には相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとしている。このブロック単位の動きベクトルは動きベクトル決定回路7に加えられる。動きベクトル決定回路7はブロック単位の動きベクトルから全体の動きベクトルを決定する。具体的には、ブロック単位の動きベクトルを縦と横のベクトルにし、縦、横それぞれの動きベクトルに対し大きさ度数としたヒストグラムを作成する。 In accordance with the block matching method, the correlation calculation circuit 4 divides the image area into block areas of an appropriate size as described above, performs correlation calculation between the current field and the previous field in units of blocks, and moves the correlation value of the result Add to the vector detection circuit 6. The motion vector detection circuit 6 detects a block-based motion vector from the calculated correlation value. Specifically, the block of the previous field having the smallest correlation value is searched, and the relative shift is used as the motion vector. The block-based motion vector is added to the motion vector determination circuit 7. The motion vector determination circuit 7 determines the entire motion vector from the motion vector in units of blocks. Specifically, a motion vector in units of blocks is set to a vertical and horizontal vector, and a histogram is created with a magnitude frequency for each of the vertical and horizontal motion vectors.
図10において、(A)は、撮像画像、(B)は、検出されたブロックごとの動きベクトル、(C)は検出された動きベクトルの、縦と横それぞれのヒストグラムを示している。このようにヒストグラムを作成し、度数がピークとなったところを、全体の動きベクトルとしている。 10A is a captured image, FIG. 10B is a motion vector for each detected block, and FIG. 10C is a vertical and horizontal histogram of the detected motion vector. In this way, a histogram is created, and the place where the frequency reaches a peak is used as the entire motion vector.
動きベクトル決定回路7は決定した画像全体の動きベクトルをメモリ読み出し制御回路8に加える。メモリ読み出し制御回路8は上記の全体の動きベクトルに応じて画像の動きが相殺されるように画像メモリ9の読み出し位置を制御し、画像メモリ9からぶれが補正された画像信号が出力される。 The motion vector determination circuit 7 adds the determined motion vector of the entire image to the memory read control circuit 8. The memory readout control circuit 8 controls the readout position of the image memory 9 so that the motion of the image is canceled in accordance with the overall motion vector, and an image signal in which the blur is corrected is output from the image memory 9.
しかしながら、上記の方法では、移動している人物を追いかけながら撮影する場合、人物の画面に対する割合が小さいときは、背景のベクトルに対する度数が増加してしまう。そのため、背景が画面内の元の位置にとどまるように画像メモリの読み出し位置が変化し、それにより本来動きがないはずである画面内の領域の位置が変化するため、画面が背景に引っ張られたような動きをしてしまう。 However, in the above method, when shooting while chasing a moving person, the frequency with respect to the background vector increases if the ratio of the person to the screen is small. As a result, the read position of the image memory changes so that the background remains at the original position in the screen, which changes the position of the area in the screen that should not move, so the screen was pulled to the background It moves like this.
この問題点を解決する方法として、特許文献1には、次のような方法が開示されている。即ち、動きベクトルの大きさの絶対値が小さい方が補正すべき動きベクトルであり、大きい方が移動物であるという識別方法を用いることにより、背景に引っ張られるような動きを回避している。
As a method for solving this problem,
また、動きベクトルによるパンニング検出方法としては、特許文献2には、各検出領域における動きベクトルの大きさがほぼ一定で、所定時間継続しているかどうかで判定する方法が開示されている。 As a panning detection method using motion vectors, Patent Document 2 discloses a method for determining whether or not the size of a motion vector in each detection region is substantially constant and continues for a predetermined time.
次に、顔検出に関する技術としては、特許文献3に認識された顔領域を含む焦点検出エリアを設定し、焦点検出を行う方法が開示されている。
上記の特許文献1の方法は、撮像装置のぶれが比較的小さい場合や、撮像装置によって生じる画像が移動物の速度と比較して小さいときには有効である。例えば、撮像装置に装着される、又は撮像装置が備える撮像光学系の焦点距離が比較的短い場合等である。
The method disclosed in
しかしながら、撮像装置のぶれは、撮影環境や撮影者の熟練度等によってその大きさが変化する。また、撮像装置のぶれによって生じる画像は、上記撮像光学系の焦点距離に比例して大きくなっていく。さらに、人物の動きがゆっくりの場合は、背景の動きベクトル自体が小さくなる。そのため、人物を追いかけている(パンニング動作)時に発生する撮像装置の動きにより生じる動きベクトルと、人物等の移動被写体の手ぶれによる動きベクトルとの識別を、動きベクトルの大きさによってのみ行うと、誤差が大きくなる。その結果、実際の被写体と背景の動きを判別できずに、被写体の動きが非常に見苦しくなってしまう。 However, the magnitude of camera shake varies depending on the shooting environment, the skill level of the photographer, and the like. In addition, the image generated by the shake of the image pickup apparatus increases in proportion to the focal length of the image pickup optical system. Further, when the person moves slowly, the background motion vector itself becomes smaller. For this reason, if the motion vector generated by the movement of the imaging device that occurs when the person is chased (panning operation) and the motion vector due to camera shake of a moving subject such as a person are identified only by the magnitude of the motion vector, an error occurs. Becomes larger. As a result, the movement of the subject becomes very unsightly because the movement of the actual subject and the background cannot be distinguished.
また、特許文献2では、パンニング検出時はカメラ自体が移動しているため、防振機能を停止する旨が記載されているが、被写体をカメラで追いかけている場合は、被写体に対するぶれ補正が行われないことになる。 Further, Patent Document 2 describes that the image stabilization function is stopped because the camera itself is moving at the time of panning detection. However, when the subject is chased by the camera, blur correction for the subject is performed. It will not be broken.
従って、本発明は上述した課題に鑑みてなされたものであり、被写体をカメラで追いかけながら撮影するときに、人物を識別し、主要被写体に対するぶれ補正を抑え、結果としてスムーズに追従が行えるようにすることを目的とする。 Therefore, the present invention has been made in view of the above-described problems, and when shooting a subject while chasing it with a camera, a person is identified, blur correction on the main subject is suppressed, and as a result, smooth tracking can be performed. The purpose is to do.
上記問題を解決するために、本発明の撮像装置は、画像を複数のブロック領域に分割して、分割されたそれぞれのブロック領域ごとに動きベクトルを検出するベクトル検出手段と、前記画像から人の顔を検出する顔検出手段と、前記顔検出手段によって顔が検出された場合に、前記分割された複数のブロック領域の中から前記顔およびその周辺部に位置する所定のブロック領域を選択する選択手段と、前記選択手段によって選択されたブロック領域の動きベクトルの度数に対して所定の重み付けを設定する設定手段と、前記動きベクトルの大きさを階級として、前記設定手段により重み付けを設定した度数に基づいて前記それぞれのブロック領域ごとの動きベクトルを度数分布上に振り分ける分類手段と、前記度数の大きさに基づいて代表動きベクトルを決定する決定手段と、前記代表動きベクトルに基づいて画像のぶれを補正するぶれ補正手段とを有することを特徴としている。 In order to solve the above problem, an imaging apparatus according to the present invention divides an image into a plurality of block regions, detects a motion vector for each of the divided block regions, and detects human motion from the images. A face detection unit for detecting a face, and a selection for selecting a predetermined block region located in the face and its peripheral portion from the plurality of divided block regions when a face is detected by the face detection unit Means for setting a predetermined weight for the frequency of the motion vector of the block area selected by the selection means, and the frequency set by the setting means with the magnitude of the motion vector as a class Classifying means for distributing the motion vector for each block area on the frequency distribution based on the frequency distribution, and representative motion based on the magnitude of the frequency It is characterized by having a determining means for determining a vector, and blur correction means for correcting the blur of the image based on the representative motion vector.
また、上記問題を解決するために、本発明の撮像方法は、画像を複数のブロック領域に分割して、分割されたそれぞれのブロック領域ごとに動きベクトルを検出するベクトル検出工程と、前記画像から人の顔を検出する顔検出工程と、前記顔検出工程によって顔が検出された場合に、前記分割された複数のブロック領域の中から前記顔およびその周辺部に位置する所定のブロック領域を選択する選択工程と、前記選択工程によって選択されたブロック領域の動きベクトルの度数に対して所定の重み付けを設定する設定工程と、前記動きベクトルの大きさを階級として、前記設定工程により重み付けを設定した度数に基づいて前記それぞれのブロック領域ごとの動きベクトルを度数分布上に振り分ける分類工程と、前記度数の大きさに基づいて代表動きベクトルを決定する決定工程と、前記代表動きベクトルに基づいて画像のぶれを補正するぶれ補正工程とを有することを特徴としている。 In order to solve the above problem, the imaging method of the present invention divides an image into a plurality of block areas, and detects a motion vector for each of the divided block areas. A face detection step for detecting a human face, and when a face is detected by the face detection step, a predetermined block region located on the face and its peripheral portion is selected from the divided block regions A setting step for setting a predetermined weight for the frequency of the motion vector of the block area selected by the selection step, and setting the weight by the setting step, with the magnitude of the motion vector as a class A classification step of allocating the motion vector for each block area on the frequency distribution based on the frequency, and on the basis of the size of the frequency A determination step of determining a table motion vectors, is characterized by having a blur correction step of correcting the blur of the image based on the representative motion vector.
以上説明したように、本発明によれば、顔を検出したとき、顔の位置とその下の体に相当する部分の領域の動きベクトルの大きさに対する度数に重み付けを行うことにより、人物に対する動きベクトルを検出しやすくなる。また、特にパンニング中に手ぶれを補正することができ、撮影者の意図通りの撮影を行うことが可能となる。 As described above, according to the present invention, when a face is detected, the motion with respect to the person is weighted by weighting the frequency with respect to the position of the face and the magnitude of the motion vector of the area corresponding to the body below the face. It becomes easy to detect a vector. In addition, camera shake can be corrected particularly during panning, and it is possible to perform shooting as intended by the photographer.
これによって、被写体をカメラで追いかけながら撮影するときに、被写体を識別し、主要被写体に対するぶれ補正を抑え、結果としてスムーズに追従が行えるようになる。 As a result, when the subject is photographed while chasing with the camera, the subject is identified, blur correction for the main subject is suppressed, and as a result, smooth tracking can be performed.
(実施例1)
以下、本発明について図面を参照しながら詳細に説明する。図1は本発明の特徴を備えた撮像装置の構成を構成を示している。
Example 1
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 shows the configuration of an image pickup apparatus having features of the present invention.
図1において、101はレンズおよび絞りからなる撮像光学系、102はCCDやCMOSセンサ等からなる固体撮像素子、103は撮影した画像に必要な信号処理を行う信号処理回路である。104は信号処理回路103で信号処理された画像を複数のブロック領域に分割する画像領域分割部、105は前記分割されたそれぞれの画像領域での動きベクトルを検出する動きベクトル検出部である。109は画像から、顔の位置を検出する顔検出部であり、画像に対して公知の顔認識処理を施し、撮影画面内の人物の顔領域を検出する。顔認識処理としては、例えば、画像で表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等が開示されている。110は顔検出部109により画像から顔の位置を検出された画像上の顔の位置から、顔を含んだ所定の画像領域を選択する画像領域選択部である。
In FIG. 1, reference numeral 101 denotes an image pickup optical system including a lens and a diaphragm, 102 denotes a solid-state image pickup element such as a CCD or CMOS sensor, and 103 denotes a signal processing circuit that performs signal processing necessary for a captured image.
106は画像領域選択部110により選択された画像領域の動きベクトルに対し、所定の重み付けを行う重み付け設定部である。107は各画像領域ごとの動きベクトルを、その大きさを階級とし、重み付け設定部106により重み付けを施した度数を基に度数分布上に振り分けてベクトルの分類を行うヒストグラム作成部である。108はヒストグラム作成部107により度数分布上に振り分けられた動きベクトルから、代表となる動きベクトルを決定する動きベクトル決定部である。112は動きベクトル決定部108により決定された動きベクトルから、記録または表示する画像の範囲を決める制御を行うメモリ読み出し制御部である。111は信号処理された画像データを記憶する画像メモリ、113は画像データをメモリカード、ハードディスク等の記録媒体に記録するための記録部である。
A
図2を用いて本実施例における重み付けを行う領域を説明する。 An area for weighting in this embodiment will be described with reference to FIG.
図2の例では、画面内に被写体が存在しており、その被写体が右側に動いているシーンを撮影しており、ビデオカメラを被写体に合わせて右側に動かしている(パンニング状態である)とする。また、動画撮影時は特定の周期でビデオカメラに画像を取り込んでいるので、前フレームと現フレーム(前フィールドと現フィールドでも可)の画像から動きベクトルを検出することができる。 In the example of FIG. 2, when a subject is present on the screen and the subject is moving to the right, the video camera is moved to the right according to the subject (in a panning state). To do. In addition, when moving images are captured, images are taken into the video camera at a specific cycle, so that motion vectors can be detected from images of the previous frame and the current frame (or the previous field and the current field are also possible).
201は画像領域分割部104で分割されたブロック(ベクトル検出領域)を示し、このブロック単位でフィールド間(フレーム間)の動きベクトルを取得する。顔検出枠202は顔検出部109にて画像から検出された顔の検出枠である。設定枠203は画像領域選択部110にて選択された設定枠であり、顔の検出領域とその下の部分が選択される。顔の下の部分も選択するのは、顔の下にはその人の胴体部があるため、顔と胴体に相当する部分を含んだ領域を選択するためである。この設定枠の大きさは、標準的な顔と胴体のバランスを考え、横方向は顔の2倍程度、縦方向は顔の4倍程度の大きさとしている。顔の部分のみを選択領域としないのは、顔の領域のみでは全体のブロック数に対する選択領域の割合が小さくなり、必要な被写体に対する動きベクトルの検出精度が低下するためである。
Reference numeral 201 denotes a block (vector detection area) divided by the image
図3は、本発明の重み付け変更のフローチャートを示している。以下、図3を用いて、本発明によるベクトル検出の動作について説明する。 FIG. 3 shows a flowchart of the weighting change of the present invention. Hereinafter, the vector detection operation according to the present invention will be described with reference to FIG.
図3において、ステップS300において、顔検出部109を用いて画像から顔の位置を検出する。
In FIG. 3, in step S300, the
ステップS301において、画像領域選択部110によって、ステップS300で画像内に顔が検出された場合は顔が検出されたと判定され、ステップS302に進む。ステップS300で画像内に顔が検出さなかった場合は、画像領域選択部110によって、画像から顔が検出されなかったと判定され、ステップS306に進む。
In step S301, if a face is detected in the image in step S300 by the image
図3のステップS302では、検出された顔の大きさから、画像領域選択部110にて設定枠の大きさを決めている。なお、画像領域選択部110にて選択された設定枠は図2の設定枠203に該当する。
In step S302 in FIG. 3, the size of the setting frame is determined by the image
次に、ステップS302にて領域を選択した後、ステップS303で重み付け設定部106により設定枠内の重み付け量を変更する。この重み付け量は、人を追いかけている時の画面内の大きさから、経験的に約4倍の重み付けとしている。しかし、設定枠の大きさが大きい場合と小さい場合で同じ重み付けを行った場合、設定枠が小さいと、重み付けをおこなったとしても主要な被写体の動きベクトルを決定するための度数が検出に必要な量まで増加しない可能性もある。そのため、設定枠が小さい場合、つまり選択領域の動きベクトル検出枠の数が少ない場合は、重み付け量を増やすようにしてもよい。この操作により、ヒストグラム作成時に必要な動きベクトルの大きさに対する度数が確保できるようにしている。
Next, after an area is selected in step S302, the weighting amount in the setting frame is changed by the
ステップS304では、ヒストグラム作成部107によって重み付けを行った度数によりヒストグラムが作成される。図4は、本発明を適用し、重み付けを行った場合に、動きベクトルの大きさに対するヒストグラム上の度数がどのように変化するかを示した図である。先ず、各ブロック(ベクトル検出領域)の移動ベクトルとして複数の移動ベクトルが検出される。その後に図4(A)のように度数分布上にこの複数のベクトルの個数に相当する度数が属する階級に振り分けてプロットすることで分類し、各階級の度数(頻度)を得ることができる。なお、それぞれ範囲を持つ階級の階級値としては、その階級の上限値と下限値の中間値を用いればよい。また、Y方向(画面縦方向)の処理とX方向(画面横方向)の処理は同様の処理を行うため、以下ではX方向の処理のみを例にとって説明を行う。
In step S304, a histogram is created based on the frequency weighted by the
なお、図4(A)のように重み付けを行う前においては、主被写体に対する動きベクトルのヒストグラムは度数が低く、このヒストグラムから求められる代表ベクトルは図4に示す背景領域の動きに対するベクトルとなる。これに対し、図4(B)は顔およびその周辺部に対する重み付けを行っている。この場合、主被写体部の度数が増加するため、検出される代表ベクトルは本来の被写体に対する動きベクトルとすることができる。このように、顔を含んだ所定の領域を選択し、かつ領域の大きさに応じて重み付け設定を変更することで、主被写体の大きさに依存することなく主被写体に対するぶれ補正を行うことが可能となる。 Before weighting as shown in FIG. 4A, the histogram of the motion vector for the main subject has a low frequency, and the representative vector obtained from this histogram is the vector for the motion of the background area shown in FIG. On the other hand, FIG. 4B weights the face and its peripheral part. In this case, since the frequency of the main subject portion increases, the detected representative vector can be a motion vector for the original subject. In this way, by selecting a predetermined area including the face and changing the weighting setting according to the size of the area, it is possible to perform shake correction on the main subject without depending on the size of the main subject. It becomes possible.
ステップS305では、ステップS304によって作成されたヒストグラムを用いて、動きベクトル決定部108は代表ベクトルを決定する。
In step S305, the motion
ステップS300にて、画像から顔が検出されていない場合は、ステップS301からステップS306に進むが、ステップS306では画像領域選択部110において重み付けを行うための設定枠を無効にする。
If no face is detected from the image in step S300, the process proceeds from step S301 to step S306. In step S306, the image
ステップS307では、重み付け設定部106が重み付け量をリセットする。その結果、顔が検出されていない場合は、図4(A)のような重み付けをしていない従来のヒストグラムを作成し、そこから代表動きベクトルが決定されることになる。
In step S307, the
以上説明したように、顔検出を用いて画像から検出された顔の部分と胴体に対応する部分の領域を選択し(設定枠を設定し)、選択した部分のベクトルの大きさに対する度数に重み付けを行うことで、高い精度で主要被写体に対する動きベクトルを検出可能になる。その結果として、撮影者が意図した通りに被写体に対するぶれのみを補正することが可能となる。 As described above, the face area detected from the image using face detection and the area corresponding to the body are selected (setting frame is set), and the frequency for the magnitude of the vector of the selected area is weighted. By performing the above, it becomes possible to detect the motion vector for the main subject with high accuracy. As a result, it is possible to correct only the shake with respect to the subject as intended by the photographer.
(実施例2)
図5は、本発明の第2の実施例を示した構成図である。図5において、図1と同じ構成のものは同じ符号を付し、説明は省略する。
(Example 2)
FIG. 5 is a block diagram showing a second embodiment of the present invention. In FIG. 5, the same components as those in FIG.
501はパンニング検出部である。パンニング検出部501では、各動きベクトル検出領域に対するベクトルの時間的変化を観察し、動きベクトル検出領域のうち、同じ方向の動きベクトルが所定数以上ある場合に、パンニング動作がなされていると判断する。
502は顔検出位置判定部である。顔検出位置判定部502は、顔検出部109で画像から検出された顔が、所定時間の間、所定領域内にいるかどうかの判定を行っている。パンニング検出中に顔が検出され、かつ検出された顔の位置が所定時間の間、所定領域内にある場合は、人を追いかけながら撮影している状況である確率が上がる。そのため、本実施例においては、パンニング情報と顔検出情報を用いることで、より精度良く撮影者の意図を反映し、被写体の追いかけが出来るようにしたものである。
図6は、本発明の主要な制御部のフローチャートを示している。以下、図6と図5を基に、本発明の第2の実施例について説明する。 FIG. 6 shows a flowchart of the main control unit of the present invention. The second embodiment of the present invention will be described below with reference to FIGS.
ステップS600では、パンニング検出部501にて、パンニングが検出されたかどうかの判定を行う。ここでパンニング判定がなされている場合、ステップS601に進む。ステップS601は、顔検出部109にて画像から顔を検出する部分である。ここで画像内に顔が検出された場合は、ステップS602にて、顔が検出されたと判定され、ステップS603に進む。ステップS603では、顔検出位置判定部502にて検出した顔が所定領域内にあるかどうかの判定を行っている。
In step S600, the panning
さらに、ステップS604では、同じく顔検出位置判定部502にて画像から顔を検出した時間が所定時間以上かどうかの判定を行っている。ステップS603およびステップS604での判定は、パンニング状態であるにもかかわらず、画像から検出された顔が画面内で停止状態にあるかどうかの判定となり、この条件が整った場合は追いかけ撮影がなされていると見なすことができる。条件がそろった場合、ステップS605にて、検出された顔の大きさから、画像領域選択部110にて画像の設定枠の大きさを決めている。
Furthermore, in step S604, it is similarly determined whether the face detection
ステップS605にて領域を選択した後、次にステップS606で設定枠内の重み付け量を変更する。ここでの重み付け量は、実施例1と同じである。そして、ステップS607で、実施例1と同様に重み付けを行った度数によりヒストグラムが作成され、ステップS608で代表ベクトルが決定されることになる。 After selecting an area in step S605, the weighting amount in the setting frame is changed in step S606. The weighting amount here is the same as in the first embodiment. In step S607, a histogram is created based on the weighted frequency as in the first embodiment, and a representative vector is determined in step S608.
ステップS600にてパンニング検出がなされていない場合、また、ステップS602で顔が検出されていない場合、さらにステップS603、ステップS604にて所定の条件がそろっていない場合は、ステップS609にて設定枠を無効にする。そしてステップS610で重み付け量をリセットすることで、従来のヒストグラムを作成し、代表ベクトルが決定されることになる。 If panning is not detected in step S600, a face is not detected in step S602, or if predetermined conditions are not met in steps S603 and S604, a setting frame is set in step S609. To disable. In step S610, the weighting amount is reset, thereby creating a conventional histogram and determining a representative vector.
以上説明したように、パンニングが検出されたとき、画面内に顔が検出され、さらに顔の位置が画面内の所定領域内に所定時間入っていることを確認することで、撮影者が人物の追っかけ撮影を行っていることを、高い精度で判定することが可能となる。これによって、撮影者の意図通りの撮影画像を得ることができるようになる。 As described above, when panning is detected, a face is detected on the screen, and by confirming that the face position is within a predetermined area in the screen for a predetermined time, the photographer can It is possible to determine with high accuracy that the chase shooting is being performed. As a result, a photographed image as intended by the photographer can be obtained.
(実施例3)
第3の実施例では、顔を検出し、重み付けを行った後、たとえば人が後ろを向くなどして、顔検出ができなくなった場合の動作について説明する。
(Example 3)
In the third embodiment, after detecting a face and performing weighting, an operation in the case where face detection cannot be performed, for example, when a person turns backward will be described.
図7は、本発明の第3の実施例を示した構成図である。図7において、図1と同じ構成のものは同じ符号を付し、説明は省略する。 FIG. 7 is a block diagram showing a third embodiment of the present invention. In FIG. 7, the same components as those in FIG.
図7において、実施例3のベクトル領域選択部701は図1の画像領域選択部110と同じブロック領域選択部であるとともに、胴体部のブロック領域も指定できるようになっている。702は色検出および記憶部であり、ベクトル領域選択部701で選択された胴体部のブロック領域内の色を検出し、それを記憶している。703は色監視部であり、ベクトル領域選択部701にて選択された胴体の位置に対して、702で記憶した色が変化したかどうかを監視する。ここでは顔を検出したとき、胴体部の色、すなわち服の色を記憶し、被写体としている人が後ろを向いて顔検出ができなくなった場合でも、服の色をもとに、被写体がそこにいるかどうかの判定を行うことで、違和感のない追っかけの撮影を可能にしている。
In FIG. 7, the vector
図8は、本発明の主要な制御部のフローチャートを示している。以下、図8と図7を基に、本発明の第3の実施例について説明する。 FIG. 8 shows a flowchart of the main control unit of the present invention. In the following, a third embodiment of the present invention will be described with reference to FIGS.
図8において、ステップS800は、顔検出部109にて、画像から顔を検出する部分である。次にステップS801で、画像から顔が検出されたかどうかの判定を行い、画像から顔が検出された場合は、ステップS802へと進む。ステップS802では、画像から検出された顔の大きさから、ベクトル領域選択部701にて設定枠の大きさを決めている。
In FIG. 8, step S <b> 800 is a part in which the
ステップS802にて領域を選択した後、次にステップS803で、色検出および記憶部702により、人の胴体部分に相当する領域の色を検出して記憶する。そして、ステップS804では、重み付け設定部106にて設定枠内の重み付け量を変更する。
After selecting an area in step S802, in step S803, the color detection and storage unit 702 detects and stores the color of the area corresponding to the human torso portion. In step S804, the
重み付け設定部106における重み付け量の設定は、実施例1と同じである。そしてステップS805では、ヒストグラム作成部107にて重み付けを行った度数によりヒストグラムが作成され、ステップS806では、動きベクトル決定部108により代表ベクトルが決定されることになる。
The setting of the weighting amount in the
さて、ステップS801にて顔が検出されなかった場合、ステップS807にて、重み付けが設定されているかどうかの判定を行う。すでに重み付けの設定が行われている場合は、顔が一度検出された後に、被写体が後ろを向くなどの理由で検出できなくなったことになる。 If no face is detected in step S801, it is determined in step S807 whether or not weighting is set. If the weighting has already been set, the face cannot be detected because the subject turns backward after the face is detected once.
そこでステップS808では、色監視部703により胴体に相当する部分の色が、色検出および記憶部702で記憶した色から変化したかどうかの判定を行う。ここで色が変化していない場合はステップS804へと進み、重み付け量は変更されたままとしている。この動作により、顔が撮影の途中で検出されなくなったとしても、対象となっている被写体の服の色を検出することにより、撮影者の意図通りに追っかけ撮影が行えることになる。 In step S808, the color monitoring unit 703 determines whether the color corresponding to the body has changed from the color stored in the color detection and storage unit 702. If the color has not changed, the process proceeds to step S804, and the weighting amount remains changed. By this operation, even if the face is not detected in the middle of shooting, it is possible to perform chasing shooting as intended by the photographer by detecting the color of clothes of the subject.
ステップS807で重み付けがなされていない場合、また、ステップS808で胴体部の色が変化したと判定された場合は、追っかけている被写体はいないと判断する。そしてステップS809で設定枠を無効にし、ステップS810で重み付け量をリセットすることで、従来のヒストグラムを作成し、代表ベクトルが決定されることになる。 If no weighting is performed in step S807, or if it is determined in step S808 that the color of the body portion has changed, it is determined that there is no subject to be chased. In step S809, the setting frame is invalidated, and the weighting amount is reset in step S810, whereby a conventional histogram is created and a representative vector is determined.
以上説明したように、人物を追っかけながらの撮影を行っているとき、顔が検出されなくなっても胴体に相当する部分の色(例えば服の色)を監視し、色が変化するまでは設定枠、および重み付け量を変更しないようにする。これによって、撮影者の意図した撮影を行うことができる。 As described above, when shooting while chasing a person, the color of the part corresponding to the body (for example, the color of the clothes) is monitored even if the face is not detected, and the setting frame until the color changes Do not change the weighting amount. Thereby, it is possible to perform photographing intended by the photographer.
(実施例4)
本発明の第4の実施例を示した構成図は図1と同じであり、説明は省略する。第4の実施例として、検出された顔が画像領域に対して非常に小さい場合の動作について説明する。検出された顔が非常に小さい場合は、人物の追っかけではなく、風景の撮影を行っているなかで、人物が動いている状況、あるいは被写体の動き自体を撮ろうとしていると考えられる。そこで、顔が画像領域に対して非常に小さい場合は、重み付けを行わないほうが望ましい。
Example 4
The configuration diagram showing the fourth embodiment of the present invention is the same as FIG. As a fourth embodiment, the operation when the detected face is very small relative to the image area will be described. If the detected face is very small, it is considered that the person is moving or the subject's movement itself is being taken while photographing a landscape, not following the person. Therefore, when the face is very small relative to the image area, it is desirable not to perform weighting.
図9は、実施例4の主要部のフローチャートを示している。図9において、ステップS900において、顔検出部109にて画像から顔を検出する。ここで画像内に顔が検出された場合は、ステップS901にて顔が検出されたと判定され、ステップS902に進む。
FIG. 9 shows a flowchart of the main part of the fourth embodiment. In FIG. 9, in step S900, the
ステップS902では、検出された顔の大きさから、画像領域選択部110にて設定枠の大きさを決めている。ステップS902にて領域を選択した後、次にステップS903で設定枠の大きさが所定値以上かどうかの判定を行う。所定値以上の場合は、ステップS904にて設定枠内の重み付け量を変更する。この重み付け量は実施例1と同様である。そして、ステップS905で、重み付けを行った度数によりヒストグラムが作成され、ステップS906で代表ベクトルが決定されることになる。
In step S <b> 902, the size of the setting frame is determined by the image
ステップS900にて、顔が検出されていない場合、およびステップS903で、設定枠の大きさが所定値未満である場合はステップS907に進み、ステップS307では重み付けを行うための設定枠を無効にし、ステップS908で重み付け量をリセットする。その結果、画像から顔が検出されていない場合、または、画像から顔が検出されていても、その大きさが非常に小さい場合は従来のヒストグラムを作成し、そこから代表動きベクトルが決定されることになる。 If no face is detected in step S900, and if the size of the setting frame is less than the predetermined value in step S903, the process proceeds to step S907. In step S307, the setting frame for weighting is invalidated, In step S908, the weighting amount is reset. As a result, when a face is not detected from the image or when a face is detected from the image but the size is very small, a conventional histogram is created, and a representative motion vector is determined therefrom. It will be.
以上説明したように、画像から顔が検出されても、その大きさが非常に小さい場合は、重み付けを行わないことで、撮影者の意図通りの撮影を行うことができる。 As described above, even if a face is detected from an image, if the size is very small, it is possible to perform shooting as intended by the photographer by not performing weighting.
(その他の実施例)
その他実施例として、画像領域内に複数の顔が検出された場合の動作について説明する。その他の実施例においても構成図は図1と同じであり、説明は省略する。
(Other examples)
As another embodiment, an operation when a plurality of faces are detected in an image area will be described. In the other embodiments, the configuration diagram is the same as that in FIG.
複数の顔が検出されたときは、基本的に画像の中央部に位置する顔およびその下の胴体部分に対する重み付けを変更する。通常、撮影者は自分が撮りたい被写体を画面の中央に配置する。そこで、顔が複数検出された場合は、もっとも中心に近い顔を用いて重み付けを行うことで、撮影者の意図にもっとも合った撮影を行うことが可能となる。 When a plurality of faces are detected, the weights for the face located at the center of the image and the body part below the face are basically changed. Usually, the photographer places the subject he / she wants to shoot at the center of the screen. Therefore, when a plurality of faces are detected, weighting is performed using the face closest to the center, thereby making it possible to perform photographing that best matches the photographer's intention.
なお、本発明は、以下の構成でも達成され得る。 In addition, this invention can be achieved also with the following structures.
前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、コンピュータあるいは装置に供給するとする。これによって、このコンピュータあるいは装置の制御部が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成され得る。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 It is assumed that a storage medium storing software program codes for realizing the functions of the above-described embodiments is supplied to a computer or an apparatus. Thereby, the control unit of the computer or apparatus can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the function of the above-described embodiment, and the storage medium storing the program code of the software realizing the function of the above-described embodiment constitutes the present invention. Will do.
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。 As a storage medium for supplying the program code, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, or the like is used. be able to.
201 分割されたブロック
202 顔検出枠
203 設定されたブロック領域
501 パンニング検出部
502 顔検出位置判定部
702 色検出および記憶部
703 色監視部
DESCRIPTION OF SYMBOLS 201 Block divided | segmented 202 Face detection frame 203 Set block area |
Claims (11)
前記画像から人の顔を検出する顔検出手段と、
前記顔検出手段によって顔が検出された場合に、前記分割された複数のブロック領域の中から前記顔およびその周辺部に位置する所定のブロック領域を選択する選択手段と、
前記選択手段によって選択されたブロック領域の動きベクトルの度数に対して所定の重み付けを設定する設定手段と、
前記動きベクトルの大きさを階級として、前記設定手段により重み付けを設定した度数に基づいて前記それぞれのブロック領域ごとの動きベクトルを度数分布上に振り分ける分類手段と、
前記度数の大きさに基づいて代表動きベクトルを決定する決定手段と、
前記代表動きベクトルに基づいて画像のぶれを補正するぶれ補正手段とを有する撮像装置。 A vector detecting means for dividing an image into a plurality of block areas and detecting a motion vector for each of the divided block areas;
Face detection means for detecting a human face from the image;
A selection means for selecting the face and a predetermined block area located in the periphery thereof from the plurality of divided block areas when a face is detected by the face detection means;
Setting means for setting a predetermined weight for the frequency of the motion vector of the block area selected by the selection means;
Classifying means for assigning the motion vector for each of the respective block areas on the frequency distribution based on the frequency set by the setting means with the magnitude of the motion vector as a class,
Determining means for determining a representative motion vector based on the magnitude of the frequency;
An image pickup apparatus comprising: a shake correction unit that corrects a shake of an image based on the representative motion vector.
前記顔検出手段により検出された顔の位置が移動したかどうかを判定する位置判定手段とをさらに有し、
前記パンニング検出手段によりパンニングが検出され、かつ、前記位置判定手段により顔の位置が移動していないと判定されたときは、前記選択手段は前記分割された複数のブロック領域の中から前記顔およびその周辺部に位置する所定のブロック領域を選択することを特徴とする請求項1記載の撮像装置。 Panning detection means for detecting whether it is in a panning state;
Position determination means for determining whether or not the position of the face detected by the face detection means has moved,
When the panning is detected by the panning detection unit and the position determination unit determines that the position of the face is not moved, the selection unit selects the face and the face from the plurality of divided block areas. The imaging apparatus according to claim 1, wherein a predetermined block region located in the peripheral portion is selected.
前記色検出手段により検出された色が変化したかどうかを監視する監視手段とをさらに有し、
前記顔検出手段による顔の検出がなされなくなった後、前記監視手段により色が変化したことが検出されたときに、前記重み付け設定手段により設定した重み付け量を変更することを特徴とする請求項1ないし5の何れか1項に記載の撮像装置。 Color detecting means for detecting the color of an image of a predetermined block area located in the peripheral part of the face detected by the face detecting means;
Monitoring means for monitoring whether the color detected by the color detection means has changed,
2. The weighting amount set by the weight setting unit is changed when it is detected by the monitoring unit that the color has changed after the face detection unit no longer detects the face. 6. The imaging device according to any one of items 5 to 5.
前記画像から人の顔を検出する顔検出工程と、
前記顔検出工程によって顔が検出された場合に、前記分割された複数のブロック領域の中から前記顔およびその周辺部に位置する所定のブロック領域を選択する選択工程と、
前記選択工程によって選択されたブロック領域の動きベクトルの度数に対して所定の重み付けを設定する設定工程と、
前記動きベクトルの大きさを階級として、前記設定工程により重み付けを設定した度数に基づいて前記それぞれのブロック領域ごとの動きベクトルを度数分布上に振り分ける分類工程と、
前記度数の大きさに基づいて代表動きベクトルを決定する決定工程と、
前記代表動きベクトルに基づいて画像のぶれを補正するぶれ補正工程とを有する撮像方法。 A vector detection step of dividing an image into a plurality of block regions and detecting a motion vector for each of the divided block regions;
A face detection step of detecting a human face from the image;
When a face is detected by the face detection step, a selection step of selecting a predetermined block region located on the face and its peripheral portion from the divided block regions;
A setting step for setting a predetermined weight for the frequency of the motion vector of the block region selected by the selection step;
A classifying step of classifying the motion vectors for the respective block areas on the frequency distribution based on the frequency set by the setting step, with the magnitude of the motion vector as a class;
A determination step of determining a representative motion vector based on the magnitude of the frequency;
A blur correction step of correcting a blur of the image based on the representative motion vector.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008286725A JP2010114752A (en) | 2008-11-07 | 2008-11-07 | Device and method of imaging and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008286725A JP2010114752A (en) | 2008-11-07 | 2008-11-07 | Device and method of imaging and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010114752A true JP2010114752A (en) | 2010-05-20 |
Family
ID=42302945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008286725A Pending JP2010114752A (en) | 2008-11-07 | 2008-11-07 | Device and method of imaging and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010114752A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014056343A (en) * | 2012-09-11 | 2014-03-27 | Mega Chips Corp | Mobile terminal device, program, and situation detection method |
JP2015162711A (en) * | 2014-02-26 | 2015-09-07 | キヤノン株式会社 | Imaging apparatus and control method of the same |
JP2016066928A (en) * | 2014-09-25 | 2016-04-28 | キヤノン株式会社 | Blur correction device, blur correction method, program, and imaging apparatus |
JP2016171460A (en) * | 2015-03-12 | 2016-09-23 | キヤノン株式会社 | Image processing system, image processing method, program and storage medium |
US9641756B2 (en) | 2013-09-24 | 2017-05-02 | Canon Kabushiki Kaisha | Image capturing apparatus and image capturing method |
JP2017092592A (en) * | 2015-11-05 | 2017-05-25 | キヤノン株式会社 | Tracking controller, tracking controlling method, optical equipment, and imaging apparatus |
JP2017161586A (en) * | 2016-03-07 | 2017-09-14 | キヤノン株式会社 | Image shake correction device and method of controlling image shake correction device, imaging device, program, and storage medium |
JP2017204869A (en) * | 2017-06-29 | 2017-11-16 | 株式会社ニコン | Reproduction processing apparatus, imaging apparatus, and reproduction processing program |
JP2018025611A (en) * | 2016-08-08 | 2018-02-15 | キヤノン株式会社 | Image blur correcting device and control method therefor, program, and storage medium |
JP2018036366A (en) * | 2016-08-30 | 2018-03-08 | キヤノン株式会社 | Image tremor correction device, imaging device and control method |
-
2008
- 2008-11-07 JP JP2008286725A patent/JP2010114752A/en active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014056343A (en) * | 2012-09-11 | 2014-03-27 | Mega Chips Corp | Mobile terminal device, program, and situation detection method |
US9641756B2 (en) | 2013-09-24 | 2017-05-02 | Canon Kabushiki Kaisha | Image capturing apparatus and image capturing method |
JP2015162711A (en) * | 2014-02-26 | 2015-09-07 | キヤノン株式会社 | Imaging apparatus and control method of the same |
JP2016066928A (en) * | 2014-09-25 | 2016-04-28 | キヤノン株式会社 | Blur correction device, blur correction method, program, and imaging apparatus |
JP2016171460A (en) * | 2015-03-12 | 2016-09-23 | キヤノン株式会社 | Image processing system, image processing method, program and storage medium |
JP2017092592A (en) * | 2015-11-05 | 2017-05-25 | キヤノン株式会社 | Tracking controller, tracking controlling method, optical equipment, and imaging apparatus |
JP2017161586A (en) * | 2016-03-07 | 2017-09-14 | キヤノン株式会社 | Image shake correction device and method of controlling image shake correction device, imaging device, program, and storage medium |
JP2018025611A (en) * | 2016-08-08 | 2018-02-15 | キヤノン株式会社 | Image blur correcting device and control method therefor, program, and storage medium |
JP2018036366A (en) * | 2016-08-30 | 2018-03-08 | キヤノン株式会社 | Image tremor correction device, imaging device and control method |
JP2017204869A (en) * | 2017-06-29 | 2017-11-16 | 株式会社ニコン | Reproduction processing apparatus, imaging apparatus, and reproduction processing program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010114752A (en) | Device and method of imaging and program | |
US8988529B2 (en) | Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera | |
US9542754B2 (en) | Device and method for detecting moving objects | |
US9865064B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6539091B2 (en) | Image pickup apparatus and control method thereof | |
JP2010258710A (en) | Motion vector detection apparatus, method for controlling the same, and image capturing apparatus | |
JP2009193421A (en) | Image processing device, camera device, image processing method, and program | |
JP4210954B2 (en) | Image processing method, image processing method program, recording medium storing image processing method program, and image processing apparatus | |
JP2009147757A (en) | Motion vector detecting apparatus, motion vector detecting method, imaging apparatus, and program | |
JP2010016544A (en) | Image capturing apparatus and image processing apparatus, and image processing program | |
JP2007281555A (en) | Imaging apparatus | |
JP2008116663A (en) | Imaging apparatus | |
JP2007142507A (en) | Imaging apparatus | |
JP5300413B2 (en) | Motion vector detection device, motion vector detection method, imaging device, and program | |
JP2010074315A (en) | Object tracking method and imaging device | |
JP2023033355A (en) | Image processing device and control method therefor | |
JP5539565B2 (en) | Imaging apparatus and subject tracking method | |
JP2020136774A (en) | Image processing apparatus for detecting motion vector, control method of the same, and program | |
JP6063680B2 (en) | Image generation apparatus, image generation method, imaging apparatus, and imaging method | |
JP2009027437A (en) | Image processor, image processing method and imaging device | |
JP2021105850A (en) | Image processing device and method, and imaging device | |
JP2014153517A (en) | Image processing device, image processing method, program, and storage medium | |
JP7475846B2 (en) | Information processing device, imaging device, information processing method, and imaging device control method | |
JP7458723B2 (en) | Image processing device, imaging device, control method, and program | |
JP5759162B2 (en) | Motion vector detection device, motion vector detection method, correction device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |