JP2010114752A - Device and method of imaging and program - Google Patents

Device and method of imaging and program Download PDF

Info

Publication number
JP2010114752A
JP2010114752A JP2008286725A JP2008286725A JP2010114752A JP 2010114752 A JP2010114752 A JP 2010114752A JP 2008286725 A JP2008286725 A JP 2008286725A JP 2008286725 A JP2008286725 A JP 2008286725A JP 2010114752 A JP2010114752 A JP 2010114752A
Authority
JP
Japan
Prior art keywords
face
motion vector
image
detected
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008286725A
Other languages
Japanese (ja)
Inventor
Tatsuya Yamazaki
龍弥 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008286725A priority Critical patent/JP2010114752A/en
Publication of JP2010114752A publication Critical patent/JP2010114752A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To achieve smooth follow up in shooting a subject while panning a camera, by distinguishing a figure and suppressing correction of blurring of images with respect to a main subject in the case where the camera having a function to correct blurring of images due to hand movement by vector detection performs correction of blurring. <P>SOLUTION: The imaging device divides an image into several block areas, detects a motion vector for each of the divided block areas, detects a face of a person from the image. When a face is detected by face detection, it selects specified block areas which are positioned in the face and its surroundings from the divided several block areas, performs predetermined weighting with respect to the frequency of the motion vectors in the selected block areas, distributes the motion vector in each block area on a frequency distribution while setting the size of the motion vectors as classes, on the basis of the weighted frequency, determines a representative motion vector on the basis of the level of frequency and corrects the image on the basis of the representative motion vector. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は動きベクトルを検出して手ぶれ補正を行うぶれ補正装置を搭載した撮像装置及び撮像方法及びプログラムに関するものである。   The present invention relates to an imaging apparatus, an imaging method, and a program that include a shake correction apparatus that detects a motion vector and corrects camera shake.

ビデオカメラなどの動画像を撮影する撮像装置においては、特にレンズを望遠側にズームしたときに、手ぶれにより画像がぶれることが問題となる。このような手ぶれによる画像のぶれを防止するために、従来より撮影した画像信号から画像の動きベクトルを検出し、この動きベクトルに基づいて画像のぶれを補正する技術が提案されている。また、撮影中に、撮りたい人の顔にピントを合わせるために、画面内にある人間の顔の部分を検出する技術がある。   In an imaging apparatus such as a video camera that captures a moving image, there is a problem that the image is blurred due to camera shake, particularly when the lens is zoomed to the telephoto side. In order to prevent such image blur due to camera shake, a technique has been proposed in which a motion vector of an image is detected from an image signal taken in the past and the image blur is corrected based on the motion vector. In addition, there is a technique for detecting a part of a human face in the screen in order to focus on the face of the person who wants to take the picture during shooting.

動きベクトルを検出し、画像のぶれを補正する技術の中で、画像の動きベクトルを検出する方法としては、従来より、相関演算に基づく相関法やブロックマッチング法等が知られている。   Among techniques for detecting motion vectors and correcting image blurring, a correlation method based on correlation calculation, a block matching method, and the like have been known as methods for detecting a motion vector of an image.

ブロックマッチング法では、入力された画像信号を複数の適当な大きさのブロック領域(例えば8画素×8ライン)に分割する。そして、このブロック単位で前のフィールド(またはフレーム)の一定範囲の画素との差を計算し、この差の絶対値の和が最小となる前のフィールド(またはフレーム)のブロックを探索する。そして、画面間の相対的なずれが、そのブロックの動きベクトルを示している。   In the block matching method, an input image signal is divided into a plurality of block areas (for example, 8 pixels × 8 lines) having an appropriate size. Then, the difference between the previous field (or frame) and a certain range of pixels is calculated in units of blocks, and the block of the previous field (or frame) that minimizes the sum of the absolute values of the differences is searched. And the relative shift | offset | difference between screens has shown the motion vector of the block.

また、マッチング演算については、尾上守夫等により、情報処理Vol.17,No.7,p.634 〜640 July 1976 で詳しく論じられている。   For matching operations, Morio Onoe et al., Information Processing Vol. 17, no. 7, p. 634-640 July 1976.

ブロックマッチング法を用いた従来の動きベクトル検出法の一例を、図面を用いて説明する。図11は従来の動きベクトル検出法によりぶれを防止する装置の概略ブロック図である。   An example of a conventional motion vector detection method using the block matching method will be described with reference to the drawings. FIG. 11 is a schematic block diagram of an apparatus for preventing shake by a conventional motion vector detection method.

まず動きベクトルの検出対象となる画像信号(フィールドまたはフレーム)が画像メモリ9及び空間周波数成分を抽出するフィルタ2に加えられる。画像メモリ9は画像信号を一時記憶する。フィルタ2は画像信号から動きベクトル検出に有用な空間周波数成分を抽出する。即ち、画像信号の低空間周波数成分及び高空間周波数成分を除去する。   First, an image signal (field or frame) as a motion vector detection target is applied to the image memory 9 and the filter 2 for extracting a spatial frequency component. The image memory 9 temporarily stores image signals. The filter 2 extracts a spatial frequency component useful for motion vector detection from the image signal. That is, the low spatial frequency component and the high spatial frequency component of the image signal are removed.

フィルタ2を通過した画像信号は2値化回路3に加えられる。2値化回路3は画像信号を、ゼロレベルを基準として2値化する。具体的には出力信号の符号ビットを出力する。2値化された画像信号は相関演算回路4及び1フィールド期間遅延手段としてのメモリ5に加えられる。相関演算回路4には更にメモリ5から前フィールドの画像信号が加えられている。   The image signal that has passed through the filter 2 is added to the binarization circuit 3. The binarization circuit 3 binarizes the image signal with reference to the zero level. Specifically, the sign bit of the output signal is output. The binarized image signal is applied to the correlation calculation circuit 4 and the memory 5 as one field period delay means. Further, the image signal of the previous field is added from the memory 5 to the correlation calculation circuit 4.

相関演算回路4はブロックマッチング法に従い、上記のように適当な大きさのブロック領域に画像領域を分割し、ブロック単位に現フィールドと前フィールドとの相関演算を行い、その結果の相関値を動きベクトル検出回路6に加える。動きベクトル検出回路6は算出された相関値からブロック単位の動きベクトルを検出する。具体的には相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとしている。このブロック単位の動きベクトルは動きベクトル決定回路7に加えられる。動きベクトル決定回路7はブロック単位の動きベクトルから全体の動きベクトルを決定する。具体的には、ブロック単位の動きベクトルを縦と横のベクトルにし、縦、横それぞれの動きベクトルに対し大きさ度数としたヒストグラムを作成する。   In accordance with the block matching method, the correlation calculation circuit 4 divides the image area into block areas of an appropriate size as described above, performs correlation calculation between the current field and the previous field in units of blocks, and moves the correlation value of the result Add to the vector detection circuit 6. The motion vector detection circuit 6 detects a block-based motion vector from the calculated correlation value. Specifically, the block of the previous field having the smallest correlation value is searched, and the relative shift is used as the motion vector. The block-based motion vector is added to the motion vector determination circuit 7. The motion vector determination circuit 7 determines the entire motion vector from the motion vector in units of blocks. Specifically, a motion vector in units of blocks is set to a vertical and horizontal vector, and a histogram is created with a magnitude frequency for each of the vertical and horizontal motion vectors.

図10において、(A)は、撮像画像、(B)は、検出されたブロックごとの動きベクトル、(C)は検出された動きベクトルの、縦と横それぞれのヒストグラムを示している。このようにヒストグラムを作成し、度数がピークとなったところを、全体の動きベクトルとしている。   10A is a captured image, FIG. 10B is a motion vector for each detected block, and FIG. 10C is a vertical and horizontal histogram of the detected motion vector. In this way, a histogram is created, and the place where the frequency reaches a peak is used as the entire motion vector.

動きベクトル決定回路7は決定した画像全体の動きベクトルをメモリ読み出し制御回路8に加える。メモリ読み出し制御回路8は上記の全体の動きベクトルに応じて画像の動きが相殺されるように画像メモリ9の読み出し位置を制御し、画像メモリ9からぶれが補正された画像信号が出力される。   The motion vector determination circuit 7 adds the determined motion vector of the entire image to the memory read control circuit 8. The memory readout control circuit 8 controls the readout position of the image memory 9 so that the motion of the image is canceled in accordance with the overall motion vector, and an image signal in which the blur is corrected is output from the image memory 9.

しかしながら、上記の方法では、移動している人物を追いかけながら撮影する場合、人物の画面に対する割合が小さいときは、背景のベクトルに対する度数が増加してしまう。そのため、背景が画面内の元の位置にとどまるように画像メモリの読み出し位置が変化し、それにより本来動きがないはずである画面内の領域の位置が変化するため、画面が背景に引っ張られたような動きをしてしまう。   However, in the above method, when shooting while chasing a moving person, the frequency with respect to the background vector increases if the ratio of the person to the screen is small. As a result, the read position of the image memory changes so that the background remains at the original position in the screen, which changes the position of the area in the screen that should not move, so the screen was pulled to the background It moves like this.

この問題点を解決する方法として、特許文献1には、次のような方法が開示されている。即ち、動きベクトルの大きさの絶対値が小さい方が補正すべき動きベクトルであり、大きい方が移動物であるという識別方法を用いることにより、背景に引っ張られるような動きを回避している。   As a method for solving this problem, Patent Document 1 discloses the following method. That is, by using an identification method in which the smaller absolute value of the motion vector is a motion vector to be corrected and the larger one is a moving object, a motion that is pulled by the background is avoided.

また、動きベクトルによるパンニング検出方法としては、特許文献2には、各検出領域における動きベクトルの大きさがほぼ一定で、所定時間継続しているかどうかで判定する方法が開示されている。   As a panning detection method using motion vectors, Patent Document 2 discloses a method for determining whether or not the size of a motion vector in each detection region is substantially constant and continues for a predetermined time.

次に、顔検出に関する技術としては、特許文献3に認識された顔領域を含む焦点検出エリアを設定し、焦点検出を行う方法が開示されている。
特許第2956056号公報 特許第3039669号公報 特開2006−227080
Next, as a technique related to face detection, a method of performing focus detection by setting a focus detection area including a face area recognized in Patent Document 3 is disclosed.
Japanese Patent No. 2956056 Japanese Patent No. 3039669 JP 2006-227080 A

上記の特許文献1の方法は、撮像装置のぶれが比較的小さい場合や、撮像装置によって生じる画像が移動物の速度と比較して小さいときには有効である。例えば、撮像装置に装着される、又は撮像装置が備える撮像光学系の焦点距離が比較的短い場合等である。   The method disclosed in Patent Literature 1 is effective when the shake of the imaging device is relatively small, or when the image generated by the imaging device is smaller than the speed of the moving object. For example, this may be the case when the focal length of the imaging optical system that is mounted on the imaging device or is provided in the imaging device is relatively short.

しかしながら、撮像装置のぶれは、撮影環境や撮影者の熟練度等によってその大きさが変化する。また、撮像装置のぶれによって生じる画像は、上記撮像光学系の焦点距離に比例して大きくなっていく。さらに、人物の動きがゆっくりの場合は、背景の動きベクトル自体が小さくなる。そのため、人物を追いかけている(パンニング動作)時に発生する撮像装置の動きにより生じる動きベクトルと、人物等の移動被写体の手ぶれによる動きベクトルとの識別を、動きベクトルの大きさによってのみ行うと、誤差が大きくなる。その結果、実際の被写体と背景の動きを判別できずに、被写体の動きが非常に見苦しくなってしまう。   However, the magnitude of camera shake varies depending on the shooting environment, the skill level of the photographer, and the like. In addition, the image generated by the shake of the image pickup apparatus increases in proportion to the focal length of the image pickup optical system. Further, when the person moves slowly, the background motion vector itself becomes smaller. For this reason, if the motion vector generated by the movement of the imaging device that occurs when the person is chased (panning operation) and the motion vector due to camera shake of a moving subject such as a person are identified only by the magnitude of the motion vector, an error occurs. Becomes larger. As a result, the movement of the subject becomes very unsightly because the movement of the actual subject and the background cannot be distinguished.

また、特許文献2では、パンニング検出時はカメラ自体が移動しているため、防振機能を停止する旨が記載されているが、被写体をカメラで追いかけている場合は、被写体に対するぶれ補正が行われないことになる。   Further, Patent Document 2 describes that the image stabilization function is stopped because the camera itself is moving at the time of panning detection. However, when the subject is chased by the camera, blur correction for the subject is performed. It will not be broken.

従って、本発明は上述した課題に鑑みてなされたものであり、被写体をカメラで追いかけながら撮影するときに、人物を識別し、主要被写体に対するぶれ補正を抑え、結果としてスムーズに追従が行えるようにすることを目的とする。   Therefore, the present invention has been made in view of the above-described problems, and when shooting a subject while chasing it with a camera, a person is identified, blur correction on the main subject is suppressed, and as a result, smooth tracking can be performed. The purpose is to do.

上記問題を解決するために、本発明の撮像装置は、画像を複数のブロック領域に分割して、分割されたそれぞれのブロック領域ごとに動きベクトルを検出するベクトル検出手段と、前記画像から人の顔を検出する顔検出手段と、前記顔検出手段によって顔が検出された場合に、前記分割された複数のブロック領域の中から前記顔およびその周辺部に位置する所定のブロック領域を選択する選択手段と、前記選択手段によって選択されたブロック領域の動きベクトルの度数に対して所定の重み付けを設定する設定手段と、前記動きベクトルの大きさを階級として、前記設定手段により重み付けを設定した度数に基づいて前記それぞれのブロック領域ごとの動きベクトルを度数分布上に振り分ける分類手段と、前記度数の大きさに基づいて代表動きベクトルを決定する決定手段と、前記代表動きベクトルに基づいて画像のぶれを補正するぶれ補正手段とを有することを特徴としている。   In order to solve the above problem, an imaging apparatus according to the present invention divides an image into a plurality of block regions, detects a motion vector for each of the divided block regions, and detects human motion from the images. A face detection unit for detecting a face, and a selection for selecting a predetermined block region located in the face and its peripheral portion from the plurality of divided block regions when a face is detected by the face detection unit Means for setting a predetermined weight for the frequency of the motion vector of the block area selected by the selection means, and the frequency set by the setting means with the magnitude of the motion vector as a class Classifying means for distributing the motion vector for each block area on the frequency distribution based on the frequency distribution, and representative motion based on the magnitude of the frequency It is characterized by having a determining means for determining a vector, and blur correction means for correcting the blur of the image based on the representative motion vector.

また、上記問題を解決するために、本発明の撮像方法は、画像を複数のブロック領域に分割して、分割されたそれぞれのブロック領域ごとに動きベクトルを検出するベクトル検出工程と、前記画像から人の顔を検出する顔検出工程と、前記顔検出工程によって顔が検出された場合に、前記分割された複数のブロック領域の中から前記顔およびその周辺部に位置する所定のブロック領域を選択する選択工程と、前記選択工程によって選択されたブロック領域の動きベクトルの度数に対して所定の重み付けを設定する設定工程と、前記動きベクトルの大きさを階級として、前記設定工程により重み付けを設定した度数に基づいて前記それぞれのブロック領域ごとの動きベクトルを度数分布上に振り分ける分類工程と、前記度数の大きさに基づいて代表動きベクトルを決定する決定工程と、前記代表動きベクトルに基づいて画像のぶれを補正するぶれ補正工程とを有することを特徴としている。   In order to solve the above problem, the imaging method of the present invention divides an image into a plurality of block areas, and detects a motion vector for each of the divided block areas. A face detection step for detecting a human face, and when a face is detected by the face detection step, a predetermined block region located on the face and its peripheral portion is selected from the divided block regions A setting step for setting a predetermined weight for the frequency of the motion vector of the block area selected by the selection step, and setting the weight by the setting step, with the magnitude of the motion vector as a class A classification step of allocating the motion vector for each block area on the frequency distribution based on the frequency, and on the basis of the size of the frequency A determination step of determining a table motion vectors, is characterized by having a blur correction step of correcting the blur of the image based on the representative motion vector.

以上説明したように、本発明によれば、顔を検出したとき、顔の位置とその下の体に相当する部分の領域の動きベクトルの大きさに対する度数に重み付けを行うことにより、人物に対する動きベクトルを検出しやすくなる。また、特にパンニング中に手ぶれを補正することができ、撮影者の意図通りの撮影を行うことが可能となる。   As described above, according to the present invention, when a face is detected, the motion with respect to the person is weighted by weighting the frequency with respect to the position of the face and the magnitude of the motion vector of the area corresponding to the body below the face. It becomes easy to detect a vector. In addition, camera shake can be corrected particularly during panning, and it is possible to perform shooting as intended by the photographer.

これによって、被写体をカメラで追いかけながら撮影するときに、被写体を識別し、主要被写体に対するぶれ補正を抑え、結果としてスムーズに追従が行えるようになる。   As a result, when the subject is photographed while chasing with the camera, the subject is identified, blur correction for the main subject is suppressed, and as a result, smooth tracking can be performed.

(実施例1)
以下、本発明について図面を参照しながら詳細に説明する。図1は本発明の特徴を備えた撮像装置の構成を構成を示している。
Example 1
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 shows the configuration of an image pickup apparatus having features of the present invention.

図1において、101はレンズおよび絞りからなる撮像光学系、102はCCDやCMOSセンサ等からなる固体撮像素子、103は撮影した画像に必要な信号処理を行う信号処理回路である。104は信号処理回路103で信号処理された画像を複数のブロック領域に分割する画像領域分割部、105は前記分割されたそれぞれの画像領域での動きベクトルを検出する動きベクトル検出部である。109は画像から、顔の位置を検出する顔検出部であり、画像に対して公知の顔認識処理を施し、撮影画面内の人物の顔領域を検出する。顔認識処理としては、例えば、画像で表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等が開示されている。110は顔検出部109により画像から顔の位置を検出された画像上の顔の位置から、顔を含んだ所定の画像領域を選択する画像領域選択部である。   In FIG. 1, reference numeral 101 denotes an image pickup optical system including a lens and a diaphragm, 102 denotes a solid-state image pickup element such as a CCD or CMOS sensor, and 103 denotes a signal processing circuit that performs signal processing necessary for a captured image. Reference numeral 104 denotes an image area dividing unit that divides the image signal-processed by the signal processing circuit 103 into a plurality of block areas, and reference numeral 105 denotes a motion vector detecting unit that detects a motion vector in each of the divided image areas. Reference numeral 109 denotes a face detection unit that detects the position of the face from the image, and performs a known face recognition process on the image to detect the face area of the person in the shooting screen. As face recognition processing, for example, there is a method of extracting a skin color region from the gradation color of each pixel represented by an image and detecting the face with a matching degree with a face contour plate prepared in advance. Also disclosed is a method of performing face detection by extracting facial feature points such as eyes, nose and mouth using a well-known pattern recognition technique. Reference numeral 110 denotes an image region selection unit that selects a predetermined image region including the face from the position of the face on the image whose face position is detected from the image by the face detection unit 109.

106は画像領域選択部110により選択された画像領域の動きベクトルに対し、所定の重み付けを行う重み付け設定部である。107は各画像領域ごとの動きベクトルを、その大きさを階級とし、重み付け設定部106により重み付けを施した度数を基に度数分布上に振り分けてベクトルの分類を行うヒストグラム作成部である。108はヒストグラム作成部107により度数分布上に振り分けられた動きベクトルから、代表となる動きベクトルを決定する動きベクトル決定部である。112は動きベクトル決定部108により決定された動きベクトルから、記録または表示する画像の範囲を決める制御を行うメモリ読み出し制御部である。111は信号処理された画像データを記憶する画像メモリ、113は画像データをメモリカード、ハードディスク等の記録媒体に記録するための記録部である。   A weight setting unit 106 performs predetermined weighting on the motion vector of the image area selected by the image area selection unit 110. A histogram creation unit 107 classifies the motion vectors for each image area by classifying the vectors by classifying the motion vectors on the frequency distribution based on the frequencies weighted by the weight setting unit 106. Reference numeral 108 denotes a motion vector determination unit that determines a representative motion vector from the motion vectors distributed on the frequency distribution by the histogram creation unit 107. Reference numeral 112 denotes a memory read control unit that performs control for determining the range of an image to be recorded or displayed from the motion vector determined by the motion vector determination unit 108. Reference numeral 111 denotes an image memory for storing signal-processed image data, and reference numeral 113 denotes a recording unit for recording the image data on a recording medium such as a memory card or a hard disk.

図2を用いて本実施例における重み付けを行う領域を説明する。   An area for weighting in this embodiment will be described with reference to FIG.

図2の例では、画面内に被写体が存在しており、その被写体が右側に動いているシーンを撮影しており、ビデオカメラを被写体に合わせて右側に動かしている(パンニング状態である)とする。また、動画撮影時は特定の周期でビデオカメラに画像を取り込んでいるので、前フレームと現フレーム(前フィールドと現フィールドでも可)の画像から動きベクトルを検出することができる。   In the example of FIG. 2, when a subject is present on the screen and the subject is moving to the right, the video camera is moved to the right according to the subject (in a panning state). To do. In addition, when moving images are captured, images are taken into the video camera at a specific cycle, so that motion vectors can be detected from images of the previous frame and the current frame (or the previous field and the current field are also possible).

201は画像領域分割部104で分割されたブロック(ベクトル検出領域)を示し、このブロック単位でフィールド間(フレーム間)の動きベクトルを取得する。顔検出枠202は顔検出部109にて画像から検出された顔の検出枠である。設定枠203は画像領域選択部110にて選択された設定枠であり、顔の検出領域とその下の部分が選択される。顔の下の部分も選択するのは、顔の下にはその人の胴体部があるため、顔と胴体に相当する部分を含んだ領域を選択するためである。この設定枠の大きさは、標準的な顔と胴体のバランスを考え、横方向は顔の2倍程度、縦方向は顔の4倍程度の大きさとしている。顔の部分のみを選択領域としないのは、顔の領域のみでは全体のブロック数に対する選択領域の割合が小さくなり、必要な被写体に対する動きベクトルの検出精度が低下するためである。   Reference numeral 201 denotes a block (vector detection area) divided by the image area dividing unit 104, and a motion vector between fields (between frames) is acquired in units of blocks. A face detection frame 202 is a detection frame of a face detected from an image by the face detection unit 109. A setting frame 203 is a setting frame selected by the image area selection unit 110, and a face detection area and a lower part thereof are selected. The reason why the lower part of the face is also selected is to select the region including the face and the part corresponding to the torso because the person's torso is under the face. The size of the setting frame is about twice the size of the face in the horizontal direction and about four times the size of the face in consideration of the balance between the standard face and body. The reason why only the face portion is not set as the selection region is that the ratio of the selection region to the total number of blocks is reduced only in the face region, and the motion vector detection accuracy for a necessary subject is lowered.

図3は、本発明の重み付け変更のフローチャートを示している。以下、図3を用いて、本発明によるベクトル検出の動作について説明する。   FIG. 3 shows a flowchart of the weighting change of the present invention. Hereinafter, the vector detection operation according to the present invention will be described with reference to FIG.

図3において、ステップS300において、顔検出部109を用いて画像から顔の位置を検出する。   In FIG. 3, in step S300, the face detection unit 109 is used to detect the face position from the image.

ステップS301において、画像領域選択部110によって、ステップS300で画像内に顔が検出された場合は顔が検出されたと判定され、ステップS302に進む。ステップS300で画像内に顔が検出さなかった場合は、画像領域選択部110によって、画像から顔が検出されなかったと判定され、ステップS306に進む。   In step S301, if a face is detected in the image in step S300 by the image region selection unit 110, it is determined that a face has been detected, and the process proceeds to step S302. If no face is detected in the image in step S300, the image area selection unit 110 determines that no face is detected from the image, and the process proceeds to step S306.

図3のステップS302では、検出された顔の大きさから、画像領域選択部110にて設定枠の大きさを決めている。なお、画像領域選択部110にて選択された設定枠は図2の設定枠203に該当する。   In step S302 in FIG. 3, the size of the setting frame is determined by the image area selection unit 110 based on the detected face size. Note that the setting frame selected by the image area selection unit 110 corresponds to the setting frame 203 in FIG.

次に、ステップS302にて領域を選択した後、ステップS303で重み付け設定部106により設定枠内の重み付け量を変更する。この重み付け量は、人を追いかけている時の画面内の大きさから、経験的に約4倍の重み付けとしている。しかし、設定枠の大きさが大きい場合と小さい場合で同じ重み付けを行った場合、設定枠が小さいと、重み付けをおこなったとしても主要な被写体の動きベクトルを決定するための度数が検出に必要な量まで増加しない可能性もある。そのため、設定枠が小さい場合、つまり選択領域の動きベクトル検出枠の数が少ない場合は、重み付け量を増やすようにしてもよい。この操作により、ヒストグラム作成時に必要な動きベクトルの大きさに対する度数が確保できるようにしている。   Next, after an area is selected in step S302, the weighting amount in the setting frame is changed by the weighting setting unit 106 in step S303. This weighting amount is empirically about four times the weight from the size in the screen when chasing a person. However, if the same weighting is performed when the size of the setting frame is large and small, if the setting frame is small, the frequency for determining the motion vector of the main subject is necessary for detection even if the weighting is performed. There is a possibility that the amount will not increase. Therefore, when the setting frame is small, that is, when the number of motion vector detection frames in the selected region is small, the weighting amount may be increased. By this operation, the frequency for the magnitude of the motion vector necessary for creating the histogram can be secured.

ステップS304では、ヒストグラム作成部107によって重み付けを行った度数によりヒストグラムが作成される。図4は、本発明を適用し、重み付けを行った場合に、動きベクトルの大きさに対するヒストグラム上の度数がどのように変化するかを示した図である。先ず、各ブロック(ベクトル検出領域)の移動ベクトルとして複数の移動ベクトルが検出される。その後に図4(A)のように度数分布上にこの複数のベクトルの個数に相当する度数が属する階級に振り分けてプロットすることで分類し、各階級の度数(頻度)を得ることができる。なお、それぞれ範囲を持つ階級の階級値としては、その階級の上限値と下限値の中間値を用いればよい。また、Y方向(画面縦方向)の処理とX方向(画面横方向)の処理は同様の処理を行うため、以下ではX方向の処理のみを例にとって説明を行う。   In step S304, a histogram is created based on the frequency weighted by the histogram creation unit 107. FIG. 4 is a diagram showing how the frequency on the histogram changes with respect to the magnitude of the motion vector when the present invention is applied and weighting is performed. First, a plurality of movement vectors are detected as movement vectors of each block (vector detection area). Thereafter, as shown in FIG. 4A, the frequency distribution (frequency) of each class can be obtained by sorting and plotting the frequency distribution corresponding to the frequency corresponding to the number of vectors on the frequency distribution. As the class value of each class having a range, an intermediate value between the upper limit value and the lower limit value of the class may be used. In addition, since processing in the Y direction (vertical screen direction) and processing in the X direction (horizontal direction in the screen) perform the same processing, only the processing in the X direction will be described below as an example.

なお、図4(A)のように重み付けを行う前においては、主被写体に対する動きベクトルのヒストグラムは度数が低く、このヒストグラムから求められる代表ベクトルは図4に示す背景領域の動きに対するベクトルとなる。これに対し、図4(B)は顔およびその周辺部に対する重み付けを行っている。この場合、主被写体部の度数が増加するため、検出される代表ベクトルは本来の被写体に対する動きベクトルとすることができる。このように、顔を含んだ所定の領域を選択し、かつ領域の大きさに応じて重み付け設定を変更することで、主被写体の大きさに依存することなく主被写体に対するぶれ補正を行うことが可能となる。   Before weighting as shown in FIG. 4A, the histogram of the motion vector for the main subject has a low frequency, and the representative vector obtained from this histogram is the vector for the motion of the background area shown in FIG. On the other hand, FIG. 4B weights the face and its peripheral part. In this case, since the frequency of the main subject portion increases, the detected representative vector can be a motion vector for the original subject. In this way, by selecting a predetermined area including the face and changing the weighting setting according to the size of the area, it is possible to perform shake correction on the main subject without depending on the size of the main subject. It becomes possible.

ステップS305では、ステップS304によって作成されたヒストグラムを用いて、動きベクトル決定部108は代表ベクトルを決定する。   In step S305, the motion vector determination unit 108 determines a representative vector using the histogram created in step S304.

ステップS300にて、画像から顔が検出されていない場合は、ステップS301からステップS306に進むが、ステップS306では画像領域選択部110において重み付けを行うための設定枠を無効にする。   If no face is detected from the image in step S300, the process proceeds from step S301 to step S306. In step S306, the image area selection unit 110 invalidates the setting frame for weighting.

ステップS307では、重み付け設定部106が重み付け量をリセットする。その結果、顔が検出されていない場合は、図4(A)のような重み付けをしていない従来のヒストグラムを作成し、そこから代表動きベクトルが決定されることになる。   In step S307, the weighting setting unit 106 resets the weighting amount. As a result, when a face is not detected, a conventional histogram without weighting as shown in FIG. 4A is created, and a representative motion vector is determined therefrom.

以上説明したように、顔検出を用いて画像から検出された顔の部分と胴体に対応する部分の領域を選択し(設定枠を設定し)、選択した部分のベクトルの大きさに対する度数に重み付けを行うことで、高い精度で主要被写体に対する動きベクトルを検出可能になる。その結果として、撮影者が意図した通りに被写体に対するぶれのみを補正することが可能となる。   As described above, the face area detected from the image using face detection and the area corresponding to the body are selected (setting frame is set), and the frequency for the magnitude of the vector of the selected area is weighted. By performing the above, it becomes possible to detect the motion vector for the main subject with high accuracy. As a result, it is possible to correct only the shake with respect to the subject as intended by the photographer.

(実施例2)
図5は、本発明の第2の実施例を示した構成図である。図5において、図1と同じ構成のものは同じ符号を付し、説明は省略する。
(Example 2)
FIG. 5 is a block diagram showing a second embodiment of the present invention. In FIG. 5, the same components as those in FIG.

501はパンニング検出部である。パンニング検出部501では、各動きベクトル検出領域に対するベクトルの時間的変化を観察し、動きベクトル検出領域のうち、同じ方向の動きベクトルが所定数以上ある場合に、パンニング動作がなされていると判断する。   Reference numeral 501 denotes a panning detection unit. The panning detection unit 501 observes temporal changes in vectors with respect to each motion vector detection region, and determines that a panning operation is performed when there are a predetermined number or more of motion vectors in the same direction in the motion vector detection region. .

502は顔検出位置判定部である。顔検出位置判定部502は、顔検出部109で画像から検出された顔が、所定時間の間、所定領域内にいるかどうかの判定を行っている。パンニング検出中に顔が検出され、かつ検出された顔の位置が所定時間の間、所定領域内にある場合は、人を追いかけながら撮影している状況である確率が上がる。そのため、本実施例においては、パンニング情報と顔検出情報を用いることで、より精度良く撮影者の意図を反映し、被写体の追いかけが出来るようにしたものである。   Reference numeral 502 denotes a face detection position determination unit. The face detection position determination unit 502 determines whether or not the face detected from the image by the face detection unit 109 is within a predetermined region for a predetermined time. When a face is detected during panning detection and the position of the detected face is within a predetermined area for a predetermined time, the probability that the user is shooting while chasing a person is increased. For this reason, in this embodiment, panning information and face detection information are used to reflect the photographer's intention more accurately and to follow the subject.

図6は、本発明の主要な制御部のフローチャートを示している。以下、図6と図5を基に、本発明の第2の実施例について説明する。   FIG. 6 shows a flowchart of the main control unit of the present invention. The second embodiment of the present invention will be described below with reference to FIGS.

ステップS600では、パンニング検出部501にて、パンニングが検出されたかどうかの判定を行う。ここでパンニング判定がなされている場合、ステップS601に進む。ステップS601は、顔検出部109にて画像から顔を検出する部分である。ここで画像内に顔が検出された場合は、ステップS602にて、顔が検出されたと判定され、ステップS603に進む。ステップS603では、顔検出位置判定部502にて検出した顔が所定領域内にあるかどうかの判定を行っている。   In step S600, the panning detection unit 501 determines whether panning is detected. If panning determination is made here, the process proceeds to step S601. Step S601 is a part where the face detection unit 109 detects a face from an image. If a face is detected in the image, it is determined in step S602 that a face has been detected, and the process proceeds to step S603. In step S603, it is determined whether or not the face detected by the face detection position determination unit 502 is within a predetermined area.

さらに、ステップS604では、同じく顔検出位置判定部502にて画像から顔を検出した時間が所定時間以上かどうかの判定を行っている。ステップS603およびステップS604での判定は、パンニング状態であるにもかかわらず、画像から検出された顔が画面内で停止状態にあるかどうかの判定となり、この条件が整った場合は追いかけ撮影がなされていると見なすことができる。条件がそろった場合、ステップS605にて、検出された顔の大きさから、画像領域選択部110にて画像の設定枠の大きさを決めている。   Furthermore, in step S604, it is similarly determined whether the face detection position determination unit 502 detects the face from the image for a predetermined time or more. The determination in step S603 and step S604 is a determination as to whether the face detected from the image is in a stopped state in the screen even though it is in the panning state. If this condition is satisfied, chasing shooting is performed. Can be considered. When the conditions are met, the image area selection unit 110 determines the size of the image setting frame from the detected face size in step S605.

ステップS605にて領域を選択した後、次にステップS606で設定枠内の重み付け量を変更する。ここでの重み付け量は、実施例1と同じである。そして、ステップS607で、実施例1と同様に重み付けを行った度数によりヒストグラムが作成され、ステップS608で代表ベクトルが決定されることになる。   After selecting an area in step S605, the weighting amount in the setting frame is changed in step S606. The weighting amount here is the same as in the first embodiment. In step S607, a histogram is created based on the weighted frequency as in the first embodiment, and a representative vector is determined in step S608.

ステップS600にてパンニング検出がなされていない場合、また、ステップS602で顔が検出されていない場合、さらにステップS603、ステップS604にて所定の条件がそろっていない場合は、ステップS609にて設定枠を無効にする。そしてステップS610で重み付け量をリセットすることで、従来のヒストグラムを作成し、代表ベクトルが決定されることになる。   If panning is not detected in step S600, a face is not detected in step S602, or if predetermined conditions are not met in steps S603 and S604, a setting frame is set in step S609. To disable. In step S610, the weighting amount is reset, thereby creating a conventional histogram and determining a representative vector.

以上説明したように、パンニングが検出されたとき、画面内に顔が検出され、さらに顔の位置が画面内の所定領域内に所定時間入っていることを確認することで、撮影者が人物の追っかけ撮影を行っていることを、高い精度で判定することが可能となる。これによって、撮影者の意図通りの撮影画像を得ることができるようになる。   As described above, when panning is detected, a face is detected on the screen, and by confirming that the face position is within a predetermined area in the screen for a predetermined time, the photographer can It is possible to determine with high accuracy that the chase shooting is being performed. As a result, a photographed image as intended by the photographer can be obtained.

(実施例3)
第3の実施例では、顔を検出し、重み付けを行った後、たとえば人が後ろを向くなどして、顔検出ができなくなった場合の動作について説明する。
(Example 3)
In the third embodiment, after detecting a face and performing weighting, an operation in the case where face detection cannot be performed, for example, when a person turns backward will be described.

図7は、本発明の第3の実施例を示した構成図である。図7において、図1と同じ構成のものは同じ符号を付し、説明は省略する。   FIG. 7 is a block diagram showing a third embodiment of the present invention. In FIG. 7, the same components as those in FIG.

図7において、実施例3のベクトル領域選択部701は図1の画像領域選択部110と同じブロック領域選択部であるとともに、胴体部のブロック領域も指定できるようになっている。702は色検出および記憶部であり、ベクトル領域選択部701で選択された胴体部のブロック領域内の色を検出し、それを記憶している。703は色監視部であり、ベクトル領域選択部701にて選択された胴体の位置に対して、702で記憶した色が変化したかどうかを監視する。ここでは顔を検出したとき、胴体部の色、すなわち服の色を記憶し、被写体としている人が後ろを向いて顔検出ができなくなった場合でも、服の色をもとに、被写体がそこにいるかどうかの判定を行うことで、違和感のない追っかけの撮影を可能にしている。   In FIG. 7, the vector area selection unit 701 according to the third embodiment is the same block area selection unit as the image area selection unit 110 in FIG. 1, and can also specify the block area of the body part. A color detection and storage unit 702 detects the color in the block region of the body portion selected by the vector region selection unit 701 and stores it. A color monitoring unit 703 monitors whether the color stored in 702 has changed with respect to the position of the body selected by the vector region selection unit 701. Here, when the face is detected, the color of the torso, that is, the color of the clothes, is memorized, and even if the person who is the subject turns back and the face cannot be detected, the subject is determined based on the color of the clothes. It is possible to shoot a chasing without a sense of incongruity by determining whether or not the camera is in the middle.

図8は、本発明の主要な制御部のフローチャートを示している。以下、図8と図7を基に、本発明の第3の実施例について説明する。   FIG. 8 shows a flowchart of the main control unit of the present invention. In the following, a third embodiment of the present invention will be described with reference to FIGS.

図8において、ステップS800は、顔検出部109にて、画像から顔を検出する部分である。次にステップS801で、画像から顔が検出されたかどうかの判定を行い、画像から顔が検出された場合は、ステップS802へと進む。ステップS802では、画像から検出された顔の大きさから、ベクトル領域選択部701にて設定枠の大きさを決めている。   In FIG. 8, step S <b> 800 is a part in which the face detection unit 109 detects a face from an image. In step S801, it is determined whether a face is detected from the image. If a face is detected from the image, the process proceeds to step S802. In step S802, the size of the setting frame is determined by the vector area selection unit 701 from the size of the face detected from the image.

ステップS802にて領域を選択した後、次にステップS803で、色検出および記憶部702により、人の胴体部分に相当する領域の色を検出して記憶する。そして、ステップS804では、重み付け設定部106にて設定枠内の重み付け量を変更する。   After selecting an area in step S802, in step S803, the color detection and storage unit 702 detects and stores the color of the area corresponding to the human torso portion. In step S804, the weighting setting unit 106 changes the weighting amount in the setting frame.

重み付け設定部106における重み付け量の設定は、実施例1と同じである。そしてステップS805では、ヒストグラム作成部107にて重み付けを行った度数によりヒストグラムが作成され、ステップS806では、動きベクトル決定部108により代表ベクトルが決定されることになる。   The setting of the weighting amount in the weighting setting unit 106 is the same as in the first embodiment. In step S805, a histogram is created based on the frequency weighted by the histogram creation unit 107. In step S806, the representative vector is determined by the motion vector determination unit 108.

さて、ステップS801にて顔が検出されなかった場合、ステップS807にて、重み付けが設定されているかどうかの判定を行う。すでに重み付けの設定が行われている場合は、顔が一度検出された後に、被写体が後ろを向くなどの理由で検出できなくなったことになる。   If no face is detected in step S801, it is determined in step S807 whether or not weighting is set. If the weighting has already been set, the face cannot be detected because the subject turns backward after the face is detected once.

そこでステップS808では、色監視部703により胴体に相当する部分の色が、色検出および記憶部702で記憶した色から変化したかどうかの判定を行う。ここで色が変化していない場合はステップS804へと進み、重み付け量は変更されたままとしている。この動作により、顔が撮影の途中で検出されなくなったとしても、対象となっている被写体の服の色を検出することにより、撮影者の意図通りに追っかけ撮影が行えることになる。   In step S808, the color monitoring unit 703 determines whether the color corresponding to the body has changed from the color stored in the color detection and storage unit 702. If the color has not changed, the process proceeds to step S804, and the weighting amount remains changed. By this operation, even if the face is not detected in the middle of shooting, it is possible to perform chasing shooting as intended by the photographer by detecting the color of clothes of the subject.

ステップS807で重み付けがなされていない場合、また、ステップS808で胴体部の色が変化したと判定された場合は、追っかけている被写体はいないと判断する。そしてステップS809で設定枠を無効にし、ステップS810で重み付け量をリセットすることで、従来のヒストグラムを作成し、代表ベクトルが決定されることになる。   If no weighting is performed in step S807, or if it is determined in step S808 that the color of the body portion has changed, it is determined that there is no subject to be chased. In step S809, the setting frame is invalidated, and the weighting amount is reset in step S810, whereby a conventional histogram is created and a representative vector is determined.

以上説明したように、人物を追っかけながらの撮影を行っているとき、顔が検出されなくなっても胴体に相当する部分の色(例えば服の色)を監視し、色が変化するまでは設定枠、および重み付け量を変更しないようにする。これによって、撮影者の意図した撮影を行うことができる。   As described above, when shooting while chasing a person, the color of the part corresponding to the body (for example, the color of the clothes) is monitored even if the face is not detected, and the setting frame until the color changes Do not change the weighting amount. Thereby, it is possible to perform photographing intended by the photographer.

(実施例4)
本発明の第4の実施例を示した構成図は図1と同じであり、説明は省略する。第4の実施例として、検出された顔が画像領域に対して非常に小さい場合の動作について説明する。検出された顔が非常に小さい場合は、人物の追っかけではなく、風景の撮影を行っているなかで、人物が動いている状況、あるいは被写体の動き自体を撮ろうとしていると考えられる。そこで、顔が画像領域に対して非常に小さい場合は、重み付けを行わないほうが望ましい。
Example 4
The configuration diagram showing the fourth embodiment of the present invention is the same as FIG. As a fourth embodiment, the operation when the detected face is very small relative to the image area will be described. If the detected face is very small, it is considered that the person is moving or the subject's movement itself is being taken while photographing a landscape, not following the person. Therefore, when the face is very small relative to the image area, it is desirable not to perform weighting.

図9は、実施例4の主要部のフローチャートを示している。図9において、ステップS900において、顔検出部109にて画像から顔を検出する。ここで画像内に顔が検出された場合は、ステップS901にて顔が検出されたと判定され、ステップS902に進む。   FIG. 9 shows a flowchart of the main part of the fourth embodiment. In FIG. 9, in step S900, the face detection unit 109 detects a face from the image. If a face is detected in the image, it is determined in step S901 that a face has been detected, and the process proceeds to step S902.

ステップS902では、検出された顔の大きさから、画像領域選択部110にて設定枠の大きさを決めている。ステップS902にて領域を選択した後、次にステップS903で設定枠の大きさが所定値以上かどうかの判定を行う。所定値以上の場合は、ステップS904にて設定枠内の重み付け量を変更する。この重み付け量は実施例1と同様である。そして、ステップS905で、重み付けを行った度数によりヒストグラムが作成され、ステップS906で代表ベクトルが決定されることになる。   In step S <b> 902, the size of the setting frame is determined by the image area selection unit 110 based on the detected face size. After selecting an area in step S902, it is next determined in step S903 whether the size of the setting frame is greater than or equal to a predetermined value. If it is greater than or equal to the predetermined value, the weighting amount in the setting frame is changed in step S904. This weighting amount is the same as in the first embodiment. In step S905, a histogram is created based on the weighted frequency, and a representative vector is determined in step S906.

ステップS900にて、顔が検出されていない場合、およびステップS903で、設定枠の大きさが所定値未満である場合はステップS907に進み、ステップS307では重み付けを行うための設定枠を無効にし、ステップS908で重み付け量をリセットする。その結果、画像から顔が検出されていない場合、または、画像から顔が検出されていても、その大きさが非常に小さい場合は従来のヒストグラムを作成し、そこから代表動きベクトルが決定されることになる。   If no face is detected in step S900, and if the size of the setting frame is less than the predetermined value in step S903, the process proceeds to step S907. In step S307, the setting frame for weighting is invalidated, In step S908, the weighting amount is reset. As a result, when a face is not detected from the image or when a face is detected from the image but the size is very small, a conventional histogram is created, and a representative motion vector is determined therefrom. It will be.

以上説明したように、画像から顔が検出されても、その大きさが非常に小さい場合は、重み付けを行わないことで、撮影者の意図通りの撮影を行うことができる。   As described above, even if a face is detected from an image, if the size is very small, it is possible to perform shooting as intended by the photographer by not performing weighting.

(その他の実施例)
その他実施例として、画像領域内に複数の顔が検出された場合の動作について説明する。その他の実施例においても構成図は図1と同じであり、説明は省略する。
(Other examples)
As another embodiment, an operation when a plurality of faces are detected in an image area will be described. In the other embodiments, the configuration diagram is the same as that in FIG.

複数の顔が検出されたときは、基本的に画像の中央部に位置する顔およびその下の胴体部分に対する重み付けを変更する。通常、撮影者は自分が撮りたい被写体を画面の中央に配置する。そこで、顔が複数検出された場合は、もっとも中心に近い顔を用いて重み付けを行うことで、撮影者の意図にもっとも合った撮影を行うことが可能となる。   When a plurality of faces are detected, the weights for the face located at the center of the image and the body part below the face are basically changed. Usually, the photographer places the subject he / she wants to shoot at the center of the screen. Therefore, when a plurality of faces are detected, weighting is performed using the face closest to the center, thereby making it possible to perform photographing that best matches the photographer's intention.

なお、本発明は、以下の構成でも達成され得る。   In addition, this invention can be achieved also with the following structures.

前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、コンピュータあるいは装置に供給するとする。これによって、このコンピュータあるいは装置の制御部が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成され得る。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体は本発明を構成することになる。   It is assumed that a storage medium storing software program codes for realizing the functions of the above-described embodiments is supplied to a computer or an apparatus. Thereby, the control unit of the computer or apparatus can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the function of the above-described embodiment, and the storage medium storing the program code of the software realizing the function of the above-described embodiment constitutes the present invention. Will do.

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。   As a storage medium for supplying the program code, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, or the like is used. be able to.

本発明の第1の実施例の構成図である。It is a block diagram of the 1st Example of this invention. 重み付けを行う領域を示した図である。It is the figure which showed the area | region which performs weighting. 本発明の第1の実施例の主要部の動作を示したフローチャートである。It is the flowchart which showed operation | movement of the principal part of the 1st Example of this invention. 重み付けを変更した場合のヒストグラムの変化を示した図である。It is the figure which showed the change of the histogram at the time of changing weighting. 本発明の第2の実施例の構成図である。It is a block diagram of the 2nd Example of this invention. 本発明の第2の実施例の主要部の動作を示したフローチャートである。It is the flowchart which showed operation | movement of the principal part of the 2nd Example of this invention. 本発明の第3の実施例の構成図である。It is a block diagram of the 3rd Example of this invention. 本発明の第3の実施例の主要部の動作を示したフローチャートである。It is the flowchart which showed operation | movement of the principal part of the 3rd Example of this invention. 本発明の第4の実施例の主要部の動作を示したフローチャートである。It is the flowchart which showed the operation | movement of the principal part of the 4th Example of this invention. 従来のヒストグラム作成方法を示した図である。It is the figure which showed the conventional histogram creation method. 従来の画像補正システムのブロック図である。It is a block diagram of the conventional image correction system.

符号の説明Explanation of symbols

201 分割されたブロック
202 顔検出枠
203 設定されたブロック領域
501 パンニング検出部
502 顔検出位置判定部
702 色検出および記憶部
703 色監視部
DESCRIPTION OF SYMBOLS 201 Block divided | segmented 202 Face detection frame 203 Set block area | region 501 Panning detection part 502 Face detection position determination part 702 Color detection and memory | storage part 703 Color monitoring part

Claims (11)

画像を複数のブロック領域に分割して、分割されたそれぞれのブロック領域ごとに動きベクトルを検出するベクトル検出手段と、
前記画像から人の顔を検出する顔検出手段と、
前記顔検出手段によって顔が検出された場合に、前記分割された複数のブロック領域の中から前記顔およびその周辺部に位置する所定のブロック領域を選択する選択手段と、
前記選択手段によって選択されたブロック領域の動きベクトルの度数に対して所定の重み付けを設定する設定手段と、
前記動きベクトルの大きさを階級として、前記設定手段により重み付けを設定した度数に基づいて前記それぞれのブロック領域ごとの動きベクトルを度数分布上に振り分ける分類手段と、
前記度数の大きさに基づいて代表動きベクトルを決定する決定手段と、
前記代表動きベクトルに基づいて画像のぶれを補正するぶれ補正手段とを有する撮像装置。
A vector detecting means for dividing an image into a plurality of block areas and detecting a motion vector for each of the divided block areas;
Face detection means for detecting a human face from the image;
A selection means for selecting the face and a predetermined block area located in the periphery thereof from the plurality of divided block areas when a face is detected by the face detection means;
Setting means for setting a predetermined weight for the frequency of the motion vector of the block area selected by the selection means;
Classifying means for assigning the motion vector for each of the respective block areas on the frequency distribution based on the frequency set by the setting means with the magnitude of the motion vector as a class,
Determining means for determining a representative motion vector based on the magnitude of the frequency;
An image pickup apparatus comprising: a shake correction unit that corrects a shake of an image based on the representative motion vector.
パンニング状態であるかどうかを検出するパンニング検出手段と、
前記顔検出手段により検出された顔の位置が移動したかどうかを判定する位置判定手段とをさらに有し、
前記パンニング検出手段によりパンニングが検出され、かつ、前記位置判定手段により顔の位置が移動していないと判定されたときは、前記選択手段は前記分割された複数のブロック領域の中から前記顔およびその周辺部に位置する所定のブロック領域を選択することを特徴とする請求項1記載の撮像装置。
Panning detection means for detecting whether it is in a panning state;
Position determination means for determining whether or not the position of the face detected by the face detection means has moved,
When the panning is detected by the panning detection unit and the position determination unit determines that the position of the face is not moved, the selection unit selects the face and the face from the plurality of divided block areas. The imaging apparatus according to claim 1, wherein a predetermined block region located in the peripheral portion is selected.
前記選択手段により選択される領域は、前記顔検出手段により検出された顔と、前記顔に対応する胴体部分のブロック領域であることを特徴とする請求項1又は2に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the area selected by the selection unit is a face area detected by the face detection unit and a block region of a torso portion corresponding to the face. 前記選択手段により選択される領域の大きさは、検出された顔の大きさに基づいて変化することを特徴とする請求項1ないし3何れか1項に記載の撮像装置。   4. The imaging apparatus according to claim 1, wherein the size of the area selected by the selection unit changes based on the size of the detected face. 前記重み付け設定手段によって設定される重み付けの量は、前記選択手段により選択された領域の大きさにより変化することを特徴とする請求項1ないし4の何れか1項に記載の撮像装置。   5. The imaging apparatus according to claim 1, wherein the weighting amount set by the weighting setting unit varies depending on a size of an area selected by the selection unit. 前記顔検出手段により検出された顔の周辺部に位置する所定のブロック領域の画像の色を検出する色検出手段と、
前記色検出手段により検出された色が変化したかどうかを監視する監視手段とをさらに有し、
前記顔検出手段による顔の検出がなされなくなった後、前記監視手段により色が変化したことが検出されたときに、前記重み付け設定手段により設定した重み付け量を変更することを特徴とする請求項1ないし5の何れか1項に記載の撮像装置。
Color detecting means for detecting the color of an image of a predetermined block area located in the peripheral part of the face detected by the face detecting means;
Monitoring means for monitoring whether the color detected by the color detection means has changed,
2. The weighting amount set by the weight setting unit is changed when it is detected by the monitoring unit that the color has changed after the face detection unit no longer detects the face. 6. The imaging device according to any one of items 5 to 5.
前記顔検出手段により検出された顔が複数ある場合は、前記画像の中央部にある顔およびその周辺の領域に対して前記重み付け設定手段による重み付けを行うことを特徴とした請求項1ないし6の何れか1項に記載の撮像装置。   7. The method according to claim 1, wherein when there are a plurality of faces detected by the face detection means, the weight setting means weights the face in the center of the image and the surrounding area. The imaging device according to any one of the above. 前記顔の大きさが所定の大きさよりも小さい場合は、前記重み付け設定手段による重み付けを行わないことを特徴とする請求項1ないし6の何れか1項に記載の撮像装置。 7. The imaging apparatus according to claim 1, wherein when the face size is smaller than a predetermined size, weighting by the weight setting unit is not performed. 画像を複数のブロック領域に分割して、分割されたそれぞれのブロック領域ごとに動きベクトルを検出するベクトル検出工程と、
前記画像から人の顔を検出する顔検出工程と、
前記顔検出工程によって顔が検出された場合に、前記分割された複数のブロック領域の中から前記顔およびその周辺部に位置する所定のブロック領域を選択する選択工程と、
前記選択工程によって選択されたブロック領域の動きベクトルの度数に対して所定の重み付けを設定する設定工程と、
前記動きベクトルの大きさを階級として、前記設定工程により重み付けを設定した度数に基づいて前記それぞれのブロック領域ごとの動きベクトルを度数分布上に振り分ける分類工程と、
前記度数の大きさに基づいて代表動きベクトルを決定する決定工程と、
前記代表動きベクトルに基づいて画像のぶれを補正するぶれ補正工程とを有する撮像方法。
A vector detection step of dividing an image into a plurality of block regions and detecting a motion vector for each of the divided block regions;
A face detection step of detecting a human face from the image;
When a face is detected by the face detection step, a selection step of selecting a predetermined block region located on the face and its peripheral portion from the divided block regions;
A setting step for setting a predetermined weight for the frequency of the motion vector of the block region selected by the selection step;
A classifying step of classifying the motion vectors for the respective block areas on the frequency distribution based on the frequency set by the setting step, with the magnitude of the motion vector as a class;
A determination step of determining a representative motion vector based on the magnitude of the frequency;
A blur correction step of correcting a blur of the image based on the representative motion vector.
請求項9に記載の撮像方法をコンピュータに実行させるためのプログラム。   A program for causing a computer to execute the imaging method according to claim 9. 請求項10に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。   A computer-readable storage medium storing the program according to claim 10.
JP2008286725A 2008-11-07 2008-11-07 Device and method of imaging and program Pending JP2010114752A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008286725A JP2010114752A (en) 2008-11-07 2008-11-07 Device and method of imaging and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008286725A JP2010114752A (en) 2008-11-07 2008-11-07 Device and method of imaging and program

Publications (1)

Publication Number Publication Date
JP2010114752A true JP2010114752A (en) 2010-05-20

Family

ID=42302945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008286725A Pending JP2010114752A (en) 2008-11-07 2008-11-07 Device and method of imaging and program

Country Status (1)

Country Link
JP (1) JP2010114752A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014056343A (en) * 2012-09-11 2014-03-27 Mega Chips Corp Mobile terminal device, program, and situation detection method
JP2015162711A (en) * 2014-02-26 2015-09-07 キヤノン株式会社 Imaging apparatus and control method of the same
JP2016066928A (en) * 2014-09-25 2016-04-28 キヤノン株式会社 Blur correction device, blur correction method, program, and imaging apparatus
JP2016171460A (en) * 2015-03-12 2016-09-23 キヤノン株式会社 Image processing system, image processing method, program and storage medium
US9641756B2 (en) 2013-09-24 2017-05-02 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
JP2017092592A (en) * 2015-11-05 2017-05-25 キヤノン株式会社 Tracking controller, tracking controlling method, optical equipment, and imaging apparatus
JP2017161586A (en) * 2016-03-07 2017-09-14 キヤノン株式会社 Image shake correction device and method of controlling image shake correction device, imaging device, program, and storage medium
JP2017204869A (en) * 2017-06-29 2017-11-16 株式会社ニコン Reproduction processing apparatus, imaging apparatus, and reproduction processing program
JP2018025611A (en) * 2016-08-08 2018-02-15 キヤノン株式会社 Image blur correcting device and control method therefor, program, and storage medium
JP2018036366A (en) * 2016-08-30 2018-03-08 キヤノン株式会社 Image tremor correction device, imaging device and control method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014056343A (en) * 2012-09-11 2014-03-27 Mega Chips Corp Mobile terminal device, program, and situation detection method
US9641756B2 (en) 2013-09-24 2017-05-02 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
JP2015162711A (en) * 2014-02-26 2015-09-07 キヤノン株式会社 Imaging apparatus and control method of the same
JP2016066928A (en) * 2014-09-25 2016-04-28 キヤノン株式会社 Blur correction device, blur correction method, program, and imaging apparatus
JP2016171460A (en) * 2015-03-12 2016-09-23 キヤノン株式会社 Image processing system, image processing method, program and storage medium
JP2017092592A (en) * 2015-11-05 2017-05-25 キヤノン株式会社 Tracking controller, tracking controlling method, optical equipment, and imaging apparatus
JP2017161586A (en) * 2016-03-07 2017-09-14 キヤノン株式会社 Image shake correction device and method of controlling image shake correction device, imaging device, program, and storage medium
JP2018025611A (en) * 2016-08-08 2018-02-15 キヤノン株式会社 Image blur correcting device and control method therefor, program, and storage medium
JP2018036366A (en) * 2016-08-30 2018-03-08 キヤノン株式会社 Image tremor correction device, imaging device and control method
JP2017204869A (en) * 2017-06-29 2017-11-16 株式会社ニコン Reproduction processing apparatus, imaging apparatus, and reproduction processing program

Similar Documents

Publication Publication Date Title
JP2010114752A (en) Device and method of imaging and program
US8988529B2 (en) Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
US9542754B2 (en) Device and method for detecting moving objects
US9865064B2 (en) Image processing apparatus, image processing method, and storage medium
JP6539091B2 (en) Image pickup apparatus and control method thereof
JP2010258710A (en) Motion vector detection apparatus, method for controlling the same, and image capturing apparatus
JP2009193421A (en) Image processing device, camera device, image processing method, and program
JP4210954B2 (en) Image processing method, image processing method program, recording medium storing image processing method program, and image processing apparatus
JP2009147757A (en) Motion vector detecting apparatus, motion vector detecting method, imaging apparatus, and program
JP2010016544A (en) Image capturing apparatus and image processing apparatus, and image processing program
JP2007281555A (en) Imaging apparatus
JP2008116663A (en) Imaging apparatus
JP2007142507A (en) Imaging apparatus
JP5300413B2 (en) Motion vector detection device, motion vector detection method, imaging device, and program
JP2010074315A (en) Object tracking method and imaging device
JP2023033355A (en) Image processing device and control method therefor
JP5539565B2 (en) Imaging apparatus and subject tracking method
JP2020136774A (en) Image processing apparatus for detecting motion vector, control method of the same, and program
JP6063680B2 (en) Image generation apparatus, image generation method, imaging apparatus, and imaging method
JP2009027437A (en) Image processor, image processing method and imaging device
JP2021105850A (en) Image processing device and method, and imaging device
JP2014153517A (en) Image processing device, image processing method, program, and storage medium
JP7475846B2 (en) Information processing device, imaging device, information processing method, and imaging device control method
JP7458723B2 (en) Image processing device, imaging device, control method, and program
JP5759162B2 (en) Motion vector detection device, motion vector detection method, correction device, and program

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630