JP2008048152A - Moving picture processing apparatus, moving picture photographing apparatus and moving picture photographing program - Google Patents

Moving picture processing apparatus, moving picture photographing apparatus and moving picture photographing program Download PDF

Info

Publication number
JP2008048152A
JP2008048152A JP2006221765A JP2006221765A JP2008048152A JP 2008048152 A JP2008048152 A JP 2008048152A JP 2006221765 A JP2006221765 A JP 2006221765A JP 2006221765 A JP2006221765 A JP 2006221765A JP 2008048152 A JP2008048152 A JP 2008048152A
Authority
JP
Japan
Prior art keywords
block
motion vector
video
photographing
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006221765A
Other languages
Japanese (ja)
Other versions
JP4888829B2 (en
Inventor
Kazuya Nara
和也 奈良
Original Assignee
Casio Comput Co Ltd
カシオ計算機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Comput Co Ltd, カシオ計算機株式会社 filed Critical Casio Comput Co Ltd
Priority to JP2006221765A priority Critical patent/JP4888829B2/en
Publication of JP2008048152A publication Critical patent/JP2008048152A/en
Application granted granted Critical
Publication of JP4888829B2 publication Critical patent/JP4888829B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To acquire a motion vector from a small block in which a feature point is likely to exist, and to exert a camera-shake correction effectively. <P>SOLUTION: An analog signal processor 15 captures an image formed by an imaging sensor 16, and the image is through-displayed on a display 25 after predetermined signal processing. At this time, a motion vector reference selecting user interface is displayed on a through-screen translucently in order to designate a place of a photographic object (position on screen). A controller 20 decides the small block set corresponding to the place of the photographic object designated by a user as a reference block of the motion vector, and calculates the motion vector between frames based on the reference block. The camera-shake correction is achieved by moving a cut position up and down and right and left based on the motion vector. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、手ブレ補正を行う動画処理装置、動画撮影装置および動画撮影プログラムに関する。   The present invention relates to a moving image processing apparatus, a moving image shooting apparatus, and a moving image shooting program that perform camera shake correction.
従来より、デジタルカメラでは、静止画に加え、動画撮影する機能が備えられている。動画撮影における手ブレ補正には、大別して2種類がある。第1の手ブレ補正(機械式手ぶれ補正)は、手ブレによるデジタルカメラ筐体の振動を検出する加速度/ジャイロセンサからの出力信号に基づいて、撮像素子か、あるいはレンズを揺らして手ブレをキャンセルする技術である。しかしながら、上述した機械式手ブレ補正では、レンズが大型化してコストアップになるという問題がある。   Conventionally, a digital camera has a function of shooting a moving image in addition to a still image. There are roughly two types of camera shake correction in moving image shooting. The first camera shake correction (mechanical camera shake correction) is based on the output signal from the acceleration / gyro sensor that detects the vibration of the digital camera housing due to camera shake, and shakes the image sensor or the lens to shake the camera shake. It is a technology to cancel. However, the mechanical camera shake correction described above has a problem that the lens becomes large and the cost increases.
第2の手ブレ補正(電子式手ブレ補正)は、撮像素子から得られる映像全画角のうち、一部の画角を切り取りながら撮影を行い、手ブレに呼応して切り取り位置を揺らしながら記録する技術である(例えば、特許文献1参照)。該電子式手ブレ補正では、フレーム全体の動きを求めるために、フレーム全体を細分化した小さなブロック(以下、小ブロックという)毎に算出した複数の動きベクトルを用いる。複数の動きベクトルを用いることで、動被写体成分などのブレ成分以外の動き成分を排除したフレームに最適な補正成分だけを算出することができる。   The second camera shake correction (electronic camera shake correction) takes a picture while cutting out a part of the entire angle of view of the image obtained from the image sensor, and swings the cutout position in response to the camera shake. This is a recording technique (see, for example, Patent Document 1). The electronic camera shake correction uses a plurality of motion vectors calculated for each small block (hereinafter referred to as a small block) obtained by subdividing the entire frame in order to obtain the motion of the entire frame. By using a plurality of motion vectors, it is possible to calculate only a correction component optimal for a frame from which motion components other than blur components such as moving subject components are excluded.
しかしながら、全ての小ブロックの動きベクトルを算出することは、演算処理の負荷が大きく困難である。そのため、動きベクトルを算出する小ブロックを選び出すことが必要であり、特徴量(ある領域における特徴点の量)を検出して特徴量の多い小ブロックを選択したり、小ブロックを固定位置に配置したりしている。   However, it is difficult to calculate the motion vectors of all the small blocks because the calculation processing load is large. For this reason, it is necessary to select a small block for calculating a motion vector, and a feature block (a feature point amount in a certain area) is detected to select a small block having a large feature block, or a small block is placed at a fixed position. I do.
動きベクトルを算出する小ブロック決定後、現フレームの画像データと1つ前のフレームの画像データとの2つの画像データから、ブロックマッチング(差分二乗和の最小位置を求める方法)や、KLT法(勾配法を用いた方法)などによって、小ブロックの動きベクトルを取得し、RANSAC(Random sample consensus)などによって、フレーム全体の動き量を算出する。   After determining the small block for calculating the motion vector, block matching (a method for obtaining the minimum position of the sum of squared differences) or the KLT method (from the image data of the current frame and the image data of the previous frame) or the KLT method ( The motion vector of the small block is acquired by a method using a gradient method), and the motion amount of the entire frame is calculated by RANSAC (Random sample consensus).
そして、画像データ全体の何割か(80%とか、90%とか)を切り出し領域とし、前のフレームから動いた分を戻すべく、算出した動き量の分だけをオフセットを付けて、切り出し領域を拡大して、動画符号化回路や表示部に送り出す。   Then, a part of the whole image data (80%, 90%, etc.) is set as a cutout area, and the cutout area is enlarged by offsetting only the calculated amount of movement in order to return the amount moved from the previous frame. Then, the image is sent to the moving image encoding circuit and the display unit.
特開2004−248171号公報JP 2004-248171 A
上述した電子式手ブレ補正において、特徴量の検出は、HARRISオペレータなどを用いるため、演算を行う専用のハードウェアが必要となる。しかしながら、演算を行う専用のハードウェアを搭載していない装置において、ソフトウェアで実現することは、演算処理の負荷が大きく困難であるという問題がある。   In the above-described electronic camera shake correction, the feature amount is detected using a HARRIS operator or the like, and thus dedicated hardware for performing the calculation is required. However, in a device that does not have dedicated hardware for performing calculations, there is a problem that it is difficult to realize with software that the processing load is large.
そのため、そのような装置においては、固定位置に配置した小ブロックを用いることが一般的である。しかしながら、固定位置に配置した小ブロックを用いる場合には、特徴点が小ブロック内に存在するとは限らないため、ブレ補正が有効的に機能しない場合も多いという問題がある。   Therefore, in such an apparatus, it is common to use small blocks arranged at fixed positions. However, in the case of using a small block arranged at a fixed position, there is a problem that blur correction does not function effectively because feature points do not always exist in the small block.
そこで本発明は、専用のハードウェアを搭載していなくても、特徴点が存在する可能性の高い領域から動きベクトルを取得することでき、ブレ補正を有効的に機能させることができる動画処理装置、動画撮影装置および動画撮影プログラムを提供することを目的とする。   Therefore, the present invention can acquire a motion vector from an area where there is a high possibility that a feature point exists without installing dedicated hardware, and a moving image processing apparatus capable of effectively functioning blur correction. It is an object to provide a moving image shooting apparatus and a moving image shooting program.
上記目的達成のため、請求項1記載の発明は、映像を取得する映像取得手段と、映像全体の中に部分的に設けられた小ブロックを対象として動きベクトルを算出する動きベクトル算出手段と、前記動きベクトル算出手段により算出された動きベクトルに基づいて、前記映像の切り取り位置を変化させることでブレ補正を行うブレ補正手段と、映像全体の中に部分的に設けられた小ブロックのうち、利用者の指示操作に基づいて、前記動きベクトル算出手段による動きベクトルの算出対象となる参照ブロックを決定する決定手段とを備え、前記動きベクトル算出手段は、前記決定手段により決定された参照ブロックを対象として動きベクトルを算出することを特徴とする。   To achieve the above object, the invention described in claim 1 includes a video acquisition unit that acquires a video, a motion vector calculation unit that calculates a motion vector for a small block partially provided in the entire video, Based on the motion vector calculated by the motion vector calculation unit, among the blur correction unit that performs blur correction by changing the cut-out position of the video, and a small block partially provided in the entire video, Determining means for determining a reference block for which a motion vector is calculated by the motion vector calculating means based on a user's instruction operation, wherein the motion vector calculating means determines the reference block determined by the determining means. A feature is that a motion vector is calculated as a target.
また、好ましい態様として、例えば請求項2記載のように、請求項1記載の動画処理装置において、前記映像取得手段により逐次取得される映像をモニタ画面上に逐次表示する映像表示手段と、前記映像表示手段により映像が表示されているモニタ画面上に、前記動きベクトルの算出対象として指定可能な小ブロックの位置を識別表示する識別表示手段とを備え、前記決定手段は、前記識別表示手段により小ブロックの位置が識別表示された状態での利用者の指示操作に基づいて、前記動きベクトルの算出対象となる参照ブロックを決定するようにしてもよい。   Further, as a preferable aspect, for example, as in claim 2, in the moving image processing apparatus according to claim 1, video display means for sequentially displaying videos sequentially acquired by the video acquisition means on a monitor screen, and the video Identification display means for identifying and displaying the position of a small block that can be designated as the motion vector calculation target on a monitor screen on which an image is displayed by the display means; The reference block for which the motion vector is to be calculated may be determined based on a user instruction operation in a state where the block position is identified and displayed.
また、請求項3、8記載の発明は、逐次撮像される映像を逐次表示する際に、映像全体の中に配置された複数の小ブロックのうち、利用者によって指定された撮影対象物の位置に配置された小ブロックを参照ブロックとして決定し、該参照ブロック毎に動きベクトルを算出し、算出された動きベクトルに基づいて、映像全体の時間軸方向に対する動き量を検出し、該動き量に基づいて映像の切り取り位置を変化させることでブレ補正を行うことを特徴とする。   According to the third and eighth aspects of the present invention, the position of the photographing object designated by the user among the plurality of small blocks arranged in the entire image when sequentially displaying the sequentially picked-up images. Is determined as a reference block, a motion vector is calculated for each reference block, a motion amount in the time axis direction of the entire video is detected based on the calculated motion vector, and the motion amount is calculated. Based on this, blur correction is performed by changing the cutout position of the video.
また、好ましい態様として、例えば請求項4記載のように、請求項3記載の動画撮影装置において、異なる撮影状況毎に少なくとも映像内の撮影対象物の位置を規定する定型フォームを記憶する定型フォーム記憶手段と、前記定型フォーム記憶手段からいずれか1つの定型フォームを選択する選択手段とを具備し、前記決定手段は、前記選択手段により選択された定型フォームで規定される撮影対象物の位置に配置された小ブロックを参照ブロックとして決定するようにしてもよい。   Further, as a preferred aspect, for example, as described in claim 4, in the moving image photographing apparatus according to claim 3, a fixed form storage for storing a fixed form that defines at least the position of the photographing object in the video for each different photographing situation. And a selecting means for selecting any one fixed form from the fixed form storage means, and the determining means is arranged at the position of the object to be imaged defined by the fixed form selected by the selecting means. The determined small block may be determined as a reference block.
また、好ましい態様として、例えば請求項5記載のように、請求項3記載の動画撮影装置において、映像内の撮影対象物を検知し、該検知した撮影対象物の位置に対応して配置されている合焦領域を決定し、該合焦領域内で撮影対象物に合焦させる合焦手段を具備し、前記決定手段は、前記合焦手段によって合焦された撮影対象物の位置に配置された小ブロックを参照ブロックとして決定するようにしてもよい。   Further, as a preferred aspect, for example, as in claim 5, in the moving image photographing apparatus according to claim 3, the photographing object in the video is detected and arranged corresponding to the detected position of the photographing object. A focusing unit that determines a focusing area that is in focus and focuses the object to be photographed within the focusing area, and the determining unit is disposed at a position of the object to be photographed focused by the focusing unit. A small block may be determined as a reference block.
また、好ましい態様として、例えば請求項6記載のように、請求項3ないし5のいずれかに記載の動画撮影装置において、前記決定手段は、前記撮影対象物の位置に配置された小ブロックを細分化した極小ブロックを参照ブロックとして決定するようにしてもよい。   Further, as a preferred aspect, for example, as in claim 6, in the moving image photographing apparatus according to any one of claims 3 to 5, the determining means subdivides the small blocks arranged at the position of the photographing object. The converted minimal block may be determined as the reference block.
また、好ましい態様として、例えば請求項7記載のように、請求項3ないし5のいずれかに記載の動画撮影装置において、前記決定手段は、前記撮影対象物の位置に配置された小ブロックに加え、前記撮影対象物の位置での参照ブロック密度が高くなるように、前記撮影対象物以外の領域に配置された小ブロックを前記参照ブロックとして決定するようにしてもよい。   Further, as a preferred aspect, for example, as in claim 7, in the moving image photographing apparatus according to any one of claims 3 to 5, the determining means is added to a small block arranged at the position of the photographing object. A small block arranged in a region other than the object to be imaged may be determined as the reference block so that the reference block density at the position of the object to be imaged becomes high.
本発明によれば、映像全体の中に部分的に設けられた小ブロックのうち、利用者の指示操作に基づいて、前記動きベクトル算出手段による動きベクトルの算出対象となる参照ブロックを決定し、決定された参照ブロックを対象として動きベクトルを算出し、該動きベクトルに基づいて、前記映像の切り取り位置を変化させることでブレ補正を行うようにしたので、専用のハードウェアを搭載していなくても、特徴点が存在する可能性の高い領域から動きベクトルを取得することでき、ブレ補正を有効的に機能させることができるという利点が得られる。   According to the present invention, among the small blocks partially provided in the entire video, based on a user's instruction operation, a reference block to be calculated by the motion vector calculation unit is determined, Since the motion vector is calculated for the determined reference block and the blur correction is performed by changing the cutout position of the video based on the motion vector, no dedicated hardware is installed. However, it is possible to obtain a motion vector from an area where there is a high possibility that a feature point exists, and it is possible to obtain an advantage that blur correction can function effectively.
以下、本発明の実施の形態を、図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.
A.第1実施形態
図1は、本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。図において、画像取得部10は、レンズ11、シャッタ12、LPF13からなる。レンズ11は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッタ12は、シャッタボタンが操作されると、制御部20によって駆動されるドライバ14により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ14で行う。LPF13は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。
A. First Embodiment FIG. 1 is a block diagram showing a configuration of a digital camera according to a first embodiment of the present invention. In the figure, the image acquisition unit 10 includes a lens 11, a shutter 12, and an LPF 13. The lens 11 is a normal optical lens and includes a lens group in which aspherical lenses are stacked. The shutter 12 is a so-called mechanical shutter that is operated by a driver 14 driven by the control unit 20 when a shutter button is operated. Depending on the digital camera, a mechanical shutter may not be provided. In the case of a model equipped with a retractable lens structure and a mechanical zoom, these drivers are also controlled by the driver 14. The LPF 13 is a crystal low-pass filter and is mounted to prevent the occurrence of moire.
次に、アナログ信号処理部15は、撮像センサ(CCD,CMOS)16、サンプリング/信号増幅処理部17、A/Dコンバータ18からなる。撮像センサ16は、被写体画像(イメージ)を結像し、RGBの各色の光の強さを、電流値に変換する。サンプリング/信号増幅処理部17は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行う。A/Dコンバータ18は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する(RGB,CMYG各色について12bitデータに変換してバスラインに出力する)。   Next, the analog signal processing unit 15 includes an image sensor (CCD, CMOS) 16, a sampling / signal amplification processing unit 17, and an A / D converter 18. The imaging sensor 16 forms a subject image (image), and converts the intensity of light of each color of RGB into a current value. The sampling / signal amplification processing unit 17 performs correlated double sampling processing and signal amplification processing for suppressing noise and color unevenness. The A / D converter 18 is also called an analog front end, and converts the sampled / amplified analog signal into a digital signal (converts each color of RGB and CMYG into 12-bit data and outputs it to the bus line).
次に、制御部(CPU)20は、後述するプログラムメモリ格納されるプログラムに従ってデジタルカメラ1(撮像装置)の全体を制御する。特に、本第1実施形態では、被写体である撮影対象物の場所の指定、指定された場所を中心に小ブロックを細分化して配置、該小ブロックに基づいてフレーム間の動きベクトルの算出、該動きベクトルに基づく画像全体の動き量の算出、動き量に基づく切り抜きオフセットの算出、オフセットに基づく画像の切り抜き、切り出し領域の拡大などを行うようになっている。   Next, the control unit (CPU) 20 controls the entire digital camera 1 (imaging device) according to a program stored in a program memory described later. In particular, in the first embodiment, the location of the subject to be photographed is designated, the small blocks are divided and arranged around the designated location, the motion vector between frames is calculated based on the small blocks, Calculation of the motion amount of the entire image based on the motion vector, calculation of the clipping offset based on the motion amount, clipping of the image based on the offset, enlargement of the clipping region, and the like are performed.
プレビューエンジン22は、録画モード(記録モード、撮影モードともいう)において、画像取得部10、アナログ信号処理部15を介して入力されたデジタルデータ、もしくはシャッタ操作検出直後、イメージバッファ26に格納されたデジタルデータ、および、画像メモリ31に格納されたデジタルデータを表示部25に表示させるために間引き処理を行う。D/Aコンバータ23は、プレビューエンジン22により間引き処理されたデジタルデータを変換し、後段のドライバ24に出力する。   The preview engine 22 is stored in the image buffer 26 immediately after detection of digital data input via the image acquisition unit 10 and the analog signal processing unit 15 in the recording mode (also referred to as recording mode or photographing mode) or shutter operation detection. Thinning processing is performed in order to display the digital data and the digital data stored in the image memory 31 on the display unit 25. The D / A converter 23 converts the digital data thinned out by the preview engine 22 and outputs it to the driver 24 at the subsequent stage.
ドライバ24は、後段の表示部25に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部27、制御部20を介して入力された制御信号に基づいて表示部25を駆動させる。表示部25は、カラーTFT液晶や、STN液晶などからなり、プレビュー画像や、撮影後の画像データ、設定メニューなどを表示する。   The driver 24 includes a buffer area for temporarily storing digital data displayed on the display unit 25 at the subsequent stage, and drives the display unit 25 based on a control signal input via the key operation unit 27 and the control unit 20. The display unit 25 includes a color TFT liquid crystal, an STN liquid crystal, or the like, and displays a preview image, image data after shooting, a setting menu, and the like.
イメージバッファ26は、アナログ信号処理部15、もしくはデジタル信号処理部28を介して入力され、デジタル信号処理部28に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部27は、シャッタボタンや、記録/再生モード選択スライドスイッチ、メニューボタン、十字キー(中央押しで決定)などからなる。特に、本第1実施形態では、十字キーにより、被写体である対象物の場所を指定するようになっている。   The image buffer 26 temporarily stores digital data immediately after photographing until it is input via the analog signal processing unit 15 or the digital signal processing unit 28 and passed to the digital signal processing unit 28. The key operation unit 27 includes a shutter button, a recording / playback mode selection slide switch, a menu button, a cross key (determined by pressing the center), and the like. In particular, in the first embodiment, the location of the object that is the subject is designated by the cross key.
デジタル信号処理部28は、アナログ信号処理部15を介して入力されたデジタルデータに対して、ホワイトバランス処理、色処理、階調処理、輸郭強調、RGB形式からYUV形式への変換、YUV形式からJPEG形式への変換を行う。画像圧縮/伸張処理部29は、デジタル信号処理部28を介して入力されたデジタルデータをJPEG方式に圧縮符号化したり、モーションJPEG形式の動画ファイルを生成したり、モーションJPEG形式の動画ファイルをMPEG形式の動画ファイルに変換したり、再生モードにおいては、JPEG形式、モーションJPEG形式、あるいはMPEG形式の動画ファイルを伸張したりする。   The digital signal processing unit 28 performs white balance processing, color processing, gradation processing, contour emphasis, conversion from RGB format to YUV format, YUV format for digital data input via the analog signal processing unit 15. To JPEG format. The image compression / decompression processing unit 29 compresses and encodes the digital data input via the digital signal processing unit 28 into the JPEG format, generates a motion JPEG format movie file, or converts the motion JPEG format movie file to MPEG. It is converted into a moving image file in a format, or in a reproduction mode, a moving image file in JPEG format, motion JPEG format, or MPEG format is expanded.
プログラムメモリ30は、制御部20にロードされる各種プログラムや、ベストショット機能におけるEV値、色補正情報などを格納する。画像メモリ31は、イメージバッファ26に一時的に保持された画像データや、各種ファイル形式に変換されたデジタルデータ、動画データなどを格納する。カードI/F32は、外部記録媒体33とデジタルカメラ本体との間のデータ交換を制御する。   The program memory 30 stores various programs loaded in the control unit 20, EV values in the best shot function, color correction information, and the like. The image memory 31 stores image data temporarily stored in the image buffer 26, digital data converted into various file formats, moving image data, and the like. The card I / F 32 controls data exchange between the external recording medium 33 and the digital camera body.
外部記録媒体33は、コンパクトフラッシュ(登録商標)、メモリースティック、SDカード等からなる着脱可能な記録媒体である。外部接続用I/F34は、USBコネクター用スロットなどからなり、パーソナルコンピュータなどと接続され、撮影した画像データの転送などに用いられる。RAM35は、制御部(CPU)20の制御に必要な各種パラメータや、夜景撮影時の各種パラメータ(ゲイン(ISO感度)、絞り、シャッタスピード、画像合成のための閾値、重みなど)などを記憶する。   The external recording medium 33 is a detachable recording medium composed of a compact flash (registered trademark), a memory stick, an SD card, or the like. The external connection I / F 34 includes a USB connector slot and the like, is connected to a personal computer or the like, and is used for transferring photographed image data. The RAM 35 stores various parameters necessary for control of the control unit (CPU) 20, various parameters at the time of night scene shooting (gain (ISO sensitivity), aperture, shutter speed, threshold for image composition, weight, etc.), and the like. .
次に、上述した第1実施形態の動作について説明する。ここで、図2は、本第1実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図3ないし図5は、本第1実施形態による、被写体である対象物の指定、小ブロックの配置、小ブロックの細分化を説明するための模式図である。   Next, the operation of the above-described first embodiment will be described. Here, FIG. 2 is a flowchart for explaining the operation of the digital camera according to the first embodiment. FIGS. 3 to 5 are schematic diagrams for explaining designation of an object as a subject, arrangement of small blocks, and subdivision of small blocks according to the first embodiment.
動画撮影モードにすると、アナログ信号処理部15において、撮像センサ(CCD,CMOS)16に結像された映像を取り込み、所定の信号処理を施した後、表示部25にスルー表示する(ステップS10)。このとき、撮影対象物の場所(画面上での位置)を指定させるために、図3に示すように、動きベクトル参照場所選択ユーザインターフェースを、スルー画面上に半透過で表示する。図示の例では、画面を12のブロックに分割して指定させるようになっている。次に、十字キーにより撮影対象物がある場所をユーザに指定させる(ステップS12)。図示の例では、6番目の場所(ブロック)が指定されている。該場所(ブロック)における、動きベクトル参照の小ブロック(斜線部分)は、図4に示すように4つの小ブロックで構成されている。なお、指定可能な場所は、1箇所とは限らず、複数箇所指定できるようにしてもよい。そして、ユーザにより指定された1または複数の場所に対応して設けられている小ブロックを動きベクトルを算出する際の参照ブロックとして決定する(ステップS14)。   When the moving image shooting mode is set, the analog signal processing unit 15 captures an image formed on the image sensor (CCD, CMOS) 16, performs predetermined signal processing, and then displays the image on the display unit 25 (step S10). . At this time, in order to designate the location (position on the screen) of the object to be imaged, a motion vector reference location selection user interface is displayed semi-transparently on the through screen as shown in FIG. In the illustrated example, the screen is divided into 12 blocks and designated. Next, the user designates the location where the subject is to be photographed with the cross key (step S12). In the illustrated example, the sixth place (block) is designated. The small block (hatched portion) of the motion vector reference in the place (block) is composed of four small blocks as shown in FIG. Note that the place that can be designated is not limited to one place, and a plurality of places may be designated. And the small block provided corresponding to the 1 or several place designated by the user is determined as a reference block at the time of calculating a motion vector (step S14).
なお、このステップS14では、予め画面全体に均等に配置された複数の小ブロックの中からユーザの選択した場所に対応して設けられている小ブロックを、動きベクトルを算出する際の参照ブロックとして決定しているが、図5(a)、(b)に示すように、ユーザにより指定された場所を中心に、小ブロックに比べてより小さなブロック(以下、極小ブロックという)に細分化し、該極小ブロックの各々を、動きベクトルを算出する際の参照ブロックとしてもよい(ステップS14a)。また、図5(a)、(c)に示すように、指定された場所における小ブロックの比重が他より大きくなるように、指定された場所以外に対応して設けられている小ブロックを、動きベクトルを算出する際の参照ブロックとして上記極小ブロックに加えてもよい(ステップS14b)。このように、撮影対象物がある場所をユーザに指定させることで、指定された場所に特徴点が存在する可能性が高くなる。   In this step S14, a small block provided corresponding to a location selected by the user from among a plurality of small blocks arranged in advance uniformly over the entire screen is used as a reference block for calculating a motion vector. As shown in FIGS. 5A and 5B, the block is subdivided into smaller blocks (hereinafter referred to as “minimum blocks”) than the small blocks around the location specified by the user. Each of the minimum blocks may be a reference block for calculating a motion vector (step S14a). In addition, as shown in FIGS. 5A and 5C, small blocks provided corresponding to locations other than the designated location are set so that the specific gravity of the small blocks at the designated location is greater than the others. You may add to the said minimum block as a reference block at the time of calculating a motion vector (step S14b). In this way, by allowing the user to specify the location where the shooting target is located, the possibility that a feature point exists at the specified location is increased.
次に、上記参照ブロック(小ブロックまたは極小ブロック)を用いて、複数フレームをバッファリングし、対象フレームと隣接フレームとの差分から動きベクトルを算出し(ステップS16)、該動きベクトルから画像全体の動き量を算出する(ステップS18)。次に、動きベクトルに従って、画像切り抜きオフセット(切り抜き位置の前後左右へ調整値)を算出し(ステップS20)、切り取り画角で画像を切り抜き(ステップS22)、該画像を表示部25の表示領域に拡大する(ステップS24)。以降、撮影停止指示があるまで、表示部25に表示するとともにエンコードした映像を記録する。   Next, a plurality of frames are buffered using the reference block (small block or minimal block), a motion vector is calculated from the difference between the target frame and the adjacent frame (step S16), and the entire image is calculated from the motion vector. The amount of motion is calculated (step S18). Next, an image cropping offset (adjusted values before and after the clipping position) is calculated according to the motion vector (step S20), the image is cropped at the crop angle (step S22), and the image is displayed in the display area of the display unit 25. Enlarge (step S24). Thereafter, the video is displayed on the display unit 25 and the encoded video is recorded until a shooting stop instruction is issued.
上述した第1実施形態では、ユーザにより指定された場所に対応して設けられている小ブロックを動きベクトルを算出する際の参照ブロックとするか、指定された場所を中心に細分化した極小ブロックを参照ブロックとするか、あるいは、指定された場所における小ブロックの比重が他より大きくなるように、上記極小ブロックに加え、指定された場所以外に対応して設けられている小ブロックを参照ブロックとし、該参照ブロックに基づいてフレーム間の動きベクトルを算出し、該動きベクトルに基づいて画像全体の動き量の算出してブレ補正を行うようにしたので、専用のハードウェアを搭載していなくても、特徴点が存在する可能性の高い小ブロックまたは極小ブロックから動きベクトルを取得することでき、ブレ補正を適切に、かつ有効的に機能させることができる。   In the first embodiment described above, a small block provided corresponding to a location designated by the user is used as a reference block for calculating a motion vector, or a minimal block subdivided around the designated location. As a reference block, or, in addition to the above-mentioned minimal block, a small block provided corresponding to a location other than the designated location is referred to so that the specific gravity of the small block at the designated location is greater than the others. Since the motion vector between frames is calculated based on the reference block, and the motion amount of the entire image is calculated based on the motion vector to perform blur correction, no dedicated hardware is installed. However, the motion vector can be obtained from a small block or a minimal block where there is a high possibility that a feature point exists. It can be effective to function.
また、撮影対象物の場所をユーザに指定させるようにしたので、動きベクトル算出時の参照ブロックとして、特徴点が存在する可能性の高い領域をより正確に選択することができ、ブレ補正を適切に、かつ有効的に機能させることができる。
また、小ブロックをより細分化した極小ブロックを、参照ブロックとしたので、より正確に動きベクトル、動き量を算出することができる。
また、指定された場所における小ブロックの比重が他より大きくなるように、上記極小ブロックに加え、指定された場所以外に対応して設けられている小ブロックを参照ブロックとしたので、より正確に動きベクトル、動き量を算出することができる。
In addition, because the location of the object to be imaged is specified by the user, it is possible to more accurately select an area where a feature point is likely to exist as a reference block when calculating a motion vector, and to perform blur correction appropriately. And can function effectively.
In addition, since the minimal block obtained by subdividing the small block is used as the reference block, the motion vector and the amount of motion can be calculated more accurately.
In addition to the above minimum block, the small block provided corresponding to other than the specified location is used as the reference block so that the specific gravity of the small block at the specified location is greater than the others. A motion vector and a motion amount can be calculated.
B.第2実施形態
次に、本発明の第2実施形態について説明する。本第2実施形態では、撮影状況(屋外、屋内、スポーツ、スナップ、夜景、ツーショットなど)に応じて、被写体である撮影対象物の位置(画角内での位置)や、撮影パラメータ(シャッター速度、絞りなど)などが予め設定された定型フォームを、ユーザに選択させ、選択された定型フォームにおける被写体である撮影対象物の位置に対応する領域を、動きベクトル参照領域とすることを特徴としている。
B. Second Embodiment Next, a second embodiment of the present invention will be described. In the second embodiment, depending on the shooting situation (outdoor, indoor, sports, snap, night view, two-shot, etc.), the position of the shooting target object (position within the angle of view) and shooting parameters (shutter speed) , Aperture, etc.) is set in advance, and the user selects a fixed form, and a region corresponding to the position of the object to be photographed in the selected fixed form is set as a motion vector reference region. .
次に、本第2実施形態の動作について説明する。図6は、本第2実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図7(a)〜(c)は、本第2実施形態による、動きベクトル参照領域である小ブロックの決定方法を説明するための模式図である。   Next, the operation of the second embodiment will be described. FIG. 6 is a flowchart for explaining the operation of the digital camera according to the second embodiment. FIGS. 7A to 7C are schematic diagrams for explaining a method for determining a small block that is a motion vector reference region according to the second embodiment.
動画撮影モードにすると、アナログ信号処理部15において、撮像センサ(CCD,CMOS)16に結像された映像を取り込み、所定の信号処理を施した後、表示部25にスルー表示する(ステップS30)。次に、ユーザに定型フォームを選択させる(ステップS32)。なお、動画撮影モードにする前に定型フォームを選択しておいてもよい。次に、選択された定型フォームに対応して予め決められた小ブロックを動きベクトルを算出する際の参照ブロックとして決定する(ステップS34)。   When the moving image shooting mode is set, the analog signal processing unit 15 takes in an image formed on the image sensor (CCD, CMOS) 16, performs predetermined signal processing, and then displays the image on the display unit 25 (step S30). . Next, the user is made to select a fixed form (step S32). Note that the fixed form may be selected before the moving image shooting mode is set. Next, a small block determined in advance corresponding to the selected fixed form is determined as a reference block for calculating a motion vector (step S34).
なお、この場合、各定型フォームは、該定型フォームに対応する各小ブロックの画面全体における絶対位置を規定し、定型フォームの選択だけで動きベクトルの参照ブロックが決定されるものとしてもよいし、各定型フォームは、各小ブロックの相対的な位置を規定し、ユーザが指定した画面上の位置に該定型フォームで規定される各小ブロックを配置することで動きベクトルの参照ブロックが決定されるようにしてもよい。   In this case, each fixed form defines the absolute position in the entire screen of each small block corresponding to the fixed form, and the motion vector reference block may be determined only by selecting the fixed form. Each fixed form defines the relative position of each small block, and the motion vector reference block is determined by placing each small block defined by the fixed form at a position on the screen specified by the user. You may do it.
定型フォームと小ブロックの配置との関係を図7(a)〜(c)に示す。なお、撮影対象物は、1箇所とは限らず、複数箇所あってもよい。このように、定型フォームにおける撮影対象物の位置に対応する小ブロックを用いることで、該小ブロックに特徴点が存在する可能性が高くなる。   The relation between the fixed form and the arrangement of the small blocks is shown in FIGS. Note that the subject to be photographed is not limited to one place, and may be a plurality of places. Thus, by using a small block corresponding to the position of the object to be photographed in the fixed form, the possibility that a feature point exists in the small block increases.
次に、決定した参照ブロックを用いて、複数フレームをバッファリングし、対象フレームと隣接フレームとの差分から動きベクトルを算出し(ステップS36)、該動きベクトルから画像全体の動き量を算出する(ステップS38)。次に、動きベクトルに従って、画像切り抜きオフセット(切り抜き位置の前後左右へ調整値)を算出し(ステップS40)、切り取り画角で画像を切り抜き(ステップS42)、該画像を表示部25の表示領域に拡大する(ステップS44)。以降、撮影停止指示があるまで、表示部25に表示するとともにエンコードした映像を記録する。   Next, using the determined reference block, a plurality of frames are buffered, a motion vector is calculated from the difference between the target frame and the adjacent frame (step S36), and the motion amount of the entire image is calculated from the motion vector ( Step S38). Next, an image cropping offset (adjusted values before and after the cropping position) is calculated according to the motion vector (step S40), the image is cropped at the crop angle (step S42), and the image is displayed in the display area of the display unit 25. Enlarge (step S44). Thereafter, the video is displayed on the display unit 25 and the encoded video is recorded until a shooting stop instruction is issued.
上述した第2実施形態では、ユーザにより選択された、撮影状況毎に用意された定型フォームに対応して予め決められた小ブロックを動きベクトル算出時の参照ブロックとして決定し、該参照ブロックに基づいてフレーム間の動きベクトルを算出し、該動きベクトルに基づいて画像全体の動き量の算出してブレ補正を行うようにしたので、専用のハードウェアを搭載していなくても、特徴点が存在する可能性の高い領域から動きベクトルを取得することでき、ブレ補正を適切に、かつ有効的に機能させることができる。   In the second embodiment described above, a small block determined in advance corresponding to a fixed form prepared for each shooting situation selected by the user is determined as a reference block at the time of motion vector calculation, and based on the reference block. Since the motion vector between frames is calculated and the amount of motion of the entire image is calculated based on the motion vector and shake correction is performed, feature points exist even if no dedicated hardware is installed. Therefore, a motion vector can be acquired from an area where there is a high possibility of performing blurring, and blur correction can be functioned appropriately and effectively.
C.第3実施形態
次に、本発明の第3実施形態について説明する。本第3実施形態では、マルチエリアAF(オートフォーカス)によって取得した合焦領域を中心に小ブロックを細分化して配置するか、または合焦領域の小ブロックの比重を調整して配置し、これら小ブロックを用いて動きベクトルを算出し、フレーム全体の動き量を算出することを特徴としている。
C. Third Embodiment Next, a third embodiment of the present invention will be described. In the third embodiment, the small blocks are divided and arranged around the in-focus area acquired by multi-area AF (autofocus), or the specific gravity of the small blocks in the in-focus area is adjusted and arranged. A feature is that a motion vector is calculated using a small block, and a motion amount of the entire frame is calculated.
次に、上述した第3実施形態の動作について説明する。ここで、図8は、本第3実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図9は、本第3実施形態による、小ブロックの配置を説明するための模式図である。   Next, the operation of the above-described third embodiment will be described. FIG. 8 is a flowchart for explaining the operation of the digital camera according to the third embodiment. FIG. 9 is a schematic diagram for explaining the arrangement of small blocks according to the third embodiment.
動画撮影モードにすると、アナログ信号処理部15において、撮像センサ(CCD,CMOS)16に結像された映像を取り込み、所定の信号処理を施した後、表示部25にスルー表示する(ステップS50)。次に、撮影開始の操作が行われたか判断し(ステップS52)、撮影開始の操作が行われると、マルチエリアAF処理を行う(ステップS54)。マルチエリアAF処理では、図9(a)に示すように、撮影対象物を検知し、該検知した撮影対象物に合焦させるべく、撮影対象物がある場所に対応する位置に配置されている合焦領域を選択し、該合焦領域でコントラスト法などにより撮影対象物に合焦させる。   When the moving image shooting mode is set, the analog signal processing unit 15 takes in the image formed on the image sensor (CCD, CMOS) 16, performs predetermined signal processing, and then displays the image on the display unit 25 (step S50). . Next, it is determined whether or not a shooting start operation has been performed (step S52). When the shooting start operation is performed, multi-area AF processing is performed (step S54). In the multi-area AF process, as shown in FIG. 9A, the object to be photographed is detected and arranged at a position corresponding to the place where the object to be photographed is to be focused on the detected object to be photographed. An in-focus area is selected, and the object to be photographed is focused in the in-focus area by a contrast method or the like.
次に、図9(b)に示すように、合焦領域を中心に小ブロック(斜線部分)を配置し、該小ブロックを動きベクトルを算出する際の参照ブロックとして決定する(ステップS56)。なお、前述した第1実施形態と同様に、図5(a)、(c)に示すように、合焦領域の小ブロックに加え、合焦領域の小ブロックの比重が大きくなるように、合焦領域以外の小ブロックを、動きベクトルを算出する際の参照ブロックとして決定してもよい(ステップS56b)。このように、合焦領域を中心に配置した小ブロックを参照ブロックとするか、または合焦領域の小ブロックの比重が大きくなるように、上記参照ブロックに加えた、合焦領域以外に配置した小ブロックを参照ブロックとし、これら参照ブロックを用いて動きベクトルを算出し、フレーム全体の動き量を算出することで、該参照ブロックに特徴点が存在する可能性が高くなる。   Next, as shown in FIG. 9B, a small block (shaded portion) is arranged around the in-focus area, and the small block is determined as a reference block for calculating a motion vector (step S56). As in the first embodiment described above, as shown in FIGS. 5A and 5C, in addition to the small block in the focus area, the specific gravity of the small block in the focus area is increased. A small block other than the focal region may be determined as a reference block for calculating a motion vector (step S56b). In this way, the small block arranged around the in-focus area is used as a reference block, or the non-focus area is added to the reference block so that the specific gravity of the small block in the in-focus area is increased. By using a small block as a reference block, calculating a motion vector using these reference blocks, and calculating a motion amount of the entire frame, the possibility that a feature point exists in the reference block increases.
次に、上記参照ブロックを用いて、複数フレームをバッファリングし、対象フレームと隣接フレームとの差分から動きベクトルを算出し(ステップS58)、該動きベクトルから画像全体の動き量を算出する(ステップS60)。次に、動きベクトルに従って、画像切り抜きオフセット(切り抜き位置の前後左右へ調整値)を算出し(ステップS62)、切り取り画角で画像を切り抜き(ステップS64)、該画像を表示部25の表示領域に拡大する(ステップS66)。以降、撮影停止指示があるまで、表示部25に表示するとともにエンコードした映像を記録する。   Next, a plurality of frames are buffered using the reference block, a motion vector is calculated from the difference between the target frame and the adjacent frame (step S58), and the motion amount of the entire image is calculated from the motion vector (step S58). S60). Next, an image cropping offset (adjusted values before and after the clipping position) is calculated according to the motion vector (step S62), the image is cropped at the crop angle (step S64), and the image is displayed in the display area of the display unit 25. Enlarge (step S66). Thereafter, the video is displayed on the display unit 25 and the encoded video is recorded until a shooting stop instruction is issued.
上述した第3実施形態では、マルチエリアAF(オートフォーカス)によって取得した合焦領域を中心に配置した小ブロックを、動きベクトルの参照ブロックとするか、あるいは合焦領域の小ブロックの比重が大きくなるように、合焦領域における小ブロックに加え、合焦領域以外に配置した小ブロックを参照ブロックとし、これら参照ブロックを用いて動きベクトルを算出し、該動きベクトルに基づいてフレーム全体の動き量を算出してブレ補正を行うようにしたので、専用のハードウェアを搭載していなくても、特徴点が存在する可能性の高い領域から動きベクトルを取得することでき、ブレ補正を適切に、かつ有効的に機能させることができる。
また、合焦領域における小ブロックに加え、合焦領域における小ブロックの比重が他より大きくなるように、合焦領域以外に対応して設けられている小ブロックを参照ブロックとしたので、より正確に動きベクトル、動き量を算出することができる。
In the third embodiment described above, a small block arranged around the in-focus area acquired by multi-area AF (autofocus) is used as a motion vector reference block, or the specific gravity of the small block in the in-focus area is large. As described above, in addition to the small blocks in the in-focus area, small blocks arranged outside the in-focus area are used as reference blocks, a motion vector is calculated using these reference blocks, and the motion amount of the entire frame based on the motion vector Since the image is calculated and shake correction is performed, motion vectors can be acquired from areas where there is a high possibility that feature points exist without using dedicated hardware. And can function effectively.
In addition to the small blocks in the in-focus area, the small blocks provided for areas other than the in-focus area are used as reference blocks so that the specific gravity of the small blocks in the in-focus area is greater than the others. The motion vector and the motion amount can be calculated.
本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera by 1st Embodiment of this invention. 本第1実施形態によるデジタルカメラの動作を説明するためのフローチャートである。4 is a flowchart for explaining the operation of the digital camera according to the first embodiment. 本第1実施形態による被写体である対象物の指定を説明するための模式図である。It is a schematic diagram for demonstrating designation | designated of the target object which is a to-be-photographed object by this 1st Embodiment. 本第1実施形態による細分化された小ブロックの配置を説明するための模式図である。It is a schematic diagram for demonstrating arrangement | positioning of the subdivided small block by this 1st Embodiment. 本第1実施形態による小ブロックの細分化を説明するための模式図である。It is a schematic diagram for demonstrating subdivision of the small block by this 1st Embodiment. 本第2実施形態によるデジタルカメラの動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the digital camera by this 2nd Embodiment. 本第2実施形態による、動きベクトル参照領域である小ブロックの決定方法を説明するための模式図である。It is a schematic diagram for demonstrating the determination method of the small block which is a motion vector reference area by this 2nd Embodiment. 本第3実施形態によるデジタルカメラの動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the digital camera by this 3rd Embodiment. 本第3実施形態による、小ブロックの配置を説明するための模式図である。It is a schematic diagram for demonstrating arrangement | positioning of the small block by the 3rd Embodiment.
符号の説明Explanation of symbols
1 デジタルカメラ
10 画像取得部
11 レンズ
12 シャッタ
13 LPF
14 ドライバ
15 アナログ信号処理部
16 撮像センサ
17 サンプリング/信号増幅処理部
18 A/Dコンバータ
19 フラッシュ
20 制御部
22 プレビューエンジン
23 D/Aコンバータ
24 ドライバ
25 表示部
26 イメージバッファ
27 キー操作部
28 デジタル信号処理部
29 画像圧縮/伸張処理部
30 プログラムメモリ
31 画像メモリ
32 カードI/F
33 外部記録媒体
34 外部接続用I/F
35 RAM
1 Digital Camera 10 Image Acquisition Unit 11 Lens 12 Shutter 13 LPF
DESCRIPTION OF SYMBOLS 14 Driver 15 Analog signal processing part 16 Imaging sensor 17 Sampling / signal amplification processing part 18 A / D converter 19 Flash 20 Control part 22 Preview engine 23 D / A converter 24 Driver 25 Display part 26 Image buffer 27 Key operation part 28 Digital signal Processing unit 29 Image compression / decompression processing unit 30 Program memory 31 Image memory 32 Card I / F
33 External recording medium 34 I / F for external connection
35 RAM

Claims (8)

  1. 映像を取得する映像取得手段と、
    映像全体の中に部分的に設けられた小ブロックを対象として動きベクトルを算出する動きベクトル算出手段と、
    前記動きベクトル算出手段により算出された動きベクトルに基づいて、前記映像の切り取り位置を変化させることでブレ補正を行うブレ補正手段と、
    映像全体の中に部分的に設けられた小ブロックのうち、利用者の指示操作に基づいて、前記動きベクトル算出手段による動きベクトルの算出対象となる参照ブロックを決定する決定手段と
    を備え、
    前記動きベクトル算出手段は、前記決定手段により決定された参照ブロックを対象として動きベクトルを算出することを特徴とする動画処理装置。
    Video acquisition means for acquiring video;
    Motion vector calculating means for calculating a motion vector for a small block partially provided in the entire video;
    Based on the motion vector calculated by the motion vector calculation means, the blur correction means for performing blur correction by changing the cut-out position of the video,
    A determination unit that determines a reference block that is a target of motion vector calculation by the motion vector calculation unit based on a user's instruction operation among small blocks partially provided in the entire video;
    The moving image processing apparatus, wherein the motion vector calculation means calculates a motion vector for the reference block determined by the determination means.
  2. 前記映像取得手段により逐次取得される映像をモニタ画面上に逐次表示する映像表示手段と、
    前記映像表示手段により映像が表示されているモニタ画面上に、前記動きベクトルの算出対象として指定可能な小ブロックの位置を識別表示する識別表示手段と
    を備え、
    前記決定手段は、前記識別表示手段により小ブロックの位置が識別表示された状態での利用者の指示操作に基づいて、前記動きベクトルの算出対象となる参照ブロックを決定することを特徴とする請求項1記載の動画処理装置。
    Video display means for sequentially displaying videos sequentially acquired by the video acquisition means on a monitor screen;
    Identification display means for identifying and displaying the position of a small block that can be designated as the motion vector calculation target on the monitor screen on which video is displayed by the video display means;
    The determining means determines a reference block for which the motion vector is to be calculated based on a user's instruction operation in a state where the position of a small block is identified and displayed by the identification display means. Item 3. A moving image processing apparatus according to Item 1.
  3. 手ブレ補正を行って撮像した映像を録画・表示する動画撮影装置であって、
    映像を撮像する撮像手段と、
    前記撮像手段により逐次撮像される映像を逐次表示する映像表示手段と、
    前記映像全体の中に配置された複数の小ブロックのうち、利用者によって指定された撮影対象物の位置に配置された小ブロックを参照ブロックとして決定する決定手段と、
    前記決定手段により決定された参照ブロック毎に動きベクトルを算出する動きベクトル算出手段と、
    前記動きベクトル算出手段によって算出された動きベクトルに基づいて、映像全体の時間軸方向に対する動き量を検出する動き量検出手段と、
    前記動き量検出手段により検出される動き量に基づいて、前記映像の切り取り位置を変化させることでブレ補正を行うブレ補正手段と
    を具備することを特徴とする動画撮影装置。
    It is a video shooting device that records and displays video taken with camera shake correction,
    Imaging means for imaging video;
    Video display means for sequentially displaying videos sequentially captured by the imaging means;
    Determining means for determining, as a reference block, a small block arranged at a position of a photographing object designated by a user among a plurality of small blocks arranged in the entire video;
    Motion vector calculating means for calculating a motion vector for each reference block determined by the determining means;
    Based on the motion vector calculated by the motion vector calculating means, a motion amount detecting means for detecting a motion amount in the time axis direction of the entire video;
    A moving image photographing apparatus comprising: a blur correction unit that performs a blur correction by changing a cutout position of the video based on a motion amount detected by the motion amount detection unit.
  4. 異なる撮影状況毎に少なくとも映像内の撮影対象物の位置を規定する定型フォームを記憶する定型フォーム記憶手段と、
    前記定型フォーム記憶手段からいずれか1つの定型フォームを選択する選択手段とを具備し、
    前記決定手段は、前記選択手段により選択された定型フォームで規定される撮影対象物の位置に配置された小ブロックを参照ブロックとして決定することを特徴とする請求項3記載の動画撮影装置。
    A fixed form storage means for storing a fixed form that defines at least the position of the shooting object in the video for each different shooting situation;
    Selecting means for selecting any one fixed form from the fixed form storage means,
    4. The moving image photographing apparatus according to claim 3, wherein the determining means determines, as a reference block, a small block arranged at a position of the photographing object defined by the fixed form selected by the selecting means.
  5. 映像内の撮影対象物を検知し、該検知した撮影対象物の位置に対応して配置されている合焦領域を決定し、該合焦領域内で撮影対象物に合焦させる合焦手段を具備し、
    前記決定手段は、前記合焦手段によって合焦された撮影対象物の位置に配置された小ブロックを参照ブロックとして決定することを特徴とする請求項3記載の動画撮影装置。
    Focusing means for detecting a shooting object in the image, determining a focusing area arranged corresponding to the position of the detected shooting object, and focusing the shooting object in the focusing area Equipped,
    4. The moving image photographing apparatus according to claim 3, wherein the determining unit determines, as a reference block, a small block arranged at a position of the photographing target focused by the focusing unit.
  6. 前記決定手段は、前記撮影対象物の位置に配置された小ブロックを細分化した極小ブロックを参照ブロックとして決定することを特徴とする請求項3ないし5のいずれかに記載の動画撮影装置。   6. The moving image photographing apparatus according to claim 3, wherein the determining means determines a minimal block obtained by subdividing a small block arranged at the position of the photographing object as a reference block.
  7. 前記決定手段は、前記撮影対象物の位置に配置された小ブロックに加え、前記撮影対象物の位置での参照ブロック密度が高くなるように、前記撮影対象物以外の領域に配置された小ブロックを前記参照ブロックとして決定することを特徴とする請求項3ないし5のいずれかに記載の動画撮影装置。   In addition to the small blocks arranged at the position of the photographing object, the determining means includes small blocks arranged in an area other than the photographing object so that the reference block density at the position of the photographing object is increased. The moving image photographing apparatus according to claim 3, wherein the moving image photographing device is determined as the reference block.
  8. 手ブレ補正を行って撮像した映像を表示する動画撮影プログラムであって、
    コンピュータに、
    映像を撮像する撮像機能、
    逐次撮像される映像を逐次表示する映像表示機能、
    前記映像全体の中に配置された複数の小ブロックのうち、利用者によって指定された撮影対象物の位置に配置された小ブロックを参照ブロックとして決定する決定機能、
    前記決定された参照ブロック毎に動きベクトルを算出する動きベクトル算出機能、
    前記算出された動きベクトルに基づいて、映像全体の時間軸方向に対する動き量を検出する動き量検出機能、
    前記検出された動き量に基づいて、前記映像の切り取り位置を変化させることでブレ補正を行うブレ補正機能
    を実現させることを特徴とする動画撮影プログラム。

    A video shooting program that displays images taken with camera shake correction,
    On the computer,
    An imaging function to capture images,
    A video display function that sequentially displays video that is sequentially captured,
    A determination function for determining, as a reference block, a small block arranged at a position of a photographing object designated by a user among a plurality of small blocks arranged in the entire video,
    A motion vector calculation function for calculating a motion vector for each determined reference block;
    A motion amount detection function for detecting a motion amount in the time axis direction of the entire video based on the calculated motion vector;
    A moving image shooting program for realizing a blur correction function for performing a blur correction by changing a cut-out position of the video based on the detected amount of motion.

JP2006221765A 2006-08-16 2006-08-16 Movie processing device, movie shooting device, and movie shooting program Expired - Fee Related JP4888829B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006221765A JP4888829B2 (en) 2006-08-16 2006-08-16 Movie processing device, movie shooting device, and movie shooting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006221765A JP4888829B2 (en) 2006-08-16 2006-08-16 Movie processing device, movie shooting device, and movie shooting program

Publications (2)

Publication Number Publication Date
JP2008048152A true JP2008048152A (en) 2008-02-28
JP4888829B2 JP4888829B2 (en) 2012-02-29

Family

ID=39181468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006221765A Expired - Fee Related JP4888829B2 (en) 2006-08-16 2006-08-16 Movie processing device, movie shooting device, and movie shooting program

Country Status (1)

Country Link
JP (1) JP4888829B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011188332A (en) * 2010-03-10 2011-09-22 Panasonic Corp Shaken image correction device
JP2015181302A (en) * 2015-07-10 2015-10-15 カシオ計算機株式会社 Image processing device, image processing method and program
JP2016144103A (en) * 2015-02-04 2016-08-08 リコーイメージング株式会社 Image detection range setting device, image detection range setting method, image detection range setting program and image detection apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH033571A (en) * 1989-05-31 1991-01-09 Matsushita Electric Ind Co Ltd Blurring correction device
JPH06217187A (en) * 1992-10-14 1994-08-05 Mitsubishi Electric Corp Image pickup device, moving vector detector, and picture shake correcting device
JP2004126359A (en) * 2002-10-04 2004-04-22 Nikon Corp Automatic focusing camera
JP2005173087A (en) * 2003-12-10 2005-06-30 Casio Comput Co Ltd Composite equipment, focusing control method and focusing control program
JP2005347891A (en) * 2004-05-31 2005-12-15 Sharp Corp Camera device and portable electronic information equipment with camera function
JP2006054518A (en) * 2004-08-09 2006-02-23 Nikon Corp Imaging apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH033571A (en) * 1989-05-31 1991-01-09 Matsushita Electric Ind Co Ltd Blurring correction device
JPH06217187A (en) * 1992-10-14 1994-08-05 Mitsubishi Electric Corp Image pickup device, moving vector detector, and picture shake correcting device
JP2004126359A (en) * 2002-10-04 2004-04-22 Nikon Corp Automatic focusing camera
JP2005173087A (en) * 2003-12-10 2005-06-30 Casio Comput Co Ltd Composite equipment, focusing control method and focusing control program
JP2005347891A (en) * 2004-05-31 2005-12-15 Sharp Corp Camera device and portable electronic information equipment with camera function
JP2006054518A (en) * 2004-08-09 2006-02-23 Nikon Corp Imaging apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730333B2 (en) 2010-01-21 2014-05-20 Panasonic Corporation Image stabilization system
JP2011188332A (en) * 2010-03-10 2011-09-22 Panasonic Corp Shaken image correction device
CN102792673A (en) * 2010-03-10 2012-11-21 松下电器产业株式会社 Image shake compensation device
CN102792673B (en) * 2010-03-10 2015-07-08 松下电器产业株式会社 Image shake compensation device
JP2016144103A (en) * 2015-02-04 2016-08-08 リコーイメージング株式会社 Image detection range setting device, image detection range setting method, image detection range setting program and image detection apparatus
JP2015181302A (en) * 2015-07-10 2015-10-15 カシオ計算機株式会社 Image processing device, image processing method and program

Also Published As

Publication number Publication date
JP4888829B2 (en) 2012-02-29

Similar Documents

Publication Publication Date Title
KR101342477B1 (en) Imaging apparatus and imaging method for taking moving image
JP4999268B2 (en) Electronic camera and program
JP2010200239A (en) Imaging apparatus, image display device, imaging method and image display method, and focal-area frame position correction method
JP4952891B2 (en) Movie shooting device and movie shooting program
JP2008288975A (en) Imaging apparatus, imaging method and imaging program
JP2007215091A (en) Imaging apparatus and program therefor
KR101433121B1 (en) Image processing device for generating composite image having predetermined aspect ratio
KR20120115127A (en) Image processing device capable of generating wide-range image
JP4645413B2 (en) Imaging device
JP2009225027A (en) Imaging apparatus, imaging control method, and program
JP2015053741A (en) Image reproduction device
JP2009065573A (en) Imaging apparatus, focus control method, and focus control program
JP4487811B2 (en) Imaging device
JP2004309653A (en) Imaging unit
JP2007133810A (en) Image processor
JP4807582B2 (en) Image processing apparatus, imaging apparatus, and program thereof
JP4888829B2 (en) Movie processing device, movie shooting device, and movie shooting program
JP2006186796A (en) Photographic apparatus, photographing method, and photographing program
JP4877186B2 (en) Image processing apparatus, image processing method, and program
JP4665826B2 (en) Imaging apparatus and image processing program
JP2009139423A (en) Imaging apparatus and subject distance calculating method
JP5332668B2 (en) Imaging apparatus and subject detection program
JP5962974B2 (en) Imaging apparatus, imaging method, and program
JP2009049457A (en) Imaging device and program
JP2007274031A (en) Device and program for photographing motion picture

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110713

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111121

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Ref document number: 4888829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees