JP2014168147A - Image processing program and digital camera - Google Patents
Image processing program and digital camera Download PDFInfo
- Publication number
- JP2014168147A JP2014168147A JP2013039121A JP2013039121A JP2014168147A JP 2014168147 A JP2014168147 A JP 2014168147A JP 2013039121 A JP2013039121 A JP 2013039121A JP 2013039121 A JP2013039121 A JP 2013039121A JP 2014168147 A JP2014168147 A JP 2014168147A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- frame
- moving object
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 33
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 abstract description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 11
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 210000000746 body region Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004091 panning Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理プログラムおよびデジタルカメラに関する。 The present invention relates to an image processing program and a digital camera.
静止画像中の一部の動きのみを表現する技術が知られている(特許文献1参照)。同技術は、ノイズが時間的に変化しない、あるいは本来動くべきものが動かない静止画という時間の止まった世界の中で、一部領域だけ時間が進行しているという異質な世界を表現したものであり、最近注目を集めている。 A technique for expressing only a part of motion in a still image is known (see Patent Document 1). This technology expresses a heterogeneous world where time is progressing only in some areas in a still-timed world of still images in which noise does not change over time or things that should move originally do not move It has attracted attention recently.
従来技術は、画面内の一部で周期的に動く対象物へ適用するもので、対象物が画面内を移動する場合への適用が困難という問題があった。 The prior art is applied to an object that moves periodically in a part of the screen, and there is a problem that it is difficult to apply the object when the object moves in the screen.
本発明による画像処理プログラムは、撮影方向を変えながら注目する移動体を時系列に撮影した複数の画像を入力する入力処理と、入力した画像における移動体を識別する移動体識別処理と、入力した画像に基づいて、移動体以外の背景領域の位置を合わせるように撮影時刻が異なる複数の画像を合成し、個々の画像の撮影範囲より広範囲のパノラマ背景画像を生成するパノラマ背景画像生成処理と、パノラマ背景画像上で移動体の領域が移動するように表示装置に再生表示させるための画像データを生成する画像データ生成処理と、をコンピュータに実行させることを特徴とする。 An image processing program according to the present invention inputs an input process for inputting a plurality of images obtained by photographing a moving object of interest in time series while changing a shooting direction, a moving object identification process for identifying a moving object in the input image, and an input process A panoramic background image generation process for generating a panoramic background image in a wider range than the shooting range of each image by combining a plurality of images with different shooting times so as to align the position of the background area other than the moving body based on the image, An image data generation process for generating image data to be reproduced and displayed on a display device so that a region of a moving object moves on a panoramic background image is executed by a computer.
本発明によれば、パノラマ画像の中で移動する対象物の動きを適切に表現し得る。 ADVANTAGE OF THE INVENTION According to this invention, the motion of the target object which moves in a panoramic image can be expressed appropriately.
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本発明の一実施の形態によるデジタルカメラ1の構成を例示するブロック図である。デジタルカメラ1は、例えば、パンニング撮影など、撮影範囲を移動しながら取得した複数フレームの静止画像に基づいて、個々の静止画像よりも広範囲のパノラマ静止画像を生成し、当該広範囲のパノラマ静止画像の中を、例えば長手方向に移動する対象物を動的に移動させて表現する「動き表現」を行う。なお、以下の説明においては、一例として、撮影方向を水平方向に変化させながら取得した複数フレームの静止画像に基づいて、パノラマ静止画像を生成し、当該パノラマ静止画像の中を、長手方向に移動する対象物を動的に移動させて表現する「動き表現」を行う例について説明する。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating the configuration of a
以下、デジタルカメラ1の詳細について説明する。図1において、撮影レンズ11は、撮像素子12の撮像面に被写体像を結像させる。なお、図1では、撮影レンズ11がカメラと一体的に形成された(撮影レンズが着脱不能な)デジタルカメラ1を例示したが、カメラボディと、そのカメラボディに着脱可能な交換レンズからなるカメラシステムによって構成してもよい。その場合は、図1の符号11および21からなる構成が交換レンズ側に含まれ、その他の符号からなる構成がカメラボディ側に含まれる。
Details of the
CPU16は、図示しないシャッターボタンの半押し操作に連動して半押しスイッチ20aがオンすると、AE(自動露出)演算およびオートフォーカス(AF)処理を行わせて、撮影レンズ11を構成するフォーカシングレンズ(不図示)を光軸方向(図1において矢印方向)に進退移動させる。これにより、撮影レンズ11の焦点位置が自動調節される。フォーカシングレンズ(不図示)の駆動は、CPU16から指示を受けたレンズ駆動部21が行う。
When the half-press switch 20a is turned on in conjunction with a half-press operation of a shutter button (not shown), the
撮像素子12は、CMOSイメージセンサなどによって構成される。撮像素子12は、撮像面上に結像された被写体像を撮像する。撮像素子12から出力された撮像信号は、A/D変換部13においてアナログ信号からデジタル信号に変換される。画像処理部14は、デジタル画像信号に対して所定の画像処理を行う。
The
液晶モニタ15は、撮像素子12で撮像された画像、後述するバッファメモリ18、あるいはメモリカード50に記憶される画像を表示すると共に、CPU16からの指示に応じて、画像やアイコン、操作メニューなどを表示する。液晶モニタ15の表示面にはタッチ操作部材15aが積層されている。タッチ操作部材15aは、表示画面上のタッチ位置を示す信号をCPU16へ送出する。
The
フラッシュメモリ17は、CPU16が実行するプログラムや、実行処理に必要なデータなどを格納する。フラッシュメモリ17が格納するプログラムやデータの内容は、CPU16からの指示によって追加、変更が可能に構成されている。
The
CPU16は、例えばバッファメモリ18を作業領域として制御プログラムを実行し、カメラ各部に対する種々の制御を行う。バッファメモリ18は、画像データを一時的に記憶する場合にも使用される。本実施形態では、撮影指示(シャッターボタンの全押し操作)前に撮像素子12によって所定のフレームレートで取得される複数フレームの画像(先撮り画像と呼ぶ)や、撮影指示後に撮像素子12によって所定のフレームレートで取得される複数フレームの画像(後撮り画像と呼ぶ)を一時的に記憶する場合にも使用される。
The
画像処理部14は、デジタル画像信号に対する画像処理以外に、画像信号を格納した所定形式の画像ファイル(例えば Exif ファイル)を生成する。記録再生部19は、CPU16からの指示に基づいて画像ファイルをメモリカード50に記録(保存)し、また、メモリカード50に記録(保存)されている画像ファイルを読み出す。
In addition to the image processing on the digital image signal, the
メモリカード50は、図示しないカードスロットに着脱自在に取り付けられる記録媒体である。CPU16は、記録再生部19によってメモリカード50から読み出された画像ファイル、または撮影後バッファメモリ18に記憶されている画像データに基づいて、液晶モニタ15に撮影画像を再生表示させる。
The
操作部材20は、上記半押しスイッチ20aや、シャッターボタンの全押し操作に伴ってオンする全押しスイッチ20b、およびモード切替えスイッチなどを含み、各部材の操作に伴う操作信号をCPU16へ送出する。
The
半押しスイッチ20aからのオン信号(半押し操作信号)は、シャッターボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。全押しスイッチ20bからのオン信号(全押し操作信号)は、シャッターボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。
The ON signal (half-press operation signal) from the half-press switch 20a is output when the shutter button is pressed down to about half of the normal stroke, and the output is canceled when the half-stroke press operation is canceled. The ON signal (full push operation signal) from the
<撮影モード>
上記デジタルカメラ1は、「通常の撮影モード」と、「先撮り撮影モード」とを有する。「通常の撮影モード」は、上記全押し操作信号に応じて1フレームずつ撮影画像を取得してメモリカード50へ記録する撮影モードである。「先撮り撮影モード」は、静止画像を所定のフレームレート(例えば毎秒120フレーム)で取得し、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後において取得した複数フレームの画像(上記先撮り画像と後撮り画像)のうち、所定の画像をメモリカード50へ記録する撮影モードである。各撮影モードは、操作部材20またはタッチ操作部材15aからの操作信号に応じて切替え可能に構成されている。
<Shooting mode>
The
<再生モード>
再生モードのデジタルカメラ1は、「通常の撮影モード」または「先撮り撮影モード」において記録された画像をフレームごとに、あるいは所定数のフレームごとに、液晶モニタ15に再生表示する。また、「動き表現」する場合は、「先撮り撮影モード」で取得された複数フレームの画像に基づいて、パノラマ静止画像の中を長手方向へ移動する対象物の動きを表現するように、液晶モニタ15に再生表示を行う。
<Playback mode>
The
<動き表現>
本実施形態は、上記「動き表現」処理に特徴を有するので、以降はこの点を中心に説明する。「動き表現」処理のオン/オフは、操作部材20またはタッチ操作部材15aからの操作信号に応じて切替え可能に構成されている。
<Motion expression>
Since the present embodiment has a feature in the “motion expression” process, the following description will be focused on this point. ON / OFF of the “motion expression” process is configured to be switchable according to an operation signal from the
−複数フレーム画像の取得−
ユーザーは、例えばデジタルカメラ1をパンニングしながら、水平方向に移動する被写体(本例では航空機)を追う、いわゆる被写体の移動に合わせたパンニング撮影によって複数フレームの画像を取得する。図2は、「先撮り撮影モード」における画像の取得タイミングを説明する図である。図2において、時刻t0に「先撮り撮影モード」が起動されると、CPU16はレリーズ待機処理を開始させる。レリーズ待機処理では、上記所定のフレームレートで被写体像を撮像して露出演算やフォーカス調節を行うとともに、取得した画像データを逐次バッファメモリ18へ記憶する。
-Acquisition of multiple frame images-
The user follows a subject (aircraft in this example) moving in the horizontal direction while panning the
「先撮り撮影モード」において先撮り画像と後撮り画像の記憶に使用するバッファメモリ18のメモリ容量は、あらかじめ十分な容量が確保されている。CPU16は、時刻t0以降にバッファメモリ18内に記憶したフレーム画像のフレーム枚数が所定枚数(例えばA枚)に達した場合には、古いフレーム画像から順に上書き消去する。これにより、「先撮り撮影モード」において先撮り画像と後撮り画像の記憶に使用するバッファメモリ18のメモリ容量を制限できる。
In the “pre-shooting shooting mode”, a sufficient memory capacity of the
時刻t1に全押し操作信号が入力されると、CPU16はレリーズ処理を開始させる。レリーズ処理では、時刻t1以前に先撮りしたA枚のフレーム画像と、時刻t1以降に後撮りされるB枚のフレーム画像とを合わせた(A+B)枚のフレーム画像をメモリカード50への記録候補画像とする。図2における黒い帯は、記録候補画像である(A+B)枚のフレーム画像が取得される区間を表す。斜線の帯は、バッファメモリ18に一旦は記憶されたものの、上書き消去されたフレーム画像が取得された区間を表す。
When a full press operation signal is input at time t1, the
―広範囲の背景画像を生成―
CPU16は、バッファメモリ18に記憶されている複数フレームの画像に基づいて、1フレームの撮影範囲より広範囲のパノラマ背景静止画像を生成する。具体的には、(A+B)枚のフレーム画像の中から所定の画像(例えば、先撮りしたA枚のうち先頭フレームf1、全押し操作(時刻t1)に応じて取得されたフレームf(A+1)、それ以降に後撮りされたB枚のうち末尾フレームf(A+B))を選び、この3フレームに基づいて背景静止画像を生成する。なお、フレームf1とフレームf(A+1)、およびフレームf(A+1)とフレームf(A+B)は、それぞれが重複する領域を有するように選ぶ。
-Generate a wide range of background images-
The
CPU16は、時系列に並ぶフレーム画像について、各フレームの移動対象物を除いた背景領域で位置合わせを行った上で、隣接するフレーム間で差分をとることにより、フレーム画像における移動対象物(本例では航空機)を抽出する。具体的には、時間的に隣接する、所定の閾値で2値化された差分画像間で、論理積をとることにより、移動対象物の領域を抽出することができる。このようにして所定フレームにおいて移動対象物の領域が特定できれば、上記の差分演算を行った各フレームで、移動対象物の領域を特定することができる。ここで、フレーム間で所定値以上の差分が生じた領域が対象物に対応し、フレーム間の差分が所定値未満の領域は非対象物(本例では背景)に対応する。
The
図3は、パノラマ背景静止画像の生成を説明する図である。CPU16は、フレームf1、フレームf(A+1)、およびフレームf(A+B)から、例えばパターンマッチング手法によってそれぞれの動体領域を抽出する。図3の各フレーム画像において、破線で囲んだ領域m1、m(A+1)、m(A+B)は、それぞれの動体領域を表す。動体領域は、背景を含まない移動対象物のみで構成される領域とすることが好ましいが、移動対象物と背景の一部を含む矩形領域とする構成としてもよい。CPU16はさらに、フレームf1、フレームf(A+1)、およびフレームf(A+B)からそれぞれの動体領域を除外した非動体領域(背景領域)において2以上の特徴点を抽出する。図3において、複数の黒点は特徴点を表す。画像間の位置合わせに適した特徴点の抽出は、例えば、Lowe, David G.(1999). 1362011142865_0.790410. Proceedings of the International Conference on Computer Vision. 2. pp.1150-1157.などに開示される公知の技術を用いることができる。
FIG. 3 is a diagram for explaining generation of a panoramic background still image. The
CPU16は、フレームf1とフレームf(A+1)間、およびフレームf(A+1)とフレームf(A+B)間でそれぞれ特徴点の対応付けを行い、対応付けされた特徴点の位置を合わせるようにフレームf1、フレームf(A+1)およびフレームf(A+B)を合成し、1フレームの撮影範囲より広い画像(パノラマ背景静止画像)Pを生成する。ここで、フレームf1、フレームf(A+1)およびフレームf(A+B)の合成処理により生成された合成静止画像中の移動対象物の領域のデータは、当該領域が背景である他のフレームより背景画像データを抽出して置き換える。例えば、図3中の移動対象物の領域であるm1領域の画像データは、フレームf(A+1)、フレームf(A+B)、あるいはその他のフレームf1以外のフレーム中の、フレームf1の移動対象物の領域であるm1の領域に対応する背景領域の画像データに置き換える。図3における、フレームf(A+1)中の移動対象物の領域であるm(A+1)、フレームf(A+B)中の移動対象物の領域であるm(A+B)についても、同様に、各々、フレームf(A+1)、フレームf(A+B)以外のフレーム中の、m(A+1)、m(A+B)に対応する背景領域の画像データに置き換えることができる。上記構成においては、所定フレームにおける移動対象物の領域の画像データを、他のフレームの背景領域の画像データと置き換える構成としている。このような処理は、例えば、フレームf1の背景領域に複数の特徴点を設け、各特徴点と移動対象物領域m1との位置関係を求めた上で、背景領域の複数の特徴点との位置関係が、フレームf1中の背景領域の特徴点と移動対象物領域m1の位置関係と同一となる背景領域を他のフレームで求め、当該他のフレーム中の背景領域の画像データを、フレームf1の移動対象物領域の画像データと置き換えることで実現することができる。
The
パノラマ背景画像Pは、時系列に並ぶ(A+B)枚の全フレーム画像を重ね合わせて合成してもよいが、本例のように、2以上の特徴点を合わせるための最小限の重なり代(重複する領域)を確保した上で合成に用いるフレーム数を抑えることで、全フレーム画像を1つに合成する場合に比べてパノラマ背景静止画像の生成を迅速に行える。 The panorama background image P may be synthesized by superimposing (A + B) all frame images arranged in time series, but as in this example, the minimum overlap allowance for matching two or more feature points ( By ensuring the overlapping area) and reducing the number of frames used for the synthesis, the panoramic background still image can be generated more quickly than when all the frame images are synthesized into one.
―背景画像に動体領域を合成―
CPU16は、(A+B)枚のフレーム画像の中から所定の画像(例えば上記フレームf1、10枚目のフレームf10、20枚目のフレームf20、…、80枚目のフレームf80を選び、これら9フレームに基づいて、動きを表現するための9枚の画像を合成する。なお、フレームf80は末尾フレームであり、上記f(A+B)に相当するものとする。
―Combine moving object area with background image―
The
具体的には、時系列に並ぶ上記9枚のフレーム画像から上記パターンマッチング手法によってそれぞれ動体領域(移動対象物領域)を抽出する。このうち、フレームf1およびフレームf80(=f(A+B))については既に抽出済みであるので、既存の情報を使用する。なお、先に説明した様に、フレーム差分画像の論理演算によって、各フレームにおける動体領域を抽出する構成としてもよい。 Specifically, moving object regions (moving object regions) are extracted from the nine frame images arranged in time series by the pattern matching method. Among these, since the frames f1 and f80 (= f (A + B)) have already been extracted, the existing information is used. As described above, the moving object region in each frame may be extracted by a logical operation of the frame difference image.
図4は、9枚のフレーム画像における動体領域を説明する図である。図4の各フレーム画像において、破線で囲んだ領域m1、m10、m20、…、m80は、それぞれ動体領域を表す。CPU16はさらに、各フレーム画像において、動体領域と非動体領域(背景領域)との相対位置関係を示す動体(移動対象物)位置情報をそれぞれ算出する。これにより、動体位置情報の時間的な変化が求まる。
FIG. 4 is a diagram for explaining moving object regions in nine frame images. In each frame image of FIG. 4, areas m1, m10, m20,..., M80 surrounded by broken lines represent moving object areas. The
具体的には、各フレーム画像において、動体領域と非動体領域においてそれぞれ特徴点を抽出する。図4の各フレーム画像における複数の黒点は、それぞれ特徴点を表す。離れた領域間の相対位置情報の算出に適した特徴点の抽出は、公知であるので説明を省略する。 Specifically, in each frame image, feature points are extracted in the moving object region and the non-moving object region, respectively. A plurality of black dots in each frame image in FIG. 4 represents a feature point. Since extraction of feature points suitable for calculating relative position information between distant regions is well known, description thereof will be omitted.
図5は、パノラマ背景画像Pへの動体領域の合成を説明する図である。CPU16は、各フレーム画像の動体領域m1、m10、m20、…、m80を、パノラマ背景画像Pにおいて対応する位置へ、順次、はめ込み合成する。具体的には、先ず、図4の各フレーム画像において抽出した特徴点にそれぞれ対応する特徴点を、パノラマ背景画像Pにおいて抽出する。
FIG. 5 is a diagram for explaining the synthesis of the moving object region to the panoramic background image P. The
CPU16は、動体領域m1とパノラマ背景画像P間で特徴点の対応付けを行い、図4のフレームf1から得られた動体位置情報に基づいて、パノラマ背景画像Pに対して動体領域m1の位置合わせを行い、動体領域m1を合成する。
The
次に、CPU16は、動体領域m2とパノラマ背景画像P間で特徴点の対応付けを行い、図4のフレームf10から得られた動体位置情報に基づいて、パノラマ背景画像Pに対して動体領域m10の位置合わせを行い、動体領域m10を合成する。
Next, the
以降同様に、図4のフレームf80の動体領域m80まで、各フレーム画像から得たそれぞれの動体位置情報に基づいて、パノラマ背景画像Pに対して各動体領域の位置合わせを行って合成する。これにより、動体位置情報の時間的な変化に基づいてそれぞれ異なる位置に動体領域m1、m10、…、m80を合成した9つのパノラマ画像を得る。 Thereafter, similarly, up to the moving object region m80 of the frame f80 in FIG. As a result, nine panoramic images are obtained by combining the moving object regions m1, m10,..., M80 at different positions based on temporal changes in the moving object position information.
CPU16は、上記9枚のパノラマ画像をメモリカード50へ記録する。なお、9枚のパノラマ画像をそのまま記録する第1記録方式と、1枚目のパノラマ画像と、1枚目のパノラマ画像と異なる領域(動体領域)を表す差分情報を2枚目以降の画像情報として記録する第2記録方式とが、操作部材20またはタッチ操作部材15aからの操作信号に応じて切替え可能に構成されている。本実施形態では、第1記録方式が選択されているものとする。
The
図6は、上述した「動き表現」時にCPU16が実行する処理の流れを説明するフローチャートである。CPU16は、「先撮り撮影モード」に設定、かつ「動き表現」処理がオンにされると図6による処理を起動する。図6のステップS1において、CPU16は先撮り画像の取得(すなわちレリーズ待機処理)を開始させてステップS2へ進む。これにより、先撮りされたフレーム画像がバッファメモリ18に蓄積されるとともに、液晶モニタ15に逐次表示される。
FIG. 6 is a flowchart for explaining the flow of processing executed by the
ステップS2において、CPU16は、先撮り画像データに基づいてAE(自動露出)演算およびAF(自動焦点調節)処理を行わせてステップS3へ進む。ステップS3において、CPU16は、レリーズボタンの全押し操作が行われたか否かを判定する。CPU16は、全押しスイッチ20bからのオン信号が入力された場合にステップS3を肯定判定してステップS4へ進み、全押しスイッチ20bからのオン信号が入力されない場合には、ステップS3を否定判定してステップS2へ戻る。ステップS2へ戻る場合は、上述した処理を繰り返す。
In step S2, the
ステップS4において、CPU16は、後撮り画像の取得を開始させてステップS5へ進む。後撮り画像は、全押し操作に応じて取得する1枚と、その後に取得する(B−1)枚である。ステップS5において、CPU16は、上述したようにフレーム画像における対象物(本例では航空機)を抽出してステップS6へ進む。
In step S4, the
ステップS6において、CPU16は、バッファメモリ18に記憶されている複数フレームの画像に基づいて、1フレームの撮影範囲より広範囲のパノラマ背景画像を生成してステップS7へ進む。ステップS7において、CPU16は、時系列に並ぶ上記9枚のフレーム画像からそれぞれ動体領域(対象物と背景の一部を含む矩形領域)を抽出してステップS8へ進む。
In step S6, the
ステップS8において、CPU16は、上記9枚の各フレーム画像において、動体領域と非動体領域との相対位置関係を示す動体位置情報を算出してステップS9へ進む。ステップS9において、CPU16は、各フレーム画像から得たそれぞれの動体位置情報に基づいて、パノラマ背景画像Pに対して各動体領域の位置合わせを行ってはめ込み合成する。これにより、それぞれ異なる位置に動体領域m1、m10、…、m80を合成した9つのパノラマ画像を得る。
In step S8, the
ステップS10において、CPU16は、9枚のパノラマ画像をメモリカード50へ記録してステップS11へ進む。ステップS11において、CPU16は、再生指示が行われたか否かを判定する。CPU16は、操作部材20またはタッチ操作部材15aから再生を指示する操作信号が入力されると、ステップS11を肯定判定してステップS13へ進む。CPU16は、操作部材20またはタッチ操作部材15aから再生を指示する操作信号が入力されない場合は、ステップS11を否定判定してステップS12へ進む。
In step S10, the
ステップS12において、CPU16は、終了指示が行われたか否かを判定する。CPU16は、操作部材20またはタッチ操作部材15aから「動き表現」処理をオフする操作信号が入力されると、ステップS12を肯定判定して図6による処理を終了する。CPU16は、操作部材20またはタッチ操作部材15aから「動き表現」処理をオフする操作信号が入力されない場合は、ステップS12を否定判定してステップS1へ戻る。ステップS1へ戻る場合は、上述した処理を繰り返す。
In step S12, the
ステップS13において、CPU16は、合成した9つのパノラマ画像に基づいて、動画再生表示を繰り返し行う。具体的には、上記9つのパノラマ画像を順番に所定のフレームレートで液晶モニタ15に再生表示する。一般に、パノラマ画像のアスペクト比は液晶モニタ15の表示エリアのアスペクト比より大きいので、再生表示する画面の上下は、例えば黒または青色で表示する。
In step S <b> 13, the
合成した9つのパノラマ画像の非動体領域(背景)は共通であるので、再生表示した前フレームと変化しない領域の画像をそのまま残し、前フレームと変化する領域のみを新たに描画するように再生表示することで、パノラマ静止画像の中を長手方向へ移動する対象物(航空機)の動きを表現するように、再生表示できる。 Since the non-moving object area (background) of the nine panoramic images synthesized is common, the image of the area that does not change from the previous frame that has been reproduced and displayed is left as it is, and the image that is changed from the previous frame is newly reproduced and displayed. By doing so, reproduction and display can be performed so as to express the movement of the object (aircraft) moving in the longitudinal direction in the panoramic still image.
以上説明した実施形態によれば、次の作用効果が得られる。
(1)CPU16は、撮影方向を変えながら注目する移動体(航空機)を時系列に撮影した複数のフレーム画像を入力する入力処理と、入力したフレーム画像における移動体(航空機)を識別する識別処理(S5)と、入力したフレーム画像に基づいて、移動体(航空機)以外の背景領域の位置を合わせるように撮影時刻が異なる複数のフレーム画像を合成し、個々のフレーム画像の撮影範囲より広範囲のパノラマ背景画像Pを生成するパノラマ背景画像生成処理(S6)と、パノラマ背景画像P上で移動体の領域(動体領域)が移動するように液晶モニタ15に再生表示させるための画像データを生成する画像データ生成処理(S7−S9)と、を実行する。これにより、パノラマ静止画像の中で移動する移動体の動きを適切に表現し得る。
According to the embodiment described above, the following operational effects can be obtained.
(1) The
(2)上記(1)のパノラマ背景画像生成処理(S6)は、撮影範囲が相互に重なる重複領域を有し、該重複領域に含まれる背景領域において、各々少なくとも2つの特徴点を有する複数のフレーム画像を合成するので、さらに多くの特徴点を有するフレーム画像とフレーム画像とを合成する場合に比べて、パノラマ背景画像Pを生成する処理を迅速に行える。また、パノラマ背景画像P中を移動する移動体領域画像を生成する際に用いられるフレーム数より少ないフレーム数で、パノラマ背景画像Pを生成することができる。 (2) The panorama background image generation process (S6) of (1) above has a plurality of overlapping areas where the shooting ranges overlap each other, and each of the plurality of background areas included in the overlapping area has at least two feature points. Since the frame images are combined, the process of generating the panorama background image P can be performed more quickly than when combining a frame image having more feature points and the frame image. Further, the panorama background image P can be generated with a smaller number of frames than the number of frames used when generating the moving body region image that moves in the panorama background image P.
(3)上記(1)または(2)に記載の画像データ生成処理は、入力したフレーム画像から得られる移動体の領域(動体領域)と、背景領域との相対的位置関係の時間的変化に基づいて、パノラマ背景画像P上における移動体の領域の位置を求める(S7−S8)ようにしたので、パノラマ静止画像の中で移動する移動体の動きを適切に表現し得る (3) The image data generation process described in (1) or (2) described above is based on temporal changes in the relative positional relationship between a moving body region (moving body region) obtained from an input frame image and a background region. Since the position of the area of the moving object on the panorama background image P is obtained based on (S7-S8), the movement of the moving object in the panorama still image can be appropriately expressed.
(4)上記(3)の画像データ生成処理は、パノラマ背景画像生成処理(S6)で用いた画像数(3フレーム)より多くの画像(9フレーム)に基づいて、移動体の領域(動体領域)と背景領域との相対的位置関係の時間的変化を求めるようにしたので、移動する移動体の動きを滑らかに表現し得る。 (4) The image data generation process of (3) above is based on a moving object area (moving object area) based on more images (9 frames) than the number of images (3 frames) used in the panoramic background image generation process (S6). ) And the temporal change in the relative positional relationship between the background region and the movement of the moving object can be expressed smoothly.
(5)上記(1)〜(4)に記載の画像データ生成処理は、移動体および背景の一部を含む領域を移動体の領域とするので、例えば移動体が複雑な外形を有していても、背景の一部を含めた外形を単純な矩形とすることで、生成処理の負担を軽減できる。 (5) In the image data generation processing described in the above (1) to (4), since the area including the moving body and a part of the background is the area of the moving body, for example, the moving body has a complicated outer shape. However, the burden of the generation process can be reduced by making the outer shape including a part of the background a simple rectangle.
(6)上記(1)〜(5)に記載の処理をデジタルカメラ1のCPU16に実行させるようにしたので、デジタルカメラ1のCPU16が、移動する移動体の動きを滑らかに表現し得る。
(6) Since the processing described in the above (1) to (5) is executed by the
(7)上記(6)に記載のデジタルカメラ1において、画像データ生成処理で生成された画像データを再生表示する再生装置を備えたので、デジタルカメラ1の液晶モニタ15において、パノラマ静止画像の中で移動する移動体の動きを適切に表現できる。
(7) Since the
(変形例1)
以上の説明では、「先撮り撮影モード」において取得した時系列に並ぶ複数フレームの画像群に基づいてパノラマ画像を得る例を説明したが、複数の画像群は、必ずしも「先撮り撮影モード」で撮影した画像群でなくてもよい。例えば、カメラをパンニングしながら連写することによって取得した時系列に並ぶ複数フレームの画像群に基づいてパノラマ画像を得るようにしてもよい。
(Modification 1)
In the above description, an example in which a panoramic image is obtained based on an image group of a plurality of frames arranged in time series acquired in the “pre-shooting shooting mode” has been described. However, a plurality of image groups are not necessarily in the “pre-shooting shooting mode”. It does not have to be a captured image group. For example, a panoramic image may be obtained based on a group of images of a plurality of frames arranged in time series obtained by continuous shooting while panning the camera.
(変形例2)
複数フレームの画像群を取得する際のフレームレートは、上述した毎秒120フレームでなくてもよく、毎秒30フレームや、毎秒5フレームであってもよい。このフレームレートは、移動する被写体(対象物)の移動速度に応じて適宜設定してよい。なお、取得時のフレームレートより再生表示時のフレームレートを低くすると、いわゆるスロー再生を行える。
(Modification 2)
The frame rate for acquiring a group of images of a plurality of frames may not be 120 frames per second as described above, but may be 30 frames per second or 5 frames per second. This frame rate may be appropriately set according to the moving speed of the moving subject (target object). It should be noted that so-called slow playback can be performed by lowering the frame rate at the time of playback display than the frame rate at the time of acquisition.
(変形例3)
上述した実施形態では、パノラマ背景画像Pを生成するために3フレーム、(フレームf1、フレームf(A+1)、フレームf(A+B))を用いて生成する例を説明したが、それぞれが重複する領域を有していれば、さらに多くのフレーム画像を用いて生成してもよい。なお、個々のフレーム画像の撮影範囲より広範囲のパノラマ背景画像Pを生成するためには、少なくとも2フレーム以上が必要である。
(Modification 3)
In the above-described embodiment, an example in which the panorama background image P is generated using three frames (frame f1, frame f (A + 1), frame f (A + B)) has been described. May be generated using a larger number of frame images. In order to generate a panoramic background image P that is wider than the shooting range of each frame image, at least two frames or more are required.
(変形例4)
また、上記実施形態では、動きを表現するために用いる画像数を9フレームとする例を説明したが、上述した9フレームに限らず、移動する被写体(対象物)の移動速度に応じて画像数を適宜設定してよい。より多くの画像を用いると、移動する被写体(対象物)の動きをより滑らかに表現できる。
(Modification 4)
In the above-described embodiment, an example in which the number of images used for expressing motion is nine frames has been described. However, the number of images is not limited to the nine frames described above, and the number of images depends on the moving speed of the moving subject (target object). May be set as appropriate. If more images are used, the movement of the moving subject (object) can be expressed more smoothly.
(変形例5)
上述した説明では、毎秒120フレームのフレームレートで複数フレームの画像群を取得し、この中から間引きすることによって動きを表現するために用いる9枚の画像を得る例を説明した。もし、移動する被写体(対象物)の移動速度に対し、画像群を取得する際のフレームレートが低い場合には、取得した画像群を間引かずに全て用いても、移動する被写体(対象物)の動きを滑らかに表現できないことが想定される。この場合には、実際に取得した画像群の各フレーム間に、補間生成(前後のフレーム画像における動体位置に基づいて動体位置を推定し、この推定位置に動体領域をはめ込んだフレーム画像を生成する)したフレーム画像を挿入するとよい。これにより、移動する被写体(対象物)の動きを滑らかに表現できる。
(Modification 5)
In the above description, an example has been described in which an image group of a plurality of frames is acquired at a frame rate of 120 frames per second, and nine images used for expressing motion are obtained by thinning out the images. If the frame rate when acquiring an image group is lower than the moving speed of the moving object (object), the moving object (object) is used even if all the acquired image groups are used without being thinned out. ) Is not possible to express smoothly. In this case, interpolation is generated between the frames of the actually acquired image group (the moving object position is estimated based on the moving object position in the preceding and following frame images, and a frame image in which the moving object region is inserted into the estimated position is generated. ) Frame image may be inserted. Thereby, the movement of the moving subject (object) can be expressed smoothly.
(変形例6)
以上の説明では、電子機器としてデジタルカメラ1を用いる例を説明したが、多機能携帯電話機やタブレット型コンピュータを用いて構成してもよい。
(Modification 6)
In the above description, an example in which the
(変形例7)
上述した実施形態では、時系列に並ぶ複数フレームの画像群に基づいて、デジタルカメラ1で「動き表現」処理を行う例を説明したが、パーソナルコンピュータや、タブレット型コンピュータなどを用いて、事後的に「動き表現」処理を行う画像処理装置を構成してもよい。この場合、デジタルカメラ1で取得した画像データとして、時系列に並ぶ複数フレームの画像群を保存しておく。
(Modification 7)
In the above-described embodiment, the example in which the “motion expression” process is performed by the
そして、図7に示すコンピュータ装置200に図6に例示したフローチャート(ステップS5−S13)の処理を行うプログラムを実行させることにより、パノラマ静止画像の中を、例えば長手方向へ移動する被写体(対象物)の動きを表現する画像処理装置を構成する。プログラムをパーソナルコンピュータ200に取込んで使用する場合には、パーソナルコンピュータ200のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。
Then, by causing the
パーソナルコンピュータ200に対するプログラムのローディングは、プログラムを格納したCD−ROMなどの記憶媒体204をパーソナルコンピュータ200にセットして行ってもよいし、ネットワークなどの通信回線201を経由する方法でパーソナルコンピュータ200へローディングしてもよい。通信回線201を経由する場合は、通信回線201に接続されたサーバー(コンピュータ)202のハードディスク装置203などにプログラムを格納しておく。プログラムは、記憶媒体204や通信回線201を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
The loading of the program to the
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。 The above description is merely an example, and is not limited to the configuration of the above embodiment.
1…デジタルカメラ
12…撮像素子
14…画像処理部
15…液晶モニタ
15a…タッチ操作部材
16…CPU
17…フラッシュメモリ
18…バッファメモリ
19…記録再生部
20…操作部材
50…メモリカード
200…コンピュータ
204…記憶媒体
DESCRIPTION OF
17 ...
Claims (7)
前記入力した画像における前記移動体を識別する移動体識別処理と、
前記入力した画像に基づいて、前記移動体以外の背景領域の位置を合わせるように撮影時刻が異なる複数の画像を合成し、個々の画像の撮影範囲より広範囲のパノラマ背景画像を生成するパノラマ背景画像生成処理と、
前記パノラマ背景画像上で前記移動体の領域が移動するように表示装置に再生表示させるための画像データを生成する画像データ生成処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。 Input processing to input multiple images taken in time series of moving objects of interest while changing the shooting direction;
A moving body identifying process for identifying the moving body in the input image;
Based on the input image, a panoramic background image is generated by combining a plurality of images with different shooting times so as to align the positions of background regions other than the moving body and generating a panoramic background image having a wider range than the shooting range of each image. Generation process,
Image data generation processing for generating image data to be reproduced and displayed on a display device so that the region of the moving object moves on the panoramic background image;
An image processing program for causing a computer to execute.
前記パノラマ背景画像生成処理は、撮影範囲が相互に重なる重複領域を有し、該重複領域に含まれる前記背景領域において、各々少なくとも2つの特徴点を有する複数の画像を合成することを特徴とする画像処理プログラム。 In the image processing program according to claim 1,
The panoramic background image generation processing includes overlapping regions in which shooting ranges overlap each other, and a plurality of images each having at least two feature points are synthesized in the background region included in the overlapping region. Image processing program.
前記画像データ生成処理は、前記入力した複数の画像から得られる、前記移動体の領域と前記背景領域との相対的位置関係の時間的変化に基づいて、前記パノラマ背景画像上における前記移動体の領域の位置を求めることを特徴とする画像処理プログラム。 The image processing program according to claim 1 or 2,
The image data generation processing is based on temporal changes in the relative positional relationship between the area of the moving object and the background area, which are obtained from the plurality of input images, and the moving object on the panoramic background image. An image processing program for obtaining a position of an area.
前記画像データ生成処理は、前記パノラマ背景画像生成処理で用いた画像数より多くの画像に基づいて、前記移動体の領域と前記背景領域との相対的位置関係の時間的変化を求めることを特徴とする画像処理プログラム。 The image processing program according to claim 3.
The image data generation process determines a temporal change in the relative positional relationship between the area of the moving object and the background area based on more images than the number of images used in the panoramic background image generation process. An image processing program.
前記画像データ生成処理は、前記移動体および背景の一部を含む領域を前記移動体の領域とすることを特徴とする画像処理プログラム。 In the image processing program according to any one of claims 1 to 4,
In the image data generation processing, an area including a part of the moving object and a background is set as an area of the moving object.
前記画像データ生成処理で生成された画像データを再生表示する再生装置を備えたことを特徴とするデジタルカメラ。
The digital camera according to claim 6, wherein
A digital camera comprising a playback device that plays back and displays the image data generated by the image data generation processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013039121A JP6056551B2 (en) | 2013-02-28 | 2013-02-28 | Image processing program and digital camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013039121A JP6056551B2 (en) | 2013-02-28 | 2013-02-28 | Image processing program and digital camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014168147A true JP2014168147A (en) | 2014-09-11 |
JP6056551B2 JP6056551B2 (en) | 2017-01-11 |
Family
ID=51617637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013039121A Active JP6056551B2 (en) | 2013-02-28 | 2013-02-28 | Image processing program and digital camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6056551B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017149875A1 (en) * | 2016-02-29 | 2017-09-08 | ソニー株式会社 | Image capture control device, image capture device, and image capture control method |
JP2019022149A (en) * | 2017-07-20 | 2019-02-07 | キヤノン株式会社 | Image processing apparatus, control method of image processing apparatus, and program |
US10659684B2 (en) | 2016-02-16 | 2020-05-19 | Samsung Electronics Co., Ltd. | Apparatus and method for providing dynamic panorama function |
WO2020137405A1 (en) * | 2018-12-27 | 2020-07-02 | 富士フイルム株式会社 | Image processing device, image processing method, and program |
WO2022186646A1 (en) * | 2021-03-05 | 2022-09-09 | 삼성전자 주식회사 | Electronic device for image generation, and operating method of electronic device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11282100A (en) * | 1998-03-27 | 1999-10-15 | Sanyo Electric Co Ltd | Panoramic picture taking device and panoramic picture forming device |
WO2004036498A1 (en) * | 2002-10-15 | 2004-04-29 | Seiko Epson Corporation | Panorama synthesis processing of a plurality of image data |
JP2005157847A (en) * | 2003-11-27 | 2005-06-16 | Seiko Epson Corp | Image processor and processing method |
WO2010035752A1 (en) * | 2008-09-24 | 2010-04-01 | 株式会社ニコン | Image generation device, imaging device, image reproduction device, and image reproduction program |
JP2011097246A (en) * | 2009-10-28 | 2011-05-12 | Sony Corp | Image processing apparatus, method, and program |
JP2013186853A (en) * | 2012-03-12 | 2013-09-19 | Casio Comput Co Ltd | Image processing device, image processing method and program |
-
2013
- 2013-02-28 JP JP2013039121A patent/JP6056551B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11282100A (en) * | 1998-03-27 | 1999-10-15 | Sanyo Electric Co Ltd | Panoramic picture taking device and panoramic picture forming device |
WO2004036498A1 (en) * | 2002-10-15 | 2004-04-29 | Seiko Epson Corporation | Panorama synthesis processing of a plurality of image data |
JP2005157847A (en) * | 2003-11-27 | 2005-06-16 | Seiko Epson Corp | Image processor and processing method |
WO2010035752A1 (en) * | 2008-09-24 | 2010-04-01 | 株式会社ニコン | Image generation device, imaging device, image reproduction device, and image reproduction program |
JP2011097246A (en) * | 2009-10-28 | 2011-05-12 | Sony Corp | Image processing apparatus, method, and program |
JP2013186853A (en) * | 2012-03-12 | 2013-09-19 | Casio Comput Co Ltd | Image processing device, image processing method and program |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10659684B2 (en) | 2016-02-16 | 2020-05-19 | Samsung Electronics Co., Ltd. | Apparatus and method for providing dynamic panorama function |
WO2017149875A1 (en) * | 2016-02-29 | 2017-09-08 | ソニー株式会社 | Image capture control device, image capture device, and image capture control method |
US10582127B2 (en) | 2016-02-29 | 2020-03-03 | Sony Corporation | Image processing device, display device, reproduction control method, and image processing system |
JP2019022149A (en) * | 2017-07-20 | 2019-02-07 | キヤノン株式会社 | Image processing apparatus, control method of image processing apparatus, and program |
WO2020137405A1 (en) * | 2018-12-27 | 2020-07-02 | 富士フイルム株式会社 | Image processing device, image processing method, and program |
JPWO2020137405A1 (en) * | 2018-12-27 | 2021-11-04 | 富士フイルム株式会社 | Image processing equipment, image processing methods, and programs |
JP7152515B2 (en) | 2018-12-27 | 2022-10-12 | 富士フイルム株式会社 | Image processing device, image processing method, and program |
WO2022186646A1 (en) * | 2021-03-05 | 2022-09-09 | 삼성전자 주식회사 | Electronic device for image generation, and operating method of electronic device |
Also Published As
Publication number | Publication date |
---|---|
JP6056551B2 (en) | 2017-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5806623B2 (en) | Imaging apparatus, imaging method, and program | |
EP2720226B1 (en) | Photographing apparatus for synthesizing an image from a sequence of captures of the same scene. | |
JP4639965B2 (en) | Imaging apparatus, image processing method, and program | |
JP6056551B2 (en) | Image processing program and digital camera | |
JP6304293B2 (en) | Image processing apparatus, image processing method, and program | |
JP2011049952A (en) | Image generating apparatus and electronic camera | |
JP6700813B2 (en) | Image processing device, imaging device, image processing method, and program | |
JP6323022B2 (en) | Image processing device | |
JP5741659B2 (en) | Movie sorting device, movie sorting method and program | |
JP2015012481A (en) | Image processing device | |
JP6460783B2 (en) | Image processing apparatus and control method thereof | |
JP2013117908A (en) | Image processor, image processing method, and imaging apparatus | |
JP2006033242A (en) | Image reproducing method and image pickup device | |
JP2015233211A (en) | Imaging apparatus, control method thereof, and program | |
KR102421994B1 (en) | Image processing apparatus, image processing method, and program | |
JP5476900B2 (en) | Image composition apparatus, image composition method, and program | |
JP2007243624A (en) | Digital still camera, image reproduction system and their control method | |
JP2018060549A (en) | Image processing device | |
JP6236856B2 (en) | Image processing apparatus and image processing program | |
JP2014217008A (en) | Image processing device, imaging device, and image processing program | |
JP2012165405A (en) | Imaging apparatus and program | |
JP5641352B2 (en) | Image processing apparatus, image processing method, and program | |
JP2015192336A (en) | Image processing device and digital camera | |
JP2015159357A (en) | Image processing system, image processing method, and program | |
JP2012165247A (en) | Image processing device, imaging device, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6056551 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |