JP2007259477A - Image composition method, apparatus, and program - Google Patents

Image composition method, apparatus, and program Download PDF

Info

Publication number
JP2007259477A
JP2007259477A JP2007122439A JP2007122439A JP2007259477A JP 2007259477 A JP2007259477 A JP 2007259477A JP 2007122439 A JP2007122439 A JP 2007122439A JP 2007122439 A JP2007122439 A JP 2007122439A JP 2007259477 A JP2007259477 A JP 2007259477A
Authority
JP
Japan
Prior art keywords
image
frame
strobe
frames
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2007122439A
Other languages
Japanese (ja)
Inventor
Hidenori Takeshima
秀則 竹島
Osamu Hori
修 堀
Takashi Ida
孝 井田
Nobuyuki Matsumoto
信幸 松本
Yasunori Taguchi
安則 田口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007122439A priority Critical patent/JP2007259477A/en
Publication of JP2007259477A publication Critical patent/JP2007259477A/en
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To reduce a user operation upon generating a strobe composite image and shorten the time required for image generation process. <P>SOLUTION: A first frame is first selected from a moving image, before a plurality of frames of the moving image are superposed to generate a strobe composite image. Next, a plurality of image frames to be subjected to strobe compositing are determined. The plurality of image frames are determined, with reference to a frame of interest, corresponding to a position obtained by shifting the position on a time axis of the selected first frame by a predetermined value. Furthermore, a superposing method, when the plurality of image frames are superposed, is set. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、被写体画像の時系列を重ね合わせてストロボ合成画像を生成する画像合成方法、装置、およびプログラムに関する。   The present invention relates to an image composition method, apparatus, and program for generating a strobe composite image by superimposing time series of subject images.

動画から被写体部分のみを切り出し、他の画像と重ね合わせて合成画像を生成して表示する画像処理技術は、例えば、複数の時刻に撮られた被写体画像を重ね合わせたストロボ合成画像の生成に有用である。その際、複数の被写体画像を簡単に重ねられるユーザインターフェースを提供しないと、ストロボ合成画像を容易に生成することができず多くの操作に時間を費やすこととなる。   Image processing technology that cuts out only the subject part from a moving image and overlays it with other images to generate and display a composite image is useful, for example, for generating a strobe composite image in which subject images taken at multiple times are superimposed It is. At that time, unless a user interface for easily superimposing a plurality of subject images is not provided, a strobe composite image cannot be easily generated, and time is spent on many operations.

従来、透明部分を持つレイヤと呼ばれる画像構成要素を複数枚重ね合わせる技術が、複数の被写体画像を重ね合わせるストロボ合成画像の生成に用いられてきた(例えば、非特許文献1参照)。まず、あらかじめ何らかの方法により、動画像から被写体画像領域のみを切り出す。これには、例えば図28(a)〜(c)に示すように、全面均一色の背景1002の下で物体1001の運動を撮影し、色成分の違いを用いて切り出しを行うクロマキー法が利用できる。そして、画像処理ソフトウェアのレイヤ機能を用い、切り出した被写体画像領域を複製して複数のレイヤとし、これら複数のレイヤを重ね合わせれば、ストロボ合成画像を得ることができる。   Conventionally, a technique of superimposing a plurality of image constituent elements called layers having a transparent part has been used to generate a strobe composite image in which a plurality of subject images are superimposed (see, for example, Non-Patent Document 1). First, only the subject image area is cut out from the moving image by some method in advance. For this, for example, as shown in FIGS. 28A to 28C, a chroma key method is used in which the motion of the object 1001 is photographed under the background 1002 of a uniform color on the entire surface, and cut out using the difference in color components. it can. Then, by using the layer function of the image processing software, the cut out subject image region is duplicated to form a plurality of layers, and the plurality of layers are overlapped to obtain a strobe composite image.

具体的には、例えば、図29のような複数の時刻に撮られた被写体画像からなる動画像を読み込み、図30のように複数のレイヤを作成する。次に、図31のようにレイヤ2をレイヤ1に対して時間的にずらすとともに、これとは異なる量でレイヤ3をレイヤ1に対して時間的にずらす。この状態で1つのフレームに複数フレームを重ね合わせることができる。図32は、図31における3つのレイヤのある時刻のフレーム501であり、これら図32の各レイヤを順に重ね合わせる様子を図33に示す。このように、複数の時刻に撮られた被写体画像をそれぞれ別のレイヤとして編集し、重ねあわせることでストロボ合成画像を生成できる。
Adobe社Premier 6.0 マニュアル第7章pp281-294
Specifically, for example, moving images composed of subject images taken at a plurality of times as shown in FIG. 29 are read, and a plurality of layers are created as shown in FIG. Next, as shown in FIG. 31, the layer 2 is shifted with respect to the layer 1 in terms of time, and the layer 3 is shifted with respect to the layer 1 in terms of time by a different amount. In this state, a plurality of frames can be superimposed on one frame. FIG. 32 shows a frame 501 at a certain time with three layers in FIG. 31, and FIG. 33 shows a state in which these layers in FIG. In this way, a strobe composite image can be generated by editing subject images taken at a plurality of times as separate layers and overlaying them.
Adobe Premier 6.0 Manual Chapter 7 pp281-294

しかしながら、従来の技術でストロボ合成画像を作成するためには、各フレームに対応するレイヤをユーザの操作によって作成し、重ね合わせ方法についてもレイヤを作成する段階の上下関係で指定するか、レイヤ作成後に各レイヤに対しユーザの操作によって、上下関係を調整する必要があった。また、従来の技術では一度ストロボ合成の対象となる画像を取り込み、ファイルに保存してからストロボ合成を行う必要があった。また、例えば、スポーツの試合など、全面均一の背景の下で撮影できない場合には、画像から被写体部分を切出すのにクロマキー法は用いることができないため、手作業で切出し作業を行わなければならず、ストロボ合成画像を作成するまでの時間が長くなってしまう。   However, in order to create a strobe composite image with the conventional technology, a layer corresponding to each frame is created by the user's operation, and the overlay method is also designated by the vertical relationship at the stage of creating the layer, or layer creation Later, it was necessary to adjust the vertical relationship for each layer by a user operation. Further, in the conventional technique, it is necessary to capture an image that is a target of strobe composition once and save it in a file before performing strobe composition. In addition, for example, when shooting is not possible under a uniform background, such as in a sporting game, the chroma key method cannot be used to cut out the subject portion from the image, so the cutting work must be performed manually. Therefore, it takes a long time to create the strobe composite image.

ストロボ合成画像はテレビ生放送におけるスポーツ選手のフォームの解説に使われるなど、画像が得られてからストロボ合成画像を作成するまでの時間が短くなければならないことが多い。従来技術を利用してストロボ合成画像を作成するには多くの時間が必要とされ、これらの要求にこたえることができない。従って、短時間で思い通りのストロボ合成画像を生成する方法が必要とされている。   Strobe composite images are often used to explain athletes' forms in live TV broadcasts, and it is often necessary to shorten the time from when an image is obtained until the strobe composite image is created. It takes a lot of time to create a strobe composite image using the prior art, and these demands cannot be met. Therefore, there is a need for a method for generating a desired strobe composite image in a short time.

本発明はかかる事情を考慮してなされたものであり、ストロボ合成画像の生成時におけるユーザ操作を軽減し、画像生成作業に要する時間を短縮することのできる画像合成方法、画像合成装置、および画像合成プログラムを提供することを目的とする。   The present invention has been made in view of such circumstances. An image composition method, an image composition apparatus, and an image that can reduce user operations during the generation of a strobe composite image and reduce the time required for image generation work. The purpose is to provide a synthesis program.

本発明に係る画像合成方法、装置、およびプログラムは、動画像の複数のフレームを重ね合わせてストロボ合成画像を生成するものである。前記動画像の中から第1のフレームを選択する。次に、ストロボ合成対象の複数の画像フレームを決定する。該複数の画像フレームは、選択された前記第1のフレームの時間軸上の位置を所定数ずらした位置に相当する対象フレームを基準とする。さらに、この複数の画像フレームを重ね合わせる際の重ね合わせ方法を設定する。   The image composition method, apparatus, and program according to the present invention generate a strobe composite image by superimposing a plurality of frames of a moving image. A first frame is selected from the moving image. Next, a plurality of image frames to be combined with the strobe are determined. The plurality of image frames are based on a target frame corresponding to a position shifted by a predetermined number of positions on the time axis of the selected first frame. Further, a superposition method for superposing the plurality of image frames is set.

本発明によれば、ストロボ合成画像生成に必要なユーザ操作の負担を軽減し、ストロボ合成画像生成作業の所要時間を大幅に短縮できる。   According to the present invention, it is possible to reduce the burden of user operation necessary for generating a strobe composite image, and to significantly reduce the time required for the strobe composite image generation work.

以下、本発明の実施形態を図面を参照しながら説明する。   Embodiments of the present invention will be described below with reference to the drawings.

(第1実施形態)図1は本発明の第1実施形態に係る画像合成装置の概略構成を示すブロック図である。図1に示すように本実施形態の画像合成装置は、入力映像および該入力映像に基づくストロボ合成画像の生成、編集のための各種画面等を表示する表示装置1と、中央処理装置(CPU)2と、キーボードやポインティングデバイス(マウス等)からなる入力装置3と、主記憶装置4とにより構成される。ストロボ画像の生成、編集のためのプログラム5、入力映像のデータ6、および生成されたストロボ画像のデータ7は、ハードディスク装置や光磁気ディスク装置等の外部記録装置に記録される。   (First Embodiment) FIG. 1 is a block diagram showing a schematic configuration of an image composition apparatus according to a first embodiment of the present invention. As shown in FIG. 1, the image composition apparatus according to this embodiment includes an input video and a display device 1 for displaying various screens for generating and editing a strobe composite image based on the input video, and a central processing unit (CPU). 2, an input device 3 including a keyboard and a pointing device (such as a mouse), and a main storage device 4. A program 5 for generating and editing a strobe image, input video data 6, and generated strobe image data 7 are recorded in an external recording device such as a hard disk device or a magneto-optical disk device.

このような本実施形態の画像合成装置は、汎用のコンピュータを用い、同コンピュータ上で動作するソフトウェアとして実現することができる。この場合、ストロボ画像を生成し編集するための処理を担うコンピュータプログラム5は、主記憶装置4に読み出され、中央処理装置2により実行される。なお、本実施形態の構成には、同コンピュータのハードウェアを制御したり、ファイルシステムやグラフィカル・ユーザ・インターフェース(GUI)を提供するオペレーティング・システム(OS)も導入されている。このような構成において、上記ストロボ画像を生成し編集するための処理を担うコンピュータプログラムは、該オペレーティング・システム上で動作するアプリケーション・ソフトウェアとして組み込まれる。   The image synthesizing apparatus of this embodiment can be realized as software that uses a general-purpose computer and operates on the computer. In this case, the computer program 5 responsible for processing for generating and editing the strobe image is read into the main storage device 4 and executed by the central processing unit 2. In the configuration of the present embodiment, an operating system (OS) that controls the hardware of the computer and provides a file system and a graphical user interface (GUI) is also introduced. In such a configuration, a computer program responsible for processing for generating and editing the strobe image is incorporated as application software that operates on the operating system.

本実施形態に係る画像合成装置の具体的な処理動作を説明する前に、まずストロボ合成の概略手順について説明する。   Before describing specific processing operations of the image composition apparatus according to the present embodiment, first, an outline procedure of strobe composition will be described.

ストロボ合成において、入力画像は動画像であり、出力画像はストロボ合成された画像(動画像あるいは静止画像)である。入力動画像から出力ストロボ合成画像を生成するためには、入力画像からストロボ合成を行う被写体部分のみを切り出す被写体切り出しを行うステップと、ストロボ合成を行うためにどのフレームをどのように重ね合わせるかを表すストロボ合成対象を指示するステップの2つのステップが必要となる。この2つのステップはそれぞれ独立しており、どちらが先に実行されても良い。   In strobe composition, an input image is a moving image, and an output image is a strobe-combined image (moving image or still image). In order to generate an output strobe composite image from an input moving image, a step of subject extraction that extracts only a subject portion to be strobe-combined from an input image, and which frame and how to overlap which frames are used for strobe composition Two steps of indicating the strobe composition target to be represented are required. These two steps are independent of each other, and either may be executed first.

ここで、ストロボ合成された動画像Yとは、入力した被写体の動画像をXとしたとき、Yの第1フレームをXの第1フレームの画像とし、Yの第2フレームをYの第1フレームの上にXの第2フレームを重ねた画像とし、Yの第3フレームをYの第2フレームの上にXの第3フレームを重ねた画像とし、さらに、Yの第(k+1)(kは自然数)フレームをYの第kフレームの上にXの第(k+1)フレームを重ねた画像とし、Yの各フレームに適当な時刻を与えて動画像としたものとする。このような重ね合わせの様子を図2に示す。   Here, the strobe-combined moving image Y refers to the input subject moving image as X, where the Y first frame is the X first frame image and the Y second frame is the Y first frame. An image obtained by superimposing the second frame of X on the frame, an image obtained by superimposing the third frame of X on the second frame of Y, an image obtained by superimposing the third frame of Y, and the (k + 1) (k) of Y Is a natural number) frame, an image obtained by superimposing the (k + 1) th frame of X on the kth frame of Y, and an appropriate time is given to each frame of Y to form a moving image. Such superposition is shown in FIG.

また、ここでは上に重ねるとしたが、ユーザから下重ねの指示があるフレームについては下に重ねるものとする。また、後述するような、離散的なフレームのみを用いる場合でも同様に、入力被写体画像の時系列に従い上もしくは下に重ねていく。また、入力被写体画像の時系列は被写体が撮影されたときの時系列と同じである必要はなく、例えば時系列の逆順、いわゆる逆再生であっても良い。   In addition, although it is assumed that the frame is superimposed on the upper side here, frames that are instructed to be overlapped by the user are superimposed on the lower side. Similarly, even when only discrete frames are used, as described later, the images are superimposed above or below according to the time sequence of the input subject image. Further, the time series of the input subject image does not have to be the same as the time series when the subject is photographed, and may be, for example, the reverse order of the time series, so-called reverse reproduction.

また、重ね合わせ対象とするフレームは必ずしも連続している必要はなく、離散的であっても良い。特に、Nフレーム(Nは整数)ごとに重ね合わせの対象としたいということは多いので、第Aフレームから第BフレームまでNフレームごとに重ね合わせの対象とするというユーザインターフェース(A,B,Nは整数)を提供することもできる。   Further, the frames to be overlapped do not necessarily have to be continuous and may be discrete. In particular, since it is often desired to superimpose every N frames (N is an integer), a user interface (A, B, N) that targets N frames from the Ath frame to the Bth frame. Can be an integer).

例えば、フレーム番号0からフレーム番号9までの10フレームの動画像に対し、フレーム番号1、フレーム番号3、フレーム番号5、フレーム番号7、フレーム番号9のように2フレームごとに合成の対象とすることで、インタレーススキャンの動画像のうち奇数フレームのみから合成画像を生成することができる。   For example, 10 frames of moving images from frame number 0 to frame number 9 are subject to synthesis every two frames, such as frame number 1, frame number 3, frame number 5, frame number 7, and frame number 9. Thus, it is possible to generate a composite image from only odd frames of interlaced scan moving images.

また別の例として、被写体の動きがあまり激しくないときには、例えば図3に示すように全てのフレームを合成の対象とするとストロボ合成画像がわかりにくくなる。このような場合、例えば2フレームごとに合成の対象とするといったようにある程度の間引きをすることで、図4のように得られるストロボ合成画像はわかりやすいものとなる。   As another example, when the movement of the subject is not so violent, for example, as shown in FIG. In such a case, the strobe composite image obtained as shown in FIG. 4 becomes easy to understand by thinning out to a certain extent, for example, so as to be subject to synthesis every two frames.

ストロボ画像合成のためにユーザに1つのフレームを指示させ、さらに重ね合わせを指示させるためのインターフェースを説明する。このインターフェースに基づき、図5に示すような一連の手続きが実行される。   An interface for instructing the user to specify one frame for strobe image composition and further instructing superposition will be described. Based on this interface, a series of procedures as shown in FIG. 5 is executed.

最初にフレーム選択入力手続き(ステップS1)を行い、ユーザによって1つのフレームが選択されるのを待つ。フレームが選択されたら、俗にIN点、OUT点と呼ばれるような対象フレームを算出し決定するフレームずらし手続きを行う(ステップS2)。その後、フレームずらし手続きによって得られた対象フレームに対し、重ね合わせ方法設定手続きを行う(ステップS3)。最後に、重ね合わせを行ってストロボ合成画像を得る(ステップS4)。   First, a frame selection input procedure (step S1) is performed, and it waits for one frame to be selected by the user. When a frame is selected, a frame shifting procedure is performed to calculate and determine a target frame commonly called an IN point or an OUT point (step S2). Thereafter, a superposition method setting procedure is performed on the target frame obtained by the frame shifting procedure (step S3). Finally, superposition is performed to obtain a strobe composite image (step S4).

フレーム選択入力手続き(ステップS1)では、例えば図6に示すように、スライダ3201と選択中のフレーム3202を表示するインターフェースをユーザに提示する。このインターフェースにおいて、ユーザはスライダ3201をマウスやキーボードを操作し、所望のフレームを選択できる。   In the frame selection input procedure (step S1), for example, as shown in FIG. 6, an interface for displaying the slider 3201 and the frame 3202 being selected is presented to the user. In this interface, the user can select a desired frame by operating the slider 3201 with a mouse or a keyboard.

なお、フレーム選択入力手続きにおいて、複数のフレームを提示してもよい。例えば、図7に示すように選択中のフレーム(注目フレーム)とその前後のフレームを提示し、スライダによる選択だけでなく、フレームそのもの(1401〜1403)をクリックすることでもフレーム選択が可能なようにインターフェースを構成すれば、ユーザにとってフレーム選択操作はより直感的で使いやすいものとなる。あるいは、現在選択されたフレームにフレームずらし手続きを行ったときのフレームを提示することも好ましい。これにより、ユーザは、現在の選択内容によってどのフレームが指示されるのかを直ちに知ることができる。   A plurality of frames may be presented in the frame selection input procedure. For example, as shown in FIG. 7, the frame being selected (the frame of interest) and the frames before and after the frame are presented, and the frame can be selected not only by the selection by the slider but also by clicking the frame itself (1401 to 1403). If the interface is configured, the frame selection operation is more intuitive and easy for the user to use. Alternatively, it is also preferable to present a frame when a frame shifting procedure is performed on the currently selected frame. As a result, the user can immediately know which frame is designated by the current selection.

重ね合わせ方法設定手続き(ステップS3)では、例えば、ステップS2において決定された対象フレームをストロボ合成の開始点あるいは終了点のいずれかに設定する。ある特定の開始フレームからある特定の終了フレームまでの連続したN枚のフレーム(Nは自然数)を、上に(あるいは下に)、順番に重ね合わせてストロボ合成を行う場合、開始フレームをストロボ合成の開始点とし、終了フレームをストロボ合成の終了点とする。なお、フレームは必ずしも連続している必要はなく、離散的な任意枚数のフレームについても同様に開始点と終了点を決めてよい。また、ユーザのフレーム選択に基づいて、複数のフレームずらし手続きおよび重ね合わせ方法設定手続きを同時に実行可能に構成してもよい。例えば、1つのフレーム指定から、ストロボ合成の開始点と終了点の両方を同時に決定してもよい。   In the superposition method setting procedure (step S3), for example, the target frame determined in step S2 is set to either the start point or the end point of strobe composition. When strobe compositing is performed by overlaying N frames (N is a natural number) from a specific start frame to a specific end frame in order (up or down) in order, strobe compositing the start frame And the end frame is the end point of strobe composition. It should be noted that the frames do not necessarily have to be continuous, and the starting point and the ending point may be determined similarly for an arbitrary number of discrete frames. Further, a plurality of frame shifting procedures and a superposition method setting procedure may be executed simultaneously based on the user's frame selection. For example, both the start point and end point of strobe composition may be determined simultaneously from one frame designation.

ここで、ストロボ合成の開始点の指定方法について説明する。図7は開始点指定のためにユーザに提示する画面の一例を示している。本実施形態では、注目フレームのNフレーム前からMフレーム分までをストロボ合成するものとし、N、M(整数値)は予め定めておくものとする。ユーザによって注目フレーム1402が選択されると(この例ではフレーム(番号)71)、Nフレーム前のフレーム(この例ではフレーム65)を開始フレーム(開始点)とし、開始フレームのMフレーム後のフレーム(この例ではフレーム78)を終了フレーム(終了点)とする上重ねストロボ合成が指定されたものとみなす。「開始点決定」ボタンが押された時点で、合成の実行が行われる。   Here, a method for specifying the start point of strobe composition will be described. FIG. 7 shows an example of a screen presented to the user for starting point designation. In the present embodiment, it is assumed that the stroboscopic composition is performed from N frames before the frame of interest to M frames, and N and M (integer values) are determined in advance. When the frame of interest 1402 is selected by the user (frame (number) 71 in this example), the frame before N frames (frame 65 in this example) is set as the start frame (start point), and the frame after M frames from the start frame It is considered that the overlaid strobe composition with the end frame (end point) as the end frame (end point in this example) is designated. When the “determine start point” button is pressed, composition is executed.

なお、「開始点決定」ボタンが押された時点で必ずしもストロボ合成の実行を開始する必要はなく、例えば開始フレームから終了フレームまでが選択された状態で「上重ね」ボタンが押されたものとみなし、合成の実行指示を待つようなインターフェースとしてもよい。また、提示する画像は、切り出された被写体であっても、切り出される前の画像であっても良い。また、上記の例では終了フレームを定義したが、Mを決めておかず、開始点のみを選択するようにしても良い。   Note that it is not always necessary to start the strobe composition when the “Start point determination” button is pressed. For example, when the “overlapping” button is pressed with the start frame to the end frame selected. It may be an interface that waits for a synthesis execution instruction. Further, the presented image may be a clipped subject or an image before cropping. In the above example, the end frame is defined, but M may not be determined, and only the start point may be selected.

(第2実施形態)次に、ストロボ画像合成のためにユーザに2つのフレームを指示させ、さらに重ね合わせを指示させるためのインターフェースを説明する。このインターフェースに基づき、図8に示すような一連の手続きが実行される。必要最低限のユーザ操作により速やかにストロボ合成画像を得る際には上述した第1実施形態が好ましいが、ストロボ合成の始終点(フレーム)をユーザが厳密に指定したい場合には本実施形態のインターフェースが有用である。また、本実施形態では、一度作成したストロボ合成画像について、一部のフレームについて重ね合わせ方を変更して再度、画像を生成できるものである。   (Second Embodiment) Next, an interface for instructing a user to specify two frames for strobe image composition and further instructing superposition will be described. Based on this interface, a series of procedures as shown in FIG. 8 is executed. The first embodiment described above is preferable when a strobe composite image is quickly obtained by a minimum user operation. However, when the user wants to specify the start / end point (frame) of strobe composition strictly, the interface of this embodiment is used. Is useful. Further, in the present embodiment, with respect to the strobe composite image created once, an image can be generated again by changing the superposition method for some frames.

先ず、フレーム選択入力手続きを行い、本実施形態では、ユーザから2つのフレーム(開始点、終了点)が選択されるのを待つ(ステップS11)。フレームが選択されたら、選択された2つのフレーム間の各フレームを処理フレームとして、重ね合わせを行う(ステップS12)。ここで、本実施形態では重ね合わせ方法を変更し(ステップS13)、再度、重ね合わせを行ってストロボ合成画像を得る(ステップS14)。   First, a frame selection input procedure is performed, and in this embodiment, the user waits for two frames (start point and end point) to be selected (step S11). When a frame is selected, each frame between the two selected frames is used as a processing frame and superposition is performed (step S12). Here, in this embodiment, the superposition method is changed (step S13), and superposition is performed again to obtain a strobe composite image (step S14).

フレーム選択画面提示手続きは、例えば図9に示すように、1つのスライダ3301と、このスライダ3301によって選択されるフレーム3302を提示し、ユーザにスライダから2つのフレームを選択させることで実現できる。ボタン3303とボタン3304はそれぞれ現在の注目点を開始点、終了点として設定するボタンであり、図9には、ボタン3303を押して開始点を設定したときの状態が示されている。ユーザは、図10に示すように、スライダ3301を移動させ、図11に示すようにボタン3304で終了点を設定する。   For example, as shown in FIG. 9, the frame selection screen presentation procedure can be realized by presenting one slider 3301 and a frame 3302 selected by the slider 3301 and allowing the user to select two frames from the slider. A button 3303 and a button 3304 are buttons for setting the current attention point as a start point and an end point, respectively. FIG. 9 shows a state when the start point is set by pressing the button 3303. The user moves the slider 3301 as shown in FIG. 10, and sets the end point with the button 3304 as shown in FIG.

なお、上述した第1実施形態と同様に、ユーザがスライダを用いてフレームを選択する際に、選択中のフレームのみならずその前後のフレームも提示するようにしたり、スライダによる選択以外にユーザがフレームをクリックすることによってもフレームを選択できるよう構成すれば、フレーム選択操作はより直感的で使いやすいものとなる。   As in the first embodiment described above, when the user selects a frame using the slider, not only the currently selected frame but also the frames before and after the selected frame are presented. If the frame can be selected by clicking on the frame, the frame selection operation becomes more intuitive and easy to use.

ステップS12における重ね合わせの方法としては、例えば、時刻が古いフレームから順に重ね合わせたり、逆に、新しいフレームから順に重ね合わせるなど、任意である。   The overlaying method in step S12 is arbitrary, for example, such that the frames are superposed in order from the oldest time, or conversely, the frames are superposed in order from the newest frame.

ここで、図8のフローチャートに示した一連の手続きに関し、指定範囲について重ね合わせを行う例を説明する。   Here, an example in which the designated range is overlapped will be described with respect to the series of procedures shown in the flowchart of FIG.

ユーザに提示する画面の例を図12に示す。ここで説明するインターフェースの目的は、ユーザに、テキストつきボタン3004により選択対象の先頭フレームの選択を行わせ、テキストつきボタン3005により選択対象の最終フレームの選択を行わせることである。図12において、3001、3003にはそれぞれボタン3004、3005に対応するフレームの画像が表示されており、選択中のフレームが一目でわかるようになっている。テキスト3006には現在の注目フレームのフレーム番号、3002にはそれに対応する画像が表示されており、ユーザはスライダ3013をマウス入力やキーボード入力によって左右に動かすことで、注目点の移動を行うことができる。また、ユーザはフレームの選択に先立ち、重ね合わせ方法を排他的押しボタン3010、3011を用いて指示することもできる。これらのボタンは排他的で、どれかのボタンが押されると他のボタンは押されていない状態に戻る。   An example of a screen presented to the user is shown in FIG. The purpose of the interface described here is to allow the user to select the first frame to be selected with the button 3004 with text and to select the last frame to be selected with the button 3005 with text. In FIG. 12, images of frames corresponding to buttons 3004 and 3005 are displayed on 3001 and 3003, respectively, so that the currently selected frame can be seen at a glance. The text 3006 displays the frame number of the current frame of interest, and the image 3002 displays the corresponding image. The user can move the point of interest by moving the slider 3013 to the left or right by mouse input or keyboard input. it can. The user can also instruct the superposition method using the exclusive push buttons 3010 and 3011 prior to the frame selection. These buttons are exclusive, and when any button is pressed, the other buttons return to the non-pressed state.

図13〜図19は、図12におけるボタン3004、3005、3006、およびスライダ3013を抽出して示した図であり、これらの図を参照して、対象となる先頭フレームと最終フレームを選択する一連の操作手順を説明する。ボタン3004、3005、3006の表示オブジェクトには、ボタンの名称を表すテキスト文字、及びフレーム位置(番号)を表す数字を表示できるようになっている(以下、これらを「テキストつきボタン」という)。なお、ボタン上の数字は、スライダ3013への操作、およびボタンに対する確定指示に応じて表示が更新される。   FIG. 13 to FIG. 19 are diagrams showing the extracted buttons 3004, 3005, 3006 and slider 3013 in FIG. 12, and a series of selecting a target first frame and last frame with reference to these drawings. The operation procedure will be described. The display objects of the buttons 3004, 3005, and 3006 can display text characters representing the names of the buttons and numbers representing the frame positions (numbers) (hereinafter referred to as “buttons with text”). Note that the numbers on the buttons are updated in response to an operation on the slider 3013 and a confirmation instruction for the buttons.

インターフェースがユーザに最初に提示されたとき、この時点では開始点および終了点は指定されていない状態である。この状態では図13に示すように終了点はグレイ表示され、ボタンを押すことができないようになっている。そこで、まずユーザは図13のように、注目点を開始点としたいフレームに移動させる。次に、ユーザは図14に示すように、開始点のテキストつきボタン3004を押して、現在の注目点を開始点として設定する。   When the interface is first presented to the user, at this point, the start and end points are not specified. In this state, as shown in FIG. 13, the end point is displayed in gray so that the button cannot be pressed. Therefore, first, as shown in FIG. 13, the user moves the target point to the frame that the user wants to start. Next, as shown in FIG. 14, the user presses a button 3004 with text at the start point, and sets the current attention point as the start point.

次に、ユーザは図15に示すように、注目点を終了点としたいフレームに移動させる。この時点では対象フレームは未確定であるため、対象フレームは薄い色として選択されている。この状態で終了点のテキストつきボタン3005を押すと終了点が確定し、対象フレームはそのときの重ね合わせ方法を指定する排他的押しボタン3010、3011の押下状態に従い、重ね合わせ指定を受け付ける。図16の状態でもう一度終了点のテキストつきボタン3005を押すと確定解除となり、図15の状態に戻る。また、図16の状態で「合成の実行」ボタン3014を押せばストロボ合成が実行される。また、図16の状態で注目フレームを再度選択し図17のように再び開始点ボタンを押下すると、図18に示すようにこれまでの重ね合わせ指定から引き続き、新しい区間についての別のストロボ画像のための重ね合わせを指示できるようになる。ユーザは図19のようにこの新しい区間に対する終了点を選択し、また必要に応じ排他的押しボタン3010、3011の押下状態を変化させるなど、先ほどの対象フレーム選択と同様の操作を行って、別の対象フレームに対し重ね合わせ指示を行うことができる。   Next, as shown in FIG. 15, the user moves the attention point to the frame that is desired to be the end point. Since the target frame has not been determined at this time, the target frame is selected as a light color. When the button 3005 with text at the end point is pressed in this state, the end point is fixed, and the target frame accepts the superposition designation according to the push state of the exclusive push buttons 3010 and 3011 for designating the superposition method at that time. When the button with text 3005 at the end point is pressed again in the state of FIG. 16, the confirmation is released and the state returns to the state of FIG. Also, if the “execute composition” button 3014 is pressed in the state shown in FIG. 16, strobe composition is performed. In addition, when the frame of interest is selected again in the state of FIG. 16 and the start point button is pressed again as shown in FIG. 17, another strobe image of the new section is continued from the previous overlay designation as shown in FIG. Can be instructed to superimpose. The user selects an end point for this new section as shown in FIG. 19 and changes the pressing state of the exclusive push buttons 3010 and 3011 as necessary, and performs the same operation as the previous target frame selection, The overlay instruction can be given to the target frame.

ボタン3007は、現在の重ね合わせ設定を記憶装置4に記憶するためのボタンであり、図20に示すように、現在の注目点からの相対位置のフレームに対する重ね合わせ設定が保存される。注目点を選択してボタン3012を押せば、保存された重ね合わせ設定が読み込まれ、適用される。このように保存しておいた設定を呼び出すようにすれば、操作時間を短縮できる。また、あらかじめ記憶しておいた設定の幾つかをリストとして用意しておき、必要に応じてそのリストを提示し、他の設定を読み込むことができるようにすれば、複数の設定を使い分けることができるようになり好ましい。   A button 3007 is a button for storing the current overlay setting in the storage device 4, and as shown in FIG. 20, the overlay setting for the frame at the relative position from the current point of interest is saved. If a point of interest is selected and a button 3012 is pressed, the stored overlay setting is read and applied. By recalling the saved settings in this way, the operation time can be shortened. Also, if you prepare a list of some of the settings that you have stored in advance, present that list as needed, and load other settings, you can use multiple settings separately. This is preferable because it can be done.

また、記憶装置4に記憶されている現在の重ね合わせ設定をHDD等の記録装置に記録しておき、後に、この重ね合わせ設定の内容を読み出し、別のストロボ画像の合成に適用してもよい。すなわち、後に読み出した重ね合わせ設定を、現在処理中のものとは別のフレーム群に適用して上記別のストロボ画像を合成してもよい。   Also, the current overlay setting stored in the storage device 4 may be recorded in a recording device such as an HDD, and the contents of the overlay setting may be read later and applied to another strobe image composition. . That is, the other strobe image may be synthesized by applying the overlay setting read out later to a frame group different from the currently processed one.

また、それぞれ内容が異なる複数の重ね合わせ設定を上記記録装置に記録しておき、各重ね合わせ設定ごとのストロボ合成画像を一括して生成したり、ある同一の重ね合わせ設定をもとに複数のストロボ合成画像を生成してもよい。重ね合わせ設定の作業のみ行って、後に一括して画像生成処理することは作業効率向上の観点から好ましい。   In addition, a plurality of overlay settings with different contents are recorded in the recording device, and a strobe composite image for each overlay setting is generated at once, or a plurality of overlap settings are generated based on a certain overlap setting. A strobe composite image may be generated. It is preferable from the viewpoint of improving work efficiency that only the overlay setting operation is performed and the image generation processing is performed collectively at a later time.

次に、全フレームを上重ねとしてストロボ合成画像を一度生成・提示し、その中から、ユーザによって指示されたオブジェクトをまとめ、下重ねに変更してストロボ合成画像を再度生成するためのインターフェースについて説明する。これは、図8におけるステップS13及びステップS14の手続きに相当する。   Next, an interface for generating and presenting a strobe composite image once with all the frames as an overlay, collecting objects indicated by the user, changing them to a bottom overlay, and generating a strobe composite image again will be described. To do. This corresponds to the procedure of step S13 and step S14 in FIG.

図21に示すように、まず、上重ねで合成画像を表示し(図21(a))、その画面に対してユーザは左側3つの被写体画像のオブジェクト2101をそれぞれマウスポインタの左クリックにより指定する。指定されたオブジェクト2101には他の被写体と区別可能な着色を施すと良い(図21(b))。そして、ユーザが右クリックすると、これら選択された3つのオブジェクト2101が下重ねに切り替わり、図21(c)のような新たな合成画像が表示される。なお、全フレームをあらかじめ上重ねとして提示せずに、図12のインターフェースをあらかじめ提示しておき、右クリックされたときに上重ねの部分は下重ねに、下重ねの部分は上重ねに変更することもできる。このようにすれば、おおまかな重ね方の指定とフレーム単位の重ね方の調整の2つを短時間で実現できる。   As shown in FIG. 21, first, a composite image is displayed in an overlaid state (FIG. 21A), and the user designates the object 2101 of the left three subject images by left-clicking the mouse pointer on the screen. . The designated object 2101 may be colored so that it can be distinguished from other subjects (FIG. 21B). Then, when the user right-clicks, the three selected objects 2101 are switched to a lower layer, and a new composite image as shown in FIG. 21C is displayed. Note that the interface of FIG. 12 is presented in advance without presenting all frames as an upper layer in advance, and when the right click is performed, the upper layer is changed to the lower layer and the lower layer is changed to the upper layer. You can also In this way, it is possible to realize both the designation of a rough overlay and the adjustment of the overlay in units of frames in a short time.

なお、本実施形態ではストロボ合成画像から対象フレームを選択し、別途重ね合わせ方法の変更を指定するインターフェースを説明したが、ユーザによってストロボ合成画像から対象フレームが選択された際にもその重ね合わせ順序を変更可能なインターフェースを追加すれば、ストロボ合成画像の作成、編集におけるさらなる時間短縮を実現できる。ただし、クリックの瞬間にストロボ合成画像を変化させることは、画像合成装置の高い処理能力を必要とするし、瞬時の画面変化に対応できるようオペレータが熟練を要するため、状況に応じて使い分けできるようにすると良い。   In this embodiment, the interface for selecting the target frame from the strobe composite image and separately specifying the change of the overlay method has been described. However, when the target frame is selected from the strobe composite image by the user, the superposition order is also described. By adding an interface that can change the setting, it is possible to further shorten the time required for creating and editing the strobe composite image. However, changing the strobe composite image at the moment of clicking requires a high processing capability of the image compositing device, and the operator needs skill to cope with the instantaneous screen change, so that it can be used properly according to the situation. It is good to make it.

また、フレームの選択にスライダを用いることとして説明したが、例えばいくつかの代表フレームを提示し、これら代表フレームの中からいずれかをユーザに選択させ、選択された代表フレームに近いフレームのみを提示し、これらフレームに基づいてユーザに重ね合わせの指示を求めるようにすれば、上記のようなスライダ操作を省略できる。   In addition, although it has been explained that a slider is used for frame selection, for example, several representative frames are presented, and one of these representative frames is selected by the user, and only frames close to the selected representative frame are presented. If the user is asked to give an instruction for superposition based on these frames, the slider operation as described above can be omitted.

以上説明したように、ストロボ合成に必要なユーザ操作を極めて簡略化するインターフェースが提供されることにより、ストロボ合成の実行手順が明確になりまた、ユーザに与える操作負担を大幅に軽減できる。したがって、ストロボ合成画像作成の所要時間を短縮でき、また、画像合成システムの使い勝手も向上できる。   As described above, by providing an interface that greatly simplifies user operations necessary for strobe composition, the strobe composition execution procedure can be clarified and the operation burden on the user can be greatly reduced. Therefore, the time required for creating the strobe composite image can be shortened, and the usability of the image composition system can be improved.

(第3実施形態)次に、マニュアル操作による切り出し作業中にプレビューを提示するインターフェースを備えた第3実施形態について、図22乃至図27を参照して説明する。図22に示すような入力映像について、ユーザにより被写体画像の切り出しが行われている途中の状況、具体的には、第1フレームと第2フレームの切り出しが完了し、第3フレームの切り出しが行われている状況を考える。   (Third Embodiment) Next, a third embodiment provided with an interface for presenting a preview during a manual cutting operation will be described with reference to FIGS. With regard to the input video as shown in FIG. 22, the situation in which the user is cutting out the subject image, specifically, the cutting out of the first frame and the second frame is completed, and the cutting out of the third frame is performed. Think about the situation.

図23に示すように、被写体画像1701を含まないよう被写体画像1702の切り出しをユーザが行っている際に、図24に示すように画像の一部1801の切り出しが不正確であった場合、その影響は図25に示すようにストロボ合成画像の一部1901として現れ、画質低下を招いてしまう。   As shown in FIG. 23, when the user cuts out the subject image 1702 so as not to include the subject image 1701, if the part 1801 of the image is cut out incorrectly as shown in FIG. The influence appears as a part 1901 of the strobe composite image as shown in FIG.

そこで、図26のように、入力画像や切り出し画像だけでなく、現在の切り出し画像1802に基づくストロボ合成後の画像1803を逐次合成しプレビュー表示すれば、ユーザは、不正確な切り出しが行われてストロボ合成画像に影響を与える部分を直ちに確認することができ、望みのストロボ合成画像を得るための修正が容易になる。図27に示すように、修正後のストロボ合成画像を直ちに確認できる。   Therefore, as shown in FIG. 26, if the image 1803 after the stroboscopic composition based on the current clipped image 1802 is sequentially synthesized and displayed as a preview as well as the input image and the clipped image, the user is cut out inaccurately. A portion that affects the strobe composite image can be immediately confirmed, and correction for obtaining a desired strobe composite image is facilitated. As shown in FIG. 27, the corrected strobe composite image can be immediately confirmed.

なお、プレビューとは、処理前に現在の指示内容に基づく処理結果を提示することであり、例えばユーザの重ね合わせフレーム選択などの入力に応じて、完成画像(静止画でも、動画でも良い)を、逐次更新しながらユーザに提示することをいう。   Note that the preview is to present a processing result based on the current instruction content before the processing, and for example, a completed image (a still image or a moving image) may be displayed according to an input such as a user's overlay frame selection. It means to present to the user while updating sequentially.

なお、入力画像、切り出し画像、ストロボ合成画像のすべてを提示する必要はなく、例えば入力画像とストロボ合成画像の2つのみを提示しても良い。また、プレビューの提示は、完全にユーザの手によって切り出しが行われる場合のみならず、ソフトウェアによって自動的あるいは半自動的に切り出しが行われた結果をユーザが修正する場合において行われても良い。   Note that it is not necessary to present all of the input image, the cutout image, and the strobe composite image. For example, only the input image and the strobe composite image may be presented. In addition, the preview may be presented not only when the user cuts out completely, but also when the user corrects the result of the automatic or semi-automatic cutting out by software.

また、背景など時間の経過によって変化しない画像領域から被写体を切り出す場合には、不正確な切り出しが行われてもストロボ合成画像には何ら影響はないから、切り出しに手間をかける必要はない。プレビューによれば、そのことをユーザが確認できる。したがって、切り出しの手間を省いてストロボ合成画像生成の時間を短縮できる。   In addition, when a subject is cut out from an image area that does not change with the passage of time, such as the background, even if inaccurate clipping is performed, there is no effect on the strobe composite image. According to the preview, the user can confirm this. Therefore, it is possible to reduce the time for generating the strobe composite image without cutting out.

また、ユーザは編集中に最終画像を知ることができ、ストロボ合成画像が生成された後に、それがユーザの期待通りのストロボ合成画像であるかチェックする必要もなくなる。このように、プレビューとしてストロボ合成画像を逐次提示することは、切り出し画像をプレビューとして提示する以上に、ストロボ合成画像生成に要する時間短縮およびユーザの負担軽減に大いに寄与する。   Further, the user can know the final image during editing, and after the strobe composite image is generated, it is not necessary to check whether the strobe composite image is as expected by the user. Thus, sequentially presenting the strobe composite image as a preview greatly contributes to reducing the time required to generate the strobe composite image and reducing the burden on the user more than presenting the cutout image as a preview.

(第4の実施形態)図34は本発明の第4の実施形態に係るストロボ画像合成の一連の処理を示すフローチャートである。本実施形態では、動画像の撮影中にユーザによる指示(例:ボタンを押す、マウスをクリックする等)を受けると、そのタイミングを考慮した所望の合成画像を生成する。入力デバイスとしては例えば動画を撮影するカメラをストロボ合成システムに接続して用いる。以下、第4の実施形態を実施するシステムを1指示型ストロボ合成システムと呼ぶ。あらかじめ、動画像を保存するためのキュー(先入れ先だしバッファ)を用意しておく。なお、キューに代えて多段遅延回路を用いることができる。   (Fourth Embodiment) FIG. 34 is a flow chart showing a series of processing for strobe image composition according to a fourth embodiment of the present invention. In this embodiment, when an instruction from the user (eg, pressing a button, clicking a mouse, etc.) is received during moving image shooting, a desired composite image is generated in consideration of the timing. As an input device, for example, a camera for shooting a moving image is connected to a strobe composition system. Hereinafter, a system that implements the fourth embodiment is referred to as a one-instruction strobe composition system. A queue (first-in first-out buffer) for storing moving images is prepared in advance. A multi-stage delay circuit can be used instead of the queue.

1指示型ストロボ合成システムは、ユーザ入力による指示がない限り、図34に示すS3401〜S3402のステップを繰り返す。すなわち、入力デバイスから次の画像フレームを取り込む画像入力ステップ(S3401)と、キューの先頭フレームを破棄して1フレーム分シフトし、最終フレームに取り込んだフレームを追加する画像保持ステップ(S3402)を繰り返す。   The one-instruction strobe composition system repeats steps S3401 to S3402 shown in FIG. 34 unless there is an instruction by user input. That is, the image input step (S3401) for fetching the next image frame from the input device and the image holding step (S3402) for discarding the first frame of the queue and shifting it by one frame and adding the frame fetched to the final frame are repeated. .

ここで、ユーザ入力による指示(S3403:ユーザ入力ステップ)を検出すると、1指示型ストロボ合成システムは、ユーザ入力があった時刻から所定時間が経過した時に少なくとも一度の通知(タイムアウト)を発するタイマをセットし(S3404)、S3401〜S3402の処理を続ける。タイマからの通知があった時点(S3405)で、キューに保存されている画像を用いてストロボ合成を行い(S3406:画像合成ステップ)、合成画像を出力する(S3407:画像出力ステップ)。本実施形態によれば、ユーザによる指示は1回だけで済むので、ユーザによる負担を大幅に軽減し、ストロボ合成画像生成作業の所要時間の大幅な短縮が可能となる。   Here, when an instruction by a user input (S3403: user input step) is detected, the one-indicating strobe composition system generates a timer that issues at least one notification (timeout) when a predetermined time has elapsed from the time when the user input occurred. Set (S3404) and continue the processing of S3401 to S3402. At the time of notification from the timer (S3405), strobe composition is performed using images stored in the queue (S3406: image composition step), and a composite image is output (S3407: image output step). According to the present embodiment, since the user only needs to give a single instruction, the burden on the user is greatly reduced, and the time required for the strobe composite image generation work can be greatly shortened.

(第5の実施形態)図35は第5の実施形態に係るストロボ画像合成の一連の処理を示すフローチャートである。本実施形態は、ストロボ合成を行うにあたり重要なフレーム(「特徴画像フレーム」という)を動画像の撮影中に自動的に検出し、そのタイミングを考慮した所望の合成画像を生成する。このような第5の実施形態のシステムを「全自動ストロボ合成システム」と呼ぶことにする。   Fifth Embodiment FIG. 35 is a flow chart showing a series of strobe image composition processing according to the fifth embodiment. In the present embodiment, a frame (referred to as a “feature image frame”) that is important for strobe composition is automatically detected during moving image capturing, and a desired composite image is generated in consideration of the timing. Such a system of the fifth embodiment will be referred to as a “fully automatic strobe composition system”.

上述の第4実施形態と同様に、動画像を保存するためのキュー(先入れ先だしバッファ)を用意しておく。本実施形態に係る全自動ストロボ合成システムは、次に示すS3501〜S3503のステップを繰り返す。すなわち、入力デバイスから次の画像フレームを取り込む画像入力ステップ(S3501)と、キューの先頭フレームを破棄して1フレーム分シフトし、最終フレームに取り込んだフレームを追加する画像保持ステップ(S3502)、特徴画像フレームが存在するか否かをチェックする特徴画像フレーム検出ステップ(S3503)である。   As in the fourth embodiment described above, a queue (first-in first-out buffer) for storing moving images is prepared. The fully automatic strobe composition system according to the present embodiment repeats the following steps S3501 to S3503. That is, an image input step (S3501) for fetching the next image frame from the input device, an image holding step (S3502) for discarding the first frame of the queue and shifting it by one frame, and adding the fetched frame to the final frame. This is a feature image frame detection step (S3503) for checking whether an image frame exists.

ここで、特徴画像フレームが存在すると、全自動ストロボ合成システムは特徴フレームの検出時刻から所定時間が経過した時に1度だけ通知(タイムアウト)を発するタイマをセットし(S3504)、S3501〜S3503の処理を続ける。タイマからの通知があった時点で(S3505)、キューに保存されている画像を用いてストロボ合成を行い(S3506:画像合成ステップ)、合成画像を出力する(S3507:画像出力ステップ)。   Here, if a feature image frame exists, the fully automatic strobe composition system sets a timer that issues a notification (timeout) only once a predetermined time has elapsed from the detection time of the feature frame (S3504), and the processing of S3501 to S3503 Continue. When a notification is received from the timer (S3505), strobe composition is performed using the images stored in the queue (S3506: image composition step), and a composite image is output (S3507: image output step).

このような本実施形態によれば、ユーザによる指示を完全に省略でき、ストロボ合成画像生成作業の所要時間を上述の第4実施形態よりもさらに短縮できる。なお、ユーザの指示あるいは特徴画像フレームの検出を行う第4および第5実施形態においては、タイマを用いる例を示したが、時刻を一定時間間隔で記録し、所定時間の経過を判定するようにしてもよい。全自動ストロボ合成システムにおいて、特徴画像フレームをどのように定め、これをどのように検出するかについては種々考えられる。ゴルフのティーショットにおけるストロボ合成画像を例にとって説明する。ストロボ画像合成適合条件としては、例えば次のようなものが考えられる。   According to the present embodiment, it is possible to completely omit the instruction from the user, and the time required for the strobe composite image generation work can be further shortened as compared with the fourth embodiment described above. In the fourth and fifth embodiments in which a user instruction or a feature image frame is detected, an example using a timer has been shown. However, the time is recorded at regular time intervals to determine the passage of a predetermined time. May be. In the fully automatic strobe composition system, various methods can be considered as to how to define a feature image frame and how to detect it. A description will be given taking a strobe composite image in a golf tee shot as an example. As the strobe image composition matching condition, for example, the following can be considered.

(1)ティーショット時に発生する音を検出し、音が検出された画像フレームを特徴画像フレームとする。
(2)特徴画像フレームにおける被写体の形状(テンプレート)をあらかじめ準備しておき、画像フレームごとに被写体領域の抽出を行い、被写体の形状がテンプレートと十分に似ていると判断できるときにそれを特徴画像フレームとする。
(3)特徴画像フレームとその前後数フレームの被写体のテンプレートをあらかじめ準備し、画像フレームごとに被写体領域の抽出を行い、連続する数フレームの被写体の形状がテンプレートと十分に似ていると判断できるときにそれを特徴画像フレームとする。
(4)画像フレームごとに被写体領域の面積を算出し、連続する数フレームの面積の最大値と最小値の差(ピーク・ピーク値)を求め、ピーク・ピーク値が別途定めた値を超えるときに、面積の最大値(最小値でも良い)を与えるフレームを特徴画像フレームとする。
(1) A sound generated during a tee shot is detected, and an image frame in which the sound is detected is set as a feature image frame.
(2) The shape (template) of the subject in the feature image frame is prepared in advance, the subject region is extracted for each image frame, and it is determined that the subject shape is sufficiently similar to the template. Let it be an image frame.
(3) A feature image frame and templates of subjects for several frames before and after it are prepared in advance, subject areas are extracted for each image frame, and it can be determined that the shapes of subjects for several consecutive frames are sufficiently similar to the template. Sometimes it is a feature image frame.
(4) When the area of the subject area is calculated for each image frame, the difference (peak / peak value) between the maximum and minimum areas of several consecutive frames is obtained, and the peak / peak value exceeds a separately determined value In addition, a frame that gives a maximum value (or a minimum value) of the area is defined as a feature image frame.

なお、被写体領域の抽出においては、例えば、あらかじめ単色の背景を用意しておき、背景色とは異なる色領域を被写体領域とするクロマキー法を用いることができる。被写体領域の面積算出においては、例えばクロマキー法を用いて被写体領域を抽出し、その領域の画素数を算出してこれを面積とすれば良い。また、テンプレート画像との類似度を判断する基準として、例えば、テンプレートの被写体領域の面積St、抽出された被写体領域の面積Se、テンプレートの被写体領域と抽出された被写体領域が重なる領域の面積Scをそれぞれ算出し、(Sc/St)と(Sc/Se)との2つの値において小さい方の値がしきい値以上である場合に十分に近いと判断すれば良い。   In the extraction of the subject area, for example, a chroma key method in which a monochrome background is prepared in advance and a color area different from the background color is used as the subject area can be used. In calculating the area of the subject region, for example, the subject region may be extracted using the chroma key method, the number of pixels in the region may be calculated, and this may be used as the area. Further, as a reference for determining the similarity to the template image, for example, the area St of the template subject area, the area Se of the extracted subject area, and the area Sc of the area where the subject area of the template overlaps the extracted subject area are used. What is necessary is just to calculate each, and just to judge that it is close enough when the smaller one of the two values (Sc / St) and (Sc / Se) is equal to or greater than the threshold value.

これらの方法から、目標とするストロボ合成の被写体に適した方法をあらかじめ選択しておき、選択された方法で特徴画像フレームを検出すれば、特徴画像フレームの検出精度が向上する。したがって、全自動ストロボ合成システムの有用性も向上する。その結果、ストロボ合成画像生成作業の所要時間の短縮を実現できる。   From these methods, if a method suitable for a target subject for strobe synthesis is selected in advance and a feature image frame is detected by the selected method, the detection accuracy of the feature image frame is improved. Therefore, the usefulness of the fully automatic strobe synthesis system is also improved. As a result, it is possible to reduce the time required for the strobe composite image generation work.

(プリセットを提示)
1指示型ストロボ合成システムあるいは全自動ストロボ合成システムにおいて、生成されるストロボ合成の品質は入力画像の種類、ストロボ合成のアルゴリズムに依存する。例えば、クロマキー法によって対象となる各フレームの被写体領域を抽出する場合には、色空間においてどの範囲を背景色とみなすかを設定するしきい値を制御する必要がある。クロマキー法におけるしきい値のようなパラメータを、ユーザ設定が可能とすれば高い品質を得ることができる。しかし、ストロボ合成時にその都度パラメータを設定するのではユーザの操作負担が増し、ストロボ合成に要する作業時間が増大してしまう。そこで、あらかじめ何種類かのパラメータを準備しておき、使用するパラメータをストロボ合成前にユーザが選択できるようにすることが好ましい。これにより、ストロボ合成画像の品質を向上できるとともに作業を効率化できる。
(Preset present)
In the one-instruction strobe composition system or the fully automatic strobe composition system, the quality of the strobe composition generated depends on the type of input image and the strobe composition algorithm. For example, when extracting the subject area of each target frame by the chroma key method, it is necessary to control a threshold value for setting which range is considered as the background color in the color space. If parameters such as threshold values in the chroma key method can be set by the user, high quality can be obtained. However, setting the parameters each time during strobe composition increases the burden on the user and increases the work time required for strobe composition. Therefore, it is preferable to prepare several types of parameters in advance so that the user can select the parameters to be used before the strobe composition. Thereby, the quality of the strobe composite image can be improved and the work efficiency can be improved.

(ストロボの最終フレームまたは再生動画を提示)
また、入力画像によっては、ストロボ合成のパラメータをあらかじめ決定しておくことが困難な場合がある。その場合、候補となるパラメータを数種類に限定し、それらすべてに対してストロボ合成を行い、その結果を提示してユーザに選択させることで、ユーザは所望の出力画像を得ることができる。例えばマウスと画面を用いたユーザインターフェースにおいては、図36のように、3通りのパラメータでストロボ合成を行い、3601、3602、3603に提示されたストロボ合成の最終フレームから、マウス操作によって所望のストロボ合成画像をユーザに選択させる。なお、最終フレームを提示する代わりにストロボ合成された動画像を再生しても良い。この方法によれば、ユーザによるパラメータ設定なくしては十分な品質を達成できないような場合であっても、その作業を最小限にとどめることができ、その結果ストロボ合成に要する時間を短縮できる。
(Present strobe frame or playback video)
Also, depending on the input image, it may be difficult to determine strobe composition parameters in advance. In that case, the user can obtain a desired output image by limiting the number of candidate parameters to several types, performing strobe composition on all of them, presenting the results, and allowing the user to select them. For example, in a user interface using a mouse and a screen, as shown in FIG. 36, strobe synthesis is performed with three parameters, and a desired strobe is operated by mouse operation from the final frame of strobe synthesis presented in 3601, 3602, 3603. Let the user select a composite image. Note that instead of presenting the final frame, a strobe-combined moving image may be reproduced. According to this method, even when sufficient quality cannot be achieved without parameter setting by the user, the work can be minimized, and as a result, the time required for strobe composition can be shortened.

(第6実施形態)図39は、本発明の第6実施形態に係るストロボ画像合成のフローチャートである。本実施形態では、ストロボ画像合成に用いられる自動切出しパラメータを予め決定しておくものである。本実施形態では、スポーツの試合を例に挙げ、その試合中にスポーツ選手を撮影してストロボ画像を合成する場合について説明する。   (Sixth Embodiment) FIG. 39 is a flowchart of strobe image composition according to the sixth embodiment of the present invention. In the present embodiment, automatic cut-out parameters used for strobe image synthesis are determined in advance. In this embodiment, a sports game is taken as an example, and a case where a sports player is photographed during the game and a strobe image is synthesized will be described.

まず、試合前に選手(被写体)の動画像を正解データ用に撮影してパソコンに取り込んでおく(S4101)。次に、その動画像をパソコンのディスプレイに1フレームずつ静止させて表示し、フレーム毎に選手の領域を正確にマウスなどを用いて入力する(S4102)。そして、選手の領域を切出した画像を1フレームずつ上重ねしながら合成することでストロボ合成画像を生成する(S4103)。これは極めて合成品質の高いストロボ合成画像であり、これを正解ストロボ合成画像と呼ぶ。   First, before a game, a moving image of a player (subject) is photographed for correct data and taken into a personal computer (S4101). Next, the moving image is displayed stationary on the display of the personal computer frame by frame, and the player's area is accurately input for each frame using a mouse or the like (S4102). Then, a strobe composite image is generated by combining the images obtained by cutting out the player's area while superimposing one frame at a time (S4103). This is a strobe composite image with extremely high synthesis quality, and this is called a correct strobe composite image.

次に、同じ正解データ用画像から選手の領域を自動的に切出す。切出し手法の例を図41に示す。切出しの対象フレーム4301と別の参照フレーム4302との間で輝度の差を求める。このフレーム間差分がしきい値よりも大きい場合にはオブジェクト領域、そうでない場合には背景領域と判定してアルファマスク4303を生成する。アルファマスクは、オブジェクト領域と背景領域との2値から成るビットマップである。   Next, the player area is automatically cut out from the same correct data image. An example of the cutting method is shown in FIG. A difference in luminance between the target frame 4301 to be cut out and another reference frame 4302 is obtained. If this inter-frame difference is larger than the threshold value, an object region is determined, and if not, an alpha mask 4303 is generated. The alpha mask is a bitmap composed of binary values of an object area and a background area.

次に、異なる参照フレーム4304との差によるアルファマスク4305を複数生成し、オブジェクト領域の論理積を求めることで正確なオブジェクト領域のアルファマスク4306を得る。最後に、文献「自己相似写像による輪郭線のフィッティング」(井田、他、第5回画像センシングシンポジウム講演論文集,C-15, pp.115-120, June 1999.)に記載された手法などを用いて輪郭フィッティングをすれば、さらに正確なアルファマスク4307が得られる。輪郭フィッティングは、誤りの大きい輪郭から、より誤りの少ない輪郭を得る輪郭抽出処理である。   Next, a plurality of alpha masks 4305 based on differences from different reference frames 4304 are generated, and an AND of the object areas is obtained to obtain an accurate object area alpha mask 4306. Finally, the method described in the literature "Contour Fitting by Self-Similar Mapping" (Ida et al., Proc. Of the 5th Image Sensing Symposium, C-15, pp.115-120, June 1999.) If contour fitting is used, a more accurate alpha mask 4307 can be obtained. The contour fitting is a contour extraction process for obtaining a contour with fewer errors from a contour with large errors.

本実施形態に係る以上のような切出し手法の場合、オブジェクト領域か背景領域かを判定するしきい値や、対象フレームと参照フレームのフレーム間隔、輪郭フィッティングの強度などが切出しのパラメータである。   In the cutting method as described above according to the present embodiment, the threshold value for determining whether the object area or the background area, the frame interval between the target frame and the reference frame, the strength of contour fitting, and the like are the cutting parameters.

切出しのパラメータを仮にある値に設定し、選手領域を切出す(S4104)。そして、選手領域の切出し結果に基づいて仮のストロボ合成画像を生成する(S4105)。仮のストロボ合成画像は、一般に、正解ストロボ合成画像よりも合成品質が劣る。その程度を測るために、正解ストロボ合成画像に対する仮のストロボ合成画像の誤差を算出する(S4106)。パラメータとしては、予め幾つかの組合せを決めておき、その組合せの範囲で切替えながら、S4104からS4106を繰り返せばよい。つまり、予め決めたパラメータを全て実行した場合は次に進み、そうでない場合はS4104に戻る(S4107)。   The extraction parameter is temporarily set to a certain value, and the player area is extracted (S4104). Then, a temporary strobe composite image is generated based on the player region cutout result (S4105). The temporary strobe composite image is generally inferior in composite quality than the correct strobe composite image. In order to measure the degree, an error of the temporary strobe composite image with respect to the correct strobe composite image is calculated (S4106). As parameters, some combinations may be determined in advance, and S4104 to S4106 may be repeated while switching within the range of the combinations. That is, if all the predetermined parameters have been executed, the process proceeds to the next step, and if not, the process returns to S4104 (S4107).

全てのパラメータについて上述のステップS4104〜S4106を繰り返した後に、正解ストロボ合成画像に対する仮のストロボ合成画像の誤差が最も小さかったパラメータを、その後に適用されるパラメータとして正式に決定する(S4108)。ここで決定されたパラメータを本実施形態では実行パラメータと称する。そして、試合中に撮影する正解データ用画像以外の画像から、その実行パラメータを用いて切出しを行い(S4109)、ストロボ合成画像を生成する(S4110)。   After the above-described steps S4104 to S4106 are repeated for all parameters, the parameter with the smallest error of the temporary strobe composite image with respect to the correct strobe composite image is formally determined as a parameter to be applied thereafter (S4108). The parameters determined here are referred to as execution parameters in this embodiment. Then, from the image other than the correct data image photographed during the match, it is cut out using the execution parameter (S4109), and a strobe composite image is generated (S4110).

切出しパラメータの最適な値は、選手のユニフォームの色や、背景の色、カメラの撮影時に発生するノイズの特徴などの環境変化に依存する。しかし、同じ試合中であれば、これらの環境は一定であり、パラメータ値を切替えなくても良好な合成が可能である。本実施形態によれば、試合中も良好な合成画像が得られるパラメータ値を決定することができる。これによって、手作業を要しない自動的な合成が可能となり、ストロボ合成画像を短時間で生成できる。   The optimum value of the cut-out parameter depends on changes in the environment such as the color of the player's uniform, the background color, and the characteristics of noise generated during camera shooting. However, during the same game, these environments are constant, and good composition is possible without switching parameter values. According to this embodiment, it is possible to determine a parameter value that provides a good composite image even during a game. As a result, automatic compositing that does not require manual work is possible, and a strobe composite image can be generated in a short time.

なお、誤差の評価対象として、切出した領域の形状ではなく、合成画像を用いるのが本実施形態の特徴である。これは、第3実施形態で述べたように、ストロボ画像合成の場合、領域の形状が誤っていても合成画像には影響ないことがあるからである。本当は背景の部分であるところを仮に選手の領域として検出したとしても、元々背景である部分に同じ背景が上書きされるだけで変化がなく、ここが選手領域として検出されなかった場合と同じ合成結果になる。また、誤差としては、例えば、対応するフレーム間で差分を求め、その絶対値の和や2乗和を用いることができる。   Note that a feature of this embodiment is that a composite image is used as an error evaluation object, instead of the shape of the clipped region. This is because, as described in the third embodiment, in the case of strobe image composition, even if the shape of the region is incorrect, the composite image may not be affected. Even if it is actually detected as a player's area where it is the background part, the same background is overwritten on the original background part without any change, and the same composite result as if it was not detected as a player area become. Further, as an error, for example, a difference between corresponding frames can be obtained, and the sum of absolute values or the sum of squares thereof can be used.

(第7実施形態)図40は本発明の第7実施形態に係るストロボ画像合成装置の概略構成を示すブロック図である。第7実施形態は第6実施形態において説明したストロボ画像合成の一連の処理を実行する具体的装置に関する。   (Seventh Embodiment) FIG. 40 is a block diagram showing a schematic configuration of a strobe image composition apparatus according to a seventh embodiment of the present invention. The seventh embodiment relates to a specific apparatus that executes a series of strobe image composition processes described in the sixth embodiment.

撮影された画像4201が入力され、例えばパソコンの場合、半導体記憶素子や、磁気記録装置などの記憶手段4202に保持される。画像4203は正解データ用画像として正解被写体領域を設定する設定部4204に送られる。ここでは、例えば、画像4203がパソコンのディスプレイに表示され、使用者がマウスなどを用いて被写体の領域を正確に入力する。その領域で切出された正解被写体画像4205は合成部4206に送られる。合成部4206は被写体画像4205を時間順に上書きし、正解ストロボ合成画像4207を保持部4208に送る。   For example, in the case of a personal computer, the photographed image 4201 is stored in a storage unit 4202 such as a semiconductor storage element or a magnetic recording device. The image 4203 is sent to a setting unit 4204 that sets a correct subject area as an image for correct data. Here, for example, the image 4203 is displayed on the display of the personal computer, and the user inputs the subject area accurately using the mouse or the like. The correct subject image 4205 cut out in that area is sent to the synthesis unit 4206. The composition unit 4206 overwrites the subject image 4205 in time order, and sends the correct strobe composite image 4207 to the holding unit 4208.

一方、画像4203は被写体領域の検出回路4212にも送られる。検出部4212では、パラメータ設定部4210から送られる切出しパラメータ値4211に基づいて被写体領域が検出され、その領域で切出された被写体画像4213が合成部4214に送られる。合成部4214は、被写体画像4213を時間順に上書きし、ストロボ合成画像4215を誤差検出部4216に送る。また、記憶部4208から正解ストロボ合成画像4207が誤差検出部4216に送られる。誤差検出部4216は、正解ストロボ合成画像4207とストロボ合成画像4215との誤差4217を計算する。この誤差4217はパラメータ設定部4210に送られる。   On the other hand, the image 4203 is also sent to the subject region detection circuit 4212. The detection unit 4212 detects a subject area based on the cut parameter value 4211 sent from the parameter setting unit 4210, and sends a subject image 4213 cut out in that area to the combining unit 4214. The synthesizing unit 4214 overwrites the subject image 4213 in time order, and sends the strobe synthesized image 4215 to the error detecting unit 4216. Further, the correct strobe composite image 4207 is sent from the storage unit 4208 to the error detection unit 4216. The error detection unit 4216 calculates an error 4217 between the correct strobe composite image 4207 and the strobe composite image 4215. This error 4217 is sent to the parameter setting unit 4210.

パラメータ設定部4210は、パラメータ値4211を逐次切替え、その結果得られる誤差4217を調べ、該誤差4217が最小となるパラメータ値を求める。別の画像4201が入力された場合は、そのパラメータ値4211が検出部4212に送られ、検出部4212は、記憶部4202から読み出した画像4201から被写体領域を検出する。被写体画像4213は合成部4214によりストロボ画像合成される。このストロボ合成画像4215は外部に出力される。   The parameter setting unit 4210 sequentially switches the parameter value 4211, examines an error 4217 obtained as a result, and obtains a parameter value that minimizes the error 4217. When another image 4201 is input, the parameter value 4211 is sent to the detection unit 4212, and the detection unit 4212 detects the subject area from the image 4201 read from the storage unit 4202. The subject image 4213 is combined with a strobe image by the combining unit 4214. This strobe composite image 4215 is output to the outside.

このような構成とすれば、2回目以降に入力される画像からは自動的な処理となり、ストロボ合成画像を短時間で生成できる。   With such a configuration, an automatic process is performed from an image input after the second time, and a strobe composite image can be generated in a short time.

(第8実施形態)本発明の第8実施形態は、ユーザが被写体動画像のスロー再生映像を見ながら、ストロボ画像の合成に用いられる画像フレームを選択できるように構成されている。第8実施形態は、図37に示す一連の手続きに従って、ステップS3701から実行される。各ステップで実行される内容を説明する前に「重ね合わせ方法切り替えフレーム」なる用語を次のように用いる。すなわち、動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する際に、上重ね合成するのか下重ね合成するのかという重ね合わせ方法を切り替える画像フレームを「重ね合わせ方法切り替えフレーム」と呼ぶことにする。各ステップで実行される内容は以下の通りである。   (Eighth Embodiment) The eighth embodiment of the present invention is configured such that the user can select an image frame to be used for synthesizing a strobe image while watching a slow playback video of a subject moving image. The eighth embodiment is executed from step S3701 according to a series of procedures shown in FIG. Before describing the contents executed in each step, the term “overlapping method switching frame” is used as follows. In other words, when generating a strobe composite image by superimposing multiple frames of a moving image, an image frame that switches the superposition method of whether to superimpose over or over superimpose is called a “superposition method switching frame”. To. The contents executed in each step are as follows.

ステップS3701:1つの画像フレームを取り込んで表示する。その後、ステップS3702へ進む。   Step S3701: One image frame is captured and displayed. Thereafter, the process proceeds to step S3702.

ステップS3702:ユーザによる画像フレーム選択の指示を受け付ける。所定の時間内に指示がない場合、ステップS3701に戻る。指示があった場合はステップS3703へ進む。   Step S3702: An image frame selection instruction from the user is accepted. If there is no instruction within the predetermined time, the process returns to step S3701. If there is an instruction, the process proceeds to step S3703.

ステップS3703:ステップS3702で受け付けたユーザ指示の直前にステップS3701で表示した画像フレームを重ね合わせ方法切り替えフレームとして決定し、その重ね合わせ方法切り替えフレームの位置から時間方向にあらかじめ定めた数だけずらした位置を開始点として決定し、別途定めた数だけずらした位置を終了点として決定し、開始点から終了点までの画像フレームの中の所定数間隔の画像フレームをストロボ合成の対象とする対象画像フレームとして決定する。その後、ステップS3704へ進む。   Step S3703: The image frame displayed in Step S3701 immediately before the user instruction received in Step S3702 is determined as a superposition method switching frame, and a position shifted by a predetermined number in the time direction from the position of the superposition method switching frame. Is determined as a start point, a position shifted by a separately determined number is determined as an end point, and a target image frame whose image frames at a predetermined number of intervals from the start point to the end point are subjected to strobe composition Determine as. Thereafter, the process proceeds to step S3704.

ステップS3704:ステップS3703で決定したストロボ合成の対象とする画像フレームのうち、まだ取り込んでいない画像フレームがある場合は、それらを取り込む。その後、ステップS3705へ進む。   Step S3704: If there are image frames that have not yet been captured among the image frames to be subjected to strobe composition determined in step S3703, they are captured. Thereafter, the process proceeds to step S3705.

ステップS3705:ステップS3703で決定したストロボ合成の対象とする画像フレームを重ね合わせてストロボ合成する。そして、この一連の手続きを終了する。   Step S3705: The image frames to be subjected to the strobe composition determined in step S3703 are superimposed to perform strobe composition. Then, this series of procedures is terminated.

従来、ユーザが被写体の動画像に固有のフレームレートでの再生映像を見ながら所望の画像フレームを選択しようとしても、それを正確に選択できない場合が多かったが、この実施形態により、正確に選択できるようになる。その結果として、ストロボ合成画像生成までの時間を短縮できる。   Conventionally, when a user tries to select a desired image frame while watching a playback video at a frame rate specific to the moving image of the subject, there are many cases where the user cannot select it correctly. become able to. As a result, the time until the strobe composite image generation can be shortened.

なお、本実施形態は次のように変形することができる。   The present embodiment can be modified as follows.

(1)ステップS3702で受け付ける指示をユーザが誤って出してしまった場合、前記一連の手続きを終了して再びやり直さないと誤りを訂正することができない。そのような誤りを訂正できるようにするため、ユーザが誤りに気づいた時点で表示されている画像を過去に表示された画像に戻して、誤ってしまった操作を過去に遡ってやり直すことができるようにすることが好ましい。 (1) If the user gives an instruction to accept in step S 3702 by mistake, the error cannot be corrected unless the series of procedures is completed and the procedure is started again. In order to be able to correct such an error, the image displayed when the user notices the error can be returned to the image displayed in the past, and the operation that has been erroneously performed can be performed retroactively. It is preferable to do so.

(2)ステップS3701では画像を表示している。ここで、画像の表示時間をユーザが決定できるようにすれば、ステップS3702で受け付ける指示のユーザによる誤りを減らすことができる。また、画像表示中にその表示時間を変更できるようにするのもよい。 (2) In step S3701, an image is displayed. Here, if the user can determine the image display time, errors by the user in the instruction accepted in step S3702 can be reduced. It is also possible to change the display time during image display.

(3)ステップS3701において1つの画像フレームを逐次的に取り込み、ステップS3804でもまた必要数の画像フレームを取り込んでいる。これに代えて、例えば画像フレームを一括で取り込んでも良く、ステップ3701で複数の画像フレームを取り込むようにしても良い。 (3) One image frame is sequentially captured in step S3701, and a necessary number of image frames are also captured in step S3804. Instead of this, for example, image frames may be fetched at once, or a plurality of image frames may be fetched in step 3701.

(4)ステップS3702で受け取ったユーザ指示に従い、ステップS3703で重ね合わせ方法切り替えフレーム、開始点および終了点を決定している。その際、ユーザ指示に対応する画像フレームを重ね合わせ方法切り替えフレームとして決定する。これは、例えばユーザ指示に対応する画像フレームを開始点や終了点として決定してもよい。 (4) In accordance with the user instruction received in step S3702, the superposition method switching frame, start point, and end point are determined in step S3703. At that time, an image frame corresponding to the user instruction is determined as a superposition method switching frame. For example, an image frame corresponding to a user instruction may be determined as a start point or an end point.

(5)上重ね合成と下重ね合成とを切り替える必要がない場合には、重ね合わせ方法切り替えフレームを決定する必要がないため、ユーザ指示に対応する画像フレームを基準にして開始点と終了点を自動的に決定しても良い。このようにすれば、ユーザ操作の回数を減らすことができ、ストロボ合成画像を生成するまでの時間を短縮することができる。 (5) When it is not necessary to switch between the upper overlay synthesis and the lower overlay synthesis, it is not necessary to determine the overlay method switching frame, so the start point and the end point are set based on the image frame corresponding to the user instruction. It may be determined automatically. In this way, the number of user operations can be reduced, and the time until the strobe composite image is generated can be shortened.

(6)ステップS3702で受け取った1回のユーザ指示に従い、重ね合わせ方法切り替えフレーム、開始点および終了点を決定しているが、例えば、ユーザ所望のストロボ合成画像を得るためには、1回のユーザ指示で複数ではなく1つの画像フレームを決定しても良い。これは、1回のユーザ指示では十分な品質のストロボ合成画像を生成することができない場合に有効であり、より多くの画像に対して本実施形態を適用できる。 (6) The superimposition method switching frame, the start point, and the end point are determined in accordance with one user instruction received in step S3702. For example, in order to obtain a strobe composite image desired by the user, One image frame may be determined by a user instruction instead of a plurality. This is effective when a strobe composite image with sufficient quality cannot be generated with a single user instruction, and this embodiment can be applied to more images.

(7)開始点のみが決定していて終了点が未定の状況において、開始点決定直後にステップS3705の実行を開始した場合、終了点決定からストロボ合成終了までの時間を短縮することができる。 (7) In the situation where only the start point has been determined and the end point has not been determined, when the execution of step S3705 is started immediately after the start point is determined, the time from the end point determination to the end of the strobe composition can be shortened.

(第9実施形態)本発明の第9実施形態は、ユーザが被写体ストロボ合成動画像の再生映像を見ながら画像フレームを選択できるようにしたものである。第9実施形態は、図38に示す一連の手続きに従って実行される。この一連の手続きはステップS3801から実行される。各ステップで実行される内容は以下の通りである。   (Ninth Embodiment) In the ninth embodiment of the present invention, the user can select an image frame while viewing the reproduced video of the subject strobe synthesized moving image. The ninth embodiment is executed according to a series of procedures shown in FIG. This series of procedures is executed from step S3801. The contents executed in each step are as follows.

ステップS3801:1つの画像フレームを取り込んで表示する。その後、ステップS3802へ進む。   Step S3801: One image frame is captured and displayed. Thereafter, the process proceeds to step S3802.

ステップS3802:ユーザによるストロボ合成開始の指示を受け付ける。所定の時間内に開始の指示がない場合、ステップS3801に戻る。あるいは、開始しないという指示があった場合、ステップS3801に戻る。開始の指示があった場合、ステップS3803へ進む。   Step S3802: An instruction to start strobe composition by the user is accepted. If there is no instruction to start within the predetermined time, the process returns to step S3801. Alternatively, if there is an instruction not to start, the process returns to step S3801. If there is an instruction to start, the process advances to step S3803.

ステップS3803:1つの画像フレームを取り込む。その後、ステップS3804へ進む。   Step S3803: One image frame is captured. Thereafter, the process proceeds to step S3804.

ステップS3804:画像フレームを重ね合わせてストロボ合成する際に、上重ね合成するのか下重ね合成するのかという重ね合わせ方法を変更するかどうかのユーザ指示を受け付ける。変更の指示があった場合、ステップS3805へ進む。所定の時間内に変更の指示がない場合、ステップS3806へ進む。あるいは、変更しないという指示があった場合、ステップS3806へ進む。   Step S3804: Accepting a user instruction whether to change the superposition method of whether to superimpose images or to superimpose them when superimposing image frames and combining them with flash. If there is a change instruction, the process advances to step S3805. If there is no change instruction within the predetermined time, the process advances to step S3806. Alternatively, if there is an instruction not to change, the process proceeds to step S3806.

ステップS3805:画像フレームを重ね合わせてストロボ合成する際に、上重ね合成するのか下重ね合成するのかという重ね合わせ方法を変更する。その後、ステップS3806へ進む。   Step S3805: When superimposing image frames and combining them with a stroboscope, the superposition method of whether to superimpose or superimpose is changed. Thereafter, the process proceeds to step S3806.

ステップS3806:画像フレームを重ね合わせ方法に従って重ね合わせてストロボ合成する。その後、ステップS3807へ進む。   Step S3806: The image frames are superposed according to the superposition method to stroboscopically compose. Thereafter, the process proceeds to step S3807.

ステップS3807:ステップS3806で合成したストロボ合成画像を表示する。その後、ステップS3808へ進む。   Step S3807: The strobe composite image synthesized in step S3806 is displayed. Thereafter, the process proceeds to step S3808.

ステップS3808:ストロボ合成を終了するかどうかのユーザ指示を受け付ける。所定の時間内に終了の指示がない場合、ステップS3803に戻る。あるいは、終了しないという指示があった場合、ステップS3803に戻る。終了の指示があった場合、前記一連の手続きを終了する。   Step S3808: A user instruction whether to end the strobe composition is accepted. If there is no instruction to end within the predetermined time, the process returns to step S3803. Alternatively, if there is an instruction not to end, the process returns to step S3803. When there is an instruction to end, the series of procedures is ended.

本実施形態によれば、ストロボ合成、ストロボ合成動画像の再生、および画像フレーム選択を同時に行えるので、ユーザ所望のストロボ合成が完了するまでの時間を短縮できる。   According to this embodiment, strobe composition, strobe composition moving image reproduction, and image frame selection can be performed at the same time, so that the time required for completion of user-desired strobe composition can be shortened.

なお、第9実施形態は次のように改良することができる。   The ninth embodiment can be improved as follows.

(1)ステップS3802、ステップS3804、およびステップS3808で受理する指示をユーザが誤って出してしまった場合、前記一連の手続きを終了して再びやり直さないと誤りを訂正することができない。そのような誤りを訂正できるようにするため、ユーザが誤りに気づいた時点で表示されている画像を過去に表示された画像に戻して、誤ってしまった操作を過去に遡ってやり直すことができるようにする。 (1) If the user mistakenly gives an instruction to accept in step S3802, step S3804, and step S3808, the error cannot be corrected unless the series of procedures is completed and the procedure is performed again. In order to be able to correct such an error, the image displayed when the user notices the error can be returned to the image displayed in the past, and the operation that has been erroneously performed can be performed retroactively. Like that.

(2)ステップS3801とステップS3807で画像を表示している。これらの画像を表示する時間をユーザが決定できるようにすれば、ステップS3802、ステップS3804およびステップS3808で受け付ける指示のユーザによる誤りを減らすことができる。また、画像表示中にその表示時間を変更できるようにするのもよい。 (2) An image is displayed in steps S3801 and S3807. If the user can determine the time for displaying these images, errors by the user in the instructions accepted in steps S3802, S3804, and S3808 can be reduced. It is also possible to change the display time during image display.

(3)ステップS3801とステップS3803においてそれぞれ1つの画像フレームを逐次的に取り込んでいるが、例えば、画像フレームを一括で取り込んでも良いし、ステップ3801やステップS3803で複数の画像フレームを取り込むようにしても良い。 (3) Although one image frame is sequentially fetched in each of steps S3801 and S3803, for example, image frames may be fetched all at once, or a plurality of image frames may be fetched in step 3801 and step S3803. Also good.

(4)ステップS3804でユーザ指示を受け取った場合、ストロボ合成の際の重ね合わせ方法を変更するようにしている。そのユーザ指示に対応する画像フレームの位置から時間方向にずらした位置を終了点として決定しても良い。その場合、終了点を重ね合わせ合成し、そのストロボ合成画像を表示した時点で前記一連の手続きを終了する。これにより、ユーザによる指示を1回分減らすことができ、ストロボ合成終了までの時間を短縮できる。 (4) When a user instruction is received in step S3804, the superposition method at the time of strobe composition is changed. A position shifted in the time direction from the position of the image frame corresponding to the user instruction may be determined as the end point. In that case, the end points are superimposed and combined, and when the strobe composite image is displayed, the series of procedures is ended. As a result, the number of instructions given by the user can be reduced by one, and the time until the end of strobe composition can be shortened.

(5)時間方向にずらした位置を終了点として決定するのではなく、開始点として決定するようにすることもできる。このように、あるユーザ入力に対応する画像フレームの位置から時間方向にずらした位置の画像フレームを開始点、終了点および重ね合わせ方法を変更する境になるフレームとして決定すれば、ステップS3802で受理したユーザ指示が誤っていても、操作をやり直したり訂正したりする必要がなくなり、ストロボ合成にかかる時間を短縮することができる。 (5) The position shifted in the time direction may be determined as the start point instead of being determined as the end point. In this way, if an image frame at a position shifted in the time direction from the position of the image frame corresponding to a certain user input is determined as a frame for changing the start point, end point, and superposition method, it is accepted in step S3802. Even if the user instruction is incorrect, there is no need to redo or correct the operation, and the time required for strobe composition can be reduced.

(6)第9実施形態では、ストロボ合成と同時にストロボ合成画像を表示している。そのストロボ合成画像を記憶装置に記憶し、後でそのストロボ合成画像を再生できるようにしても良い。 (6) In the ninth embodiment, a strobe composite image is displayed simultaneously with strobe composition. The strobe composite image may be stored in a storage device so that the strobe composite image can be reproduced later.

(第10実施形態)図42は、本発明の第10実施形態に係るストロボ画像合成方法の処理の流れを示すフローチャートである。図42において、S4601は時系列の画像フレームを順次入力する画像入力ステップ、S4602は画像入力ステップにより入力された最新のNフレーム(Nは自然数)の画像フレームを保持する画像保持ステップ、S4603はストロボ画像合成に適合する画像フレームであるか否かを決定するストロボ画像合成適合条件によりストロボ画像合成される複数の画像フレームの基準となる基準画像フレームを検出する基準画像フレーム検出ステップ、S4604は基準画像フレームが検出されてから別途定めた時間が経過したときに前記画像保持ステップによって記憶された複数の画像フレームに対してストロボ画像合成処理を行う画像合成ステップ、S4605は前記画像合成ステップによってストロボ画像合成処理された合成画像フレームを出力する画像出力ステップである。   (Tenth Embodiment) FIG. 42 is a flowchart showing the flow of processing of a strobe image composition method according to a tenth embodiment of the present invention. In FIG. 42, S4601 is an image input step for sequentially inputting time-series image frames, S4602 is an image holding step for holding the latest N frames (N is a natural number) input by the image input step, and S4603 is a strobe. A reference image frame detection step for detecting a reference image frame serving as a reference for a plurality of image frames to be combined with a stroboscopic image according to a stroboscopic image synthesis matching condition for determining whether or not the image frame is suitable for image synthesis. S4604 is a reference image. An image compositing step for performing a strobe image compositing process on a plurality of image frames stored in the image holding step when a separately determined time has elapsed since the detection of the frame, S4605 is a strobe image compositing by the image compositing step Processed composite image frame An image output step of outputting a beam.

画像入力ステップS4601は、例えばスポーツ中継でのカメラ撮影のように、ストロボ合成したい被写体を撮影して入力するステップに相当する。ここでは時系列の画像フレームが順次入力される。画像保持ステップS4602は、画像入力ステップS4601により入力された最新のNフレームの画像フレームを保持するステップであり、例えば、限られた容量の蓄積媒体の保持内容を常に更新しながらスポーツ中継映像の例えば最新の2秒間(30[fps]なら60フレーム)を保持する。   The image input step S4601 corresponds to a step of shooting and inputting a subject to be stroboscopically combined, for example, camera shooting at a sports broadcast. Here, time-series image frames are sequentially input. The image holding step S4602 is a step of holding the latest N frames of image frames input in the image input step S4601, and for example, for example, for example, a sports broadcast video while constantly updating the holding contents of a limited capacity storage medium. Hold the latest 2 seconds (60 frames for 30 [fps]).

基準画像フレーム検出ステップS4603は、画像保持ステップS4602により最新のNフレームの画像フレームが保持されている状態で、現在保持されている画像列が、ストロボ画像合成に適する画像フレームであるか否かを決定するストロボ画像合成適合条件によって、ストロボ画像合成される複数の画像フレームの基準となる基準画像フレームを検出する。例えば、野球中継の映像が画像入力ステップS4601によって入力されている場合、ストロボ合成処理を行いたい画像列はピッチャーの投球シーンや、バッターのバッティングシーン、ボールの複数画像フレームである。ここで、基準画像フレームは、ピッチャーがボールを放す瞬間のフレーム、バッターがボールを打つ瞬間のフレームに相当するのであり、その前後のフレームをストロボ画像合成することによって所望の画像を作成できる。ストロボ画像合成適合条件には、例えば、画像情報を用いた条件と、画像とは別情報を用いた条件とがある。画像情報を用いた条件では、画像内のみの情報を用いる。一方、画像とは別情報を用いた条件では、画像入力ステップと同期した別の入力ステップにより、画像とは別の情報を求める。これには、マイク、赤外線センサー、重量計、あるいは物理的スイッチが用いられる。これら2つの条件によって例えば以下のように基準画像フレームを検出できる。   In the reference image frame detection step S4603, whether or not the currently held image sequence is an image frame suitable for strobe image synthesis in a state where the latest N frame image frames are held in the image holding step S4602. A reference image frame serving as a reference for a plurality of image frames to be combined with a stroboscopic image is detected according to the determined stroboscopic image composition matching condition. For example, when a baseball broadcast video is input in the image input step S4601, an image sequence to be subjected to the strobe composition processing is a pitcher throwing scene, a batter batting scene, or a multiple image frame of a ball. Here, the reference image frame corresponds to the frame at the moment when the pitcher releases the ball and the frame at the moment when the batter hits the ball, and a desired image can be created by combining the frames before and after the strobe image. The strobe image composition matching condition includes, for example, a condition using image information and a condition using information different from the image. In conditions using image information, information only in the image is used. On the other hand, under conditions using information different from the image, information different from the image is obtained by another input step synchronized with the image input step. For this, a microphone, an infrared sensor, a weight scale, or a physical switch is used. Under these two conditions, for example, the reference image frame can be detected as follows.

(画像情報を用いた条件)
・予め登録された画像と類似した画像フレームが検出されたフレームを基準画像フレームとして検出する。予め登録された画像とは、例えばインパクトの瞬間の画像フレームである。
(Conditions using image information)
A frame in which an image frame similar to a previously registered image is detected is detected as a reference image frame. The pre-registered image is, for example, an image frame at the moment of impact.

・フレーム内に予め設定された部分領域の画素値の変化が検出されたフレームを基準画像フレームとして検出する。例えば、ゴルフボールが置かれた位置を部分領域として設定し、白色の画素が緑色の画素に変化したフレームや、野球のバットが、ある領域を通過したときのフレームである。 A frame in which a change in pixel value of a partial area set in advance in the frame is detected is detected as a reference image frame. For example, a frame in which a position where a golf ball is placed is set as a partial area and a white pixel changes to a green pixel, or a baseball bat passes through a certain area.

・予め設定されたマスク画像(被写体領域と背景領域とを分離抽出する際に用いられる2値画像)と類似したマスク画像が作成されたとき、このマスク画像の原画像フレームを基準画像フレームとして検出する。 -When a mask image similar to a preset mask image (binary image used for separating and extracting a subject area and a background area) is created, the original image frame of this mask image is detected as a reference image frame To do.

・画像フレームから作成されたマスク画像において、被写体領域の面積が最小となるフレームを基準画像フレームとして検出する。野球のバッティングやゴルファーのスイングは、インパクトの瞬間が被写体領域の面積が最小になる傾向にある。 In the mask image created from the image frame, a frame having the smallest subject area is detected as a reference image frame. Baseball batting and golfer swings tend to minimize the area of the subject area at the moment of impact.

(画像とは別情報を用いた条件)
・予め設定された音が検出されたとき、その時点に該当するフレームを基準画像フレームとして検出する。検出音としては、野球のバッティングの打球音、ゴルフのインパクト音などである。
(Conditions using information different from images)
When a preset sound is detected, a frame corresponding to that time is detected as a reference image frame. Examples of the detection sound include baseball batting sound and golf impact sound.

・赤外線センサーが被検知物体を感知したとき、その時点に該当するフレームを基準画像フレームとして検出する。例えば、野球のバット、投手の腕、ゴルフクラブが既定点を通過したことが赤外線センサーにより感知された時点、ゴルフのティーや人工芝のマット上に存在したボールが存在しなくなったことが感知された時点に相当する画像フレームである。 -When the infrared sensor senses an object to be detected, the frame corresponding to that point is detected as a reference image frame. For example, when an infrared sensor detects that a baseball bat, pitcher's arm, or golf club has passed a predetermined point, it is detected that there is no longer a ball on the golf tee or artificial grass mat. This is an image frame corresponding to the time point.

・重量の変化が感知されたとき、その時点に該当するフレームを基準画像フレームとして検出する。ゴルフのティーや人工芝のマットの重さが変化した時点のフレームは基準画像フレームに適する場合がある。 When a change in weight is detected, a frame corresponding to that point is detected as a reference image frame. The frame at the time when the weight of the golf tee or the artificial turf mat changes may be suitable as the reference image frame.

・物理的スイッチが動作したとき、その時点に該当するフレームを基準画像フレームとして検出する。例えば投手がピッチングプレートに踏み込んだ時点、ゴルフのティーや人工芝のマットに圧力がかかった時点などである。 When a physical switch is operated, a frame corresponding to that point is detected as a reference image frame. For example, when a pitcher steps on a pitching plate, when a pressure is applied to a golf tee or an artificial grass mat.

画像合成ステップS4604は、基準画像フレーム検出ステップS4603によって検出された基準フレームをもとに、画像保持ステップS4602において記憶された複数の画像フレームに対してストロボ画像合成を行う。その際、基準画像フレーム検出ステップS4603が基準画像を検出した直後に、画像保持ステップS4602に記憶された複数の画像フレームに対してストロボ合成を行ってもよい。また、基準画像フレームが検出されてから別途定めた時間が経過してから、画像保持ステップS4602に記憶された複数の画像フレームに対してストロボ合成を行ってもよい。前者は、基準画像フレームが、ストロボ合成を行いたい複数のフレームの最終フレームとして検出されている場合であり、後者は、基準画像フレームが、ストロボ合成を行いたい複数のフレームの途中のフレーム(例えば、野球のバッティングやゴルフスイングのインパクトの瞬間)として検出されている場合である。また、ストロボ合成されるフレーム数は、画像保持ステップS4602に保持されている全ての画像でも良いし、別途定めたフレーム数、例えば、基準画像フレームを中心に前後Mフレームの(2M+1)フレームをストロボ合成してもよい。   In the image composition step S4604, strobe image composition is performed on the plurality of image frames stored in the image holding step S4602 based on the reference frame detected in the reference image frame detection step S4603. At this time, the strobe composition may be performed on the plurality of image frames stored in the image holding step S4602 immediately after the reference image frame detection step S4603 detects the reference image. Alternatively, strobe composition may be performed on a plurality of image frames stored in the image holding step S4602 after a predetermined time has elapsed since the reference image frame was detected. The former is a case where the reference image frame is detected as the last frame of a plurality of frames to be subjected to strobe composition, and the latter is a frame in the middle of the plurality of frames to be subjected to strobe composition (for example, , The moment of impact of baseball batting or golf swing). The number of frames to be combined with the flash may be all the images held in the image holding step S4602, or a predetermined number of frames, for example, (2M + 1) frames of M frames before and after the reference image frame as a center. You may synthesize.

画像出力ステップS4605では、画像合成ステップS4604によってストロボ合成処理された合成画像フレームを、ディスプレイ上や映像ファイルとして出力する。   In the image output step S4605, the composite image frame that has been subjected to the strobe composition processing in the image composition step S4604 is output on a display or as a video file.

以上のようにしてストロボ画像合成に適合する画像フレームであるか否かを決定するストロボ画像合成条件をもとにストロボ画像合成される複数のフレームの基準となる基準画像フレームを検出することは、上記複数の画像フレームの区間指定を自動で行えるようになることを意味する。これにより、撮影からストロボ合成映像出力までの時間を短縮でき、オペレータの処理を介さずにストロボ合成出力を行うシステムを実現できる。   As described above, detecting a reference image frame that serves as a reference for a plurality of frames to be combined with a stroboscopic image based on a stroboscopic image combining condition that determines whether or not the image frame is suitable for the stroboscopic image composition. This means that the section designation of the plurality of image frames can be automatically performed. As a result, the time from shooting to strobe composite video output can be shortened, and a system that performs strobe composite output without operator processing can be realized.

(第11実施形態)図43は、本発明の第11実施形態に係るストロボ画像合成方法のフローチャートである。図43において、4701はストロボ合成画像のために入力され、被写体を表す複数の画像フレームからなる入力映像、4702は被写体の特徴点の移動軌跡を求める特徴点追跡工程、4703は得られた軌跡のパターンをもとにして被写体の運動解析を行う運動パターン判定工程、4704は運動パターン判定工程によって判定された運動パターン判定結果である。   (Eleventh Embodiment) FIG. 43 is a flowchart of a strobe image composition method according to an eleventh embodiment of the present invention. In FIG. 43, 4701 is input for a strobe composite image and is an input video composed of a plurality of image frames representing the subject, 4702 is a feature point tracking step for obtaining the movement locus of the feature point of the subject, and 4703 is the obtained locus. A motion pattern determination step for analyzing the motion of the subject based on the pattern, 4704 is a motion pattern determination result determined by the motion pattern determination step.

特徴点追跡工程4702では、入力映像4701において撮影されている被写体の特徴点を追跡する。これは、ユーザがポインティングデバイスを用いてマニュアルで行うことも可能であるし、画像の色情報を用いて自動的に特徴点を追跡することもできる。追跡には、例えば、特徴点の周囲の矩形領域についてその色分布ヒストグラムを作成し、フレームごとに色分布ヒストグラムが最も近い領域を探索するヒストグラムインタセクション法を用いることができる。入力映像が既にストロボ合成された映像である場合、複数の特徴点が1枚の画像フレームに合成されており、より特徴点の追跡が行いやすい。追跡された特徴点の例として、ゴルフスイング中でのクラブヘッド、及び、ゴルファーの頭頂部を追跡した結果を図44(a),(b)に示す。図44(b)では、図44(a)に示された被写体の頭部近傍を拡大して示すものであり、ゴルファーの頭頂部の軌跡が示されている。   In a feature point tracking step 4702, feature points of the subject photographed in the input video 4701 are tracked. This can be done manually by a user using a pointing device, or feature points can be automatically tracked using color information of an image. For tracking, for example, a histogram distribution method can be used in which a color distribution histogram is created for a rectangular area around a feature point, and an area having the closest color distribution histogram is searched for each frame. When the input video is a video that has already been stroboscopically synthesized, a plurality of feature points are synthesized into a single image frame, making it easier to track the feature points. As an example of the tracked feature points, the results of tracking the club head and the golfer's head during a golf swing are shown in FIGS. 44 (a) and 44 (b). FIG. 44B shows an enlarged view of the vicinity of the head of the subject shown in FIG. 44A, and shows the trajectory of the golfer's head.

図45(a)および(b)は運動パターン判定工程が実行される様子を示す図である。運動パターン判定工程4703では、特徴点追跡工程4702によって得られた特徴点の軌跡である特徴点追跡結果のパターンをもとにして被写体の運動解析を行う。なお、図45(a)はクラブヘッドの運動パターンを解析する場合を示し、図45(b)はゴルファーの頭頂部の運動パターンを解析する場合を示している。図45(a)および(b)において、4901および4904はそれぞれ運動パターン判定工程4703への入力であり、特徴点追跡工程4702から出力された特徴点追跡結果に相当する。4902および4905は予め登録されたパターンと特徴点追跡結果のパターンとを照合して運動パターンを判定する運動パターン判定部である。また、4903および4906は運動パターン判定部4902および4905によって判定された運動解析結果の出力例である。   45 (a) and 45 (b) are diagrams showing how the motion pattern determination step is executed. In the motion pattern determination step 4703, motion analysis of the subject is performed based on the pattern of the feature point tracking result that is the trajectory of the feature point obtained in the feature point tracking step 4702. FIG. 45A shows the case of analyzing the movement pattern of the club head, and FIG. 45B shows the case of analyzing the movement pattern of the golfer's head. 45A and 45B, reference numerals 4901 and 4904 denote inputs to the motion pattern determination step 4703, which correspond to the feature point tracking results output from the feature point tracking step 4702, respectively. Reference numerals 4902 and 4905 denote motion pattern determination units that determine a motion pattern by comparing a pattern registered in advance with a pattern of a feature point tracking result. Reference numerals 4903 and 4906 denote output examples of the motion analysis results determined by the motion pattern determination units 4902 and 4905.

ゴルフのクラブヘッドの軌跡のパターンは、プレイヤーを横から見た場合に、一般的にダウンスイングの最中よりフォロースルーのスイングの軌跡の方が大きくなってくれば、力の入っていない、クラブヘッドの重さを利用した良いスイングであるとされる。このような良いスイングを表すクラブヘッドの運動パターンや、悪いスイングを表すクラブヘッドの運動パターン、初心者にありがちなスイングを表すクラブヘッドの運動パターン等を運動パターン判定部4902にあらかじめ登録しておく。そして、運動パターンの入力4901について、登録された運動パターンのなかから最も類似するパターンを選択し、運動解析結果4903を出力する。図45(a)の例では、入力された運動パターン4901に対して「上級者」という運動解析結果4903が得られている。   The golf club head trajectory pattern is such that when the player is viewed from the side, the follow-through swing trajectory is generally larger than that during the downswing. It is said that it is a good swing using the weight of the head. Such an exercise pattern of the club head representing a good swing, an exercise pattern of a club head representing a bad swing, an exercise pattern of a club head representing a swing that is likely to be experienced by beginners, and the like are registered in the exercise pattern determination unit 4902 in advance. Then, for the exercise pattern input 4901, the most similar pattern is selected from the registered exercise patterns, and the exercise analysis result 4903 is output. In the example of FIG. 45A, a motion analysis result 4903 “advanced” is obtained for the input motion pattern 4901.

また、ゴルファーの頭頂部の軌跡のパターンは、プレイヤーを横から見た場合、横及び縦方向へのブレが少ない方が上半身がスウェーしておらず背骨の軸の安定した良いスイングであるとされる。   In addition, when looking at the player from the side, the trajectory pattern of the golfer's head is considered to be a stable swing with a stable spine axis because the upper body is not swayed when there is less blur in the horizontal and vertical directions. The

上級者のスイングでは、テイクバックで右足に体重が移動した状態(図45(b)中の左端へ軌跡が移動している状態4907)から、ボールを打つインパクトに向けて左足に体重が移動し(図中4908のように右側へ向けて軌跡が移動)、インパクトの直前ではクラブヘッドを加速させるために瞬間的にクラブヘッドと腕が引っ張り合い(このとき、頭頂部の軌跡は再び図中の左側へ向けて移動)、ビハインドボールの状態4909でインパクトを迎える。インパクト後は、自然な体重移動で左足に体重が移動していく(4910)。これが上級者のスイングにおける頭頂部の運動パターンである。   In the swing of an advanced player, the weight moves to the left foot toward the impact of hitting the ball from the state where the weight is moved to the right foot by the takeback (the state where the locus is moved to the left end in FIG. 45B). (The trajectory moves to the right as 4908 in the figure), and immediately before the impact, the club head and the arm are momentarily pulled to accelerate the club head (at this time, the trajectory at the top of the head again in the figure) Move to the left), and hit the impact with Behind Ball 4909. After the impact, the body weight moves to the left foot by natural weight shift (4910). This is the movement pattern of the top of the head in the swing of the advanced player.

上述のクラブヘッドの場合と同様に、上級者のスイングにおける頭頂部の運動パターンや、悪いスイングを表す頭頂部の運動パターン、初心者にありがちなスイングを表す頭頂部の運動パターン等を運動パターン判定部4902にあらかじめ登録しておく。そして、運動パターンの入力4904について、登録された運動パターンのなかから最も類似するパターンを選択し、運動解析結果4906を出力する。図45(b)の例では、入力された運動パターン4904に対して「上級者」という運動解析結果4903が得られている。   As in the case of the club head described above, an exercise pattern determination unit is used for an exercise pattern of the top of a senior, a movement pattern of the top of the head indicating a bad swing, an exercise pattern of the top of the head representing a swing that is likely to be a beginner. Register in advance in 4902. Then, for the motion pattern input 4904, the most similar pattern is selected from the registered motion patterns, and a motion analysis result 4906 is output. In the example of FIG. 45B, a motion analysis result 4903 “advanced” is obtained for the input motion pattern 4904.

以上説明した本実施形態によれば、動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成方法において、被写体の特徴点の移動軌跡を求め、得られた軌跡のパターンをもとにして被写体の運動解析を行うことにより、ストロボ合成画像を視覚的に出力するのみならず、運動技術の向上等につながる運動解析結果を共に出力することが可能になる。   According to the present embodiment described above, in an image composition method for generating a strobe composite image by superimposing a plurality of frames of a moving image, a movement locus of a feature point of a subject is obtained, and the obtained locus pattern is used as a basis. By performing the motion analysis of the subject, it is possible to output not only the strobe composite image visually but also the motion analysis result that leads to the improvement of the motion technique and the like.

(第12実施形態)図46は、本発明の第12実施形態に係るストロボ画像合成方法のフローチャートである。図46において、S5001は撮影中の画像フレームからリアルタイムで物体領域を切り出す物体領域切り出し工程、S5002はストロボ合成を行う基準となる画像フレームを指定する基準フレーム指定工程、S5003は指定された基準フレームと切り出されている物体領域を用いてストロボ合成を行う画像合成工程である。   (Twelfth Embodiment) FIG. 46 is a flowchart of a strobe image composition method according to a twelfth embodiment of the present invention. In FIG. 46, S5001 is an object region extraction step for extracting an object region in real time from an image frame being shot, S5002 is a reference frame specification step for specifying an image frame serving as a reference for strobe composition, and S5003 is a specified reference frame. This is an image composition process for performing strobe composition using a cut object region.

まず物体領域切り出し工程S5001では、入力された画像がストロボ合成処理を行うフレームであるか否かとは無関係に、常にリアルタイムで物体領域を切り出す。基準フレーム指定工程S5002においては、例えばユーザのマニュアル指定、あるいは第10実施形態で説明したような自動的な方法によってストロボ合成を行う基準となる画像フレームを指定する。画像合成工程S5003では、指定された基準フレームと切り出されている物体領域を用いてストロボ合成を行う。上記実施形態でこれまでに説明したストロボ画像合成方法では、ストロボ合成を行う基準となる画像フレームが指定された後に、ストロボ合成の対象となる複数フレームから物体領域を切り出してストロボ合成を行っていた。これには、出力映像範囲決定から実際の映像出力までに物体領域切り出し処理時間も加算されるという問題がある。しかし、本実施形態で説明するように、常にリアルタイムで物体領域切り出し処理を行う場合、この問題を解決することができる。   First, in the object region cutout step S5001, the object region is always cut out in real time regardless of whether or not the input image is a frame for which the strobe composition processing is performed. In the reference frame specifying step S5002, for example, a user's manual specification or an image frame serving as a reference for strobe composition is specified by an automatic method as described in the tenth embodiment. In the image composition step S5003, strobe composition is performed using the designated reference frame and the clipped object region. In the strobe image compositing method described so far in the above embodiment, after specifying an image frame as a reference for strobe compositing, the object region is cut out from a plurality of frames to be strobe composited to perform strobe compositing. . This has a problem that the object region cut-out processing time is also added from the determination of the output video range to the actual video output. However, as described in the present embodiment, this problem can be solved when the object region cutout process is always performed in real time.

動画像の複数のフレームを重ね合わせてストロボ合成画像を生成するストロボ画像合成方法において、撮影中の画像フレームからリアルタイムで物体領域を切り出しながら、ストロボ合成を行う基準となる画像フレームの指定を待つ。基準画像フレームが指定されたら、この指定された基準フレーム画像と切り出されている物体領域とを用いてストロボ合成を行う。したがって、撮影からストロボ合成映像出力までの時間を大幅に短縮できる。   In a stroboscopic image synthesis method for generating a stroboscopic image by superimposing a plurality of frames of moving images, an object region is cut out in real time from an image frame being shot, and an image frame serving as a reference for stroboscopic synthesis is awaited. When the reference image frame is designated, strobe composition is performed using the designated reference frame image and the clipped object region. Therefore, the time from shooting to strobe composite video output can be greatly shortened.

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

本発明の第1実施形態に係る画像合成装置の概略構成を示すブロック図1 is a block diagram showing a schematic configuration of an image composition device according to a first embodiment of the present invention. フレームの重ね合わせの様子を示す図Diagram showing how frames are superimposed 動きが遅い物体画像から合成したストロボ合成画像を示す図Figure showing a strobe composite image synthesized from a slow-moving object image 一部フレームを間引いて生成したストロボ合成画像を示す図Diagram showing strobe composite image generated by thinning out some frames 1フレームを指定して重ね合わせ方法を変更する一連の手続きを示すフローチャートFlow chart showing a series of procedures for changing the superposition method by designating one frame スライダによる注目点の選択インターフェースの一例を示す図The figure which shows an example of the attention point selection interface by a slider 合成開始点の指定のためにユーザに提示する画面の一例を示す図The figure which shows an example of the screen shown to a user for the designation | designated of a synthetic | combination start point 第2実施形態に係り、対象範囲を指定して重ね合わせ方法を変更する一連の手続きを示すフローチャートA flow chart showing a series of procedures for specifying a target range and changing a superposition method according to the second embodiment. 開始点および終了点の2つのフレームの選択インターフェースの一例を示す図The figure which shows an example of the selection interface of two frames of a start point and an end point 図9のインターフェースにおけるスライダ操作の様子を示す図The figure which shows the mode of the slider operation in the interface of FIG. 図9のインターフェースにおける終了点設定の様子を示す図The figure which shows the mode of the end point setting in the interface of FIG. 図9のインターフェースの詳細構成を示す図The figure which shows the detailed structure of the interface of FIG. 図12のインターフェースによる範囲指定を説明するための図であって、注目点を開始点まで移動させる様子を示す図It is a figure for demonstrating range specification by the interface of FIG. 12, Comprising: The figure which shows a mode that an attention point is moved to a starting point 範囲指定における開始点の決定を示す図Diagram showing the determination of the start point in range specification 範囲指定において注目点を終了点まで移動させる様子を示す図The figure which shows a mode that an attention point is moved to an end point in range specification 範囲指定における終了点の決定を示す図Diagram showing end point determination in range specification 範囲指定における2つ目の開始点の設定を示す図The figure which shows the setting of the 2nd starting point in range specification 範囲指定における2つ目の開始点の設定後を示す図The figure which shows after the setting of the 2nd starting point in range specification 範囲指定における2つ目の終了点の選択を示す図Diagram showing selection of second end point in range specification 重ね合わせ方の設定を記憶するデータ内容の一例を示す図The figure which shows an example of the data content which memorize | stores the setting of how to superimpose 重ね合わせ方の変更例を示す図Diagram showing an example of how to superimpose 第3実施形態に係るプレビュー提示インターフェースを説明するための図であって、一連の入力映像フレームを示す図FIG. 10 is a diagram for explaining a preview presentation interface according to the third embodiment and shows a series of input video frames. 手動で切り出しを行うフレームの一枚を示す図Diagram showing one frame that is manually cut out 図23のフレームの手動切り出し結果を示す図The figure which shows the manual cutting result of the flame | frame of FIG. 図25のフレームを含むストロボ合成画像の生成例を示す図The figure which shows the production | generation example of the strobe synthetic | combination image containing the flame | frame of FIG. プレビュー提示インターフェースの一例を示す図Figure showing an example of the preview presentation interface プレビュー提示インターフェースによる修正後を示す図The figure which shows after correction by preview presentation interface 従来のクロマキー法を説明するための図Diagram for explaining the conventional chroma key method 入力映像のフレームを示す図Diagram showing input video frame 3つのレイヤを複製した後の映像フレームを示す図The figure which shows the video frame after duplicating three layers レイヤを時間方向にずらした映像フレームを示す図Diagram showing video frames with layers shifted in the time direction 図31の各レイヤの1フレーム目の画像を示す図The figure which shows the image of the 1st frame of each layer of FIG. 図31の1フレーム目を重ね合わせたストロボ合成画像を示す図The figure which shows the strobe composite image which overlap | superposed the 1st frame of FIG. 本発明の第4実施形態に係るストロボ画像合成方法のフローチャートFlowchart of Strobe Image Composition Method According to Fourth Embodiment of the Present Invention 本発明の第5実施形態に係るストロボ画像合成方法のフローチャートFlowchart of Strobe Image Composition Method According to Fifth Embodiment of the Present Invention 所望のストロボ合成画像をユーザに選択させるため用いられるユーザインタフェースの一例を示す図The figure which shows an example of the user interface used in order to make a user select a desired strobe synthetic | combination image. 本発明の第8実施形態に係るストロボ画像合成方法のフローチャートFlowchart of Strobe Image Composition Method According to Eighth Embodiment of the Invention 本発明の第9実施形態に係るストロボ画像合成装置の概略構成を示すブロック図The block diagram which shows schematic structure of the flash image synthesizing | combining apparatus which concerns on 9th Embodiment of this invention. 本発明の第6実施形態に係るストロボ画像合成方法のフローチャートFlowchart of Strobe Image Composition Method According to Sixth Embodiment of the Present Invention 本発明の第7実施形態に係るストロボ画像合成方法のフローチャートFlowchart of Strobe Image Composition Method According to Seventh Embodiment of the Present Invention 正解データ用画像から領域を自動的に切出す処理の一例を示す図The figure which shows an example of the process which extracts an area | region automatically from the image for correct data 本発明の第10実施形態に係るストロボ画像合成方法のフローチャートA flowchart of a strobe image composition method according to the tenth embodiment of the present invention. 本発明の第11実施形態に係るストロボ画像合成方法のフローチャートThe flowchart of the strobe image composition method according to the eleventh embodiment of the present invention. 特徴点追跡結果の例を示す図Figure showing an example of feature point tracking results 運動パターン判定工程が実行される様子を示す図The figure which shows a mode that an exercise | movement pattern determination process is performed 本発明の第12実施形態に係るストロボ画像合成方法の処理の流れを示すフローチャートThe flowchart which shows the flow of a process of the strobe image composition method concerning 12th Embodiment of this invention.

符号の説明Explanation of symbols

1…表示装置、2…中央処理装置、3…入力装置、4…主記憶装置、5…ストロボ画像合成プログラム、6、7…データ   DESCRIPTION OF SYMBOLS 1 ... Display apparatus, 2 ... Central processing unit, 3 ... Input device, 4 ... Main memory, 5 ... Strobe image composition program, 6, 7 ... Data

Claims (3)

動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成方法において、
被写体の特徴点を入力するステップと、
前記ストロボ合成画像における前記特徴点の移動軌跡を追跡して軌跡パターンを得る特徴点追跡ステップと、
得られた前記軌跡のパターンを表示するステップとを具備する画像合成方法。
In an image composition method for generating a strobe composite image by superimposing a plurality of frames of moving images,
Inputting feature points of the subject;
A feature point tracking step of tracking a movement trajectory of the feature point in the strobe composite image to obtain a trajectory pattern;
And a step of displaying the obtained pattern of the trajectory.
動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成装置において、
被写体の特徴点を入力する入力手段と、
前記ストロボ合成画像における前記被写体の特徴点の移動軌跡を追跡して軌跡パターンを得る特徴点追跡手段と、
得られた前記軌跡のパターンを表示する表示手段とを具備する画像合成装置。
In an image composition device that generates a strobe composite image by superimposing a plurality of frames of moving images,
An input means for inputting feature points of the subject;
Feature point tracking means for tracking the movement trajectory of the feature point of the subject in the strobe composite image to obtain a trajectory pattern;
An image synthesizing apparatus comprising display means for displaying the obtained locus pattern.
動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成プログラムにおいて、
被写体の特徴点を入力する手順と、
前記ストロボ合成画像における前記被写体の特徴点の移動軌跡を追跡して軌跡パターンを得る特徴点追跡手順と、
得られた前記軌跡のパターンを表示する軌跡パターン表示手順とをコンピュータに実行させるための画像合成プログラム。
In an image composition program that creates a strobe composite image by superimposing multiple frames of moving images,
The procedure for inputting the feature points of the subject,
A feature point tracking procedure for tracking a movement trajectory of the feature point of the subject in the strobe composite image to obtain a trajectory pattern;
An image synthesis program for causing a computer to execute a trajectory pattern display procedure for displaying the obtained trajectory pattern.
JP2007122439A 2002-09-30 2007-05-07 Image composition method, apparatus, and program Abandoned JP2007259477A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007122439A JP2007259477A (en) 2002-09-30 2007-05-07 Image composition method, apparatus, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002288014 2002-09-30
JP2007122439A JP2007259477A (en) 2002-09-30 2007-05-07 Image composition method, apparatus, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003068968A Division JP4068485B2 (en) 2002-09-30 2003-03-13 Image composition method, image composition apparatus, and image composition program

Publications (1)

Publication Number Publication Date
JP2007259477A true JP2007259477A (en) 2007-10-04

Family

ID=38633149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007122439A Abandoned JP2007259477A (en) 2002-09-30 2007-05-07 Image composition method, apparatus, and program

Country Status (1)

Country Link
JP (1) JP2007259477A (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009164903A (en) * 2008-01-07 2009-07-23 Furyu Kk Photographic sticker forming device and method, and program
EP2157549A2 (en) 2008-08-18 2010-02-24 Sony Corporation Image processing apparatus, image processing method, and program
JP2010066866A (en) * 2008-09-09 2010-03-25 Casio Comput Co Ltd Image processor, method for processing image, and program
JP2010103878A (en) * 2008-10-27 2010-05-06 Sony Corp Image processing apparatus, image processing method, and program
JP2012003503A (en) * 2010-06-16 2012-01-05 Canon Inc Image processing device, method for controlling the same, and program
JP2012129669A (en) * 2010-12-14 2012-07-05 Casio Comput Co Ltd Image processing system, painterly conversion method and painterly conversion program
CN104125404A (en) * 2014-08-06 2014-10-29 深圳市中兴移动通信有限公司 Object motion track shooting method and system
JP2016163089A (en) * 2015-02-27 2016-09-05 株式会社Jvcケンウッド Image connection device, image connection method, and image connection program
JP2016535552A (en) * 2014-08-29 2016-11-10 シャオミ・インコーポレイテッド Method and apparatus for obtaining a photograph
WO2019167300A1 (en) 2018-03-01 2019-09-06 Sony Corporation Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method
WO2020105422A1 (en) 2018-11-20 2020-05-28 Sony Corporation Image processing device, image processing method, program, and display device
WO2020121844A1 (en) 2018-12-12 2020-06-18 Sony Corporation Image processing device, image processing method, and program
CN113316804A (en) * 2019-01-16 2021-08-27 索尼集团公司 Image processing apparatus, image processing method, and program
CN114697558A (en) * 2020-12-28 2022-07-01 合肥君正科技有限公司 Method for inhibiting wide dynamic range image stroboflash
US11557087B2 (en) 2018-12-19 2023-01-17 Sony Group Corporation Image processing apparatus and image processing method for generating a strobe image using a three-dimensional model of an object
US11995784B2 (en) 2019-04-18 2024-05-28 Sony Group Corporation Image processing device and image processing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0312179A (en) * 1989-06-12 1991-01-21 Mizuno Corp Hit ball diagnosing device
JPH08182786A (en) * 1994-12-27 1996-07-16 Shinkiyou Denshi Kk Picture image analyzer of moving body
JPH09215807A (en) * 1996-02-14 1997-08-19 Fujikura Rubber Ltd Golf club head swing action-measuring method
JPH11308527A (en) * 1998-04-22 1999-11-05 Nippon Telegr & Teleph Corp <Ntt> Image sequence parallel display method and system and recording medium recording image sequence parallel display program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0312179A (en) * 1989-06-12 1991-01-21 Mizuno Corp Hit ball diagnosing device
JPH08182786A (en) * 1994-12-27 1996-07-16 Shinkiyou Denshi Kk Picture image analyzer of moving body
JPH09215807A (en) * 1996-02-14 1997-08-19 Fujikura Rubber Ltd Golf club head swing action-measuring method
JPH11308527A (en) * 1998-04-22 1999-11-05 Nippon Telegr & Teleph Corp <Ntt> Image sequence parallel display method and system and recording medium recording image sequence parallel display program

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009164903A (en) * 2008-01-07 2009-07-23 Furyu Kk Photographic sticker forming device and method, and program
EP2157549A2 (en) 2008-08-18 2010-02-24 Sony Corporation Image processing apparatus, image processing method, and program
JP2010066866A (en) * 2008-09-09 2010-03-25 Casio Comput Co Ltd Image processor, method for processing image, and program
JP2010103878A (en) * 2008-10-27 2010-05-06 Sony Corp Image processing apparatus, image processing method, and program
JP4623201B2 (en) * 2008-10-27 2011-02-02 ソニー株式会社 Image processing apparatus, image processing method, and program
US9106872B2 (en) 2008-10-27 2015-08-11 Sony Corporation Image processing apparatus, image processing method, and program
JP2012003503A (en) * 2010-06-16 2012-01-05 Canon Inc Image processing device, method for controlling the same, and program
JP2012129669A (en) * 2010-12-14 2012-07-05 Casio Comput Co Ltd Image processing system, painterly conversion method and painterly conversion program
CN104125404A (en) * 2014-08-06 2014-10-29 深圳市中兴移动通信有限公司 Object motion track shooting method and system
WO2016019817A1 (en) * 2014-08-06 2016-02-11 努比亚技术有限公司 Object motion trajectory photographing method and system, and computer storage medium
JP2016535552A (en) * 2014-08-29 2016-11-10 シャオミ・インコーポレイテッド Method and apparatus for obtaining a photograph
JP2016163089A (en) * 2015-02-27 2016-09-05 株式会社Jvcケンウッド Image connection device, image connection method, and image connection program
WO2019167300A1 (en) 2018-03-01 2019-09-06 Sony Corporation Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method
KR20200116947A (en) 2018-03-01 2020-10-13 소니 주식회사 Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method
JP2019153863A (en) * 2018-03-01 2019-09-12 ソニー株式会社 Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method
JP7119425B2 (en) 2018-03-01 2022-08-17 ソニーグループ株式会社 Image processing device, encoding device, decoding device, image processing method, program, encoding method and decoding method
US11468653B2 (en) 2018-11-20 2022-10-11 Sony Corporation Image processing device, image processing method, program, and display device
KR20210090180A (en) 2018-11-20 2021-07-19 소니그룹주식회사 Image processing device, image processing method, program, and display device
CN113170233A (en) * 2018-11-20 2021-07-23 索尼集团公司 Image processing device, image processing method, program, and display device
WO2020105422A1 (en) 2018-11-20 2020-05-28 Sony Corporation Image processing device, image processing method, program, and display device
WO2020121844A1 (en) 2018-12-12 2020-06-18 Sony Corporation Image processing device, image processing method, and program
US11557087B2 (en) 2018-12-19 2023-01-17 Sony Group Corporation Image processing apparatus and image processing method for generating a strobe image using a three-dimensional model of an object
CN113316804A (en) * 2019-01-16 2021-08-27 索尼集团公司 Image processing apparatus, image processing method, and program
US11995784B2 (en) 2019-04-18 2024-05-28 Sony Group Corporation Image processing device and image processing method
CN114697558A (en) * 2020-12-28 2022-07-01 合肥君正科技有限公司 Method for inhibiting wide dynamic range image stroboflash
CN114697558B (en) * 2020-12-28 2023-10-31 合肥君正科技有限公司 Method for inhibiting stroboscopic effect of wide dynamic range image

Similar Documents

Publication Publication Date Title
JP4068485B2 (en) Image composition method, image composition apparatus, and image composition program
JP2007259477A (en) Image composition method, apparatus, and program
JP4131929B2 (en) Object image composition method
JP4626668B2 (en) Image processing apparatus, display control method, program, and recording medium
EP3528504A1 (en) Image processing apparatuses and methods
JP5526727B2 (en) Image processing apparatus, image processing method, and program
JP4646209B2 (en) Practical skill analysis system and program
US20220180570A1 (en) Method and device for displaying data for monitoring event
US9747714B2 (en) Method, device and computer software
JP2004164563A (en) Image analysis method, image analysis apparatus, image analysis program
JP4264368B2 (en) Practical skill analysis system and program
JP2011139282A (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2002248188A (en) Multimedia analyzing system and its usage
JP5874476B2 (en) Image processing apparatus, image processing method, and program
JP2804949B2 (en) Moving image processing method
JP3929811B2 (en) Image composition apparatus and image composition method
JP3802322B2 (en) Method and apparatus for extracting object in moving image
KR100279681B1 (en) Sports visual effect processor
JPH10341431A (en) Motion component detection processor for object and medium storing processing program therefor
WO2021187193A1 (en) Ball game footage analysis device, ball game footage analysis system, ball game footage analysis method, and computer program
JP2002223405A (en) Video recording and reproducing device, and video recording and reproducing program
KR20050079893A (en) System for training of sports posture
JP3535736B2 (en) Image sequence parallel display method and apparatus, and recording medium recording image sequence parallel display program
JP3629558B2 (en) Image practice device
JP2003141505A (en) Image synthesizing device and program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091104

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20091127