JP2018206142A - Camera work determining apparatus and program - Google Patents

Camera work determining apparatus and program Download PDF

Info

Publication number
JP2018206142A
JP2018206142A JP2017111882A JP2017111882A JP2018206142A JP 2018206142 A JP2018206142 A JP 2018206142A JP 2017111882 A JP2017111882 A JP 2017111882A JP 2017111882 A JP2017111882 A JP 2017111882A JP 2018206142 A JP2018206142 A JP 2018206142A
Authority
JP
Japan
Prior art keywords
camera work
image
inter
motion
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017111882A
Other languages
Japanese (ja)
Other versions
JP6990998B2 (en
Inventor
貴裕 望月
Takahiro Mochizuki
貴裕 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2017111882A priority Critical patent/JP6990998B2/en
Publication of JP2018206142A publication Critical patent/JP2018206142A/en
Application granted granted Critical
Publication of JP6990998B2 publication Critical patent/JP6990998B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

To determine camera work in detail at a high speed independently of a video encoding system.SOLUTION: A camera work determining apparatus 1 has a frame image sampling unit 10 which samples program video and generates an image pair P*[i] formed of frame images P[i],P'[i]. A unit 11 for determining camera work between images determines a kind C[i] of a camera work between a pair of images based on motion data of only a divided background region Rn between two frame images P[i],P'[i], for the image pair P*[i], and calculates a motion amount between images dP[i]. A camera work determining unit 12 determines that a period in which there are successive image pairs P*[i] of a predetermined number or more of the same kind C[i] of a camera work between images is a camera work period, specifies a start frame number T[n], an end frame number T[], and the camera work kind C[] for the camera work period, calculates a camera motion amount d[], and outputs these data as a camera work data.SELECTED DRAWING: Figure 1

Description

本発明は、コンピュータ及びハードディスクを用いた映像処理分野において、映像のカメラワークを判定する装置及びプログラムに関する。   The present invention relates to an apparatus and a program for determining video camerawork in the field of video processing using a computer and a hard disk.

映像のズームイン、パンニング等の「カメラワーク」は、映像の制作者が視聴者に被写体またはイベント内容を強く印象付けたい場合に用いられる傾向がある。したがって、カメラワークに関する情報は、見たい場面を検索する作業、注目すべき場面をセレクトしてダイジェスト映像を作る作業等を効率的に進めるために、重要な手掛かりとなる。   “Camera work” such as zooming in and panning video tends to be used when the video producer wants to make a strong impression of the subject or event content to the viewer. Therefore, information relating to camera work is an important clue for efficiently advancing operations such as searching for a desired scene and selecting a notable scene to create a digest video.

カメラワークを自動的に判定する技術としては、例えば特許文献１，２，３の手法が提案されている。   As techniques for automatically determining camera work, for example, methods of Patent Documents 1, 2, and 3 have been proposed.

特許文献１の手法は、映像圧縮符号化データから動きベクトルを含む符号化情報を抽出し、動きベクトルからカメラワークまたは被写体と無関係な動きベクトルをノイズとして除去し、ノイズ除去後の動きベクトルからカメラワークを判定するものである。   The method of Patent Document 1 extracts encoding information including a motion vector from video compression encoded data, removes a motion vector unrelated to camera work or a subject from the motion vector as noise, and uses a camera from the motion vector after noise removal. The work is judged.

特許文献２の手法は、フレーム内の右端、左端等の外縁ブロックについて、フレーム内予測とフレーム間予測との間の差に基づいて、時間方向の相関と空間方向の相関との大小関係を判定し、パンまたはチルトのカメラワークを判定するものである。   The method of Patent Document 2 determines the magnitude relationship between the correlation in the temporal direction and the correlation in the spatial direction based on the difference between the intra-frame prediction and the inter-frame prediction for the outer edge blocks such as the right end and the left end in the frame. The camera work for panning or tilting is determined.

特許文献３の手法は、フレームの局所領域を空間微分及び時間微分することで、その移動方向を検出し、局所領域の移動方向からカメラワークを判定するものである。   The method of Patent Document 3 detects the moving direction by spatially and temporally differentiating the local region of the frame, and determines the camera work from the moving direction of the local region.

特開平１０−１１２８６４号公報JP-A-10-112864 特開２００８−２２５５９１号公報JP 2008-225591 A 特開平１０−２４３３４０号公報JP-A-10-243340

前述の特許文献１，２の手法は、ＭＰＥＧ等の特定の符号化方式にて生成された映像を対象とするものであり、汎用性が低い。また、前述の特許文献３の手法は、映像の符号化方式に依存しないものであり、汎用性が高い。しかし、いずれの手法も、連続したフレーム画像間の動きデータを求める必要があり、処理時間が増大する可能性がある。   The methods described in Patent Documents 1 and 2 are intended for videos generated by a specific encoding method such as MPEG, and have low versatility. Further, the method of Patent Document 3 described above does not depend on the video encoding method, and is highly versatile. However, in any of the methods, it is necessary to obtain motion data between consecutive frame images, which may increase the processing time.

また、特許文献１，３の手法は、画像全体から求めた動きデータを用いるため、被写体の動きがノイズとなり、カメラワークの判定精度が低下する可能性がある。これに対し、特許文献２の手法は、画像の右端、左端等の外縁ブロックの動きデータを用いるため、特許文献１，３の手法と異なり、カメラワークの判定精度はさほど低下しない。   In addition, since the methods of Patent Documents 1 and 3 use motion data obtained from the entire image, there is a possibility that the motion of the subject becomes noise and the camerawork determination accuracy is lowered. On the other hand, since the technique of Patent Document 2 uses motion data of outer edge blocks such as the right edge and the left edge of the image, unlike the techniques of Patent Documents 1 and 3, the accuracy of camera work determination does not decrease so much.

しかしながら、特許文献２の手法では、パンまたはチルトのカメラワークのみを判定するものであり、ズームインまたはズームアウトのカメラワークを判定することができない。特許文献２の手法により判定されるカメラワークは、所定の種類に限定されていることから、カメラワークの情報を用いて所望の場面を検索する作業等を進めるのに効率が悪く、不十分であるという問題があった。   However, the method of Patent Document 2 determines only pan or tilt camera work, and cannot determine zoom-in or zoom-out camera work. Since the camera work determined by the method of Patent Document 2 is limited to a predetermined type, it is inefficient and inadequate for advancing the operation of searching for a desired scene using camera work information. There was a problem that there was.

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定可能なカメラワーク判定装置及びプログラムを提供することにある。   Accordingly, the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a camera work determination device and a program capable of determining camera work at high speed and in detail without depending on a video encoding method. It is to provide.

前記課題を解決するために、請求項１のカメラワーク判定装置は、映像からフレーム画像をサンプリングし、所定間隔毎に画像ペアを生成するフレーム画像サンプリング部と、前記フレーム画像サンプリング部により生成された前記画像ペアの背景部分を分割した複数の背景領域のそれぞれについて、動きデータを生成し、前記複数の背景領域の動きデータに基づいて、前記画像ペアのカメラワークの種類を示す画像間カメラワーク種を判定する画像間カメラワーク判定部と、前記画像間カメラワーク判定部により判定された前記画像ペアの画像間カメラワーク種に基づいて、前記映像のカメラワークを判定するカメラワーク判定部と、を備えたことを特徴とする。   In order to solve the above-mentioned problem, the camerawork determination device according to claim 1 is generated by a frame image sampling unit that samples a frame image from a video and generates an image pair at predetermined intervals, and the frame image sampling unit. For each of a plurality of background regions obtained by dividing the background portion of the image pair, motion data is generated, and based on the motion data of the plurality of background regions, an inter-image camera work type indicating the camera work type of the image pair An inter-image camerawork determination unit, and a camerawork determination unit that determines the video camerawork based on the inter-image camerawork type of the image pair determined by the inter-image camerawork determination unit. It is characterized by having.

また、請求項２のカメラワーク判定装置は、請求項１に記載のカメラワーク判定装置において、前記カメラワーク判定部が、同じ前記画像間カメラワーク種が継続する前記画像ペアの数が所定数以上である場合、その継続区間をカメラワーク区間として判定し、当該カメラワーク区間における前記画像ペアの画像間カメラワーク種を当該カメラワーク区間のカメラワーク種として出力する、ことを特徴とする。   The camera work determination device according to claim 2 is the camera work determination device according to claim 1, wherein the camera work determination unit is configured such that the number of the image pairs in which the same inter-image camera work type continues is a predetermined number or more. In this case, the continuation interval is determined as a camera work interval, and the inter-image camera work type of the image pair in the camera work interval is output as the camera work type of the camera work interval.

また、請求項３のカメラワーク判定装置は、請求項１または２に記載のカメラワーク判定装置において、前記画像間カメラワーク判定部が、前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎の前記動きデータに基づいて、前記動きデータが最大となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の外側から中央へ向いている場合、前記画像ペアの画像間カメラワーク種をズームインとして判定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の中央から外側へ向いている場合、前記画像ペアの画像間カメラワーク種をズームアウトとして判定する、ことを特徴とする。   The camera work determination device according to claim 3 is the camera work determination device according to claim 1 or 2, wherein the inter-image camera work determination unit outputs a plurality of motion data for each of the plurality of background regions. Based on the motion data for each direction, the direction in which the motion data is maximized is specified, the direction is set as the main direction of the background region, and each of the plurality of background regions is classified. If the main direction of the image is directed from the outside to the center of the frame image, the inter-image camerawork type of the image pair is determined to be zoomed in, and the main direction for each of the plurality of background regions is the frame When the image is directed from the center to the outside, the inter-image camera work type of the image pair is determined as zoom-out.

また、請求項４のカメラワーク判定装置は、請求項１から３までのいずれか一項に記載のカメラワーク判定装置において、前記画像間カメラワーク判定部が、前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎に前記動きデータの数を積算することで、前記複数の背景領域における前記方向毎の動きヒストグラムを求め、前記動きデータ及び前記動きヒストグラムに基づいて、前記複数の背景領域における前記方向毎の前記動きデータの平均値を求める背景領域動きヒストグラム算出部と、前記複数の背景領域のそれぞれについて、前記背景領域動きヒストグラム算出部により求めた前記動きヒストグラムが最大値となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記背景領域動きヒストグラム算出部により求めた、当該方向の前記動きデータの平均値を、当該背景領域の主方向動き量に設定し、前記複数の背景領域のそれぞれについての前記主方向及び前記主方向動き量に基づいて、前記画像ペアの画像間カメラワーク種、及び前記画像ペアの動き量を示す画像間動き量を求めるカメラワーク判定及び動き量算出部と、を備えたことを特徴とする。   Moreover, the camera work determination apparatus according to claim 4 is the camera work determination apparatus according to any one of claims 1 to 3, wherein the inter-image camera work determination unit is configured for each of the plurality of background regions. The motion data is classified into a plurality of directions, and a motion histogram for each direction in the plurality of background regions is obtained by accumulating the number of motion data for each direction, and based on the motion data and the motion histogram A background region motion histogram calculation unit for obtaining an average value of the motion data for each direction in the plurality of background regions, and the motion histogram obtained by the background region motion histogram calculation unit for each of the plurality of background regions. The direction in which the maximum value is specified, the direction is set as the main direction of the background area, and the background area The average value of the motion data in the direction determined by the histogram calculation unit is set as the main direction motion amount of the background region, and the main direction and the main direction motion amount for each of the plurality of background regions are set. And a camera work determination and motion amount calculation unit for obtaining an inter-image motion amount of the image pair and an inter-image motion amount indicating the motion amount of the image pair.

また、請求項５のカメラワーク判定装置は、請求項４に記載のカメラワーク判定装置において、前記カメラワーク判定部が、同じ前記画像間カメラワーク種が継続する前記画像ペアの数が所定数以上である場合、その継続区間を前記カメラワーク区間として判定するカメラワーク区間判定部と、前記カメラワーク区間判定部により判定された前記カメラワーク区間について、当該カメラワーク区間の開始時点に対応する前記画像ペアの開始フレーム番号、及び当該カメラワーク区間の終了時点に対応する前記画像ペアの終了フレーム番号を特定し、当該カメラワーク区間に対応する前記画像ペアのカメラワーク種を当該カメラワーク区間のカメラワーク種として特定し、当該カメラワーク区間に対応する全ての前記画像ペアの画像間動き量を加算し、加算結果を当該カメラワーク区間のカメラ動き量として求め、前記カメラワーク区間の前記開始フレーム番号、前記終了フレーム番号、前記カメラワーク種及び前記カメラ動き量をカメラワークデータとして出力するカメラワークデータ生成部と、を備えたことを特徴とする。   The camera work determination device according to claim 5 is the camera work determination device according to claim 4, wherein the camera work determination unit is configured such that the number of the image pairs in which the same inter-image camera work type continues is a predetermined number or more. If it is, the image corresponding to the start time of the camera work section for the camera work section determined by the camera work section determination unit and the camera work section determination unit that determines the continuation section as the camera work section The start frame number of the pair and the end frame number of the image pair corresponding to the end time of the camera work section are specified, and the camera work type of the image pair corresponding to the camera work section is determined as the camera work of the camera work section. Specific as a seed, and the inter-image movement amount of all the image pairs corresponding to the camera work section. Camera work for calculating and adding the result as the camera motion amount of the camera work section, and outputting the start frame number, the end frame number, the camera work type and the camera motion amount of the camera work section as camera work data And a data generation unit.

さらに、請求項６のプログラムは、コンピュータを、請求項１から５までのいずれか一項に記載のカメラワーク判定装置として機能させることを特徴とする。   Furthermore, a program according to a sixth aspect causes a computer to function as the camera work determination device according to any one of the first to fifth aspects.

以上のように、本発明によれば、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定することが可能となる。   As described above, according to the present invention, it is possible to determine camera work at high speed and in detail without depending on the video encoding method.

本発明の実施形態によるカメラワーク判定装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the camera work determination apparatus by embodiment of this invention. フレーム画像サンプリング部により番組映像から画像ペアP*[i]が生成される処理の概念図を示す。The conceptual diagram of the process by which the image pair P * [i] is produced | generated from a program image | video by a frame image sampling part is shown. 画像間カメラワーク判定部の構成例及び入出力データ例を示すブロック図である。It is a block diagram which shows the structural example and example of input-output data of a camera work determination part between images. 背景領域Rnの例を説明する図である。Is a diagram illustrating an example of a background region R n. 方向kの例を説明する図である。It is a figure explaining the example of the direction k. 画像ペアP*[i]の背景領域Rnにおける主方向番号CR[i,n]及び主方向動き量dR[i,n]の例を説明する図である。It is a figure explaining the example of main direction number C R [i, n] and main direction motion amount d R [i, n] in background field R n of image pair P * [i]. 画像間カメラワーク種CP[i]及び画像間動き量dP[i]を求めるカメラワーク判定及び動き量算出部の処理例を示すフローチャートである。10 is a flowchart illustrating a processing example of a camera work determination and motion amount calculation unit for obtaining an inter-image camera work type C P [i] and an inter-image motion amount d P [i]. 主方向番号CR[i,n]及び画像間カメラワーク種CP[i]の関係を説明する図である。It is a figure explaining the relationship between main direction number C R [i, n] and the camera work kind between images C P [i]. カメラワーク判定部の構成例及び入出力データ例を示すブロック図である。It is a block diagram which shows the structural example and input / output data example of a camera work determination part. カメラワーク判定部の処理例を示すフローチャートである。It is a flowchart which shows the process example of a camera work determination part.

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔発明の概要〕
まず、本発明の概要について説明する。本発明者は、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定することが可能となるように、鋭意検討を行った。その結果、本発明者は、次の（１）及び（２）を見出した。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
[Summary of the Invention]
First, an outline of the present invention will be described. The present inventor has intensively studied so that camerawork can be determined at high speed and in detail without depending on the video encoding method. As a result, the present inventors have found the following (1) and (2).

（１）一般的な映像のカメラワークは瞬間的に変化するものではなく、一定時間継続する傾向がある。そこで、本発明では、連続したフレーム画像の動きデータを用いるのではなく、所定間隔でサンプリングしたフレーム画像の動きデータを用いてカメラワークを判定する。これにより、十分な精度のカメラワーク判定を実現すると共に、高速化を実現することができる。   (1) General video camera work does not change instantaneously but tends to continue for a certain period of time. Therefore, in the present invention, camera work is determined using motion data of frame images sampled at a predetermined interval instead of using motion data of continuous frame images. As a result, it is possible to realize camera work determination with sufficient accuracy and to achieve high speed.

（２）複数の背景領域の動きデータを比較することで、ズームインまたはズームアウトのカメラワークを判定することができる。そこで、本発明では、被写体の動きに影響されないように背景部分の動きのみを利用し、背景部分を複数の領域に分割し、分割した背景領域毎の動きデータを比較することでカメラワークを判定する。これにより、ズームイン及びズームアウトを含む、より詳細なカメラワークを判定することができる。   (2) By comparing the motion data of a plurality of background regions, it is possible to determine zoom-in or zoom-out camera work. Therefore, in the present invention, only the movement of the background part is used so as not to be affected by the movement of the subject, the background part is divided into a plurality of areas, and the camera work is determined by comparing the movement data for each divided background area. To do. Thereby, more detailed camera work including zoom-in and zoom-out can be determined.

〔全体構成〕
次に、本発明の実施形態によるカメラワーク判定装置の全体構成について説明する。図１は、本発明の実施形態によるカメラワーク判定装置の構成例を示すブロック図である。このカメラワーク判定装置１は、フレーム画像サンプリング部１０、画像間カメラワーク判定部１１及びカメラワーク判定部１２を備えている。 〔overall structure〕
Next, the overall configuration of the camera work determination device according to the embodiment of the present invention will be described. FIG. 1 is a block diagram illustrating a configuration example of a camera work determination device according to an embodiment of the present invention. The camerawork determination device 1 includes a frame image sampling unit 10, an inter-image camerawork determination unit 11, and a camerawork determination unit 12.

フレーム画像サンプリング部１０は、番組映像を入力し、番組映像からT1フレーム毎にフレーム画像をサンプリングし、画像系列P[1],...,P[NP]を生成する。NPは、サンプリングされたフレーム画像の数を示す。 The frame image sampling unit 10 inputs a program video, samples a frame image every T 1 frame from the program video, and generates an image sequence P [1],..., P [N P ]. N P indicates the number of sampled frame images.

フレーム画像サンプリング部１０が入力する番組映像は、符号化方式に依存しない映像である。したがって、当該カメラワーク判定装置１は、汎用性の高い処理を実現することができる。   The program video input by the frame image sampling unit 10 is a video independent of the encoding method. Therefore, the camera work determination device 1 can realize highly versatile processing.

フレーム画像サンプリング部１０は、各フレーム画像P[i]について、当該フレーム画像P[i]の位置からT2フレーム先のフレーム画像をP'[i]として、フレーム画像P'[i]をサンプリングする。T1＞T2である。 For each frame image P [i], the frame image sampling unit 10 samples the frame image P ′ [i] using P ′ [i] as the frame image T 2 frames ahead from the position of the frame image P [i]. To do. T 1 > T 2 .

フレーム画像サンプリング部１０は、フレーム画像P[i]及びフレーム画像P'[i]をペアとして画像ペアP*[i]を生成し、画像ペア系列P*[1],...,P*[NP]を生成する。そして、フレーム画像サンプリング部１０は、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]を画像間カメラワーク判定部１１に出力する。 The frame image sampling unit 10 generates an image pair P * [i] using the frame image P [i] and the frame image P ′ [i] as a pair, and generates an image pair sequence P * [1],. Generate [N P ]. Then, the frame image sampling unit 10 outputs an image pair sequence P * [1],..., P * [N P ] composed of the image pair P * [i] to the inter-image camera work determination unit 11.

図２は、フレーム画像サンプリング部１０により番組映像から画像ペアP*[i]が生成される処理の概念図を示す。図２に示すように、番組映像からT1フレーム毎にフレーム画像P[i]がサンプリングされ、画像系列P[1],...,P[NP]が生成される。そして、各フレーム画像P[i]について、そこからT2フレーム先のフレーム画像P'[i]がサンプリングされる。 FIG. 2 shows a conceptual diagram of a process in which the frame image sampling unit 10 generates the image pair P * [i] from the program video. As shown in FIG. 2, a frame image P [i] is sampled every T 1 frame from the program video, and an image sequence P [1],..., P [N P ] is generated. Then, for each frame image P [i], the frame image P ′ [i] T 2 frames ahead is sampled therefrom.

フレーム画像P[i]及びフレーム画像P'[i]をペアとした画像ペアP*[i]が生成され、画像ペア系列P*[1],...,P*[NP]が生成される。 An image pair P * [i] is generated by pairing the frame image P [i] and the frame image P ′ [i], and an image pair sequence P * [1], ..., P * [N P ] is generated. Is done.

これにより、番組映像からフレーム画像がサンプリングされ、所定間隔毎に画像ペアP*[i]が生成される。当該カメラワーク判定装置１は、番組映像の連続した全てのフレーム画像ではなく、所定間隔でサンプリングした画像ペアP*[i]を用いてカメラワークを判定するから、処理負荷が低減すると共に、処理時間も短くて済む。   As a result, frame images are sampled from the program video, and image pairs P * [i] are generated at predetermined intervals. Since the camerawork determination device 1 determines camerawork using image pairs P * [i] sampled at predetermined intervals instead of all continuous frame images of the program video, the processing load is reduced and the processing is reduced. It takes less time.

図１に戻って、画像間カメラワーク判定部１１は、フレーム画像サンプリング部１０から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]を入力する。 Returning to FIG. 1, the inter-image camerawork determination unit 11 receives from the frame image sampling unit 10 an image pair sequence P * [1], ..., P * [N P ] consisting of image pairs P * [i]. Enter.

画像間カメラワーク判定部１１は、各画像ペアP*[i]について、当該画像ペアP*[i]の２枚のフレーム画像P[i],P'[i]間における分割した背景領域Rnのみの動きデータに基づいて、画像間カメラワーク種CP[i]を判定すると共に、画像間動き量dP[i]を算出する。そして、画像間カメラワーク判定部１１は、画像間カメラワーク種系列CP[1],...,CP[NP]及び画像間動き量系列dP[1],...,dP[NP]を生成する。 For each image pair P * [i], the inter-image camerawork determination unit 11 divides the background region R between the two frame images P [i] and P ′ [i] of the image pair P * [i]. The inter-image camera work type C P [i] is determined based on only n motion data, and the inter-image motion amount d P [i] is calculated. Then, the inter-image camera work determination unit 11 performs the inter-image camera work type sequence C P [1], ..., C P [N P ] and the inter-image motion amount sequence d P [1], ..., d. P [N P ] is generated.

画像間カメラワーク判定部１１は、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]、画像間カメラワーク種CP[i]からなる画像間カメラワーク種系列CP[1],...,CP[NP]、及び画像間動き量dP[i]からなる画像間動き量系列dP[1],...,dP[NP]をカメラワーク判定部１２に出力する。画像間カメラワーク判定部１１の詳細については後述する。 The inter-image camera work determination unit 11 includes an image pair sequence P * [1],..., P * [N P ] composed of image pairs P * [i], and an inter-image camera work type C P [i]. inter-image camerawork species sequence C P [1], ..., C P [N P], and the inter-image motion amount d P [i] image among motion amount sequence consisting d P [1], ..., d P [N P ] is output to the camera work determination unit 12. Details of the inter-image camera work determination unit 11 will be described later.

画像間カメラワーク種CP[i]は、「ズームイン」「ズームアウト」「左パン」「右パン」「上チルト」「下チルト」「静止」「その他」からなる８種類のカメラワークとする。 Inter-camera work types C P [i] are eight types of camera work including “zoom-in”, “zoom-out”, “left pan”, “right pan”, “top tilt”, “bottom tilt”, “still”, and “others”. .

これにより、画像ペアP*[i]のそれぞれについて、「ズームイン」「ズームアウト」を含むカメラワークの種類を示す画像間カメラワーク種CP[i]、及びカメラの動き量を示す画像間動き量dP[i]が求められる。 As a result, for each image pair P * [i], the inter-image camera work type C P [i] indicating the type of camera work including “zoom in” and “zoom out”, and the inter-image motion indicating the amount of camera movement The quantity d P [i] is determined.

カメラワーク判定部１２は、画像間カメラワーク判定部１１から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]、画像間カメラワーク種CP[i]からなる画像間カメラワーク種系列CP[1],...,CP[NP]、及び画像間動き量dP[i]からなる画像間動き量系列dP[1],...,dP[NP]を入力する。そして、カメラワーク判定部１２は、同じ画像間カメラワーク種CP[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定する。 The camera work determination unit 12 receives from the inter-image camera work determination unit 11 an image pair sequence P * [1], ..., P * [N P ] composed of image pairs P * [i], and an inter-image camera work type. C P [i] image between camerawork species sequence C P consisting of [1], ..., C P [N P], and the inter-image motion amount d P [i] image among motion amount sequence consisting d P [ 1], ..., d P Enter [N P ]. Then, the camera work determination unit 12 determines a section in which the image pairs P * [i] of the same inter-image camera work type C P [i] continue for a predetermined number or more as a camera work section.

カメラワーク判定部１２は、各カメラワーク区間について、画像ペアP*[i]に基づいて開始フレーム番号TS[n]及び終了フレーム番号TE[n]を特定する。また、カメラワーク判定部１２は、各カメラワーク区間について、画像間カメラワーク種CP[i]に基づいてカメラワーク種C[n]を特定し、画像間動き量dP[i]に基づいてカメラ動き量d[n]を算出する。 The camera work determination unit 12 specifies the start frame number T S [n] and the end frame number T E [n] based on the image pair P * [i] for each camera work section. In addition, the camera work determination unit 12 specifies the camera work type C [n] based on the inter-image camera work type C P [i] for each camera work section, and based on the inter-image motion amount d P [i]. To calculate the camera movement amount d [n].

カメラワーク判定部１２は、各カメラワーク区間について、開始フレーム番号系列TS[1],...,TS[NC]、終了フレーム番号系列TE[1],...,TE[NC]、カメラワーク種系列C[1],...,C[NC]及びカメラ動き量系列d[1],...,d[NC]を生成する。NCは、判定されたカメラワーク区間の数を示す。そして、カメラワーク判定部１２は、これらのデータをカメラワークデータとして出力する。カメラワーク判定部１２の詳細については後述する。 The camera work determination unit 12 for each camera work section, the start frame number series T S [1], ..., T S [N C ] and the end frame number series T E [1], ..., T E [N C], camerawork species sequence C [1], ..., C [N C] and the camera motion amount sequence d [1], ..., and generates a d [N C]. N C indicates the number of determined camera work sections. And the camera work determination part 12 outputs these data as camera work data. Details of the camera work determination unit 12 will be described later.

これにより、当該カメラワーク判定装置１は、「ズームイン」「ズームアウト」を含むカメラワークを判定するから、より詳細なカメラワークを判定することができる。   Thereby, since the camera work determination apparatus 1 determines camera work including “zoom in” and “zoom out”, it can determine more detailed camera work.

〔画像間カメラワーク判定部１１〕
次に、図１に示した画像間カメラワーク判定部１１について詳細に説明する。前述のとおり、画像間カメラワーク判定部１１は、各画像ペアP*[i]について、当該画像ペアP*[i]の２枚のフレーム画像P[i],P'[i]間における分割した背景領域Rnのみの動きデータに基づいて、画像間カメラワーク種CP[i]を判定すると共に、画像間動き量dP[i]を算出する。 [Inter-image camera work determination unit 11]
Next, the inter-image camera work determination unit 11 shown in FIG. 1 will be described in detail. As described above, the inter-image camera work determination unit 11 divides each image pair P * [i] between the two frame images P [i] and P ′ [i] of the image pair P * [i]. It was based on the motion data of the background region R n only, with determining the inter-image camerawork species C P [i], calculates the inter-image motion amount d P [i].

図３は、画像間カメラワーク判定部１１の構成例及び入出力データ例を示すブロック図である。この画像間カメラワーク判定部１１は、背景領域動きヒストグラム算出部２０及びカメラワーク判定及び動き量算出部２１を備えている。   FIG. 3 is a block diagram illustrating a configuration example and input / output data example of the inter-image camera work determination unit 11. The inter-image camera work determination unit 11 includes a background area motion histogram calculation unit 20 and a camera work determination and motion amount calculation unit 21.

背景領域動きヒストグラム算出部２０は、フレーム画像サンプリング部１０から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]を入力する。そして、背景領域動きヒストグラム算出部２０は、画像ペアP*[i]を構成する２枚のフレーム画像について、ブロックマッチング等の既存手法を用いて、数ピクセル間隔の各画素の動き差分ベクトルを求める。 The background region motion histogram calculation unit 20 inputs an image pair sequence P * [1],..., P * [N P ] composed of image pairs P * [i] from the frame image sampling unit 10. Then, the background region motion histogram calculation unit 20 obtains a motion difference vector of each pixel at intervals of several pixels by using an existing method such as block matching for the two frame images constituting the image pair P * [i]. .

背景領域動きヒストグラム算出部２０は、分割した各背景領域Rn（n=1,...,6）について、動き差分ベクトルを所定の複数の方向kに分類し、方向k毎に動き差分ベクトルの数を積算し、動きヒストグラムを求める。すなわち、背景領域動きヒストグラム算出部２０は、各背景領域Rn（n=1,...,6）について、方向k毎に動き差分ベクトルの数の積算値である度数h[i,n,k]（k＝1,...,8）を求める。背景領域Rnは、被写体の動きに影響されない領域である。 The background region motion histogram calculation unit 20 classifies the motion difference vectors into a plurality of predetermined directions k for each of the divided background regions R n (n = 1,..., 6), and the motion difference vector for each direction k. To obtain a motion histogram. That is, the background region motion histogram calculation unit 20 calculates the frequency h [i, n, which is an integrated value of the number of motion difference vectors for each direction k for each background region R n (n = 1,..., 6). k] (k = 1, ..., 8). The background region R n is a region that is not affected by the movement of the subject.

また、背景領域動きヒストグラム算出部２０は、各背景領域Rn（n=1,...,6）について方向k毎に、方向kに属する動き差分ベクトルの長さの和を算出し、その和を度数h[i,n,k]で除算することで、以下の式にて、動き量の平均値dA[i,n,k]を求める。
［数１］
dA[i,n,k]＝（方向kに属する動き差分ベクトルの長さの和）／h[i,n,k] ・・・（１） Further, the background region motion histogram calculation unit 20 calculates the sum of the lengths of the motion difference vectors belonging to the direction k for each direction region k for each background region R n (n = 1,..., 6). By dividing the sum by the frequency h [i, n, k], an average value d A [i, n, k] of the motion amount is obtained by the following equation.
[Equation 1]
d A [i, n, k] = (sum of lengths of motion difference vectors belonging to direction k) / h [i, n, k] (1)

これにより、各背景領域Rn（n=1,...,6）について方向k毎に、動き差分ベクトルの長さの平均値が動き量の平均値dA[i,n,k]として算出される。 Thus, for each background region R n (n = 1,..., 6), the average value of the lengths of the motion difference vectors is set as the average value d A [i, n, k] for each direction k. Calculated.

背景領域動きヒストグラム算出部２０は、各背景領域Rn（n=1,...,6）についての方向k毎の度数h[i,n,k]及び動き量の平均値dA[i,n,k]を、カメラワーク判定及び動き量算出部２１に出力する。 The background area motion histogram calculation unit 20 calculates the frequency h [i, n, k] for each direction k for each background area R n (n = 1,..., 6) and the average value d A [i , n, k] is output to the camera work determination and motion amount calculation unit 21.

ここで、パラメータiは、画像ペアP*[i]の番号であり、i=1,...,NPである。パラメータnは、背景領域Rnの番号であり、n=1,...,6とする。パラメータkは、方向kの番号であり、k＝1,...,8とする。 Here, the parameter i is the number of image pairs P * [i], i = 1, ..., a N P. Parameter n is the number of background region R n, n = 1, ..., a 6. The parameter k is a number in the direction k, and k = 1,.

図４は、背景領域Rnの例を説明する図である。図４には、画像の左端上、左端中央、左端下、右端上、右端中央及び右端下の６つの背景領域Rn（n=1,...,6）が示されている。画像の横幅をＷとすると、画像の左端上の背景領域R1、左端中央の背景領域R2、左端下の背景領域R3、右端上の背景領域R4、右端中央の背景領域R5及び右端下の背景領域R6の横幅は、それぞれ０．２Ｗである。 Figure 4 is a diagram illustrating an example of a background region R n. FIG. 4 shows six background regions R n (n = 1,..., 6) at the upper left end, the left end center, the lower left end, the upper right end, the right end center, and the lower right end of the image. Assuming that the width of the image is W, a background region R 1 on the left end of the image, a background region R 2 at the center of the left end, a background region R 3 at the bottom of the left end, a background region R 4 at the right end, a background region R 5 at the center of the right end, and The horizontal width of the background region R 6 below the right end is 0.2 W, respectively.

図５は、方向kの例を説明する図である。図５には、中央点を起点とした８つの方向k＝1,...,8が示されている。方向1は右、方向2は右下、方向3は下、方向4は左下、方向5は左、方向6は左上、方向7は上、方向8は右上の向きをそれぞれ示す。   FIG. 5 is a diagram illustrating an example of the direction k. FIG. 5 shows eight directions k = 1,..., 8 starting from the center point. Direction 1 is right, direction 2 is lower right, direction 3 is lower, direction 4 is lower left, direction 5 is left, direction 6 is upper left, direction 7 is upper, and direction 8 is upper right.

図３に戻って、カメラワーク判定及び動き量算出部２１は、背景領域動きヒストグラム算出部２０から、各背景領域Rn（n=1,...,6）についての方向k毎の度数h[i,n,k]及び動き量の平均値dA[i,n,k]を入力する。 Returning to FIG. 3, the camera work determination and motion amount calculation unit 21 receives the frequency h for each direction k for each background region R n (n = 1,..., 6) from the background region motion histogram calculation unit 20. [i, n, k] and the average motion amount d A [i, n, k] are input.

カメラワーク判定及び動き量算出部２１は、各背景領域Rnについて、度数h[i,n,k]が最大値を取る方向kを特定し、これを背景領域Rnの主方向番号CR[i,n]に設定する。また、カメラワーク判定及び動き量算出部２１は、背景領域Rnの主方向番号CR[i,n]（の方向k）における動き量の平均値dA[i,n,CR[i,n]]を特定し、これを背景領域Rnの主方向動き量dR[i,n]に設定する。 The camera work determination and motion amount calculation unit 21 specifies the direction k in which the frequency h [i, n, k] takes the maximum value for each background region R n , and identifies this as the main direction number C R of the background region R n. Set to [i, n]. The camera work determination and motion amount calculation unit 21 also calculates the average motion amount d A [i, n, C R [i] in the main direction number C R [i, n] (the direction k) of the background region R n. , n]] is specified, and this is set as the main direction motion amount d R [i, n] of the background region R n .

図６は、画像ペアP*[i]の背景領域Rnにおける主方向番号CR[i,n]及び主方向動き量dR[i,n]の例を説明する図である。図６には、画像ペアP*[i]の背景領域Rnの各方向kについて、度数h[i,n,k]及び動き量の平均値dA[i,n,k]が示されている。カメラワーク判定及び動き量算出部２１により、度数h[i,n,k]が最大値を取る方向kとして方向k=3が特定され、主方向番号CR[i,n]=3が設定される。また、主方向番号CR[i,n]=3（の方向k=3）における動き量の平均値dA[i,n,CR[i,n]]=dA[i,n,3]が特定され、主方向動き量dR[i,n]=3.4が設定される。 FIG. 6 is a diagram for explaining an example of the main direction number C R [i, n] and the main direction motion amount d R [i, n] in the background region R n of the image pair P * [i]. 6, for each direction k of the background region R n of image pairs P * [i], the frequency h [i, n, k] and the motion amount of the average value d A [i, n, k ] are shown ing. The camera work determination and motion amount calculation unit 21 specifies the direction k = 3 as the direction k in which the frequency h [i, n, k] takes the maximum value, and sets the main direction number C R [i, n] = 3. Is done. Further, the average value d A [i, n, C R [i, n]] = d A [i, n,) of the motion amount in the main direction number C R [i, n] = 3 (direction k = 3). 3] is specified, and the main direction motion amount d R [i, n] = 3.4 is set.

図３に戻って、カメラワーク判定及び動き量算出部２１は、各背景領域Rnの主方向番号CR[i,n]及び主方向動き量dR[i,n]に基づいて、画像ペアP*[i]の画像間カメラワーク種CP[i]及び画像間動き量dP[i]を求める。そして、カメラワーク判定及び動き量算出部２１は、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]、画像間カメラワーク種CP[i]からなる画像間カメラワーク種系列CP[1],...,CP[NP]、及び画像間動き量dP[i]からなる画像間動き量系列dP[1],...,dP[NP]をカメラワーク判定部１２に出力する。 Returning to FIG. 3, the camera work determination and motion amount calculation unit 21 performs image processing based on the main direction number C R [i, n] and the main direction motion amount d R [i, n] of each background region R n. The inter-image camera work type C P [i] and the inter-image motion amount d P [i] of the pair P * [i] are obtained. Then, the camera work determination / motion amount calculation unit 21 includes an image pair sequence P * [1],..., P * [N P ] composed of image pairs P * [i], an inter-image camera work type C P [ inter-image camerawork species sequence consisting i] C P [1], ..., C P [N P], and the inter-image motion amount d P [i] image among motion amount sequence consisting d P [1], ..., d P [N P ] is output to the camera work determination unit 12.

図７は、画像間カメラワーク種CP[i]及び画像間動き量dP[i]を求めるカメラワーク判定及び動き量算出部２１の処理例を示すフローチャートであり、図８は、主方向番号CR[i,n]及び画像間カメラワーク種CP[i]の関係を説明する図である。まず、カメラワーク判定及び動き量算出部２１は、画像ペアP*[i]の番号であるパラメータiについて、i=1を設定する（ステップＳ７０１）。 FIG. 7 is a flowchart showing a processing example of the camera work determination and motion amount calculation unit 21 for obtaining the inter-image camera work type C P [i] and the inter-image motion amount d P [i], and FIG. It is a figure explaining the relationship between number C R [i, n] and the camera work kind between images C P [i]. First, the camera work determination and motion amount calculation unit 21 sets i = 1 for the parameter i that is the number of the image pair P * [i] (step S701).

カメラワーク判定及び動き量算出部２１は、「ズームイン」の条件（主方向番号CR[i,n]について、5≦CR[i,1]≦7、かつ4≦CR[i,2]≦6、かつ3≦CR[i,3]≦5、かつCR[i,4]=1または7または8、かつCR[i,5]=1または2または8、かつ1≦CR[i,6]≦3であり、かつ主方向動き量dR[i,n]について、全てのdR[i,n]≧D1（n=1,...,6））を満たすか否かを判定する（ステップＳ７０２）。D1は予め設定された値である。「ズームイン」の主方向番号CR[i,n]の条件は、図８（１）の矢印に示すとおり、全ての主方向番号CR[i,n]の示す動き方向が、フレーム画像の中央から放射状に外側へ向いていることである。 The camera work determination and motion amount calculation unit 21 performs the “zoom-in” condition (for the main direction number C R [i, n], 5 ≦ C R [i, 1] ≦ 7 and 4 ≦ C R [i, 2 ] ≦ 6, and 3 ≦ C R [i, 3] ≦ 5, and C R [i, 4] = 1 or 7 or 8, and C R [i, 5] = 1 or 2 or 8, and 1 ≦ C R [i, 6] ≦ 3 and the main direction motion amount d R [i, n] is all d R [i, n] ≧ D 1 (n = 1, ..., 6)) It is determined whether or not the condition is satisfied (step S702). D 1 is a preset value. The condition of the main direction number C R [i, n] for “zoom-in” is that the movement direction indicated by all the main direction numbers C R [i, n] That is, it is radially outward from the center.

カメラワーク判定及び動き量算出部２１は、ステップＳ７０２において、「ズームイン」の条件を満たすと判定した場合（ステップＳ７０２：Ｙ）、画像間カメラワーク種CP[i]＝「ズームイン」を設定する（ステップＳ７０３）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０２において、「ズームイン」の条件を満たさないと判定した場合（ステップＳ７０２：Ｎ）、ステップＳ７０４へ移行する。 If the camera work determination and motion amount calculation unit 21 determines in step S702 that the “zoom in” condition is satisfied (step S702: Y), it sets the inter-image camera work type C P [i] = “zoom in”. (Step S703). On the other hand, if the camera work determination and motion amount calculation unit 21 determines in step S702 that the “zoom-in” condition is not satisfied (step S702: N), the process proceeds to step S704.

カメラワーク判定及び動き量算出部２１は、「ズームアウト」の条件（主方向番号CR[i,n]について、1≦CR[i,1]≦3、かつCR[i,2]＝1または2または8、かつCR[i,3]＝1または7または8、かつ3≦CR[i,4]≦5、かつ4≦CR[i,5]≦6、かつ5≦CR[i,6]≦7であり、かつ主方向動き量dR[i,n]について、全てのdR[i,n]≧D1（n=1,...,6））を満たすか否かを判定する（ステップＳ７０４）。「ズームアウト」の主方向番号CR[i,n]の条件は、図８（２）の矢印に示すとおり、全ての主方向番号CR[i,n]の示す動き方向が、フレーム画像の外側から中心へ向いていることである。 The camera work determination and motion amount calculation unit 21 performs the “zoom out” condition (1 ≦ C R [i, 1] ≦ 3 and C R [i, 2] for the main direction number C R [i, n]. = 1 or 2 or 8, and C R [i, 3] = 1 or 7 or 8, and 3 ≦ C R [i, 4] ≦ 5, and 4 ≦ C R [i, 5] ≦ 6, and 5 ≦ C R [i, 6] ≦ 7 and the main direction motion amount d R [i, n], all d R [i, n] ≧ D 1 (n = 1, ..., 6) ) Is satisfied (step S704). The condition of the main direction number C R [i, n] for “zoom out” is that the motion direction indicated by all the main direction numbers C R [i, n] is a frame image as shown by the arrow in FIG. From the outside to the center.

カメラワーク判定及び動き量算出部２１は、ステップＳ７０４において、「ズームアウト」の条件を満たすと判定した場合（ステップＳ７０４：Ｙ）、画像間カメラワーク種CP[i]＝「ズームアウト」を設定する（ステップＳ７０５）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０４において、「ズームアウト」の条件を満たさないと判定した場合（ステップＳ７０４：Ｎ）、ステップＳ７０６へ移行する。 If the camera work determination and motion amount calculation unit 21 determines in step S704 that the condition of “zoom out” is satisfied (step S704: Y), the inter-camera camera work type C P [i] = “zoom out” is set. Setting is performed (step S705). On the other hand, if the camera work determination and motion amount calculation unit 21 determines in step S704 that the “zoom out” condition is not satisfied (step S704: N), the process proceeds to step S706.

カメラワーク判定及び動き量算出部２１は、「左パン」の条件（主方向番号CR[i,n]について、全てのCR[i,n]＝1または2または8であり、かつ主方向動き量dR[i,n]について、全てのdR[i,n]≧D1（n=1,...,6））を満たすか否かを判定する（ステップＳ７０６）。「左パン」の主方向番号CR[i,n]の条件は、図８（３）の矢印に示すとおり、全ての主方向番号CR[i,n]の示す動き方向が、フレーム画像の右側へ向いていることである。 The camera work determination and motion amount calculation unit 21 determines that all C R [i, n] = 1, 2 or 8 for the “left pan” condition (main direction number C R [i, n]) It is determined whether or not the directional motion amount d R [i, n] satisfies all d R [i, n] ≧ D 1 (n = 1,..., 6)) (step S706). The condition of the main direction number C R [i, n] of “left pan” is that the motion direction indicated by all the main direction numbers C R [i, n] is a frame image as shown by the arrow in FIG. It is facing to the right side.

カメラワーク判定及び動き量算出部２１は、ステップＳ７０６において、「左パン」の条件を満たすと判定した場合（ステップＳ７０６：Ｙ）、画像間カメラワーク種CP[i]＝「左パン」を設定する（ステップＳ７０７）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０６において、「左パン」の条件を満たさないと判定した場合（ステップＳ７０６：Ｎ）、ステップＳ７０８へ移行する。 If it is determined in step S706 that the “left pan” condition is satisfied (step S706: Y), the camera work determination and motion amount calculation unit 21 sets the inter-image camera work type C P [i] = “left pan”. Setting is made (step S707). On the other hand, if the camera work determination and motion amount calculation unit 21 determines in step S706 that the “left pan” condition is not satisfied (step S706: N), the process proceeds to step S708.

カメラワーク判定及び動き量算出部２１は、「右パン」の条件（主方向番号CR[i,n]について、4≦全てのCR[i,n]≦6であり、かつ主方向動き量dR[i,n]について、全てのdR[i,n]≧D1（n=1,...,6））を満たすか否かを判定する（ステップＳ７０８）。「右パン」の主方向番号CR[i,n]の条件は、図８（４）の矢印に示すとおり、全ての主方向番号CR[i,n]の示す動き方向が、フレーム画像の左側へ向いていることである。 The camera work determination and motion amount calculation unit 21 performs the “right pan” condition (4 ≦ all C R [i, n] ≦ 6 for the main direction number C R [i, n] and the main direction motion) For the quantity d R [i, n], it is determined whether or not all d R [i, n] ≧ D 1 (n = 1,..., 6)) are satisfied (step S708). The condition of the main direction number C R [i, n] of “right pan” is that the motion direction indicated by all the main direction numbers C R [i, n] is a frame image as shown by the arrow in FIG. Is to the left of

カメラワーク判定及び動き量算出部２１は、ステップＳ７０８において、「右パン」の条件を満たすと判定した場合（ステップＳ７０８：Ｙ）、画像間カメラワーク種CP[i]＝「右パン」を設定する（ステップＳ７０９）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０８において、「右パン」の条件を満たさないと判定した場合（ステップＳ７０８：Ｎ）、ステップＳ７１０へ移行する。 If the camera work determination and motion amount calculation unit 21 determines in step S708 that the “right pan” condition is satisfied (step S708: Y), the inter-image camera work type CP [i] = “right pan” is set. Setting is made (step S709). On the other hand, if the camerawork determination and motion amount calculation unit 21 determines in step S708 that the “right pan” condition is not satisfied (step S708: N), the process proceeds to step S710.

カメラワーク判定及び動き量算出部２１は、「上チルト」の条件（主方向番号CR[i,n]について、2≦全てのCR[i,n]≦4であり、かつ主方向動き量dR[i,n]について、全てのdR[i,n]≧D1（n=1,...,6））を満たすか否かを判定する（ステップＳ７１０）。「上チルト」の主方向番号CR[i,n]の条件は、図８（５）の矢印に示すとおり、全ての主方向番号CR[i,n]の示す動き方向が、フレーム画像の下側へ向いていることである。 The camera work determination and motion amount calculation unit 21 has the condition of “upward tilt” (2 ≦ all C R [i, n] ≦ 4 for the main direction number C R [i, n], and the main direction motion It is determined whether or not all d R [i, n] ≧ D 1 (n = 1,..., 6)) are satisfied for the quantity d R [i, n] (step S710). The condition of the main direction number C R [i, n] of “upward tilt” is that the motion direction indicated by all the main direction numbers C R [i, n] is a frame image as shown by the arrow in FIG. It is facing down.

カメラワーク判定及び動き量算出部２１は、ステップＳ７１０において、「上チルト」の条件を満たすと判定した場合（ステップＳ７１０：Ｙ）、画像間カメラワーク種CP[i]＝「上チルト」を設定する（ステップＳ７１１）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１０において、「上チルト」の条件を満たさないと判定した場合（ステップＳ７１０：Ｎ）、ステップＳ７１２へ移行する。 If the camera work determination and motion amount calculation unit 21 determines in step S710 that the condition of “upward tilt” is satisfied (step S710: Y), the inter-image camera work type CP [i] = “upper tilt” is set. It sets (step S711). On the other hand, if the camerawork determination and motion amount calculation unit 21 determines in step S710 that the “upper tilt” condition is not satisfied (step S710: N), the process proceeds to step S712.

カメラワーク判定及び動き量算出部２１は、「下チルト」の条件（主方向番号CR[i,n]について、6≦全てのCR[i,n]≦8であり、かつ主方向動き量dR[i,n]について、全てのdR[i,n]≧D1（n=1,...,6））を満たすか否かを判定する（ステップＳ７１２）。「下チルト」の主方向番号CR[i,n]の条件は、図８（６）の矢印に示すとおり、全ての主方向番号CR[i,n]の示す動き方向が、フレーム画像の上側へ向いていることである。 The camera work determination and motion amount calculation unit 21 has the condition of “down tilt” (6 ≦ all C R [i, n] ≦ 8 for the main direction number C R [i, n], and the main direction motion For the quantity d R [i, n], it is determined whether or not all d R [i, n] ≧ D 1 (n = 1,..., 6)) are satisfied (step S712). The condition of the main direction number C R [i, n] of “down tilt” is that the motion direction indicated by all the main direction numbers C R [i, n] is a frame image as shown by the arrow in FIG. It is facing upward.

カメラワーク判定及び動き量算出部２１は、ステップＳ７１２において、「下チルト」の条件を満たすと判定した場合（ステップＳ７１２：Ｙ）、画像間カメラワーク種CP[i]＝「下チルト」を設定する（ステップＳ７１３）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１２において、「下チルト」の条件を満たさないと判定した場合（ステップＳ７１２：Ｎ）、ステップＳ７１４へ移行する。 If the camera work determination and motion amount calculation unit 21 determines in step S712 that the condition of “lower tilt” is satisfied (step S712: Y), the inter-image camera work type CP [i] = “lower tilt” is set. Setting is performed (step S713). On the other hand, if the camera work determination and motion amount calculation unit 21 determines in step S712 that the “down tilt” condition is not satisfied (step S712: N), the process proceeds to step S714.

カメラワーク判定及び動き量算出部２１は、「静止」の条件（主方向動き量dR[i,n]について、dR[i,n]＜D2（n=1,...,6））を満たすか否かを判定する（ステップＳ７１４）。D2は予め設定された値である。 The camera work determination and motion amount calculation unit 21 determines the condition of “still” (for the main direction motion amount d R [i, n], d R [i, n] <D 2 (n = 1,..., 6 )) Is satisfied (step S714). D 2 is a preset value.

カメラワーク判定及び動き量算出部２１は、ステップＳ７１４において、「静止」の条件を満たすと判定した場合（ステップＳ７１４：Ｙ）、画像間カメラワーク種CP[i]＝「静止」を設定する（ステップＳ７１５）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１４において、「静止」の条件を満たさないと判定した場合（ステップＳ７１４：Ｎ）、画像間カメラワーク種CP[i]＝「その他」を設定する（ステップＳ７１６）。 If it is determined in step S714 that the “still” condition is satisfied (step S714: Y), the camera work determination and motion amount calculation unit 21 sets the inter-image camera work type C P [i] = “still”. (Step S715). On the other hand, if the camera work determination and motion amount calculation unit 21 determines in step S714 that the “still” condition is not satisfied (step S714: N), the inter-image camera work type C P [i] = “others”. Is set (step S716).

カメラワーク判定及び動き量算出部２１は、ステップＳ７０３、ステップＳ７０５、ステップＳ７０７、ステップＳ７０９、ステップＳ７１１、ステップＳ７１３、ステップＳ７１５またはステップＳ７１６から移行して、以下の式にて、各背景領域Rnの主方向動き量dR[i,n]を加算して平均化し、画像間動き量dP[i]を算出する（ステップＳ７１７）。
［数２］

Figure 2018206142
The camera work determination and motion amount calculation unit 21 proceeds from step S703, step S705, step S707, step S709, step S711, step S713, step S715, or step S716, and uses the following formula to calculate each background region R n. main direction movement amount d R [i, n] adding to the averaged to calculate the inter-image motion amount d P [i] of the (step S717).
[Equation 2]
Figure 2018206142

カメラワーク判定及び動き量算出部２１は、パラメータiをインクリメントし（i=i+1）（ステップＳ７１８）、パラメータiが画像数NP（画像ペアP*[i]の数）よりも大きいか否かを判定する（ステップＳ７１９）。 The camera work determination and motion amount calculation unit 21 increments the parameter i (i = i + 1) (step S718), and whether the parameter i is larger than the number of images N P (number of image pairs P * [i]). It is determined whether or not (step S719).

カメラワーク判定及び動き量算出部２１は、ステップＳ７１９において、パラメータiが画像数NPよりも大きくないと判定した場合（ステップＳ７１９：Ｎ）、ステップＳ７０２へ移行する。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１９において、パラメータiが画像数NPよりも大きいと判定した場合（ステップＳ７１９：Ｙ）、処理を終了する。これにより、画像ペアP*[i]の画像間カメラワーク種CP[i]及び画像間動き量dP[i]が求められる。 If the camera work determination and motion amount calculation unit 21 determines in step S719 that the parameter i is not greater than the number of images N P (step S719: N), the process proceeds to step S702. On the other hand, if the camera work determination and motion amount calculation unit 21 determines in step S719 that the parameter i is greater than the number of images N P (step S719: Y), the process ends. Thereby, the inter-image camera work type C P [i] and the inter-image motion amount d P [i] of the image pair P * [i] are obtained.

〔カメラワーク判定部１２〕
次に、図１に示したカメラワーク判定部１２について詳細に説明する。前述のとおり、カメラワーク判定部１２は、同じ画像間カメラワーク種CP[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定し、各カメラワーク区間について、開始フレーム番号TS[n]、終了フレーム番号TE[n]及びカメラワーク種C[n]を特定し、カメラ動き量d[n]を算出する。 [Camera work determination unit 12]
Next, the camera work determination unit 12 shown in FIG. 1 will be described in detail. As described above, the camera work determination unit 12 determines a section in which the image pairs P * [i] of the same inter-image camera work type C P [i] continue for a predetermined number or more as a camera work section, and for each camera work section Then, the start frame number T S [n], the end frame number T E [n], and the camera work type C [n] are specified, and the camera motion amount d [n] is calculated.

図９は、カメラワーク判定部１２の構成例及び入出力データ例を示すブロック図である。このカメラワーク判定部１２は、カメラワーク区間判定部３０及びカメラワークデータ生成部３１を備えている。   FIG. 9 is a block diagram illustrating a configuration example and input / output data example of the camera work determination unit 12. The camera work determination unit 12 includes a camera work section determination unit 30 and a camera work data generation unit 31.

カメラワーク区間判定部３０は、画像間カメラワーク判定部１１から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]、画像間カメラワーク種CP[i]からなる画像間カメラワーク種系列CP[1],...,CP[NP]、及び画像間動き量dP[i]からなる画像間動き量系列dP[1],...,dP[NP]を入力する。そして、カメラワーク区間判定部３０は、同じ画像間カメラワーク種CP[i]の画像ペアP*[i]が所定数以上継続する区間を特定し、当該区間をカメラワーク区間として判定する。 The camera work section determination unit 30 receives from the inter-image camera work determination unit 11 an image pair sequence P * [1], ..., P * [N P ] composed of image pairs P * [i], and inter-image camera work. Inter-image camerawork type sequence C P [1], ..., C P [N P ] consisting of species C P [i] and inter-image motion amount sequence d P consisting of inter-image motion amount d P [i] [1], ..., d P Enter [N P ]. Then, the camera work section determination unit 30 identifies a section where a predetermined number or more of image pairs P * [i] of the same inter-image camera work type C P [i] continue, and determines the section as a camera work section.

カメラワークデータ生成部３１は、カメラワーク区間判定部３０により判定された各カメラワーク区間について、当該カメラワーク区間の開始時点及び終了時点にそれぞれ対応する画像ペアP*[i]の開始フレーム番号TS[n]及び終了フレーム番号TE[n]を特定する。また、カメラワークデータ生成部３１は、各カメラワーク区間について、当該カメラワーク区間に対応する画像間カメラワーク種CP[i]をカメラワーク種C[n]として特定する。また、カメラワークデータ生成部３１は、各カメラワーク区間について、当該カメラワーク区間に対応する全ての画像間動き量dP[i]を加算し、加算結果をカメラ動き量d[n]として求める。 For each camera work section determined by the camera work section determination unit 30, the camera work data generation unit 31 starts the frame number T of the image pair P * [i] corresponding to the start time and end time of the camera work section. Specify S [n] and end frame number T E [n]. Further, the camera work data generation unit 31 specifies, for each camera work section, the inter-image camera work type CP [i] corresponding to the camera work section as the camera work type C [n]. Further, the camera work data generation unit 31 adds, for each camera work section, all inter-image motion amounts d P [i] corresponding to the camera work section, and obtains the addition result as a camera motion amount d [n]. .

カメラワークデータ生成部３１は、カメラワーク区間の開始フレーム番号系列TS[1],...,TS[NC]、終了フレーム番号系列TE[1],...,TE[NC]、カメラワーク種系列C[1],...,C[NC]及びカメラ動き量系列d[1],...,d[NC]を生成する。そして、カメラワークデータ生成部３１は、これらのデータをカメラワークデータとして出力する。 The camera work data generation unit 31 starts the camera work section start frame number series T S [1], ..., T S [N C ], and ends frame number series T E [1], ..., T E [ N C], camerawork species sequence C [1], ..., C [N C] and the camera motion amount sequence d [1], ..., and generates a d [N C]. Then, the camera work data generation unit 31 outputs these data as camera work data.

図１０は、カメラワーク判定部１２の処理例を示すフローチャートである。カメラワーク判定部１２は、画像間カメラワーク判定部１１から画像ペアP*[i]、画像間カメラワーク種CP[i]及び画像間動き量dP[i]を入力する（ステップＳ１００１）。そして、カメラワーク判定部１２は、n=1、i=1、カメラ動き量d[n]=画像間動き量dp[i]、i0=1及びCount=0を設定する（ステップＳ１００２）。nはカメラワーク区間の番号を示し、i及びi0は画像ペアP*[i]の番号を示し、Countはカメラワーク区間の長さを示す。 FIG. 10 is a flowchart illustrating a processing example of the camera work determination unit 12. The camera work determination unit 12 inputs the image pair P * [i], the inter-image camera work type C P [i], and the inter-image motion amount d P [i] from the inter-image camera work determination unit 11 (step S1001). . Then, the camera work determination unit 12 sets n = 1, i = 1, camera motion amount d [n] = inter-image motion amount d p [i], i 0 = 1, and Count = 0 (step S1002). . n indicates the number of the camera work section, i and i 0 indicate the number of the image pair P * [i], and Count indicates the length of the camera work section.

カメラワーク判定部１２は、i番目の画像ペアP*[i]の画像間カメラワーク種CP[i]とi+1番目の画像ペアP*[i+1]の画像間カメラワーク種CP[i+1]とが同じであるか否かを判定する（CP[i]=CP[i+1]？、ステップＳ１００３）。 The camera work determination unit 12 performs an inter-image camera work type C P [i] of the i-th image pair P * [i] and an inter-image camera work type C of the i + 1-th image pair P * [i + 1]. It is determined whether or not P [i + 1] is the same (C P [i] = C P [i + 1] ?, step S1003).

カメラワーク判定部１２は、ステップＳ１００３において、画像間カメラワーク種CP[i]と画像間カメラワーク種CP[i+1]とが同じであると判定した場合（ステップＳ１００３：Ｙ）、カメラ動き量d[n]にi+1番目の画像間動き量dp[i+1]を加算し、新たなカメラ動き量d[n]を求める（d[n]=d[n]+dp[i+1]、ステップＳ１００４）。そして、カメラワーク判定部１２は、カメラワーク区間の長さCountをインクリメントする（Count=Count+1、ステップＳ１００５）。 When the camera work determination unit 12 determines in step S1003 that the inter-image camera work type C P [i] and the inter-image camera work type C P [i + 1] are the same (step S1003: Y), The camera motion amount d [n] is added to the i + 1-th inter-image motion amount d p [i + 1] to obtain a new camera motion amount d [n] (d [n] = d [n] + d p [i + 1], step S1004). Then, the camera work determination unit 12 increments the length “Count” of the camera work section (Count = Count + 1, step S1005).

カメラワーク判定部１２は、画像ペアP*[i]の番号iが画像ペアP*[i]の数Np以上であるか否かを判定する（i≧Np？、ステップＳ１００６）。すなわち、カメラワーク判定部１２は、ステップＳ１００３〜ステップＳ１００５の処理を全ての画像ペアP*[i]について行ったか否かを判定する。 Camerawork determination unit 12, image pairs P * [i] number i is equal to or several N p or more image pairs P * [i] (i ≧ N p?, Step S1006). That is, the camera work determination unit 12 determines whether or not the processing of steps S1003 to S1005 has been performed for all image pairs P * [i].

カメラワーク判定部１２は、ステップＳ１００６において、番号iが画像ペアP*[i]の数Np以上でないと判定した場合（ステップＳ１００６：Ｎ）、すなわちステップＳ１００３〜ステップＳ１００５の処理を全ての画像ペアP*[i]について行っていないと判定した場合、番号iをインクリメントし（i=i+1、ステップＳ１００７）、ステップＳ１００３へ移行する。 Camerawork determination unit 12, in step S1006, if the number i is determined not to be the number N p or more image pairs P * [i] (step S1006: N), that is, all of the image processing in step S1003~ step S1005 When it is determined that the pair P * [i] is not performed, the number i is incremented (i = i + 1, step S1007), and the process proceeds to step S1003.

一方、カメラワーク判定部１２は、ステップＳ１００６において、番号iが画像ペアP*[i]の数Np以上であると判定した場合（ステップＳ１００６：Ｙ）、すなわちステップＳ１００３〜ステップＳ１００５の処理を全ての画像ペアP*[i]について行ったと判定した場合、ステップＳ１００８へ移行する。 On the other hand, the camerawork determination unit 12, in step S1006, if the number i is determined to be the number N p or more image pairs P * [i] (step S1006: Y), i.e., the processing of step S1003~ step S1005 If it is determined that all image pairs P * [i] have been processed, the process proceeds to step S1008.

一方、カメラワーク判定部１２は、ステップＳ１００３において、画像間カメラワーク種CP[i]と画像間カメラワーク種CP[i+1]とが同じでないと判定した場合（ステップＳ１００３：Ｎ）、ステップＳ１００８へ移行する。 On the other hand, when the camera work determination unit 12 determines in step S1003 that the inter-image camera work type C P [i] and the inter-image camera work type C P [i + 1] are not the same (step S1003: N). The process proceeds to step S1008.

カメラワーク判定部１２は、ステップＳ１００３（Ｎ）またはステップＳ１００６（Ｙ）から移行して、カメラワーク区間の長さCountが予め設定された閾値Th以上であるか否かを判定する（Count≧Th？、ステップＳ１００８）。   The camera work determination unit 12 proceeds from step S1003 (N) or step S1006 (Y) to determine whether or not the length Count of the camera work section is equal to or greater than a preset threshold Th (Count ≧ Th). Step S1008).

カメラワーク判定部１２は、ステップＳ１００８において、カメラワーク区間の長さCountが閾値Th以上であると判定した場合（ステップＳ１００８：Ｙ）、番号nのカメラワーク区間の開始フレーム番号TS[n]、終了フレーム番号TE[n]、カメラワーク種C[n]及びカメラ動き量d[n]を設定する（ステップＳ１００９）。 When the camera work determination unit 12 determines in step S1008 that the length Count of the camera work section is greater than or equal to the threshold Th (step S1008: Y), the camera work section start frame number T S [n] The end frame number T E [n], the camera work type C [n], and the camera motion amount d [n] are set (step S1009).

具体的には、カメラワーク判定部１２は、画像ペアP*[i0]を構成する２枚のフレーム画像P[i0],P'[i0]のうちフレーム画像P[i0]のフレーム番号を、当該カメラワーク区間の開始フレーム番号TS[n]に設定する。また、カメラワーク判定部１２は、画像ペアP*[i]を構成する２枚のフレーム画像P[i],P'[i]のうちフレーム画像P'[i]のフレーム番号を、当該カメラワーク区間の終了フレーム番号TE[n]に設定する。 Specifically, the camera work determination unit 12, image pairs P * [i 0] 2 frame images P which constitutes the [i 0], P 'frame image P of the [i 0] of [i 0] The frame number is set to the start frame number T S [n] of the camera work section. In addition, the camera work determination unit 12 uses the frame number of the frame image P ′ [i] among the two frame images P [i] and P ′ [i] constituting the image pair P * [i] as the camera. Set to the work end frame number T E [n].

さらに、カメラワーク判定部１２は、画像ペアP*[i0]の画像間カメラワーク種CP[i0]を、当該カメラワーク区間のカメラワーク種C[n]に設定する。また、カメラワーク判定部１２は、ステップＳ１００４にて算出したカメラ動き量d[n]を、当該カメラワーク区間のカメラ動き量d[n]に設定する。 Furthermore, the camera work determination unit 12 sets the inter-image camera work type C P [i 0 ] of the image pair P * [i 0 ] as the camera work type C [n] of the camera work section. The camera work determination unit 12 sets the camera motion amount d [n] calculated in step S1004 as the camera motion amount d [n] in the camera work section.

カメラワーク判定部１２は、ステップＳ１００９から移行して、カメラワーク区間の番号nをインクリメントする（n=n+1、ステップＳ１０１０）。   The camera work determination unit 12 proceeds from step S1009 to increment the camera work section number n (n = n + 1, step S1010).

一方、カメラワーク判定部１２は、ステップＳ１００８において、カメラワーク区間の長さCountが閾値Th以上でないと判定した場合（ステップＳ１００８：Ｎ）、ステップＳ１０１１へ移行する。   On the other hand, if the camerawork determination unit 12 determines in step S1008 that the camerawork section length Count is not equal to or greater than the threshold value Th (step S1008: N), the process proceeds to step S1011.

カメラワーク判定部１２は、ステップＳ１００８（Ｎ）またはステップＳ１０１０から移行して、画像ペアP*[i]の番号iが画像ペアP*[i]の数Np以上であるか否かを判定する（i≧Np？、ステップＳ１０１１）。すなわち、カメラワーク判定部１２は、ステップＳ１００３〜ステップＳ１０１０及びステップＳ１０１２の処理を全ての画像ペアP*[i]について行ったか否かを判定する。 Camerawork determination unit 12 shifts from step S1008 (N) or step S1010, determination image pairs P * [i] number i of whether a number N p or more image pairs P * [i] (I ≧ N p ?, Step S1011). That is, the camera work determination unit 12 determines whether or not the processing in steps S1003 to S1010 and step S1012 has been performed for all image pairs P * [i].

カメラワーク判定部１２は、ステップＳ１０１１において、番号iが画像ペアP*[i]の数Np以上でないと判定した場合（ステップＳ１０１１：Ｎ）、すなわちステップＳ１００３〜ステップＳ１０１０及びステップＳ１０１２の処理を全ての画像ペアP*[i]について行っていないと判定した場合、番号iをインクリメントし（i=i+1）、カメラ動き量d[n]に画像間動き量dp[i]を設定し（d[n]=dp[i]）、i0=1及びCount=0を設定し（ステップＳ１０１２）、ステップＳ１００３へ移行する。これにより、次のカメラワーク区間または次の画像ペアP*[i]について処理が行われる。 Camerawork determination unit 12, in step S1011, if the number i is determined not to be the number N p or more image pairs P * [i] (step S1011: N), i.e., the processing of step S1003~ step S1010 and step S1012 If it is determined that all image pairs P * [i] are not used, the number i is incremented (i = i + 1), and the inter-image motion amount d p [i] is set in the camera motion amount d [n]. (D [n] = d p [i]), i 0 = 1 and Count = 0 are set (step S1012), and the process proceeds to step S1003. Thereby, the process is performed for the next camera work section or the next image pair P * [i].

一方、カメラワーク判定部１２は、ステップＳ１０１１において、番号iが画像ペアP*[i]の数Np以上であると判定した場合（ステップＳ１０１１：Ｙ）、すなわちステップＳ１００３〜ステップＳ１０１０及びステップＳ１０１２の処理を全ての画像ペアP*[i]について行ったと判定した場合、ステップＳ１００９にて設定した開始フレーム番号TS[n]、終了フレーム番号TE[n]、カメラワーク種C[n]及びカメラ動き量d[n]から、開始フレーム番号系列TS[1],...,TS[NC]、終了フレーム番号系列TE[1],...,TE[NC]、カメラワーク種系列C[1],...,C[NC]及びカメラ動き量系列d[1],...,d[NC]を生成し、これらの系列をカメラワークデータとして出力する（ステップＳ１０１３）。 On the other hand, the camerawork determination unit 12, in step S1011, if the number i is determined to be the number N p or more image pairs P * [i] (step S1011: Y), i.e. step S1003~ step S1010 and step S1012 Is determined for all image pairs P * [i], the start frame number T S [n], end frame number T E [n], and camera work type C [n] set in step S1009 are determined. And the camera motion amount d [n], the start frame number sequence T S [1], ..., T S [N C ] and the end frame number sequence T E [1], ..., T E [N C ], Camera work type series C [1], ..., C [N C ] and camera motion amount series d [1], ..., d [N C ], and these series are generated as camera work data. (Step S1013).

以上のように、本発明の実施形態によるカメラワーク判定装置１によれば、フレーム画像サンプリング部１０は、番組映像からT1フレーム毎にフレーム画像P[i]をサンプリングし、フレーム画像P[i]からT2フレーム先のフレーム画像P'[i]をサンプリングし、フレーム画像P[i],P'[i]からなる画像ペアP*[i]を生成する。 As described above, according to the camera work determination device 1 according to the embodiment of the present invention, the frame image sampling unit 10 samples the frame image P [i] for each T 1 frame from the program video, and the frame image P [i ] Is sampled from frame image P ′ [i] ahead of T 2 frames to generate an image pair P * [i] composed of frame images P [i] and P ′ [i].

画像間カメラワーク判定部１１は、画像ペアP*[i]について、２枚のフレーム画像P[i],P'[i]間における分割した背景領域Rnのみの動きデータに基づいて、画像間カメラワーク種CP[i]を判定すると共に、画像間動き量dP[i]を算出する。 Inter-image camerawork determination unit 11, the image pair P * [i], 2 frame images P [i], based on the motion data of P '[i] is divided between the background region R n only, the image The inter-camera work type C P [i] is determined, and the inter-image motion amount d P [i] is calculated.

具体的には、画像間カメラワーク判定部１１の背景領域動きヒストグラム算出部２０は、分割した背景領域Rnについて、２枚のフレーム画像P[i],P'[i]から求めた動き差分ベクトルを方向kに分類し、方向k毎の動きヒストグラムである動き差分ベクトルの度数h[i,n,k]を求める。また、背景領域動きヒストグラム算出部２０は、背景領域Rnについて、方向kに属する動き差分ベクトルの長さの和を度数h[i,n,k]で除算し、方向k毎に動き量の平均値dA[i,n,k]を求める。そして、背景領域動きヒストグラム算出部２０は、背景領域Rnについて、度数h[i,n,k]が最大値を取る方向kを特定し、これを主方向番号CR[i,n]に設定し、主方向番号CR[i,n]の動き量の平均値dA[i,n,CR[i,n]]を主方向動き量dR[i,n]に設定する。 Specifically, the background region motion histogram calculation unit 20 of the inter-image camerawork determination unit 11 calculates the motion difference obtained from the two frame images P [i] and P ′ [i] for the divided background region R n. The vectors are classified into directions k, and the frequency h [i, n, k] of the motion difference vector, which is a motion histogram for each direction k, is obtained. Also, the background area motion histogram calculation unit 20, the background area R n, by dividing the sum of the length of the motion difference vectors belonging to the direction k frequency h [i, n, k], the movement amount for each direction k The average value d A [i, n, k] is obtained. Then, the background area motion histogram calculation unit 20, the background area R n, frequency h [i, n, k] is to identify the direction k to take a maximum value, which main direction number C R [i, n] to set, the main direction number C R [i, n] the average value of the motion amount of d a [i, n, C R [i, n]] the main direction movement amount d R [i, n] is set to.

また、画像間カメラワーク判定部１１のカメラワーク判定及び動き量算出部２１は、背景領域Rnの主方向番号CR[i,n]及び主方向動き量dR[i,n]に基づいて、画像間カメラワーク種CP[i]を求め、背景領域Rnの主方向動き量dR[i,n]の平均を画像間動き量dP[i]として求める。 The camera work determination and motion amount calculation unit 21 of the inter-image camera work determination unit 11 is based on the main direction number C R [i, n] and the main direction motion amount d R [i, n] of the background region R n. Thus, the inter-image camera work type C P [i] is obtained, and the average of the main direction motion amount d R [i, n] of the background region R n is obtained as the inter-image motion amount d P [i].

カメラワーク判定部１２は、画像間カメラワーク種CP[i]に基づいてカメラワーク区間を判定し、カメラワーク区間について、画像ペアP*[i]に基づいて開始フレーム番号TS[n]及び終了フレーム番号TE[n]を特定し、画像間カメラワーク種CP[i]に基づいてカメラワーク種C[n]を特定し、画像間動き量dP[i]に基づいてカメラ動き量d[n]を算出する。そして、カメラワーク判定部１２は、これらのデータをカメラワークデータとして出力する。 The camera work determination unit 12 determines the camera work section based on the inter-image camera work type C P [i], and for the camera work section, the start frame number T S [n] based on the image pair P * [i]. And the end frame number T E [n], the camera work type C [n] is specified based on the inter-image camera work type C P [i], and the camera is determined based on the inter-image motion amount d P [i]. The motion amount d [n] is calculated. And the camera work determination part 12 outputs these data as camera work data.

具体的には、カメラワーク判定部１２のカメラワーク区間判定部３０は、同じ画像間カメラワーク種CP[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定する。また、カメラワークデータ生成部３１は、カメラワーク区間について、当該カメラワーク区間の開始時点及び終了時点にそれぞれ対応する画像ペアP*[i]の開始フレーム番号TS[n]及び終了フレーム番号TE[n]を特定し、当該カメラワーク区間に対応する画像間カメラワーク種CP[i]をカメラワーク種C[n]として特定し、当該カメラワーク区間に対応する全ての画像間動き量dP[i]を加算し、加算結果をカメラ動き量d[n]として求める。そして、カメラワークデータ生成部３１は、カメラワーク区間の開始フレーム番号系列TS[1],...,TS[NC]、終了フレーム番号系列TE[1],...,TE[NC]、カメラワーク種系列C[1],...,C[NC]及びカメラ動き量系列d[1],...,d[NC]を生成し、これらのデータをカメラワークデータとして出力する。 Specifically, the camera work section determination unit 30 of the camera work determination unit 12 sets a section in which the same number of image pairs P * [i] of the same inter-image camera work type C P [i] continue as a camera work section. judge. In addition, the camera work data generation unit 31 for the camera work section, the start frame number T S [n] and the end frame number T of the image pair P * [i] corresponding to the start time and end time of the camera work section, respectively. E [n] is specified, the inter-image camera work type C P [i] corresponding to the camera work section is specified as the camera work type C [n], and all inter-image motion amounts corresponding to the camera work section are specified. d P [i] is added, and the addition result is obtained as a camera motion amount d [n]. The camera work data generation unit 31 then starts the camera work section start frame number series T S [1], ..., T S [N C ], and the end frame number series T E [1], ..., T. E [N C ], camera work type sequence C [1], ..., C [N C ] and camera motion amount sequence d [1], ..., d [N C ] are generated, and these data are generated. Is output as camera work data.

これにより、映像の符号化方式に依存しない番組映像を処理対象とするから、符号化方式に応じた処理が不要となる。また、フレーム画像P[i],P'[i]からなる画像ペアP*[i]を用いるようにしたから、連続したフレーム画像を用いる必要がなく、処理時間を短くすることができる。   As a result, since the program video that does not depend on the video encoding method is processed, processing according to the encoding method becomes unnecessary. Further, since the image pair P * [i] composed of the frame images P [i] and P ′ [i] is used, it is not necessary to use continuous frame images, and the processing time can be shortened.

また、分割した複数の背景領域Rnを用いるようにしたから、「パン」「チルト」「静止」に加え、「ズームイン」及び「ズームアウト」のカメラワーク種C[n]も判定することができる。 In addition, since a plurality of divided background regions R n are used, it is possible to determine camera work types C [n] of “zoom in” and “zoom out” in addition to “pan” “tilt” “still”. it can.

したがって、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定することが可能となる。   Therefore, it is possible to determine camera work at high speed and in detail without depending on the video encoding method.

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、分割した背景領域Rnの数を６（n=1,...,6）としたが、本発明はその数を限定するものではなく、２以上であればよい。また、図４に示した背景領域Rnは、画面の左端及び右端に設定するようにしたが、例えば画面の上端及び下端に設定するようにしてよいし、左端、右端、上端及び下端に設定するようにしてもよい。 The present invention has been described with reference to the embodiment. However, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the technical idea thereof. In the above embodiment, the number of 6 (n = 1, ..., 6) of the divided background region R n is set to, the present invention is not limited in number, may be two or more. Further, the background region R n shown in FIG. 4 is set at the left end and the right end of the screen, but may be set at the upper end and the lower end of the screen, for example, or set at the left end, the right end, the upper end, and the lower end. You may make it do.

また、前記実施形態では、方向kの数を８（k＝1,...,8）としたが、本発明はその数を限定するものではなく、２以上であればよい。   In the above embodiment, the number of directions k is 8 (k = 1,..., 8), but the present invention does not limit the number, and it may be 2 or more.

尚、本発明の実施形態によるカメラワーク判定装置１のハードウェア構成としては、通常のコンピュータを使用することができる。カメラワーク判定装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。カメラワーク判定装置１に備えたフレーム画像サンプリング部１０、画像間カメラワーク判定部１１及びカメラワーク判定部１２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。   As a hardware configuration of the camera work determination device 1 according to the embodiment of the present invention, a normal computer can be used. The camera work determination device 1 is configured by a computer including a volatile storage medium such as a CPU and a RAM, a non-volatile storage medium such as a ROM, an interface, and the like. The functions of the frame image sampling unit 10, the inter-image camera work determination unit 11, and the camera work determination unit 12 included in the camera work determination device 1 are realized by causing the CPU to execute a program describing these functions. . These programs are stored in the storage medium and read out and executed by the CPU. These programs can also be stored and distributed in a storage medium such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, etc. You can also send and receive.

１ カメラワーク判定装置
１０ フレーム画像サンプリング部
１１ 画像間カメラワーク判定部
１２ カメラワーク判定部
２０ 背景領域動きヒストグラム算出部
２１ カメラワーク判定及び動き量算出部
３０ カメラワーク区間判定部
３１ カメラワークデータ生成部 DESCRIPTION OF SYMBOLS 1 Camera work determination apparatus 10 Frame image sampling part 11 Inter-image camera work determination part 12 Camera work determination part 20 Background area motion histogram calculation part 21 Camera work determination and motion amount calculation part 30 Camera work area determination part 31 Camera work data generation part

Claims (6)

映像からフレーム画像をサンプリングし、所定間隔毎に画像ペアを生成するフレーム画像サンプリング部と、
前記フレーム画像サンプリング部により生成された前記画像ペアの背景部分を分割した複数の背景領域のそれぞれについて、動きデータを生成し、前記複数の背景領域の動きデータに基づいて、前記画像ペアのカメラワークの種類を示す画像間カメラワーク種を判定する画像間カメラワーク判定部と、
前記画像間カメラワーク判定部により判定された前記画像ペアの画像間カメラワーク種に基づいて、前記映像のカメラワークを判定するカメラワーク判定部と、
を備えたことを特徴とするカメラワーク判定装置。 A frame image sampling unit that samples frame images from video and generates image pairs at predetermined intervals;
Motion data is generated for each of a plurality of background regions obtained by dividing the background portion of the image pair generated by the frame image sampling unit, and the camera work of the image pair is performed based on the motion data of the plurality of background regions. An inter-image camera work determination unit that determines an inter-image camera work type indicating the type of
A camera work determination unit that determines the camera work of the video based on the inter-image camera work type of the image pair determined by the inter-image camera work determination unit;
A camera work determination device comprising: 請求項１に記載のカメラワーク判定装置において、
前記カメラワーク判定部は、
同じ前記画像間カメラワーク種が継続する前記画像ペアの数が所定数以上である場合、その継続区間をカメラワーク区間として判定し、当該カメラワーク区間における前記画像ペアの画像間カメラワーク種を当該カメラワーク区間のカメラワーク種として出力する、ことを特徴とするカメラワーク判定装置。 The camera work determination device according to claim 1,
The camera work determination unit
When the number of the image pairs that the same inter-image camera work type continues is a predetermined number or more, the continuous section is determined as the camera work section, and the inter-camera work type of the image pair in the camera work section is A camera work determination device that outputs as a camera work type in a camera work section. 請求項１または２に記載のカメラワーク判定装置において、
前記画像間カメラワーク判定部は、
前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎の前記動きデータに基づいて、前記動きデータが最大となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の外側から中央へ向いている場合、前記画像ペアの画像間カメラワーク種をズームインとして判定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の中央から外側へ向いている場合、前記画像ペアの画像間カメラワーク種をズームアウトとして判定する、ことを特徴とするカメラワーク判定装置。 In the camera work determination device according to claim 1 or 2,
The inter-image camera work determination unit
For each of the plurality of background regions, the motion data is classified into a plurality of directions, the direction in which the motion data is maximized is specified based on the motion data for each direction, and the direction is defined as the background region. And when the main direction for each of the plurality of background regions is directed from the outside to the center of the frame image, the inter-image camerawork type of the image pair is determined as zoom-in, When the main direction for each of a plurality of background regions is directed outward from the center of the frame image, the inter-image camera work type of the image pair is determined as zoom out. apparatus. 請求項１から３までのいずれか一項に記載のカメラワーク判定装置において、
前記画像間カメラワーク判定部は、
前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎に前記動きデータの数を積算することで、前記複数の背景領域における前記方向毎の動きヒストグラムを求め、前記動きデータ及び前記動きヒストグラムに基づいて、前記複数の背景領域における前記方向毎の前記動きデータの平均値を求める背景領域動きヒストグラム算出部と、
前記複数の背景領域のそれぞれについて、前記背景領域動きヒストグラム算出部により求めた前記動きヒストグラムが最大値となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記背景領域動きヒストグラム算出部により求めた、当該方向の前記動きデータの平均値を、当該背景領域の主方向動き量に設定し、
前記複数の背景領域のそれぞれについての前記主方向及び前記主方向動き量に基づいて、前記画像ペアの画像間カメラワーク種、及び前記画像ペアの動き量を示す画像間動き量を求めるカメラワーク判定及び動き量算出部と、
を備えたことを特徴とするカメラワーク判定装置。 In the camera work determination device according to any one of claims 1 to 3,
The inter-image camera work determination unit
For each of the plurality of background regions, the motion data is classified into a plurality of directions, and by accumulating the number of the motion data for each direction, a motion histogram for each direction in the plurality of background regions is obtained, A background region motion histogram calculation unit for obtaining an average value of the motion data for each direction in the plurality of background regions based on the motion data and the motion histogram;
For each of the plurality of background regions, the direction in which the motion histogram obtained by the background region motion histogram calculation unit is maximum is specified, the direction is set as the main direction of the background region, and the background region motion The average value of the motion data in the direction determined by the histogram calculation unit is set as the main direction motion amount of the background region,
Based on the main direction and the main direction motion amount for each of the plurality of background regions, camera work determination for obtaining an inter-image camera work type of the image pair and an inter-image motion amount indicating the motion amount of the image pair And a motion amount calculation unit;
A camera work determination device comprising: 請求項４に記載のカメラワーク判定装置において、
前記カメラワーク判定部は、
同じ前記画像間カメラワーク種が継続する前記画像ペアの数が所定数以上である場合、その継続区間を前記カメラワーク区間として判定するカメラワーク区間判定部と、
前記カメラワーク区間判定部により判定された前記カメラワーク区間について、当該カメラワーク区間の開始時点に対応する前記画像ペアの開始フレーム番号、及び当該カメラワーク区間の終了時点に対応する前記画像ペアの終了フレーム番号を特定し、当該カメラワーク区間に対応する前記画像ペアのカメラワーク種を当該カメラワーク区間のカメラワーク種として特定し、当該カメラワーク区間に対応する全ての前記画像ペアの画像間動き量を加算し、加算結果を当該カメラワーク区間のカメラ動き量として求め、前記カメラワーク区間の前記開始フレーム番号、前記終了フレーム番号、前記カメラワーク種及び前記カメラ動き量をカメラワークデータとして出力するカメラワークデータ生成部と、
を備えたことを特徴とするカメラワーク判定装置。 In the camera work determination device according to claim 4,
The camera work determination unit
When the number of the image pairs in which the same image work type between images continues is a predetermined number or more, a camera work section determination unit that determines the continuous section as the camera work section;
For the camera work section determined by the camera work section determination unit, the start frame number of the image pair corresponding to the start time of the camera work section and the end of the image pair corresponding to the end time of the camera work section The frame number is specified, the camera work type of the image pair corresponding to the camera work section is specified as the camera work type of the camera work section, and the inter-image motion amount of all the image pairs corresponding to the camera work section That calculates the addition result as a camera motion amount of the camera work section, and outputs the start frame number, the end frame number, the camera work type, and the camera motion amount of the camera work section as camera work data. A work data generation unit;
A camera work determination device comprising: コンピュータを、請求項１から５までのいずれか一項に記載のカメラワーク判定装置として機能させるためのプログラム。   The program for functioning a computer as a camera work determination apparatus as described in any one of Claim 1-5.
JP2017111882A 2017-06-06 2017-06-06 Camera work judgment device and program Active JP6990998B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017111882A JP6990998B2 (en) 2017-06-06 2017-06-06 Camera work judgment device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017111882A JP6990998B2 (en) 2017-06-06 2017-06-06 Camera work judgment device and program

Publications (2)

Publication Number Publication Date
JP2018206142A true JP2018206142A (en) 2018-12-27
JP6990998B2 JP6990998B2 (en) 2022-02-03

Family

ID=64957289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017111882A Active JP6990998B2 (en) 2017-06-06 2017-06-06 Camera work judgment device and program

Country Status (1)

Country Link
JP (1) JP6990998B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06350895A (en) * 1993-06-10 1994-12-22 Fujitsu General Ltd Method for correcting jiggle in video camera
JPH10243340A (en) * 1997-02-27 1998-09-11 Hitachi Ltd Moving image processor
JP2003032600A (en) * 2001-07-18 2003-01-31 Canon Inc Image processing unit, index preparing system, index preparing method, recording medium and program
JP2005277733A (en) * 2004-03-24 2005-10-06 Seiko Epson Corp Moving image processing apparatus
JP2007068165A (en) * 2005-08-29 2007-03-15 Samsung Electronics Co Ltd Improved estimating method of movement, method and device for video encoding utilizing the method
JP2012160780A (en) * 2011-01-28 2012-08-23 Nikon Corp Imaging device, image processing device, and image processing program
JP2013183189A (en) * 2012-02-29 2013-09-12 Nikon Corp Image processing apparatus, imaging apparatus, and image processing program
JP2015194915A (en) * 2014-03-31 2015-11-05 住友電気工業株式会社 Moving body tracking apparatus, moving body tracking method, moving body tracking system, and camera

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06350895A (en) * 1993-06-10 1994-12-22 Fujitsu General Ltd Method for correcting jiggle in video camera
JPH10243340A (en) * 1997-02-27 1998-09-11 Hitachi Ltd Moving image processor
JP2003032600A (en) * 2001-07-18 2003-01-31 Canon Inc Image processing unit, index preparing system, index preparing method, recording medium and program
JP2005277733A (en) * 2004-03-24 2005-10-06 Seiko Epson Corp Moving image processing apparatus
JP2007068165A (en) * 2005-08-29 2007-03-15 Samsung Electronics Co Ltd Improved estimating method of movement, method and device for video encoding utilizing the method
JP2012160780A (en) * 2011-01-28 2012-08-23 Nikon Corp Imaging device, image processing device, and image processing program
JP2013183189A (en) * 2012-02-29 2013-09-12 Nikon Corp Image processing apparatus, imaging apparatus, and image processing program
JP2015194915A (en) * 2014-03-31 2015-11-05 住友電気工業株式会社 Moving body tracking apparatus, moving body tracking method, moving body tracking system, and camera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鈴木 賢一郎、外２名: ""局所動き方向ヒストグラム特徴による映像データからの動物体の検出"", 電子情報通信学会技術研究報告, vol. 102, no. 382, JPN6021021941, 11 October 2002 (2002-10-11), JP, pages 47 - 52, ISSN: 0004575075 *

Also Published As

Publication number Publication date
JP6990998B2 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
US7876828B2 (en) Method, medium, and apparatus predicting direct mode motion of a multi-angle moving picture
JP2009147807A (en) Image processing apparatus
JP4698754B2 (en) Scene change detection method and apparatus
JP5777311B2 (en) How to generate high-resolution video from low-resolution video
JP4514203B2 (en) Motion vector detection apparatus and method
US8274602B2 (en) Image processing apparatus and image processing method with redundant frame detection
JP2005229600A (en) Motion compensation interpolating method by motion estimation of superposed block base and frame rate conversion device applying the same
JP2009147911A (en) Video data compression preprocessing method, video data compression method employing the same and video data compression system
US8363726B2 (en) Electronic apparatus, motion vector detecting method, and program therefor
JP2000278694A (en) Encoding device, image processor, image processing system, encoding method and storage medium
JP5942517B2 (en) Method and apparatus for camera motion analysis in video
JP5441812B2 (en) Video encoding apparatus and control method thereof
JP4898415B2 (en) Moving picture coding apparatus and moving picture coding method
JP6990998B2 (en) Camera work judgment device and program
JP4677351B2 (en) Motion compensator, motion compensation processing method, computer program, and storage medium
JP2007174202A (en) Motion vector detecting device and method therefor
JP5906993B2 (en) Encoding apparatus, encoding method, and program
JP2010206430A (en) Frame rate conversion method, apparatus, and program
JP2009267726A (en) Moving image encoding apparatus, recorder, moving image encoding method, moving image encoding program
JP3941921B2 (en) Video encoding device
JP5763578B2 (en) Image coding apparatus, image coding method, and program
JP2010141451A (en) Method, device and program for converting frame rate, and computer readable recording medium recording the program
JP2005004770A (en) Movie video detecting method and apparatus using grouping
JP2006311603A (en) Moving image encoding method and apparatus, and moving image decoding method and apparatus
JP2008098796A (en) Video encoding method, video encoding device, video encoding program, and recording medium thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211207

R150 Certificate of patent or registration of utility model

Ref document number: 6990998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150