JP2007087049A

JP2007087049A - Dynamic image processor

Info

Publication number: JP2007087049A
Application number: JP2005274207A
Authority: JP
Inventors: Haruhisa Kato; 晴久加藤; Yasuhiro Takishima; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2005-09-21
Filing date: 2005-09-21
Publication date: 2007-04-05
Anticipated expiration: 2025-09-21
Also published as: JP4743601B2

Abstract

<P>PROBLEM TO BE SOLVED: To accurately estimate a photographing state related to camera work at high speed using code information of a compressed encoded dynamic image. <P>SOLUTION: An encoded dynamic image is inputted to a code information extraction part 11. The code information extraction part 11 partially extracts code information stored in the coded dynamic image and outputs it to a selection part 12. The selection part 12 selects code information showing camera work from the code information extracted by the extraction part 11, and outputs it to an estimation part 13. The estimation part 13 estimates a camera work using the code information selected by the selection part 12 and outputs a camera work parameter. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、動画像処理装置に関し、特に、圧縮された符号化動画像の符号情報を利用して、高速かつ高精度にカメラワークに関する撮影状態を推定する動画像処理装置に関する。 The present invention relates to a moving image processing apparatus, and more particularly to a moving image processing apparatus that uses a code information of a compressed encoded moving image to estimate a shooting state related to camera work at high speed and with high accuracy.

動画像などのコンテンツをサーバなどに蓄積しておき、ユーザからの要求により携帯電話端末やPDAなどの携帯端末に配信するコンテンツ配信サービスが行われるようになってきた。 Content distribution services have been provided in which content such as moving images is stored in a server or the like and distributed to a mobile terminal such as a mobile phone terminal or PDA in response to a request from a user.

動画像は圧縮された符号化動画像として蓄積されるのが普通である。動画像配信サービスにおいては、特定内容の動画像コンテンツや動画像における一部シーンだけが要求される場合もある。このような要求に対処するため、動画像をその内容やシーンごとに分離し、区別し得るようにしておくことが望まれる。カメラワークの推定は、コンテンツの内容理解やシーン分離の一助として応用でき、MPEG-7の写像パラメータ記述子またはカメラパラメータ記述子などに利用することができる。 Normally, moving images are stored as compressed encoded moving images. In the moving image distribution service, there are cases where only a part of a moving image content or a moving image with a specific content is required. In order to cope with such a request, it is desirable to separate the moving images according to their contents and scenes so that they can be distinguished. Camera work estimation can be applied to help understand the content and separate scenes, and can be used for MPEG-7 mapping parameter descriptors or camera parameter descriptors.

特許文献１には、カメラの位置、姿勢、およびレンズの状態を計測するセンサをカメラに取り付け、撮影(カメラ操作)を行う際、センサにより計測されたカメラ操作パラメータ(カメラの水平移動、パン角度、チルト角度など)を映像信号と同期して取得し、記録する動画像動き推定装置が記載されている。 In Patent Literature 1, a sensor that measures the position, posture, and lens state of a camera is attached to the camera, and when shooting (camera operation), camera operation parameters (horizontal movement of the camera, pan angle) , A tilt angle, etc.) is acquired and recorded in synchronization with a video signal, and a moving image motion estimation device is described.

特許文献２には、勾配法で求めたオプティカルフローをもとに、カメラワークのパラメータ(ズーム、チルト、パンなど)を個別に推定する動画像処理方法が記載されている。ここでは、消失点の推定にハフ変換を利用し、オプティカルフローの誤りの修正に動的輪郭モデルを利用している。 Patent Document 2 describes a moving image processing method for individually estimating camera work parameters (zoom, tilt, pan, etc.) based on an optical flow obtained by a gradient method. Here, Hough transform is used for vanishing point estimation, and an active contour model is used for optical flow error correction.

特許文献３には、動きベクトルの微分値をクラスタリングし、クラスタの分布、クラスタが単峰性か多峰性かによってカメラパラメータを推定するカメラパラメータ推定方法が記載されている。ここでは、ズーム、ドリーによる拡大率を推定し、拡大率を打ち消した後、パン、チルト、トラック、ブームによる移動量を推定している。 Patent Document 3 describes a camera parameter estimation method in which differential values of motion vectors are clustered, and camera parameters are estimated based on cluster distribution and whether the cluster is unimodal or multimodal. Here, the enlargement ratio by zoom and dolly is estimated, and after canceling the enlargement ratio, the movement amount by pan, tilt, truck, and boom is estimated.

特許文献４には、代表点マッチング法により１フィールドごとの画像の動きベクトルを検出し、パン、チルトを推定する演算手段を含む画像撮影システムが記載されている。 Patent Document 4 describes an image capturing system that includes a calculation unit that detects a motion vector of an image for each field by a representative point matching method and estimates pan and tilt.

特許文献５には、撮影者の意図を反映した重要画像を抽出して表示させるため、入力画像の動きベクトルを検出し、この動きベクトルが所定の条件に当てはまるか否かによってパン、チルト、ズームなどを推定する映像処理装置が記載されている。 In Patent Document 5, in order to extract and display an important image reflecting the photographer's intention, a motion vector of an input image is detected, and panning, tilting, and zooming are performed depending on whether or not the motion vector satisfies a predetermined condition. A video processing apparatus for estimating the above is described.

特許文献６(先願)では、符号情報として格納されている小領域ごとの局所的な動き情報から大域的な動き情報を高精度に推定し得る動き予測情報検出装置を既に提案した。
特開２００１−８６３９２号公報特開平９−２１２６４８号公報特開平１０−２３３９５８号公報特開２００１−２８７０８号公報特開２００４−８８３５２号公報特願２００４−１７３０２号(先願) Patent Document 6 (prior application) has already proposed a motion prediction information detection apparatus that can estimate global motion information with high accuracy from local motion information for each small region stored as code information.
JP 2001-86392 A JP-A-9-212648 Japanese Patent Laid-Open No. 10-233958 JP 2001-28708 A JP 2004-88352 A Japanese Patent Application No. 2004-17302 (prior application)

動画像におけるカメラワークに関する撮影状態を推定する最も原始的な方法は、撮影済みの動画像の撮影状態を目視により推定する方法である。この方法は、必要とする労力と時間を考えると現実的でない。特に、コンテンツが長尺の場合には多大の労力と時間を必要とする。 The most primitive method for estimating the shooting state relating to camerawork in a moving image is a method for visually estimating the shooting state of a shot moving image. This method is not practical considering the labor and time required. In particular, when the content is long, a great deal of labor and time are required.

特許文献１の動画像動き推定装置では、カメラのキャリブレーションが予め必要であり、レンズの焦点距離、歪曲収差等が既知でなければならない。しかも、カメラに取り付けたセンサによりカメラ操作パラメータを計測するものであるため、すでに撮影済みで、カメラ操作パラメータが計測されていない映像コンテンツに対しては適用することができないという課題がある。 In the moving image motion estimation apparatus of Patent Document 1, camera calibration is required in advance, and the focal length of the lens, distortion aberration, and the like must be known. Moreover, since the camera operation parameter is measured by a sensor attached to the camera, there is a problem that it cannot be applied to video content that has already been shot and the camera operation parameter is not measured.

特許文献２の動画像処理方法では、カメラワークの推定を画素領域で行うので、符号化された動画像の場合にはその符号情報を一旦復号する必要がある。さらに、オプティカルフローや動的輪郭モデルなどに大きな処理コストが掛かるという課題がある。 In the moving image processing method of Patent Document 2, since camera work is estimated in the pixel area, in the case of an encoded moving image, it is necessary to once decode the code information. Furthermore, there is a problem that a large processing cost is required for the optical flow and the active contour model.

特許文献３〜５の技術では、動きベクトルを利用してパン、チルトなどのカメラワークを推定する。ここで、動きベクトルは、圧縮効率を高めることを意図して決定されるものであるので、カメラ本来の動きを表さない場合がある。特に画像が平坦な領域ではノイズの影響が大きいため、動きベクトルがカメラ本来の動きと異なる場合が多い。そのため、動きベクトルがカメラ本来の動きと一致するとは限らず、それを元にして推定したカメラワークは信頼性に乏しくなる。また、カメラ操作パラメータを段階的に推定する場合、推定されたカメラ操作パラメータの誤差が順次蓄積されて後段ほど大きくなるという課題がある。 In the techniques of Patent Documents 3 to 5, camera work such as pan and tilt is estimated using a motion vector. Here, since the motion vector is determined with the intention of increasing the compression efficiency, the motion vector may not represent the original motion of the camera. In particular, since the influence of noise is large in a region where the image is flat, the motion vector often differs from the original motion of the camera. For this reason, the motion vector does not always match the original motion of the camera, and the camera work estimated based on the motion vector becomes less reliable. Further, when estimating camera operation parameters step by step, there is a problem that errors in the estimated camera operation parameters are sequentially accumulated and become larger later.

さらに、特許文献５の映像処理装置では、動きベクトルが同じ向きか放射状かを判断するだけであるので、複数の操作(例えば、パンとズーム)が同時に操作された場合は誤判定が生じるという課題がある。 Furthermore, since the video processing apparatus of Patent Document 5 only determines whether the motion vector is in the same direction or radial direction, an erroneous determination occurs when a plurality of operations (for example, pan and zoom) are operated simultaneously. There is.

特許文献６の動き予測情報検出装置は、前景、背景だけでなく誤った動き情報も含め、すべての局所的な動き情報を大域的な動き情報で表現することを意図するものであり、大域的な動き情報をそのままカメラワークとして利用することはできない。 The motion prediction information detection apparatus of Patent Document 6 intends to express all local motion information including global motion information including not only foreground and background but also erroneous motion information. Motion information cannot be used as camera work as it is.

本発明の目的は、上記課題を解決し、圧縮された符号化動画像の符号情報を利用して高速かつ高精度にカメラワークに関する撮影状態を推定する動画像処理装置を提供することにある。 An object of the present invention is to solve the above-described problems and to provide a moving image processing apparatus that estimates a shooting state related to camera work at high speed and with high accuracy using code information of a compressed encoded moving image.

上記課題を解決するために、本発明は、符号化動画像における撮影状態を符号情報を利用して推定する動画像処理装置において、伝送又は蓄積された符号化動画像を入力し、入力された符号化動画像から符号情報を部分的に抽出する符号情報抽出部と、上記符号情報抽出部により抽出された符号情報から撮影状態を表現する符号情報を選択する選択部と、上記選択部により選択された符号情報を用いて撮影状態を推定する推定部を備えたことを基本的特徴としている。 In order to solve the above-described problem, the present invention is a moving image processing apparatus that estimates a shooting state of an encoded moving image using code information, and the encoded moving image transmitted or accumulated is input and input. A code information extraction unit that partially extracts code information from the encoded moving image, a selection unit that selects code information representing a shooting state from the code information extracted by the code information extraction unit, and a selection by the selection unit The basic feature is that an estimation unit for estimating the shooting state using the encoded information is provided.

本発明によれば、符号化動画像に格納されている局所的な動き情報からカメラワークに伴う複数の局所的動き情報を個々に選別し、それらを統合する大域的な動きから高精度にカメラワークを推定することができる。また、符号化動画像を完全に復号せず、すべて符号領域でカメラワークパラメータを算出するので、演算量を抑えることが可能であり、また、高速にカメラワークを推定することができる。 According to the present invention, a plurality of local motion information associated with camera work is individually selected from the local motion information stored in the encoded moving image, and the camera is highly accurate from the global motion that integrates them. Work can be estimated. In addition, since the encoded work image is not completely decoded and the camera work parameters are calculated in all code regions, the amount of calculation can be suppressed and the camera work can be estimated at high speed.

以下、図面を参照して本発明を説明する。図１は、本発明に係る動画像処理装置の一実施形態を示す機能ブロック図である。これらの各機能部はソフトウエアでもハードウエアでも実現できる。ここでは、国際標準であるMPEG-1 ビデオ(ISO/IEC11172-2)に従って符号化された符号化動画像を処理対象とする場合を想定するが、本発明が処理対象とする動画像の符号化方式はこれに限定されない。 The present invention will be described below with reference to the drawings. FIG. 1 is a functional block diagram showing an embodiment of a moving image processing apparatus according to the present invention. Each of these functional units can be realized by software or hardware. Here, it is assumed that an encoded moving image encoded in accordance with the MPEG-1 video (ISO / IEC11172-2), which is an international standard, is a processing target. The method is not limited to this.

図１において、符号化動画像は、まず、符号情報抽出部11に入力される。符号情報抽出部11は、符号化動画像に格納されている符号情報を部分的に抽出し、選択部12に出力する。選択部12は、符号情報抽出部11により抽出された符号情報からカメラワークを表現している符号情報を選択し、推定部13に出力する。推定部13は、選択部12により選択された符号情報を用いてカメラワークを推定し、カメラワークパラメータを出力する。以下、図１の各機能部について具体的に説明する。 In FIG. 1, the encoded moving image is first input to the code information extraction unit 11. The code information extraction unit 11 partially extracts code information stored in the encoded moving image and outputs the code information to the selection unit 12. The selection unit 12 selects code information representing camerawork from the code information extracted by the code information extraction unit 11, and outputs the code information to the estimation unit 13. The estimation unit 13 estimates camera work using the code information selected by the selection unit 12, and outputs camera work parameters. Hereinafter, each functional unit in FIG. 1 will be specifically described.

〈符号情報抽出部11〉
符号情報抽出部11は、入力された符号化動画像から、カメラワークを表現している符号情報として動き情報を抽出する。符号情報抽出部11には可変長復号部も含まれる。ここでは、全ての動き情報を抽出する必要はなく、動き情報を保持するフレームの一部から必要な動き情報だけを抽出する。動き情報を持つすべてのフレームを処理対象とするのは冗長であるだけでなく、処理コストの増大に繋がりかねない。 <Code information extraction unit 11>
The code information extraction unit 11 extracts motion information as code information representing camerawork from the input encoded moving image. The code information extraction unit 11 also includes a variable length decoding unit. Here, it is not necessary to extract all motion information, and only necessary motion information is extracted from a part of the frame holding the motion information. It is not only redundant to process all frames having motion information, but this may lead to an increase in processing cost.

推定すべきカメラワークは、瞬間的にランダムな動きが発生する手振れと異なり、撮影者の明確な意図によってカメラが操作されるので、一定時間継続して同じ動き情報を生じる。このことを利用して、一定時間間隔を置いて動き情報を抽出する。 The camera work to be estimated is different from a camera shake in which a random movement occurs instantaneously, and the camera is operated according to the clear intention of the photographer, so that the same movement information is generated continuously for a certain period of time. Using this fact, motion information is extracted at regular time intervals.

一般的に、MPEGはIPB構造を持ち、Iピクチャ間隔が15から30フレーム間隔で設定され、Pピクチャ間隔は3から5フレーム間隔で設定される。BピクチャはIPピクチャの間を埋めるように符号化される。ここで、動き情報を持つのはPピクチャおよびBピクチャであるが、Bピクチャは枚数が多すぎるだけでなく、参照フレームまでの時間的距離が一定でないため、動き情報からのカメラワークの推定が煩雑になる。さらに、Bピクチャの動き情報は、前方向予測、後方向予測、両方向予測から任意に設定できるため、統一的にカメラワークを推定することが困難である。したがって、符号情報抽出部11では、Pピクチャを対象として符号情報を一定間隔で抽出し、それにおける動き情報を抽出するのが好ましい。なお、Pピクチャにおいて動き情報が存在しない小領域には「動き無し」という情報を割り当てておく。これにより、カメラワークの推定に用いる符号情報を大幅に削減できるため、処理コストの低減による高速化が図られる。 In general, MPEG has an IPB structure, an I picture interval is set at 15 to 30 frame intervals, and a P picture interval is set at 3 to 5 frame intervals. The B picture is encoded so as to fill in the space between IP pictures. Here, P pictures and B pictures have motion information, but not only the number of B pictures is too large, but also the time distance to the reference frame is not constant, so camera work estimation from motion information is not possible. It becomes complicated. Furthermore, since the motion information of the B picture can be arbitrarily set from forward prediction, backward prediction, and bidirectional prediction, it is difficult to estimate camera work uniformly. Therefore, it is preferable that the code information extraction unit 11 extracts code information for a P picture at regular intervals, and extracts motion information in the code information. Note that information indicating “no motion” is assigned to a small area in which no motion information exists in a P picture. Thereby, since the code information used for camera work estimation can be greatly reduced, the processing speed can be reduced and the speed can be increased.

Bピクチャが存在せず、Pピクチャが1フレーム間隔に存在する場合には、動き情報をすべてのPピクチャから抽出するのではなく、一定間隔ごとに動き情報を抽出するのが好ましい。符号情報抽出部11で抽出された動き情報は選択部12に送られる。 When there is no B picture and P pictures are present at one frame interval, it is preferable to extract motion information at regular intervals instead of extracting motion information from all P pictures. The motion information extracted by the code information extraction unit 11 is sent to the selection unit 12.

〈選択部12〉
選択部12は、符号情報抽出部11で抽出された動き情報を入力とする。カメラワークの推定には、カメラの動きを正確に捕捉した動き情報を用いる必要がある。しかし、圧縮率向上の観点から選ばれる動き情報は、常にカメラ本来の動きを正確に捉えているとは限らない。特に、画像において変化の乏しい平坦な領域では僅かな予測誤差の違いからカメラの動きを正確に推定することが困難である。明確なエッジが存在する領域はカメラ本来の動きを捉えやすい。特に、物体の角や端点などの複数のエッジが交差する領域は信頼性が高い。 <Selection part 12>
The selection unit 12 receives the motion information extracted by the code information extraction unit 11 as an input. For estimation of camera work, it is necessary to use motion information obtained by accurately capturing camera motion. However, the motion information selected from the viewpoint of improving the compression rate does not always accurately capture the original motion of the camera. In particular, it is difficult to accurately estimate the motion of the camera from a slight difference in prediction error in a flat region with little change in the image. A region where a clear edge exists can easily capture the original movement of the camera. In particular, a region where a plurality of edges such as corners and end points of an object intersect has high reliability.

選択部12では入力された動き情報から時間的および空間的なノイズを除去し、連続性のある動き情報を選別した後、クラスタリングによって前景と背景を分離するとともに、背景領域のカメラワークの推定に用いる動き情報を選択する。 The selection unit 12 removes temporal and spatial noise from the input motion information, selects continuous motion information, separates the foreground and background by clustering, and estimates the camera work in the background area. Select motion information to use.

図２は、選択部12の具体例を示す機能ブロック図である。選択部12は、ノイズ除去手段121、クラスタリング手段122およびクラスタ選択手段123を備え、これらにより符号情報抽出部11で抽出された動き情報を順次処理する。 FIG. 2 is a functional block diagram illustrating a specific example of the selection unit 12. The selection unit 12 includes a noise removal unit 121, a clustering unit 122, and a cluster selection unit 123, which sequentially process the motion information extracted by the code information extraction unit 11.

ノイズ除去手段121は、符号情報抽出部11で抽出された動き情報から平坦領域に存在しやすい誤った動き情報を排除する。図３は、パンおよびチルトの場合の画面内の動き情報(動きベクトル)を示す。理想的なパンおよびチルトでは画面内のすべての動き情報が同じ値を持つ。図４はズームの場合の画面内の動き情報を示す。理想的なズームやロールなどでは局所的に見れば周囲の動き情報との間に大きな差はない。 The noise removing unit 121 removes erroneous motion information that is likely to exist in a flat region from the motion information extracted by the code information extraction unit 11. FIG. 3 shows motion information (motion vector) in the screen in the case of panning and tilting. In ideal pan and tilt, all motion information in the screen has the same value. FIG. 4 shows the motion information in the screen in the case of zooming. In an ideal zoom or roll, there is no significant difference from surrounding motion information when viewed locally.

ノイズ除去手段121では、まず、近傍の動き情報と比較して大きな差がある動き情報を排除することにより、空間的ノイズが除去された動き情報を符号領域で選定する。図５は、空間的ノイズが含まれた動き情報の例を示す。 In the noise removing unit 121, first, motion information from which spatial noise has been removed is selected in the code region by removing motion information that has a large difference compared to neighboring motion information. FIG. 5 shows an example of motion information including spatial noise.

カメラの動きに伴う動き情報であっても、手振れなど撮影者が意図しないカメラワークを検出する必要はない。また、空間的ノイズでなくても移動物体に伴う動き情報はカメラワークを推定する上で妨げとなる。 Even movement information associated with the movement of the camera need not detect camerawork that the photographer does not intend, such as camera shake. Even if it is not spatial noise, the motion information accompanying the moving object is an obstacle to estimating the camera work.

ノイズ除去手段121では、空間的ノイズが除去された動き情報から、さらに手振れなどに伴う時間的連続性を持たない時間的ノイズを除去する。異なる時間の複数フレームにおいて一定位置の動き情報に注目するとき、手振れに伴う動き情報は小刻みに振動する。カメラワークと関係のない移動物体に伴う動き情報も時間的連続性を保持しない。カメラワークは一定時間連続すると想定できるので、複数フレームに渡って同位置の動き情報が時間的に変化しないことを検証することによって時間的ノイズを除去できる。 The noise removing unit 121 further removes temporal noise that does not have temporal continuity associated with camera shake from the motion information from which the spatial noise has been removed. When attention is paid to motion information at a fixed position in a plurality of frames at different times, the motion information accompanying hand shake vibrates in small increments. Motion information associated with moving objects that are not related to camera work also does not maintain temporal continuity. Since camera work can be assumed to be continuous for a certain period of time, temporal noise can be removed by verifying that the motion information at the same position does not change with time over a plurality of frames.

時間的ノイズが除去された動き情報を符号領域で選定するため、動き情報の長さや角度の変化を判断基準に用いることができる。図６は、時間的ノイズの例を示し、時間t,t+1,t+2のフレームで同位置の動き情報の長さや角度が時間的に変化している場合には、該動き情報を時間的ノイズとして排除する。ノイズ除去手段121からは空間的かつ時間的に一致する動き情報が出力され、クラスタリング手段122に入力される。 Since motion information from which temporal noise has been removed is selected in the code region, changes in the length and angle of motion information can be used as a criterion. FIG. 6 shows an example of temporal noise. When the length or angle of motion information at the same position is temporally changed in frames at times t, t + 1, and t + 2, the motion information is displayed. Eliminate as temporal noise. From the noise removing unit 121, spatially and temporally matching motion information is output and input to the clustering unit 122.

時間的かつ空間的ノイズが除去された動き情報であっても、カメラワークとは関係のない移動物体による動きが含まれていてはカメラワークを正確に推定できない。カメラワークに伴う動き情報は背景領域に存在する。そこで、まず、クラスタリング手段122において、ノイズ除去手段121で時間的かつ空間的ノイズが除去された動き情報を前景領域部分と背景領域部分にクラスタリングする。クラスタリングは、動き情報を長さや角度の類似度などが一致する領域別に分離することで実現できる。クラスタリングには他の任意の手法を用いることができる。図７は、２つの領域にクラスタリングされた動き情報の例を示す。 Even motion information from which temporal and spatial noise has been removed cannot accurately estimate camera work if it contains motion due to a moving object unrelated to camera work. Motion information associated with camera work exists in the background area. Therefore, first, the clustering means 122 clusters the motion information from which the temporal and spatial noise has been removed by the noise removing means 121 into the foreground area portion and the background area portion. Clustering can be realized by separating motion information into regions that have similar lengths and angle similarities. Any other method can be used for clustering. FIG. 7 shows an example of motion information clustered in two regions.

次に、クラスタ選択手段123において、クラスタリング手段122によるクラスタリングで形成されたクラスタからカメラワークを捉えている動き情報のクラスタを選択する。移動物体の領域が背景領域に比べて十分に小さいことが想定されれば、十分に大きい領域のクラスタをカメラワークを捉えている動き情報のクラスタとして選択できる。図７は、他と比較して大きい領域のクラスタをカメラワークを捉えている動き情報のクラスタとして選択する例である。 Next, the cluster selection unit 123 selects a cluster of motion information capturing camerawork from the clusters formed by clustering by the clustering unit 122. If it is assumed that the area of the moving object is sufficiently smaller than the background area, a cluster of a sufficiently large area can be selected as a cluster of motion information capturing camerawork. FIG. 7 shows an example in which a cluster having a larger area than others is selected as a cluster of motion information capturing camerawork.

同程度の大きさの領域のクラスタが複数存在する場合には、カメラワークを捉えている可能性の高い動き情報のクラスタを優先させればよい。例えば、カメラの中心には撮影対象の移動物体が写っている場合が多いことが想定されるので、画面端に位置するクラスタあるいは外接矩形が大きいクラスタを選択することにより、カメラワークを捉えている可能性の高い動き情報のクラスタを選択できる。 If there are a plurality of clusters having a region of the same size, priority may be given to a cluster of motion information that is likely to capture camerawork. For example, it is assumed that there are many moving objects to be photographed at the center of the camera, so the camera work is captured by selecting a cluster located at the edge of the screen or a cluster with a large circumscribed rectangle. A cluster of motion information with high possibility can be selected.

〈推定部13〉
図８は、推定部13の具体例を示す機能ブロック図である。推定部13は、動き情報選択手段131、係数算出手段132、適合度算出手段133およびカメラワークパラメータ推定手段134を備え、選択部12で選択された動き情報を順次処理する。 <Estimation unit 13>
FIG. 8 is a functional block diagram illustrating a specific example of the estimation unit 13. The estimation unit 13 includes a motion information selection unit 131, a coefficient calculation unit 132, a fitness calculation unit 133, and a camera work parameter estimation unit 134, and sequentially processes the motion information selected by the selection unit 12.

動き情報選択手段131では、カメラワークの推定に使用する動き情報を必要に応じて選択する。カメラワークは、パン、チルト、ズーム、ロールなどに分類できる。これらのカメラワークは、一般的に6自由度のアフィン変換でモデル化できる。パン、チルト、ズームだけを推定したい場合は、より少ない変換係数によるモデル化も可能である。 The motion information selection means 131 selects motion information used for camera work estimation as necessary. Camera work can be classified into pan, tilt, zoom and roll. These camera works can generally be modeled by affine transformation with 6 degrees of freedom. If only pan, tilt, and zoom are to be estimated, modeling with fewer conversion coefficients is possible.

アフィン変換によるモデル化の場合、6組の動き情報があれば6個の係数を推定できる。選択部12によって選択された動き情報が係数算出に必要な個数に満たない場合には、カメラワークを表現するのに十分な信頼性を持った動き情報が存在しないとして、推定対象区間の動画像にカメラワークは存在しないと判断する。 In the case of modeling by affine transformation, if there are 6 sets of motion information, 6 coefficients can be estimated. If the motion information selected by the selection unit 12 is less than the number necessary for coefficient calculation, it is determined that there is no motion information with sufficient reliability to represent camerawork, and the motion image of the estimation target section It is determined that there is no camera work.

逆に、選択部12によって十分な個数の動き情報が選択された場合には、これらの動き情報を用いてカメラワークを推定する。選択された動き情報が多い場合には、動き情報を信頼性の高い順に選択するなどして、モデルにおける係数算出に使用する動き情報を制限すれば計算負荷を削減することができる。動き情報選択手段131は、係数算出に使用する動き情報を制限する。 Conversely, when a sufficient number of pieces of motion information are selected by the selection unit 12, camera work is estimated using these pieces of motion information. When a large amount of motion information is selected, the calculation load can be reduced by limiting the motion information used for coefficient calculation in the model by selecting the motion information in descending order of reliability. The motion information selection unit 131 limits the motion information used for coefficient calculation.

動き情報の信頼性は、適度なエッジを持った領域ほど高いと判断できる。この判断基準には、発生符号量やDCT係数を利用することができる。例えば、可変長符号化されているDCT係数のビット量、DCT係数の最高次係数まで連続する0 の長さ、DCT係数のAC成分絶対値和のうちの少なくとも１つをこの判断基準に用いることができる。これらはいずれも符号化動画像に格納されている符号情報であるので簡単に取得できる。複数フレームに渡って同位置の動き情報の変動が小さいほど動き情報の信頼性が高いと判断することもできる。 It can be determined that the reliability of the motion information is higher in a region having an appropriate edge. For this determination criterion, a generated code amount or a DCT coefficient can be used. For example, at least one of the bit length of the DCT coefficient that is variable-length coded, the length of 0 that continues to the highest-order coefficient of the DCT coefficient, and the sum of the absolute values of the AC components of the DCT coefficient is used for this criterion Can do. Since these are code information stored in the encoded moving image, they can be easily obtained. It can also be determined that the reliability of the motion information is higher as the variation in the motion information at the same position across a plurality of frames is smaller.

信頼性の高い動き情報を選択する場合、選択する動き情報の個数nはモデルにおける係数を算出するのに十分であれば任意の個数でよい。 When selecting highly reliable motion information, the number n of motion information to be selected may be any number as long as it is sufficient to calculate the coefficients in the model.

係数算出手段132は、動き情報選択手段131で選択した動き情報からモデルにおける係数を算出する。フレーム画像を構成する画素を走査順に並べたとき、i番目の画素の座標とそれに付随する動き情報をそれぞれ(x_ｉ,y_ｉ)および(u_ｉ,v_ｉ)(i=1,2,・・・,n)で表すと、アフィン変換でカメラワークをモデル化した場合、6個の係数g_ｊ(1≦j≦6)を用いて変換された後の座標(x_ｉ",y_ｉ")は、式(1),(2)で与えられる。 The coefficient calculating unit 132 calculates a coefficient in the model from the motion information selected by the motion information selecting unit 131. When the pixels constituting the frame image are arranged in the scanning order, the coordinates of the i-th pixel and the accompanying motion information are respectively expressed as (x _i , y _i ) and (u _i , v _i ) (i = 1, 2,. .., N) When camerawork is modeled by affine transformation, coordinates (x _i ", y _i " after transformation using six coefficients g _j (1 ≦ j ≦ 6) ) Is given by equations (1) and (2).

一方、動き情報を(u_ｉ,v_ｉ)(i=1,2,・・・,n)を用いて動き補償された後の座標(x_ｉ',y_ｉ')は、式(3),(4)で与えられる。 On the other hand, the coordinates (x _i ′, y _i ′) after motion compensation using motion information (u _i , v _i ) (i = 1, 2,..., N) are expressed by equation (3) , (4).

各成分の2乗誤差の和を最小にする係数g_ｊを求めるとき、アフィン変換係数はx，y成分ごとに互いに独立であるので、x,y成分ごとに最小値を求めることで計算の規模を縮小できる。 When finding the coefficient g _j that minimizes the sum of the squared errors of each component, the affine transformation coefficients are independent of each other for each x and y component, so the scale of calculation is obtained by obtaining the minimum value for each x and y component. Can be reduced.

各成分の2乗誤差の重み付き総和e_ｘ,e_ｙをそれぞれ式(5),(6)と定義し、この総和e_ｘ,e_ｙを最小にする係数g_ｊを最適なアフィン変換係数として求める。なお、w_ｋは重み係数であり、上記動き情報の信頼性に応じた数値を用いることができる。重み係数w_ｋを1にすれば式(5),(6)を簡略化できる。 The weighted sums e _x and e _y of the square error of each component are defined as equations (5) and (6), respectively, and the coefficient g _j that minimizes the sums e _x and e _y is defined as the optimum affine transformation coefficient. Ask. Note that w _k is a weighting coefficient, and a numerical value corresponding to the reliability of the motion information can be used. If the weighting coefficient w _{k is set} to 1, equations (5) and (6) can be simplified.

2乗誤差の重み付き総和e_ｘ,e_ｙを最小化する係数g_ｊを求めるには、式(5),(6)をg_ｊで偏微分した値を0 にして得られる式(7),(8)を解けばよい。 To obtain the coefficient g _j that minimizes the weighted sum of squared errors e _x and e _y , formula (7) is obtained by subtracting the values obtained by partial differentiation of formulas (5) and (6) with g _j , (8) should be solved.

ただし、[x] は式(9)で表される和であり、具体的には式(10)で表される。 However, [x] is the sum represented by Equation (9), and specifically is represented by Equation (10).

ここで、Dを式(11)で定義すると、アフィン変換係数g_ｊは、式(12)で求めることができる。 Here, if D is defined by equation (11), the affine transformation coefficient g _j can be obtained by equation (12).

適合度算出手段133は、係数算出手段132で算出された係数g_ｊを用いたときの変換がクラスタ内の他の動き情報に対しても十分に適合するか検証し、十分に適合する係数g_ｊを選択する。係数g_ｊを用いた変換がクラスタ内の他の動き情報に対しても適合するかの適合度には、上記2乗誤差の重み付き総和e_ｘ,e_ｙを用いることができる。あるいは、動き情報と係数g_ｊによる推定値との差の絶対値が予め設定された閾値で抑えられるか否かで適合度を判断することができる。この場合、閾値は動き情報の分散に応じて適応的に変化させることができる。 The degree-of-fit calculation means 133 verifies whether the conversion using the coefficient g _j calculated by the coefficient calculation means 132 is sufficiently compatible with other motion information in the cluster, and the coefficient g that is sufficiently matched Select _j . The weighted sums e _x and e _y of the square error can be used as the suitability of whether the conversion using the coefficient g _j is applicable to other motion information in the cluster. Alternatively, the degree of fitness can be determined based on whether or not the absolute value of the difference between the motion information and the estimated value based on the coefficient g _j is suppressed by a preset threshold value. In this case, the threshold value can be adaptively changed according to the distribution of motion information.

係数算出手段132で算出された係数g_ｊを用いた変換がクラスタ内の他の動き情報に対しても十分に適合している場合には該係数g_ｊを選択し、適合していない場合にはクラスタ内の動き情報を選択し直して係数算出手段132に与え、係数g_ｊを再度算出させる。算出された係数g_ｊを用いた変換がクラスタ内の他の動き情報に対しても十分に適合するまで上記一連の処理を繰り返し、適合したときの係数g_ｊを選択する。あるいは予め設定した一定回数だけ上記一連の処理を繰り返し、その中で最適な係数g_ｊを選択するようにしてもよい。 When the transformation using the coefficient g _j calculated by the coefficient calculation means 132 is sufficiently adapted to other motion information in the cluster, the coefficient g _j is selected. Reselects the motion information in the cluster and gives it to the coefficient calculation means 132 to calculate the coefficient g _j again. The above-described series of processing is repeated until the conversion using the calculated coefficient g _j is sufficiently adapted to other motion information in the cluster, and the coefficient g _j at the time of adaptation is selected. Alternatively, the above-described series of processes may be repeated a predetermined number of times, and the optimum coefficient g _j may be selected.

カメラパラメータ推定手段134は、適合度算出手段133で選択された係数g_ｊからカメラワークの存在と種類を推定する。カメラワークは一定の時間連続すると想定できるが、その間に完全に同一の係数g_ｊが発生し続けるとは限らない。加速度的にパンする場合などには係数g_ｊが徐々に変化する。そこで、一定時間毎にカメラワークの推定を行いつつ、同じ種類のカメラワークが連続することを以て最終的にカメラワークの有無を判断する。あるいは係数g_ｊの累積値が予め定めた閾値を超えることを以てカメラワークを推定する。 The camera parameter estimation means 134 estimates the presence and type of camera work from the coefficient g _j selected by the fitness calculation means 133. Although it can be assumed that the camera work continues for a certain period of time, the completely same coefficient g _j does not always occur during that time. For example, when panning at an acceleration, the coefficient g _j gradually changes. Therefore, the camera work is estimated at regular time intervals, and finally the presence or absence of camera work is determined by the fact that the same type of camera work continues. Alternatively, the camera work is estimated when the accumulated value of the coefficient g _j exceeds a predetermined threshold value.

アフィン変換によるモデル化の場合には、回転角度θ、水平方向の移動量m_ｘ、垂直方向の移動量m_ｙ、水平方向の拡大率s_ｘ、垂直方向の拡大率s_ｙはそれぞれ、式(13)で得られる。 In the case of modeling by affine transformation, the rotation angle θ, the horizontal movement amount m _x , the vertical movement amount m _y , the horizontal expansion rate s _x , and the vertical expansion rate s _y are respectively expressed by the formulas ( It is obtained in 13).

本発明は、符号情報そのものを利用しつつ高精度かつ高速にカメラワークを推定可能にするので、映像コンテンツのハイライトやダイジェストの自動生成における要素技術などに適用できる。 Since the present invention makes it possible to estimate camera work with high accuracy and high speed while using code information itself, it can be applied to elemental technologies in highlighting video content and automatically generating a digest.

本発明に係る動画像処理装置の一実施形態を示す機能ブロック図である。It is a functional block diagram which shows one Embodiment of the moving image processing apparatus which concerns on this invention. 選択部の具体例を示す機能ブロック図である。It is a functional block diagram which shows the specific example of a selection part. パンおよびチルトの場合の画面内の動き情報(動きベクトル)を示す説明図である。It is explanatory drawing which shows the motion information (motion vector) in the screen in the case of pan and tilt. ズームの場合の画面内の動き情報を示す説明図である。It is explanatory drawing which shows the motion information in the screen in the case of zoom. 空間的ノイズが含まれた動き情報の例を示す説明図である。It is explanatory drawing which shows the example of the motion information containing the spatial noise. 時間的ノイズの例を示す説明図である。It is explanatory drawing which shows the example of temporal noise. ２つの領域にクラスタリングされた動き情報の例を示す説明図である。It is explanatory drawing which shows the example of the motion information clustered by two area | regions. 推定部の具体例を示す機能ブロック図である。It is a functional block diagram which shows the specific example of an estimation part.

Explanation of symbols

11・・・符号情報抽出部、12・・・選択部、13・・・推定部、121・・・ノイズ除去手段、122・・・クラスタリング手段、123・・・クラスタ選択手段、131・・・動き情報選択手段、132・・・係数算出手段、133・・・適合度算出手段、134・・・カメラワークパラメータ推定手段 11: Code information extraction unit, 12 ... Selection unit, 13 ... Estimation unit, 121 ... Noise removal unit, 122 ... Clustering unit, 123 ... Cluster selection unit, 131 ... Motion information selection means, 132 ... coefficient calculation means, 133 ... fitness calculation means, 134 ... camera work parameter estimation means

Claims

In a moving image processing apparatus for estimating a shooting state in an encoded moving image using code information,
A code information extraction unit that inputs the encoded or transmitted encoded video and partially extracts the code information from the input encoded video;
A selection unit for selecting code information representing a shooting state from the code information extracted by the code information extraction unit;
A moving image processing apparatus comprising: an estimation unit that estimates a shooting state using code information selected by the selection unit.

The moving image processing apparatus according to claim 1, wherein the code information extraction unit extracts only partial code information of a partial frame from code information stored in the encoded moving image.

The moving image processing apparatus according to claim 1, wherein the code information extraction unit extracts motion information stored in the encoded moving image as code information.

The moving image processing apparatus according to claim 3, wherein the selection unit includes a noise removing unit that removes noise from the motion information and selects motion information representing the motion of the photographing apparatus.

The said selection part is provided with a means to determine the reliability of motion information in a code area, This means uses the spatial and temporal continuity of motion information as a criterion. The moving image processing apparatus according to 1.

The selection unit includes a clustering unit, and the clustering unit separates motion information representing the motion of the imaging device and motion information representing other motion in a code region according to the similarity of the motion information. Item 6. The moving image processing apparatus according to any one of Items 3 to 5.

7. The clustering unit determines a region including motion information representing a motion of a photographing device based on a relative area or a position in a screen of a region having similar motion information as a determination criterion. Moving image processing apparatus.

The said estimation part estimates the motion of an imaging device in a code area using the partial motion information stored in the code information selected by the said selection part, and applicable position information. The moving image processing apparatus described.

The moving image processing apparatus according to claim 8, wherein the estimation unit selects motion information according to reliability in order to estimate a motion of the imaging device in a code area.

The estimation unit uses at least one of variance of motion information at the same position over a plurality of frames, generated code amount of prediction error information, and partial absolute value sum as reliability of motion information. 9. The moving image processing apparatus according to 9.

9. The moving image according to claim 8, wherein the estimation unit includes a coefficient calculation unit that models a motion of the photographing apparatus and calculates a coefficient that minimizes a difference from the motion information in the model. Processing equipment.

The estimation unit includes a fitness calculation unit that applies the coefficient calculated by the coefficient calculation unit to the model and uses the motion information that was not used when calculating the coefficient to verify the compatibility of the calculated coefficient. The moving image processing apparatus according to claim 11.

When it is determined that the calculated coefficient is non-conforming, the estimating unit causes the coefficient calculating unit to repeatedly calculate the coefficient using other motion information, and determines the coefficient determined to be conforming or a preset repetition. The moving image processing apparatus according to claim 12, wherein an optimum coefficient is adopted in the number of times.

14. The estimation unit includes estimation means for estimating a motion of a photographing device from a calculated coefficient and estimating a motion of the photographing device based on the continuity as a criterion. The moving image processing apparatus according to any one of the above.

The estimation unit uses, as a continuity determination criterion, at least one of the fact that the type of temporary movement of the photographing device matches and that the cumulative value of the temporary movement amount of the photographing device exceeds a threshold value. 15. The moving image processing apparatus according to claim 14, wherein