JP2005223487A - Digital camera work apparatus, digital camera work method, and digital camera work program - Google Patents
Digital camera work apparatus, digital camera work method, and digital camera work program Download PDFInfo
- Publication number
- JP2005223487A JP2005223487A JP2004027691A JP2004027691A JP2005223487A JP 2005223487 A JP2005223487 A JP 2005223487A JP 2004027691 A JP2004027691 A JP 2004027691A JP 2004027691 A JP2004027691 A JP 2004027691A JP 2005223487 A JP2005223487 A JP 2005223487A
- Authority
- JP
- Japan
- Prior art keywords
- camera work
- ball
- digital camera
- video
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、デジタルカメラワーク装置、デジタルカメラワーク方法、及びデジタルカメラワークプログラムに関するものであり、より詳細には、スポーツ映像から新たなカメラワークの映像を自動的に生成するデジタルカメラワーク装置、方法、及びプログラムに関するものである。 The present invention relates to a digital camera work device, a digital camera work method, and a digital camera work program. More specifically, the present invention relates to a digital camera work device and method for automatically generating a new camera work video from a sports video. , And programs.
昨今の放送の多チャンネル化とデジタル技術の発展によるさらなる多チャンネル化により放送コンテンツの不足が発生している。しかしながら、映像制作者側では、数多くの放送コンテンツを用意することや、その放送コンテンツにメタ情報を付与するなど、作業量の増大と人件費や制作費のコストが問題となり、十分な放送コンテンツの供給ができていないという状態である。また、コストの問題を解決したとしてもプロのカメラマンや編集者などの数は限られているため、十分な放送コンテンツを生成することができない状況にある。この問題から、低コストかつプロの放送関係者を必要としない映像生成技術が求められている。 Due to recent multi-channel broadcasting and further multi-channel broadcasting due to the development of digital technology, there is a shortage of broadcast content. However, on the video producer side, increasing the amount of work and the cost of labor and production costs, such as preparing a large number of broadcast contents and adding meta information to the broadcast contents, are problematic. It is in a state where the supply is not completed. Even if the problem of cost is solved, the number of professional photographers and editors is limited, so that it is not possible to generate sufficient broadcast content. Due to this problem, there is a need for a video generation technology that is low cost and does not require professional broadcasters.
放送コンテンツの中でもとりわけスポーツ中継映像は人気の高いものであるが、コストや人材不足の理由から中継・配信されないスポーツの試合や競技、例えば、規模の小さい民間のスポーツ試合などが数多くある。しかしながら、このようなスポーツの映像素材は、想定される視聴者の数、映像作成スタッフ、映像制作コストなどの観点からコンテンツ作成することが困難であった。
ところで、現状の放送品質であるSD(Standard Definition) と比較して最大で6 個分に相当する解像度を持つHD(High Definition)の映像をクリッピング（切り出す）し、切り出すフレームの位置とサイズを制御することで仮想的な自動撮影が想定できる。映像をクリッピングすることで仮想的なパンやズームなどのカメラワークを実現する概念は、デジタルカメラワーク（非特許文献１を参照されたい。）と呼ばれている。一方、撮影済みの素材映像からプロのカメラマンや編集スタッフという人手をかけて新たな映像を切り出すことも可能であるが、スピード面、コスト面で割に合わない。
また、映像の生成に関する研究としては，プロのカメラマンが撮影した映像を素材としてハイライトなどを自動抽出するもの（非特許文献２を参照されたい。）や、要約映像を生成するもの（非特許文献３を参照されたい。）などがある。しかし、これらのアプローチでは、プロのカメラマンが撮影したものを加工できる範囲でしか映像を生成できないという制約がある。このアプローチに対し、ロボットカメラマンを導入する自動撮影技術がある。現在、ロボットカメラを用いた自動撮影の研究は、講義シーンの撮影や料理番組の撮影といった対象が一人の場合など、比較的単純な対象について研究が行われている（非特許文献４、５）。しかし、スポーツの場合、対象が複数存在し、しかも急激なシーンの変化を伴う場合が多い。このようなスポーツを対象とした知的ロボット撮影システムの研究も行われている（非特許文献６、７）。
カメラマンには、試合の進行を予測しながら撮影するなど、人間にとっても失敗を伴う高度な撮影技術が必要であり、実時間以上の処理や予測技術が求められる。そのため、現在の画像処理技術では、人間と同程度のシステムを構築することは難易度が高い問題である。また、このロボットカメラを用いたシステムにおいては，プロのカメラマンの模倣をするという意味のシステムであるので、一度撮影が行われるとそのカメラワークを後で変更することが困難であるという問題がある。これに対し、前述したデジタルカメラワークを用いた映像生成では、一旦撮影された映像から様々なフレームを切り出し新たな映像を作成できるという利点がある。
Among broadcast contents, sports broadcast video is particularly popular, but there are many sports games and competitions that are not relayed / distributed due to cost and human resource shortages, for example, small-scale private sports games. However, it has been difficult to create content for such sports video materials in terms of the expected number of viewers, video creation staff, video production costs, and the like.
By the way, HD (High Definition) video with a resolution equivalent to a maximum of six compared to the current broadcast quality SD (Standard Definition) is clipped, and the position and size of the frame to be cut out are controlled. By doing so, virtual automatic shooting can be assumed. The concept of realizing camera work such as virtual panning and zooming by clipping an image is called digital camera work (see Non-Patent Document 1). On the other hand, it is possible to cut out new images from the captured material images by professional photographers and editing staff, but this is not worth the speed and cost.
Research on video generation includes automatic extraction of highlights etc. using video taken by professional photographers (see Non-Patent Document 2), and generation of summary video (non-patent). See
For photographers, it is necessary for a human being to have a high level of shooting technology with failure, such as shooting while predicting the progress of a match, and processing and prediction technology more than real time is required. Therefore, in the current image processing technology, it is a difficult problem to construct a system similar to a human. In addition, since the system using the robot camera is a system that imitates a professional photographer, it is difficult to change the camera work later once shooting is performed. . On the other hand, the above-described video generation using the digital camera work has an advantage that a new video can be created by cutting out various frames from the video once shot.
また、試合進行を視聴者へ正確に伝えるようにフレームサイズと撮影位置を決定し、余計な意図を発生させないよう滑らかにこの試合進行を追従する必要がある。しかし、例えば、サッカーでのボールは、ドリブルやパスでは小刻みに激しく動き、ロングパスやシュートでは大きく動く。また選手はボールより比較的遅い動きではあるが、ボールの周辺で選手が激しく動くという特徴がある。つまり、サッカー映像の撮影では、試合進行を正確に伝えるために、どこをどのような大きさで撮影するかによって映像の価値が決まる。このように、サッカー映像でのデジタルカメラワークでは、小刻みな動きについてはボールがフレームから外れない程度に動きを抑え、ボールが大きく動く時には素早く追従する手法が求められる。
本発明は、上述した諸課題を解決したデジタルカメラワーク装置、方法、プログラムを提供することを目的とする。即ち、低コスト、かつ、プロのカメラマンや編集スタッフなどを必要としないデジタルカメラワークを利用した自動映像生成技法を提供することを目的とする。 It is an object of the present invention to provide a digital camera work apparatus, method, and program that solve the above-described problems. That is, an object of the present invention is to provide an automatic video generation technique using digital camera work that is low cost and does not require a professional cameraman or editing staff.
本発明によるデジタルカメラワーク装置は、
静止状態のカメラで撮影されたスポーツ映像から新たなカメラワークの映像を自動的に生成する、即ち、理想的なカメラワークで仮想的に撮影する（時系列でフレームを連続的に切り出す）デジタルカメラワーク装置（即ちデジタルカメラワークを利用した自動映像生成装置）であって、
前記スポーツ映像を入力する映像入力手段（回路）と、
前記入力したスポーツ映像から、各選手の移動情報（複数のフレームにわたる各選手の各位置、これらに基づく各選手の動きベクトル、動きベクトルの大きさ（移動量）など）を検出する動き検出手段（回路）と、
前記各選手の移動情報に含まれる前記各選手の複数のフレームにわたる各位置に基づき、最も前記各選手が集中しかつ前記各選手の動きが大きい領域を求めこれを前記新たなカメラワークの映像のフレーム位置（例えばフレームの4隅の座標など。フレームサイズが固定である場合は、切り出しフレームの中心座標などのように１つの座標で足りる。）として設定するカメラワーク設定手段（回路）と、
前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成手段（回路）と、
前記切り出した映像を出力する映像出力手段（回路）と、
を含むデジタルカメラワーク装置である。
本発明によれば、カメラワークを行わない動作を固定した無人のカメラ（例えば、競技場に設置されている競技場全体を広角で撮影し得る定点撮影カメラ）で撮影した映像から、選手の動きに追従し、かつ、試合の重要なシーンを捉えた映像を自動的に生成することが可能となる。即ち、競技場の全景を撮影する固定カメラワーク映像から、あたかもカメラマンが選手や試合の重要なシーンを含む「領域」を追従して撮影したかのような臨場感溢れる映像を人手を介さずに自動的に生成することが可能となる。従って、新たなスポーツ競技映像コンテンツを自動的、安価かつ大量に作成することが可能となる。また、素材映像の撮影段階、及び、映像の切り出しの段階（デジタルカメラワーク段階）において、プロのカメラマンやカメラマンアシスタント（或いは映像の編集を行うスタッフさえも原則的には必要ない）などの人手を全く必要としないため人件費を大幅に削減でき、映像作成に関するトータルコストを顕著に軽減することが可能となる。従って、今までコスト面や人材面などでコンテンツにすることが困難であった多数のスポーツ中継映像を放送コンテンツとして提供することが可能となる。また、現在のデジタル技術やCPUなどの演算力によれば、上述した処理をほぼリアルタイムで行うことが可能であり、従って、スポーツ中継の低コストなライブ中継も可能になる。
The digital camera work device according to the present invention is:
A digital camera that automatically generates new camerawork images from sports images taken with a stationary camera, that is, virtually captures images with ideal camerawork (continuously cuts out frames in time series). A work device (that is, an automatic video generation device using digital camera work),
Video input means (circuit) for inputting the sports video;
Motion detection means for detecting movement information (each position of each player across a plurality of frames, a motion vector of each player based on these, a magnitude (movement amount) of the motion vector, etc.) of each player from the inputted sports video ( Circuit) and
Based on each position of each player over a plurality of frames included in the movement information of each player, an area where the players are most concentrated and the movement of each player is large is obtained and this is determined as the video of the new camera work. Camera work setting means (circuit) that is set as a frame position (for example, coordinates at the four corners of the frame. If the frame size is fixed, one coordinate is sufficient, such as the center coordinate of the cut-out frame);
Video generation means (circuit) for cutting out the video of the new camera work from the sports video based on the set frame position;
Video output means (circuit) for outputting the clipped video;
Is a digital camera work device.
According to the present invention, the movement of a player from a video shot by an unmanned camera (for example, a fixed point shooting camera that can shoot the entire stadium installed in the stadium at a wide angle) with a fixed operation that does not perform camera work. It is possible to automatically generate a video that follows an important scene of the game and captures an important scene of the game. In other words, from a fixed camera work image that captures the entire view of the stadium, a realistic image as if the cameraman followed the “area” including important scenes of players and matches was captured without human intervention. It can be generated automatically. Therefore, new sports competition video content can be automatically created at low cost and in large quantities. In addition, professional photographers and cameraman assistants (or even the staff who edit the images are not necessary in principle) at the shooting stage of the source video and the stage of cutting out the video (digital camera work stage) Since it is not necessary at all, the labor cost can be greatly reduced, and the total cost for video production can be significantly reduced. Therefore, it is possible to provide a large number of sports broadcast videos that have been difficult to make contents in terms of cost and personnel until now as broadcast contents. Further, according to the current digital technology and the computing power of the CPU or the like, the above-described processing can be performed almost in real time, and therefore, sports broadcasting can be performed at low cost and live.
また、本発明によるデジタルカメラワーク装置は、
前記カメラワーク設定手段は、
前記各選手の複数のフレームにわたる各位置に基づき、選手ごとにその重心位置及び移動量を求め、これらに基づき前記新たなカメラワークの映像のフレーム位置を設定する、
ことを特徴とする。
本発明によれば、複雑な演算を要せずに比較的軽微な演算でフレーム位置の設定を行うことが可能である。
The digital camera work apparatus according to the present invention
The camera work setting means includes
Based on each position over a plurality of frames of each player, determine the position of the center of gravity and the amount of movement for each player, and based on these, set the frame position of the video of the new camera work,
It is characterized by that.
According to the present invention, it is possible to set the frame position with relatively light calculation without requiring complicated calculation.
さらにまた、本発明によるデジタルカメラワーク装置は、
スポーツ競技シーンを同時に撮影した複数のスポーツ映像を繋ぎ合わせて１つの前記スポーツ映像を合成する合成手段（回路）をも含む、
ことを特徴とする。
デジタルカメラワークでは１つのカメラ映像からその数分の１の映像フレームを切り出すため、元映像が十分な高解像度を保持していなければ切り出した映像の品質が視聴に適さない程度まで低解像度になってしまう恐れもある。そこで、本発明のように、広い競技場を幾つかのエリアに分割し「複数のカメラ」でそれぞれのエリアを撮影した「複数の映像」を既知のパノラマ作成技術を用いて「１つに繋ぎ合わせる」ことによって、切り出し映像を十分高品質の映像とすることが可能となる。即ち、本発明によれば、解像度の低いカメラで撮影した映像であっても、映像を繋ぎ合わせるという事前処理を行うことで十分視聴に耐え得る解像度の映像を自動生成することが可能となる。
Furthermore, the digital camera work device according to the present invention is:
Including a combining means (circuit) for combining a plurality of sports images obtained by simultaneously shooting a sports competition scene to synthesize one sports image;
It is characterized by that.
In digital camera work, a fraction of the video frame is cut out from one camera video, so if the original video does not have sufficient high resolution, the quality of the cut out video will be low enough to be unsuitable for viewing. There is also a risk. Therefore, as in the present invention, a large stadium is divided into several areas, and “multiple images” obtained by photographing each area with “multiple cameras” are connected to “one” using a known panorama creation technique. By “combining”, the cut-out video can be made a sufficiently high-quality video. That is, according to the present invention, it is possible to automatically generate a video image having a resolution that can sufficiently withstand viewing by performing a pre-processing of joining the video images even with a video image taken by a low-resolution camera.
さらにまた、本発明によるデジタルカメラワーク装置は、
前記カメラワーク設定手段は、
前記フレーム位置の中心座標を複数のフレームにわたって求め、これら複数の中心座標が線形回帰分析による回帰直線上に位置するように前記フレーム位置を補正する手段を含む、
ことを特徴とする。
本発明によれば、各選手の移動情報（例えば動きベクトルなど）や各選手の位置からフレームを設定する場合は、選手の移動の仕方など試合のシーンによっては、設定フレームの位置が不規則かつ不自然な移動軌跡を描く、即ち不規則でガクガクとしたカメラワークを描く場合や、算出したフレーム位置が前後のフレームで大きく位置が変化する場合もあるが、本発明によれば、プロのカメラマンの撮影のような近接したフレーム間において直線状の滑らかで自然なカメラワークを実現できるため視聴者にとって非常に見易い映像を提供することが可能となる。
Furthermore, the digital camera work device according to the present invention is:
The camera work setting means includes
Means for determining center coordinates of the frame position over a plurality of frames and correcting the frame position so that the plurality of center coordinates are located on a regression line by linear regression analysis;
It is characterized by that.
According to the present invention, when a frame is set based on movement information (for example, a motion vector) of each player or a position of each player, the position of the set frame is irregular depending on the game scene such as how the player moves. In some cases, an unnatural movement trajectory is drawn, that is, an irregular and jerky camera work is drawn, or the calculated frame position greatly changes between the previous and next frames. According to the present invention, a professional cameraman Since a straight, smooth and natural camera work can be realized between adjacent frames as in the above shooting, it is possible to provide an image that is very easy for the viewer to see.
さらにまた、本発明によるデジタルカメラワーク装置は、
前記スポーツ映像は、ボールを使用するスポーツ（サッカー、ラグビー、バスケットボールなどボールに準じた対象物を使うスポーツ）であり、
デジタルカメラワーク装置は、
前記スポーツ映像から前記ボールの位置を検出するボール検出手段（回路）をも含み、
前記カメラワーク設定手段は、
前記検出したボール位置にも基づき前記フレーム位置を設定する、
ことを特徴とする。
本発明によれば、ボールを使用するスポーツではボールの位置が重要なファクターとなるのでスポーツで使用されるボール位置を加味してフレーム位置を設定することができるため、より適切なフレームを切り出すことが可能となり、試合状況をよりわかり易く適切に表現した映像を生成することができるようになる。
Furthermore, the digital camera work device according to the present invention is:
The sports video is a sport using a ball (sports using an object based on a ball, such as soccer, rugby, or basketball)
Digital camera work device
Including ball detecting means (circuit) for detecting the position of the ball from the sports video,
The camera work setting means includes
Setting the frame position based on the detected ball position;
It is characterized by that.
According to the present invention, since the position of the ball is an important factor in sports using a ball, the frame position can be set in consideration of the position of the ball used in sports, so that a more appropriate frame can be cut out. This makes it possible to generate a video that expresses the game situation more easily and appropriately.
さらにまた、本発明によるデジタルカメラワーク装置は、
前記設定したフレーム位置によるフレーム内のほぼ中央にボール追跡用フレームを設定するボール追跡用フレーム設定手段（回路）と、
前記ボール位置が前記ボール追跡用フレームの範囲内にあるか否かを判定する判定手段（回路）と、
前記判定手段で前記ボールが範囲内にある場合は、前記ボール位置に基づくフレーム位置の設定は実行せず、範囲外にある場合のみ前記ボール位置に基づくフレーム位置の設定を実行するよう、前記カメラワーク設定手段を制御する手段（回路）と、
をも含むことを特徴とする。
本発明によれば、ボール追跡用フレームからボールが外れずにボール追跡用フレーム内でボールが細かく移動する場合にはこの細かいボール移動に追従したフレーム設定にならずに、ぶれの少ない自然な映像を切り出すことが可能となる。
Furthermore, the digital camera work device according to the present invention is:
A ball tracking frame setting means (circuit) for setting a ball tracking frame at substantially the center in the frame according to the set frame position;
Determination means (circuit) for determining whether or not the ball position is within the range of the ball tracking frame;
When the determination means determines that the ball position is within the range, the frame position setting based on the ball position is not executed, and the frame position setting based on the ball position is executed only when it is out of the range. Means (circuit) for controlling the work setting means;
Is also included.
According to the present invention, when the ball moves finely in the ball tracking frame without detaching from the ball tracking frame, a natural image with little blur is not set without following the fine ball movement. Can be cut out.
さらにまた、本発明によるデジタルカメラワーク装置は、
前記ボール検出手段は、前記ボールの動きベクトルを検出する手段（回路）を含み、
前記ボール追跡用フレーム設定手段は、前記検出したボール動きベクトルの大きさに応じて、前記ボール動きベクトルの方向の反対方向に前記ボール追跡用フレームを移動させる、
ことを特徴とする。
ボール位置が大きく変化する場合には、ボール追跡用フレーム（内枠）がボールの移動する方向と反対側に大きく移動するため、ボールが早めに内枠から外れることとなり、大きなボール位置の変動に迅速に対応した、より的確な切り出し映像を提供することが可能となる。
Furthermore, the digital camera work device according to the present invention is:
The ball detection means includes means (circuit) for detecting a motion vector of the ball,
The ball tracking frame setting means moves the ball tracking frame in a direction opposite to the direction of the ball motion vector according to the size of the detected ball motion vector.
It is characterized by that.
When the ball position changes greatly, the ball tracking frame (inner frame) moves greatly in the direction opposite to the direction in which the ball moves. It is possible to provide a more accurate cut-out video that can be quickly handled.
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現され得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。なお、下記のプログラムや方法の各ステップは、データの処理においては必要に応じて、CPU、DSPなどの演算処理装置を使用するものであり入力したデータや加工・生成したデータなどを磁気テープ、HDDなどの記憶装置に格納するものである。
例えば、本発明を方法として実現させると、本発明によるデジタルカメラワーク方法は、
静止状態のカメラで撮影されたスポーツ映像から新たなカメラワークの映像を自動的に生成する、即ち、理想的なカメラワークで仮想的に撮影する、或いは切り出すデジタルカメラワーク方法であって、
前記スポーツ映像を入力する映像入力ステップと、
前記入力したスポーツ映像から、演算手段（CPUなど）を使用して各選手の移動情報を検出する動き検出ステップと、
前記各選手の移動情報に含まれる前記各選手の複数のフレームにわたる各位置に基づき、前記演算手段（CPUなど）を使用して最も前記各選手が集中しかつ前記各選手の動きが大きい領域を求めこれを前記新たなカメラワークの映像のフレーム位置（好適には切り出しフレームの中心座標）として設定するカメラワーク設定ステップと、
前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成ステップと、
前記切り出した映像を出力する映像出力ステップと、
を含むデジタルカメラワーク方法である。
As described above, the solution of the present invention has been described as an apparatus. However, the present invention can be realized as a method, a program, and a storage medium storing the program substantially corresponding to these, and the scope of the present invention. It should be understood that these are also included. In addition, each step of the following program and method uses an arithmetic processing unit such as CPU and DSP as necessary in data processing, and the input data and processed / generated data etc. are magnetic tape, It is stored in a storage device such as an HDD.
For example, when the present invention is realized as a method, the digital camera work method according to the present invention is:
A digital camerawork method that automatically generates a new camerawork image from a sports image captured by a stationary camera, that is, virtually captures or cuts out an ideal camerawork,
A video input step for inputting the sports video;
A motion detection step of detecting movement information of each player using the calculation means (CPU or the like) from the input sports video;
Based on each position of each player over a plurality of frames included in the movement information of each player, an area in which each player is most concentrated and the movement of each player is the largest using the calculation means (CPU or the like) A camera work setting step for determining and setting this as a frame position of the video of the new camera work (preferably the center coordinates of the cut-out frame);
A video generation step of cutting out the video of the new camera work from the sports video based on the set frame position;
A video output step of outputting the clipped video;
Is a digital camera work method.
また、本発明によるデジタルカメラワーク方法は、
前記カメラワーク設定ステップは、
前記演算手段を使用して前記各選手の複数のフレームにわたる各位置に基づき、選手ごとにその重心位置及び移動量を求め、これらに基づき前記新たなカメラワークの映像のフレーム位置を設定する、
或いは、前記演算手段（CPUなど）を使用してスポーツ競技シーンを同時に撮影した複数のスポーツ映像を繋ぎ合わせて１つの前記スポーツ映像を合成する合成ステップをも含む、
ことを特徴とする。
さらにまた、本発明によるデジタルカメラワーク方法は、
前記カメラワーク設定ステップは、
前記フレーム位置の中心座標を複数のフレームにわたって求め、これら複数の中心座標が線形回帰分析による回帰直線上に位置するように前記フレーム位置を補正するステップを含む、ことを特徴とする。
さらにまた、本発明によるデジタルカメラワーク方法は、
前記スポーツ映像は、ボールを使用するスポーツであり、
デジタルカメラワーク方法は、
演算手段（CPUなど）を使用して前記スポーツ映像から前記ボールの位置を検出するボール検出ステップをも含み、
前記カメラワーク設定ステップは、
前記検出したボール位置にも基づき前記フレーム位置を設定する、
ことを特徴とする。
The digital camera work method according to the present invention includes:
The camera work setting step includes:
Based on each position over a plurality of frames of each player using the computing means, determine the center of gravity position and the amount of movement for each player, and based on these, set the frame position of the video of the new camera work,
Alternatively, it also includes a synthesis step of combining a plurality of sports videos obtained by simultaneously shooting a sports competition scene using the arithmetic means (CPU or the like) and synthesizing one sports video.
It is characterized by that.
Furthermore, the digital camera work method according to the present invention comprises:
The camera work setting step includes:
The method includes the step of obtaining center coordinates of the frame position over a plurality of frames and correcting the frame position so that the plurality of center coordinates are located on a regression line by linear regression analysis.
Furthermore, the digital camera work method according to the present invention comprises:
The sports image is a sport using a ball,
The digital camera work method is
Including a ball detection step of detecting the position of the ball from the sports video using a calculation means (CPU or the like),
The camera work setting step includes:
Setting the frame position based on the detected ball position;
It is characterized by that.
さらにまた、本発明によるデジタルカメラワーク方法は、
前記設定したフレーム位置によるフレーム内のほぼ中央にボール追跡用フレームを設定するボール追跡用フレーム設定ステップと、
前記ボール位置が前記ボール追跡用フレームの範囲内にあるか否かを判定する判定ステップと、
前記判定ステップで前記ボールが範囲内にある場合は、前記ボール位置に基づくフレーム位置の設定は実行せず、範囲外にある場合のみ前記ボール位置に基づくフレーム位置の設定を実行するよう、前記カメラワーク設定ステップを制御するステップと、
をも含むことを特徴とする。
さらにまた、本発明によるデジタルカメラワーク方法は、
前記ボール検出ステップは、前記ボールの動きベクトルを検出するステップを含み、
前記ボール追跡用フレーム設定ステップは、前記検出したボール動きベクトルの大きさに応じて、前記ボール動きベクトルの方向の反対方向に前記ボール追跡用フレームを移動させる、ことを特徴とする。
Furthermore, the digital camera work method according to the present invention comprises:
A ball-tracking frame setting step for setting a ball-tracking frame at approximately the center in the frame according to the set frame position;
A determination step of determining whether the ball position is within a range of the ball tracking frame;
If the ball is within the range in the determining step, the frame position setting based on the ball position is not executed, and the frame position setting based on the ball position is executed only when the ball is out of the range. Controlling the workpiece setting step;
Is also included.
Furthermore, the digital camera work method according to the present invention comprises:
The ball detecting step includes a step of detecting a motion vector of the ball;
In the ball tracking frame setting step, the ball tracking frame is moved in a direction opposite to the direction of the ball motion vector according to the detected magnitude of the ball motion vector.
本発明によるデジタルカメラワークプログラムは、
スポーツ映像から新たなカメラワークの映像を自動的に生成するデジタルカメラワーク方法をコンピュータに実行させるためのデジタルカメラワークプログラムであって、
前記スポーツ映像を入力する映像入力ステップと、
前記入力したスポーツ映像から、演算手段を使用して各選手の移動情報を検出する動き検出ステップと、
前記各選手の移動情報に含まれる前記各選手の複数のフレームにわたる各位置に基づき、前記演算手段を使用して最も前記各選手が集中しかつ前記各選手の動きが大きい領域を求めこれを前記新たなカメラワークの映像のフレーム位置として設定するカメラワーク設定ステップと、
前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成ステップと、
前記切り出した映像を出力する映像出力ステップと、
を含むデジタルカメラワークプログラムである。
さらにまた、本発明によるデジタルカメラワークプログラムは、
前記演算手段を使用してスポーツ競技シーンを同時に撮影した複数のスポーツ映像を繋ぎ合わせて１つの前記スポーツ映像を合成する合成ステップをも含む、
ことを特徴とする。
The digital camera work program according to the present invention is:
A digital camera work program for causing a computer to execute a digital camera work method for automatically generating a new camera work image from a sports image,
A video input step for inputting the sports video;
A motion detection step of detecting movement information of each player from the input sports video using a calculation means;
Based on each position over each of the plurality of frames of each player included in the movement information of each player, the calculation means is used to obtain a region where each player is most concentrated and the movement of each player is large. A camera work setting step for setting the frame position of a new camera work image;
A video generation step of cutting out the video of the new camera work from the sports video based on the set frame position;
A video output step of outputting the clipped video;
Is a digital camera work program.
Furthermore, the digital camera work program according to the present invention is:
Including a combining step of combining a plurality of sports images obtained by simultaneously shooting a sports competition scene using the computing means and combining the sports images.
It is characterized by that.
さらにまた、本発明によるデジタルカメラワークプログラムは、
前記カメラワーク設定ステップは、
前記フレーム位置の中心座標を複数のフレームにわたって求め、これら複数の中心座標が線形回帰分析による回帰直線上に位置するように前記フレーム位置を補正するステップを含む、ことを特徴とする。
さらにまた、本発明によるデジタルカメラワークプログラムは、
前記スポーツ映像は、ボールを使用するスポーツであり、
デジタルカメラワークプログラムは、
前記演算手段を使用して前記スポーツ映像から前記ボールの位置を検出するボール検出ステップをも含み、
前記カメラワーク設定ステップは、
前記検出したボール位置にも基づき前記フレーム位置を設定する、
ことを特徴とする。
さらにまた、本発明によるデジタルカメラワークプログラムは、
前記設定したフレーム位置によるフレーム内のほぼ中央にボール追跡用フレームを設定するボール追跡用フレーム設定ステップと、
前記ボール位置が前記ボール追跡用フレームの範囲内にあるか否かを判定する判定ステップと、
前記判定ステップで前記ボールが範囲内にある場合は、前記ボール位置に基づくフレーム位置の設定は実行せず、範囲外にある場合のみ前記ボール位置に基づくフレーム位置の設定を実行するよう、前記カメラワーク設定ステップを制御するステップと、
をも含むことを特徴とする。
さらにまた、本発明によるデジタルカメラワークプログラムは、
前記ボール検出ステップは、前記ボールの動きベクトルを検出するステップを含み、
前記ボール追跡用フレーム設定ステップは、前記検出したボール動きベクトルの大きさに応じて、前記ボール動きベクトルの方向の反対方向に前記ボール追跡用フレームを移動させる、ことを特徴とする。
Furthermore, the digital camera work program according to the present invention is:
The camera work setting step includes:
The method includes the step of obtaining center coordinates of the frame position over a plurality of frames and correcting the frame position so that the plurality of center coordinates are located on a regression line by linear regression analysis.
Furthermore, the digital camera work program according to the present invention is:
The sports image is a sport using a ball,
Digital camera work program
Including a ball detection step of detecting the position of the ball from the sports video using the arithmetic means;
The camera work setting step includes:
Setting the frame position based on the detected ball position;
It is characterized by that.
Furthermore, the digital camera work program according to the present invention is:
A ball-tracking frame setting step for setting a ball-tracking frame at approximately the center in the frame according to the set frame position;
A determination step of determining whether the ball position is within a range of the ball tracking frame;
If the ball is within the range in the determining step, the frame position setting based on the ball position is not executed, and the frame position setting based on the ball position is executed only when the ball is out of the range. Controlling the workpiece setting step;
Is also included.
Furthermore, the digital camera work program according to the present invention is:
The ball detecting step includes a step of detecting a motion vector of the ball;
In the ball tracking frame setting step, the ball tracking frame is moved in a direction opposite to the direction of the ball motion vector according to the detected magnitude of the ball motion vector.
以降、諸図面を参照しつつ、本発明の実施態様を詳細に説明する。
図１は、本発明によるスポーツ映像から新たなカメラワークの映像を自動的に生成するデジタルカメラワーク装置（映像生成装置）の基本的な構成を示すブロック図である。図に示すように、デジタルカメラワーク装置１００は、少なくとも１つの素材となるスポーツ映像を入力する映像入力手段１１０と、このスポーツ映像を一旦格納したりその後の処理で発生する様々なデータを格納したりする記憶手段（装置）１２０、素材映像がスポーツ競技シーンを同時に撮影した複数のスポーツ映像である場合にそれらを繋ぎ合わせて１つの前記スポーツ映像を合成する合成手段１３０、前記入力（或いは繋ぎ合わされた）したスポーツ映像から、各選手の移動情報（各選手の位置、動いている方向、動きの大きさ（移動量）など）を検出する動き検出手段１４０と、前記スポーツ映像から前記ボールの位置及び動きベクトルを検出するボール検出手段１５０と、前記各選手の移動情報の大きさ及び前記各選手の位置、さらにはボール位置及びその動きベクトルに基づき、前記新たなカメラワークの映像のフレーム位置を設定するカメラワーク設定手段１６０と、前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成手段１７０と、前記切り出した映像を出力する映像出力手段１８０とを具える。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a basic configuration of a digital camera work apparatus (video generation apparatus) that automatically generates a new camera work video from a sports video according to the present invention. As shown in the figure, the digital
上述したように、本発明では各選手の位置及びその動きベクトルとボールの位置及び動きベクトルの情報を用いてカメラワークを決定する。図２に本発明によるデジタルカメラワーク技法で行われる処理の流れの概要を示す（詳細は後述する）。スポーツ映像としてサッカー映像を例示として用いる。映像には動くオブジェクトは選手の他に観客、コーチ、或いは審判などがあるが、審判はボールに追随して動くため選手とみなしても問題とはならない。素材映像によっては、コーチ、観客、スタッフなど撮影されている場合もあるが、選手と比べて移動速度が極端に低いため、一定の動きベクトル以下のものを対象から除外することで選手のみを「動くオブジェクト」として抽出可能である。まず選手は、ボールの近くにいる場合動きが激しく、かつボールの近くに密集する傾向にあることから、選手の動きベクトルの大きさ、方向及び位置に着目する。なお、一般に「動きベクトル」はフレーム間での一定の画素単位（マクロブロック）の移動量を指すが、本明細書でいう「選手・ボールの動きベクトル」は「選手・ボールというオブジェクトの移動量」を意味するものとする。さらに、現在のフレームから数フレームの先読みを行い、大きな速度ベクトルが密集した領域を探索し、その領域内での速度ベクトルの重心を現在フレームの中心座標とする。この先読みした数フレームの連続した中心座標系列から回帰直線を求め、PAN（tiltも含む）追従方向（即ちカメラ追従方向）と定める手法が本発明の基本原理である。このように、選手の速度ベクトルにより重心とPANの移動方向を求める場合と、ボールの動き及び位置に着目した場合に分けて、以降、詳細に説明する。 As described above, in the present invention, camera work is determined using information on the position of each player and the motion vector thereof, and the position and motion vector of the ball. FIG. 2 shows an outline of the flow of processing performed by the digital camera work technique according to the present invention (details will be described later). A soccer video is used as an example of a sports video. In the video, there are moving objects such as spectators, coaches, and referees in addition to the players, but since the referees move following the ball, there is no problem even if they are regarded as players. Depending on the material video, coaches, spectators, staff, etc. may be filmed, but since the moving speed is extremely low compared to the players, only players with a certain motion vector or less are excluded from the target `` It can be extracted as a “moving object”. First, since a player moves violently when close to the ball and tends to be close to the ball, attention is paid to the size, direction, and position of the player's motion vector. In general, “motion vector” refers to a certain pixel unit (macroblock) movement amount between frames, but “player / ball motion vector” in this specification refers to “movement amount of an object called a player / ball”. ". Further, several frames are pre-read from the current frame, a region where large velocity vectors are concentrated is searched, and the center of gravity of the velocity vector in the region is set as the center coordinate of the current frame. A basic principle of the present invention is a method of obtaining a regression line from a series of central coordinate sequences of several frames read in advance and determining a PAN (including tilt) follow direction (that is, a camera follow direction). As described above, the case where the direction of movement of the center of gravity and the PAN is obtained from the velocity vector of the player and the case where attention is paid to the movement and position of the ball will be described in detail below.
本発明では、個々の選手の詳しい動きを解析することは不要であり、各選手の移動情報を用いて、どの場所をどのようなカメラワークで撮影すべきであるかという点に重点を置き、選手の抽出や追跡といった画像解析部には比較的簡単な処理を用いることが計算コストの観点から望ましい。第一段階として、選手の移動の解析だけでカメラワークを実現する手法を説明する。 In the present invention, it is not necessary to analyze the detailed movement of each player, and using the movement information of each player, emphasis is placed on which place should be photographed with what camera work, It is desirable from the viewpoint of calculation cost to use relatively simple processing for the image analysis unit such as player extraction and tracking. As a first step, a method for realizing camera work only by analyzing movements of players will be described.
図３は、デジタルカメラワークの概念を説明する模式図である。図に示すように、デジタルカメラワークとは、カメラを固定して撮影された映像素材を対象に一部分をクリッピングし、位置やサイズを連続的に変化させることにより、パンやズームを表現するというデジタル処理によって映像を生成する技術である。つまり、デジタルカメラワークは自動撮影技術の一種である。この技法を活用すれば１つの素材映像から任意のカメラワークによる映像を幾通りも生成することができ、視聴者の嗜好に合わせた映像生成にも対応できる。この図は、サッカーの試合のシーンを撮影した素材映像から、図中の左の部分をデジタルカメラワークで切り出した様子を示したものであり、例えば、図に示すように切り出しフレームを仮想的に右側に徐々に移動するようなカメラワークを実行して別の領域を切り出すことができる。本発明では、このフレームの切り出し方、即ちカメラワークを自動的に決定し新たな映像コンテンツを自動的に生成する。 FIG. 3 is a schematic diagram for explaining the concept of digital camera work. As shown in the figure, digital camera work is a digital expression that expresses panning and zooming by clipping a part of video material shot with the camera fixed and continuously changing the position and size. This is a technology for generating video by processing. In other words, digital camera work is a kind of automatic photographing technique. By utilizing this technique, it is possible to generate a number of video images from an arbitrary camera work from a single material video, and it is also possible to support video generation that matches the viewer's preference. This figure shows how the left part of the figure is cut out by digital camera work from the material video that shot the scene of the soccer game. For example, as shown in the figure, the cut frame is virtually Another area can be cut out by performing camera work that gradually moves to the right. In the present invention, this method of cutting out frames, that is, camera work is automatically determined, and new video content is automatically generated.
このように素材映像から一部分をクリッピングし提示するため、画質の劣化という問題が想定されるが、近年はHD(High Definition) の規格が整備され、現行放送における480iの画面比率4:3 であるSD(Standard Definition) と比較して最大で６つ分に相当する画質が期待できる。そのためHD映像の一部をSD 品質で切り取ることができれば、SD 映像品質と同程度の映像の生成が可能となる。また、次世代では、さらに高解像度の映像規格が予定されているため、本発明を実施する場合に画質については大きな問題とはならない。 In this way, a part of the material video is clipped and presented, so there is a problem of image quality degradation, but in recent years the HD (High Definition) standard has been established and the screen ratio of 4: 3 in the current broadcast is 4: 3. Compared with SD (Standard Definition), image quality equivalent to 6 at most can be expected. Therefore, if a part of the HD video can be cut out with SD quality, it is possible to generate video with the same quality as the SD video quality. In the next generation, a video standard with a higher resolution is planned, so that the image quality is not a big problem when the present invention is implemented.
図３に示すように、HDカメラを用いてサッカーコート全体を固定撮影しておき、この素材映像にデジタルカメラワークを適用することで１つの素材から異なった見せ方によるサッカー映像コンテンツを生成することができる。現在のサッカー中継ではカメラマンの経験と判断によって映像が生成されている。基本的にボールを持っている選手を中心に撮影し、この先イベントが発生すると予想される方向に空きを取りながらカメラワークを設定する。 As shown in FIG. 3, the entire soccer court is fixedly photographed using an HD camera, and a digital video work is applied to this material video to generate a soccer video content with a different appearance from one material. Can do. In the current soccer broadcast, video is generated based on the experience and judgment of the cameraman. Basically, shooting is performed mainly on the player who has the ball, and camera work is set while taking a space in the direction in which the event is expected to occur.
しかし、サッカーなどのスポーツシーンは意外性のある動きが多くカメラマンが予測したものとは違う方向にイベントが発生した場合、そのイベントをうまく追従することができずサッカーの試合進行を適切に表現していない映像を配信することになるという問題がある。これに対し、デジタルカメラワークでは、潜在的な能力として、プロがこれまで撮影してきたサッカー映像を模倣することができるだけでなく、別の視点によるサッカー映像も生成できる可能性があるため、これらの問題を補うことも可能である。また，映像コンテンツでは、ライブ映像の商品価値が高いと言われる。この場合、システムには実時間性が要求される。サッカーなどを撮影する際のカメラワークは、パンの方向やズームの仕方について、試合進行の内容追従に関して予測的な動作設定が必要となる。カメラマンによる撮影においても、この予測を失敗すると、試合内容を適切に撮影できない場合がある。しかし、これまでの撮影法では、ライブ性のため取り直しができない。しかし、デジタルカメラワークの場合、実際の試合進行からリアルタイム性を損なわない程度の僅かな時間的遅延（例えば僅か数十フレーム程度）を許せば、映像を一旦システムの中に取り込みバッファリングを行って、フレームの先読みをしながら処理することで、確実に未来の展開を知ったうえでカメラワークを設定できる。このことから、固定映像の切り出し位置を変更するだけで予測の誤り問題も解決できる。 However, sports scenes such as soccer have many unexpected movements, and when an event occurs in a direction different from what the cameraman predicted, the event cannot be followed well and the progress of the soccer game is properly expressed. There is a problem that it will deliver the video that is not. On the other hand, with digital camera work, as a potential capability, not only can you imitate the soccer video that professionals have taken so far, but it is also possible to generate soccer video from another viewpoint, so these It is also possible to make up for the problem. In video content, it is said that the product value of live video is high. In this case, the system is required to be real time. Camerawork when shooting soccer or the like requires predictive operation settings regarding the follow-up of the game progress in terms of pan direction and zooming method. Even in shooting by a photographer, if this prediction fails, the game content may not be shot properly. However, the conventional photography methods cannot be retaken due to liveness. However, in the case of digital camera work, if a slight time delay (for example, about several tens of frames) that does not impair real-time performance from the actual game progress is allowed, the video is once taken into the system and buffered. By processing while prefetching the frame, you can set the camera work after knowing the future development surely. From this, it is possible to solve the prediction error problem only by changing the cutout position of the fixed video.
素材映像の撮影としては、デジタルハイビジョンカメラを用いることが望ましい。HD の映像を用いて解析し、SDの映像を切り出し配信することで、現行の放送で用いられているレベルの画質を保つことが可能である。しかし、撮影を行った競技場においてカメラを設置する位置の関係から１台のカメラでコートの全景を撮影することはできない恐れがあり、例えばコートの半分が撮影範囲の限界となる場合も有り得る。このような場合は、複数台のカメラによりコートを撮影し、それをパノラマ的に合わせ1 枚の画像にすることでサッカーコートの全景映像が生成するべきである。この問題に対しては、従来技術としてHDカメラ２台と反射板を用いて２つの映像を統合して配信するシステムが提案されており、様々なパノラマ作成技法を使用してパノラマ映像を生成することが可能である。 It is desirable to use a digital high-definition camera for shooting material images. It is possible to maintain the image quality of the level used in the current broadcasting by analyzing using HD video and cutting out and delivering SD video. However, there is a possibility that the entire view of the court cannot be taken with one camera because of the position of the camera in the stadium where the shooting was performed. For example, half of the court may be the limit of the shooting range. In such a case, you should create a panoramic view of the soccer court by shooting the court with multiple cameras and panoramicly combining them into a single image. To solve this problem, a system that integrates and distributes two images using two HD cameras and a reflector as a conventional technique has been proposed, and panoramic images are generated using various panorama creation techniques. It is possible.
背景差分法
本発明では、選手やボールなどの動くオブジェクトの抽出技法として様々な技法を使用することができるが、以下の理由で背景差分法を用いることが好適である。背景差分法とは、映像の中から背景画像を作成し、その背景画像と各フレームの差分画像を作成する手法であり、画像中の動オブジェクトを検出する為の有効な手法として用いられる。この手法は固定された映像においてのみ利用できる。
Background Difference Method In the present invention, various techniques can be used as a technique for extracting moving objects such as players and balls. However, it is preferable to use the background difference method for the following reasons. The background difference method is a method of creating a background image from a video and creating a difference image between the background image and each frame, and is used as an effective method for detecting a moving object in the image. This method can only be used for fixed images.
また、従来はサッカー中継における選手の抽出に背景差分法は用いられなかったが、これは従来はカメラマンが撮影した放送映像を対象としているため、背景を固定できないことが原因である。他にも移動物体を抽出するためのものとしてオプティカルフローを抽出する手法がある。これは過去と現在の画素の輝度値の等しいブロックを探し、その間を移動と定義するものである。しかしこの手法では画素の対応関係だけを観測するので、精度があまり良くなく計算コストも高い。従って、本実施態様では、カメラマンの撮影した放送映像ではなく固定したカメラで撮影した映像を用いることを想定しているため、背景差分法を用いて選手の抽出を行うことが好適である。背景差分法を用いるには、まず、背景画像の生成を行わなければならない。 Conventionally, the background subtraction method has not been used for the extraction of players in a soccer broadcast, but this is because the background cannot be fixed because the broadcast video shot by a cameraman has been targeted. There is another technique for extracting an optical flow as a method for extracting a moving object. This is to search for a block having the same luminance value of the past and present pixels and to define the movement between them. However, this method only observes the correspondence between pixels, so the accuracy is not so good and the calculation cost is high. Therefore, in this embodiment, since it is assumed that a video shot by a fixed camera is used instead of a broadcast video shot by a cameraman, it is preferable to extract players using the background subtraction method. In order to use the background subtraction method, a background image must first be generated.
背景差分法により生成された画像には、様々な要因から細かなノイズが発生する。これを除去するために膨張・縮小処理、ラベリング処理、孤立点の除去を行うことが好適である。背景差分法によって生成された2 値画像fkにおいて、一人の選手の領域がノイズにより複数の領域に分散され抽出されることがある。その中で明らかに選手の大きさより小さなオブジェクト領域を、膨張処理と縮小処理を繰り返し、最も近くにある選手と思われる大きな領域に吸収させることにより正しい選手の領域を復元する。 In the image generated by the background subtraction method, fine noise is generated due to various factors. In order to remove this, it is preferable to perform expansion / reduction processing, labeling processing, and removal of isolated points. In the binary image f k generated by the background subtraction method, the region of one player may be extracted by being dispersed into a plurality of regions due to noise. Among them, an object area that is clearly smaller than the player's size is repeatedly expanded and reduced, and is absorbed into a large area that seems to be the nearest player, thereby restoring the correct player area.
図４は、膨張処理と縮小処理によって孤立点を除去する様子を示す模式図である。図のようにｎ回の膨張処理とｍ回の縮小処理（nとmは異なってもよい）を行うことによって孤立点（孤立ブロックを含む）を除去する。なお、膨張処理とは、背景画素に注目したとき、そのまわりの8 近傍にオブジェクト画素が1 つ以上あれば、その背景画素をオブジェクト画素に変える処理である。この処理を画像中の全背景画素に独立に実行することによって、オブジェクト画素の領域が外側に1 画素だけ膨張する。2 値画像において、背景を黒、オブジェクトを白にするか、或いはその反転の背景を白、オブジェクトを黒に設定する。いずれも、背景画素とオブジェクト画素を区別できるように輝度値を設定する。縮小処理は逆に、オブジェクト画素に注目したときその回り8 近傍に背景画素が1つ以上あれば、そのオブジェクト画素を背景画素に変える処理である。これを画像中の全オブジェクト画素に独立に実行する．この処理によって、オブジェクト画素の領域が内側に1 画素だけ縮小する。 FIG. 4 is a schematic diagram showing how isolated points are removed by expansion processing and reduction processing. As shown in the figure, isolated points (including isolated blocks) are removed by performing expansion processing n times and reduction processing m times (n and m may be different). The dilation process is a process for changing a background pixel to an object pixel if there is one or more object pixels in the vicinity of the surrounding eight pixels when attention is paid to the background pixel. By executing this process independently for all background pixels in the image, the area of the object pixel expands by one pixel outward. In a binary image, set the background to black and the object to white, or set the inverted background to white and the object to black. In either case, the luminance value is set so that the background pixel and the object pixel can be distinguished. On the contrary, the reduction process is a process of changing an object pixel to a background pixel if there is one or more background pixels in the vicinity of the object pixel when it is focused on. This is performed independently for all object pixels in the image. By this processing, the object pixel area is reduced by one pixel inside.
領域ラベリング
コンピュータの内部画像を画素単位で扱っている。よって、一人の選手の領域であっても、その領域に存在する画素に同一のラベルを付与しなければ同じ選手の領域であるとは認識はされない。そのため、領域ラベリング処理を用いて、同一グループには同一のラベルを付与する。この結果、領域ごとに重心の位置を求めることができ、それを選手の座標とすることができる。以下にラベリングについて詳しく述べる。本明細書においてラベリングするとは、連結している領域毎にラベルを与える処理のことである。2値画像において選手領域の画素として検出された部分に対しては「-１」、背景画素には「0」を割り振っておく。領域ラベリングは図５に示すように、図中左側の逆L 型のマスクによって右側の2値画像を左上から右下に走査し、画像の右下まで順次操作していく。このマスクの窓が新たな領域にぶつかる度に新しい番号を領域に割り振っていく。この順序で走査すると、図中の画素Aを走査するときには、画素B、Cはすでにラベル付けされていることになる。ラベリングのルールを以下に示す。このルールにしたがってラベリングすればそれぞれの選手の領域にラベルが貼られることになる。
The internal image of the area labeling computer is handled in pixel units. Therefore, even if it is the area | region of one player, if the same label is not provided to the pixel which exists in the area | region, it will not be recognized as the area | region of the same player. For this reason, the same label is assigned to the same group using the area labeling process. As a result, the position of the center of gravity can be obtained for each region, and can be used as the player's coordinates. The labeling is described in detail below. In this specification, labeling refers to a process for providing a label for each connected region. In the binary image, “−1” is assigned to the portion detected as the pixel of the player area, and “0” is assigned to the background pixel. As shown in FIG. 5, the region labeling is performed by scanning the binary image on the right side from the upper left to the lower right using the inverted L-shaped mask on the left side in the drawing and sequentially operating the image to the lower right side of the image. Each time the mask window hits a new area, a new number is assigned to the area. When scanning in this order, pixels B and C are already labeled when scanning pixel A in the figure. The labeling rules are shown below. If you label according to this rule, a label will be attached to each player's area.
処理フロー
−Aの画素が0であればそのままにする。
−Aが1であり、かつB、Cが0であれば、Aに新しいラベル番号を付与する。
−Aが-1であり、かつB、Cのどちらかにラベルが振られていれば、Aはその割り振られている方のラベル番号を付与する。
−Aが-1であり、かつB、Cに異なるラベルが付与されていればAに小さなラベル番号を付与し、B、Cの領域が同じ領域であることを記憶する。
−画像全体に対してこの処理の後、同一領域として記憶されているラベルを同じラベルに割り当て直す。
−再度同じ処理を行うことによりラベリングを終了する。
If the pixel of process flow A is 0, leave it as it is.
-If A is 1 and B and C are 0, give A a new label number.
-If A is -1 and a label is assigned to either B or C, A assigns the assigned label number.
-If A is -1 and different labels are assigned to B and C, a small label number is assigned to A, and the fact that the areas of B and C are the same area is stored.
-After this process for the entire image, reassign the labels stored as the same area to the same labels.
-End the labeling by performing the same process again.
また、ラベリングされた画像を用いて、明らかに選手より面積の小さい領域を除去する。そのために、ラベリングされた画像において、同一ラベルの領域に含まれる画素数が閾値以下ならば、そのラベルの領域を孤立点、またはノイズとみなし除去する。ここでの閾値は、例えば、カメラからの距離で分けた各ブロックにおける選手の大きさの平均などを基準に設定する。 Also, using the labeled image, an area that is clearly smaller in area than the player is removed. Therefore, in the labeled image, if the number of pixels included in the same label area is equal to or less than the threshold value, the label area is regarded as an isolated point or noise and is removed. The threshold here is set based on, for example, an average of player sizes in each block divided by the distance from the camera.
なお、重心には２つあり、第1には、１フレーム画像内で、一人の選手領域としてラベリングされた画素集合中の画素について、その平均位置Ｐを表している。また、連続する６０フレーム上の選手の位置Ｐを１つの画像にプロットすると、動いた選手の軌跡がほぼ連続した線として出現する。この画像に膨張・縮小処理を適用すると、とぎれた選手の動きが連続した軌跡となる可能性が高くなり、この処理によって得られた軌跡Ｌごとにラベリングを行う。この軌跡に含まれる画素集合中の画素について位置の平均をとったものがもう１つの重心Ｇとなる。即ち、重心とは含まれる各座標の平均値である。 Note that there are two centroids. First, the average position P of the pixels in the pixel set labeled as one player area in one frame image is shown. Further, when the position P of the player on 60 consecutive frames is plotted on one image, the trajectory of the moving player appears as a substantially continuous line. When the expansion / reduction process is applied to this image, there is a high possibility that a broken player's movement becomes a continuous trajectory, and labeling is performed for each trajectory L obtained by this process. The center of gravity G is obtained by averaging the positions of the pixels in the pixel set included in the locus. That is, the center of gravity is the average value of the included coordinates.
線形回帰分析に基づくフレームワーク設定の補正
選手の移動情報からカメラワークを決定する場合は、選手の移動の仕方など試合のシーンによっては、設定フレームの位置が不規則かつ不自然な移動軌跡を描く、即ち不規則でガクガクとしたカメラワークを描く場合や、算出したフレーム位置が前後のフレームで大きく位置が変化する場合もある。従って、カメラワークは撮影したい場所を忠実に追うのでは無く、おおまかにとらえて滑らかな移動軌跡を描く方が望ましい。そのため各フレームからの切り出し位置を複数フレーム分まとめて扱い、線形回帰直線で近似することで自然なカメラワークを実現させる。
Compensation of framework settings based on linear regression analysis When camerawork is determined from player movement information, depending on the game scene, such as how the player moves, the position of the set frame draws an irregular and unnatural movement trajectory. That is, there are cases where the camera work is drawn irregularly and distorted, or where the calculated frame position changes greatly between the previous and next frames. Therefore, it is desirable that the camera work draws a smooth movement trajectory roughly instead of following the place to be photographed faithfully. Therefore, natural camera work is realized by handling cut-out positions from each frame for a plurality of frames and approximating them with a linear regression line.
図７は、上述した計算で求めた各重心値（補正前のデジタルカメラワークによるフレームの中心座標）とそれらに基づき線形回帰分析で求めた回帰直線（補正後の中心座標）との例を示すグラフである。図の線形回帰直線は、60 フレームの間で移動の大きな点を逃さずに撮影できる直線であり、この回帰直線に沿って切り出し部分を移動させることが好適である。60 フレームごとに独立してカメラワークを決定すると、前後の関係を無視してしまうためカメラワークが不自然になってしまう。そこでfkからfk+59 までの処理を行い、fkからfk+29までのカメラワークを決定する。次に同様にしてfk+30からfk+80までの処理を行い、fk+30からfk+59までのカメラワークを決定する。このように常に処理フレームを重ねることで、次のフレームを考慮したカメラワークとなり自然な見易い動きを実現することができる。また、1フレーム目を座標始点とし、30フレーム目を終点とした。この間は30フレームであるので、1フレームあたり
でxとyを変化させる速さでカメラワークを決定した。
FIG. 7 shows an example of each barycentric value (frame center coordinates by digital camera work before correction) obtained by the above-described calculation and a regression line (center coordinates after correction) obtained by linear regression analysis based on them. It is a graph. The linear regression line in the figure is a straight line that can be photographed without missing a large movement point between 60 frames, and it is preferable to move the cutout portion along this regression line. If camera work is determined independently every 60 frames, the camera work becomes unnatural because the relationship between the front and back is ignored. So do the processing from f k to f k + 59, to determine the camera work from f k to f k + 29. Next, similarly, processing from f k + 30 to f k + 80 is performed, and camera work from f k + 30 to f k + 59 is determined. By always overlapping the processing frames in this way, it becomes a camera work considering the next frame, and a natural easy-to-see movement can be realized. The first frame is the coordinate start point and the 30th frame is the end point. Since there are 30 frames during this period,
The camera work was decided at the speed of changing x and y.
ボール情報を用いたデジタルカメラワーク
サッカー中継映像のカメラワークを決定するうえで、ボール位置は重要度の高い情報である。その際ボールの位置は各フレームのほぼ中心に配置することが基本的には望ましい。しかし、フレームの中心に正確にボールを配置するのではなく、試合の展開を考慮し、進行方向を広く空けるように配置させることがより望ましい。また、常にボールを追従することで必要以上に細かなカメラワークを行うことになり、視聴者に不快感を与えてしまうため、フレームの中心付近でのボールの細かな動きに対してはカメラをほぼ静止させ、視聴者に見やすい映像を生成する。このように、サッカー映像でのデジタルカメラワークでは、小刻みな動きについてはボールがフレームから外れない程度に動きを抑え、ボールが大きく動く時には素早く追従する必要がある。これらの問題の解決手法を説明する。
Digital camera work using ball information Ball position is highly important information in determining the camera work of a soccer broadcast video. In this case, it is basically desirable that the position of the ball be arranged at the approximate center of each frame. However, it is more desirable to arrange the ball so that the traveling direction is widened in consideration of the development of the game, instead of accurately arranging the ball at the center of the frame. In addition, tracking the ball at all times will result in camera work that is finer than necessary, which may cause discomfort to the viewer, so the camera is not used for fine movement of the ball near the center of the frame. It generates a video that is almost static and easy for viewers to see. As described above, in digital camera work in a soccer video, it is necessary to suppress small movements so that the ball does not come off the frame, and to quickly follow when the ball moves greatly. A method for solving these problems will be described.
小刻みなボールの移動に反応しないカメラワーク
小刻みなボールの動きにフレームが影響を受けないように図８のように切り出しフレーム内のほぼ中央に切り出しフレームよりも小さい面積のボール追跡用フレーム、即ち内枠を設定する（図８のA）。次の時刻（図８のB）でボールの座標がこの内枠の外に出るとき、図のようにボールが内枠に収まるように切り出しフレームを移動させる（図８のC）。逆に内枠の中にボールが存在する時はフレームを静止させる。このことにより、内枠の中でボールが細かな動きを行ってもフレームがボールの細かな動きを追従することはなく、ぶれの少ない自然で見易い映像が生成できる。
Camerawork that does not respond to the movement of the ball in small increments In order to prevent the frame from being affected by the movement of the small ball, the frame for tracking the ball having a smaller area than the cutout frame, that is, the inner frame, as shown in FIG. A frame is set (A in FIG. 8). When the coordinates of the ball go out of the inner frame at the next time (B in FIG. 8), the cut-out frame is moved so that the ball fits in the inner frame as shown (C in FIG. 8). Conversely, when a ball is present in the inner frame, the frame is stopped. As a result, even if the ball makes a fine movement in the inner frame, the frame does not follow the fine movement of the ball, and a natural and easy-to-view video with less blur can be generated.
ボールの速度ベクトルを用いたフレームの移動
内側に内枠を設定したことで、後続のフレームでボールの座標が内枠の中にあるような細かいボールの動きには反応しなくなったが、この内枠の大きさ、位置は一定のためボールが大きな動きをし、内側の内枠を出るとき急にフレームが移動する。この問題に対して、内枠に移動を許しボールの移動ベクトルを用いて移動させた。これにより、ボール座標が大きく移動し始める時に早い段階から反応できるようになる。まず、ボールの前後2 フレームのボールの移動ベクトルの加重平均をとり、その値の反対方向に内枠を移動させる。
図９は、ボールの移動を考慮してボール追跡用フレーム（内枠）を移動した場合の効果を示す説明図である。図中のAに示すように、右下の方に大きなベクトルが発生した場合、加重平均は右下側に大きくなる。このベクトルの発生を受け、図中のBに示すように内枠をあらかじめ左上側に動かすと、より早くボールが内枠をはずれることになり、より早くフレーム位置の修正を行うことが可能になる。
By setting the inner frame on the inner side of the frame movement using the velocity vector of the ball , the subsequent frame does not respond to fine ball movements where the ball coordinates are inside the inner frame. Since the size and position of the frame are constant, the ball moves greatly, and the frame moves suddenly when leaving the inner frame. To solve this problem, the inner frame was allowed to move and moved using a ball movement vector. As a result, when the ball coordinates start to move greatly, it becomes possible to react from an early stage. First, the weighted average of the movement vectors of the two frames before and after the ball is taken, and the inner frame is moved in the opposite direction of the value.
FIG. 9 is an explanatory diagram showing the effect when the ball tracking frame (inner frame) is moved in consideration of the movement of the ball. As shown by A in the figure, when a large vector is generated in the lower right, the weighted average increases in the lower right. In response to the generation of this vector, if the inner frame is moved to the upper left side in advance as shown in B in the figure, the ball will come off the inner frame earlier, and the frame position can be corrected earlier. .
本発明によるデジタルカメラワーク装置の性能を評価するため実際の２つのサッカー試合の素材映像からデジタルカメラワークによる自動映像生成実験を行った。比較のため、この2 つの映像とは別途カメラマンが撮影したＴＶ映像とＨＤカメラでサッカーコートの半分を撮影した映像を用意した。この4 種類の映像を２つずつ用いて6人の評価者で映像の評価実験を行った。 In order to evaluate the performance of the digital camera work apparatus according to the present invention, an automatic video generation experiment using digital camera work was performed from the material images of two actual soccer matches. For comparison purposes, we prepared two separate images: a TV image shot by a cameraman and a video shot of half of the soccer court with an HD camera. Using these four types of images two at a time, an image evaluation experiment was conducted by six evaluators.
AHPによる評価実験と生成映像の許容度アンケート
本手法の評価は主観評価で有望とされ、順位付けが可能なAHP法（詳細は、木下栄蔵著、「AHP の理論と実際」（日科技連出版社）を参照されたい。）による主観評価方法を用いた。上述したように、評価に用いた映像は、同じサッカーの試合を撮影した４種類の映像であり、各種類ごとに6 個の映像を用意し、被験者6 人に対しそれぞれ種類ごとにランダムに選択した2 種類の映像を見せて評価した。図１０にサッカー映像の評価用AHP階層図を示す。また、本実験ではデジタルカメラワークのPAN の品質に関する評価を行うため、AHP における一対比較を行う際に用いる評価基準として、図１０の中間層に示す４つを用いた。なお、HDは、カメラワークが存在せずサッカーコートを一望する映像であるが、これはカメラワークを用いた映像に対する比較として導入した。
AHP Evaluation Experiment and Generated Image Tolerance Questionnaire The evaluation of this method is considered promising in subjective evaluation, and can be ranked AHP method (for details, Eizo Kinoshita, "Theory and Practice of AHP" (Nikkagi Renren Publishing) The subjective evaluation method according to) was used. As mentioned above, the video used for the evaluation is four types of video shot of the same soccer game. Six types of video are prepared for each type, and randomly selected for each type for six subjects. The two types of videos were shown and evaluated. FIG. 10 shows an AHP hierarchy diagram for soccer video evaluation. Further, in this experiment, in order to evaluate the PAN quality of the digital camera work, four evaluation criteria shown in the intermediate layer of FIG. HD is a video that has no camerawork and overlooks the soccer court, but this was introduced as a comparison to video using camerawork.
図１１は、AHPの評価結果と許容度のアンケート結果を示す図である。実験の結果、中間層の嗜好重みはA1,A2,A6,A7=0.15,0.12,0.25,0.48となり、サッカー映像では試合進行の提示が重要であり、次に画質が問われるという結果が出た。図１１左がAHP の結果であり、プロカメラマンによる撮影（M1）が最も良い値を示しており、次に定点映像であるHD映像(M2)であった。HDはA6とA7の嗜好の重みの高さが評価値の高得点に起因していると思われる。ここで、図１１右に示す通り、本発明によるデジタルカメラワーク装置を使用した実験で生成した映像がサッカー映像として受け入れられるかは、許容できるという傾向が見受けられた。AHPの結果として、実験手法ではM3（実験１：選手のみに基づくデジタルカメラワーク）よりM4（実験２：ボールのみに基づくデジタルカメラワーク）が良く、M4はM1より評価が低いものの、各嗜好の含有比率はA1と同程度であり、プロの品質には及んでいないが、サッカー映像として十分鑑賞し得るレベルには到達しているものと考えられる。 FIG. 11 is a diagram showing AHP evaluation results and tolerance questionnaire results. As a result of the experiment, the preference weight of the middle class was A1, A2, A6, A7 = 0.15, 0.12, 0.25, 0.48, and it was shown that the progress of the game is important in soccer video, and then the image quality is questioned . The left side of FIG. 11 shows the result of AHP, and the shooting by the professional photographer (M1) shows the best value, followed by the HD video (M2) which is a fixed point video. In HD, the height of the preference weight of A6 and A7 seems to be due to the high score of the evaluation value. Here, as shown on the right side of FIG. 11, it was observed that the video generated in the experiment using the digital camera work device according to the present invention is acceptable as a soccer video. As a result of AHP, M4 (Experiment 2: Digital camera work based only on balls) is better than M3 (Experiment 1: Digital camera work based only on players) in the experimental method, and M4 has a lower evaluation than M1, but each preference The content ratio is about the same as A1, which does not reach professional quality, but is considered to have reached a level where it can be fully appreciated as a soccer video.
本明細書では、様々な実施態様で本発明の原理を説明してきたが、本発明は上述した実施例に限定されず幾多の変形および修正を施すことが可能であり、これら変形および修正されたものも本発明に含まれることを理解されたい。 In the present specification, the principle of the present invention has been described in various embodiments. However, the present invention is not limited to the above-described embodiments, and many variations and modifications can be made. It should be understood that these are also included in the present invention.
１００ デジタルカメラワーク装置
１１０ 映像入力手段
１２０ 記憶手段
１３０ 合成手段
１４０ 動き検出手段
１５０ ボール検出手段
１６０ カメラワーク設定手段
１７０ 映像生成手段
１８０ 映像出力手段
DESCRIPTION OF
Claims (18)
前記スポーツ映像を入力する映像入力手段と、
前記入力したスポーツ映像から、各選手の移動情報を検出する動き検出手段と、
前記各選手の移動情報に含まれる前記各選手の複数のフレームにわたる各位置に基づき、最も前記各選手が集中しかつ前記各選手の動きが大きい領域を求めこれを前記新たなカメラワークの映像のフレーム位置として設定するカメラワーク設定手段と、
前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成手段と、
前記切り出した映像を出力する映像出力手段と、
を含むデジタルカメラワーク装置。 A digital camera work device that automatically generates new camera work images from sports images,
Video input means for inputting the sports video;
Movement detection means for detecting movement information of each player from the input sports video;
Based on each position of each player over a plurality of frames included in the movement information of each player, an area where the players are most concentrated and the movement of each player is large is obtained and this is determined as the video of the new camera work. Camera work setting means for setting as a frame position;
Video generation means for cutting out the new camera work video from the sports video based on the set frame position;
Video output means for outputting the clipped video;
Including digital camera work equipment.
前記カメラワーク設定手段は、
前記各選手の複数のフレームにわたる各位置に基づき、選手ごとにその重心位置及び移動量を求め、これらに基づき前記新たなカメラワークの映像のフレーム位置を設定する、
ことを特徴とするデジタルカメラワーク装置。 The digital camera work device according to claim 1,
The camera work setting means includes
Based on each position over a plurality of frames of each player, determine the position of the center of gravity and the amount of movement for each player, and based on these, set the frame position of the video of the new camera work,
A digital camera work device.
前記カメラワーク設定手段は、
前記フレーム位置の中心座標を複数のフレームにわたって求め、これら複数の中心座標が線形回帰分析による回帰直線上に位置するように前記フレーム位置を補正する手段を含む、
ことを特徴とするデジタルカメラワーク装置。 In the digital camera work device according to claim 1 or 2,
The camera work setting means includes
Means for determining center coordinates of the frame position over a plurality of frames and correcting the frame position so that the plurality of center coordinates are located on a regression line by linear regression analysis;
A digital camera work device.
前記スポーツ映像は、ボールを使用するスポーツであり、
デジタルカメラワーク装置は、
前記スポーツ映像から前記ボールの位置を検出するボール検出手段をも含み、
前記カメラワーク設定手段は、
前記検出したボール位置にも基づき前記フレーム位置を設定する、
ことを特徴とするデジタルカメラワーク装置。 The digital camera work device according to any one of claims 1 to 3,
The sports image is a sport using a ball,
Digital camera work device
Including ball detecting means for detecting the position of the ball from the sports video,
The camera work setting means includes
Setting the frame position based on the detected ball position;
A digital camera work device.
前記設定したフレーム位置によるフレーム内のほぼ中央にボール追跡用フレームを設定するボール追跡用フレーム設定手段と、
前記ボール位置が前記ボール追跡用フレームの範囲内にあるか否かを判定する判定手段と、
前記判定手段で前記ボールが範囲内にある場合は、前記ボール位置に基づくフレーム位置の設定は実行せず、範囲外にある場合のみ前記ボール位置に基づくフレーム位置の設定を実行するよう、前記カメラワーク設定手段を制御する手段と、
をも含むことを特徴とするデジタルカメラワーク装置。 The digital camera work device according to claim 4.
A ball tracking frame setting means for setting a ball tracking frame at substantially the center in the frame according to the set frame position;
Determination means for determining whether or not the ball position is within a range of the ball tracking frame;
When the determination means determines that the ball position is within the range, the frame position setting based on the ball position is not executed, and the frame position setting based on the ball position is executed only when it is out of the range. Means for controlling the work setting means;
A digital camera work apparatus characterized by including
前記ボール検出手段は、前記ボールの動きベクトルを検出する手段を含み、
前記ボール追跡用フレーム設定手段は、前記検出したボール動きベクトルの大きさに応じて、前記ボール動きベクトルの方向の反対方向に前記ボール追跡用フレームを移動させる、
ことを特徴とするデジタルカメラワーク装置。 In the digital camera work device according to claim 4 or 5,
The ball detecting means includes means for detecting a motion vector of the ball;
The ball tracking frame setting means moves the ball tracking frame in a direction opposite to the direction of the ball motion vector according to the size of the detected ball motion vector.
A digital camera work device.
前記スポーツ映像を入力する映像入力ステップと、
前記入力したスポーツ映像から、演算手段を使用して各選手の移動情報を検出する動き検出ステップと、
前記各選手の移動情報に含まれる前記各選手の複数のフレーム間にわたる各位置に基づき、前記演算手段を使用して最も前記各選手が集中しかつ前記各選手の動きが大きい領域を求めこれを前記新たなカメラワークの映像のフレーム位置として設定するカメラワーク設定ステップと、
前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成ステップと、
前記切り出した映像を出力する映像出力ステップと、
を含むデジタルカメラワーク方法。 A digital camera work method that automatically generates a new camera work image from a sports image,
A video input step for inputting the sports video;
A motion detection step of detecting movement information of each player from the input sports video using a calculation means;
Based on each position between a plurality of frames of each player included in the movement information of each player, the calculation means is used to obtain a region where the players are most concentrated and the movement of each player is large. A camera work setting step for setting as a frame position of the video of the new camera work;
A video generation step of cutting out the video of the new camera work from the sports video based on the set frame position;
A video output step of outputting the clipped video;
Including digital camera work method.
前記カメラワーク設定ステップは、
前記演算手段を使用して前記各選手の複数のフレームにわたる各位置に基づき、選手ごとにその重心位置及び移動量を求め、これらに基づき前記新たなカメラワークの映像のフレーム位置を設定する、
ことを特徴とするデジタルカメラワーク方法。 The digital camera work method according to claim 7.
The camera work setting step includes:
Based on each position over a plurality of frames of each player using the computing means, determine the center of gravity position and the amount of movement for each player, and based on these, set the frame position of the video of the new camera work,
A digital camera work method characterized by the above.
前記カメラワーク設定ステップは、
前記フレーム位置の中心座標を複数のフレームにわたって求め、これら複数の中心座標が線形回帰分析による回帰直線上に位置するように前記フレーム位置を補正するステップを含む、
ことを特徴とするデジタルカメラワーク方法。 The digital camera work method according to claim 7 or 8,
The camera work setting step includes:
Determining center coordinates of the frame position over a plurality of frames, and correcting the frame position so that the plurality of center coordinates are located on a regression line by linear regression analysis;
A digital camera work method characterized by the above.
前記スポーツ映像は、ボールを使用するスポーツであり、
デジタルカメラワーク方法は、
前記演算手段を使用して前記スポーツ映像から前記ボールの位置を検出するボール検出ステップをも含み、
前記カメラワーク設定ステップは、
前記検出したボール位置にも基づき前記フレーム位置を設定する、
ことを特徴とするデジタルカメラワーク方法。 In the digital camera work method according to any one of claims 7 to 9,
The sports image is a sport using a ball,
The digital camera work method is
Including a ball detection step of detecting the position of the ball from the sports video using the arithmetic means;
The camera work setting step includes:
Setting the frame position based on the detected ball position;
A digital camera work method characterized by the above.
前記設定したフレーム位置によるフレーム内のほぼ中央にボール追跡用フレームを設定するボール追跡用フレーム設定ステップと、
前記ボール位置が前記ボール追跡用フレームの範囲内にあるか否かを判定する判定ステップと、
前記判定ステップで前記ボールが範囲内にある場合は、前記ボール位置に基づくフレーム位置の設定は実行せず、範囲外にある場合のみ前記ボール位置に基づくフレーム位置の設定を実行するよう、前記カメラワーク設定ステップを制御するステップと、
をも含むことを特徴とするデジタルカメラワーク方法。 The digital camera work method according to claim 10.
A ball-tracking frame setting step for setting a ball-tracking frame at approximately the center in the frame according to the set frame position;
A determination step of determining whether the ball position is within a range of the ball tracking frame;
If the ball is within the range in the determining step, the frame position setting based on the ball position is not executed, and the frame position setting based on the ball position is executed only when the ball is out of the range. Controlling the workpiece setting step;
The digital camera work method characterized by including.
前記ボール検出ステップは、前記ボールの動きベクトルを検出するステップを含み、
前記ボール追跡用フレーム設定ステップは、前記検出したボール動きベクトルの大きさに応じて、前記ボール動きベクトルの方向の反対方向に前記ボール追跡用フレームを移動させる、
ことを特徴とするデジタルカメラワーク方法。 The digital camera work method according to claim 10 or 11,
The ball detecting step includes a step of detecting a motion vector of the ball;
The ball tracking frame setting step moves the ball tracking frame in a direction opposite to the direction of the ball motion vector according to the size of the detected ball motion vector.
A digital camera work method characterized by the above.
前記スポーツ映像を入力する映像入力ステップと、
前記入力したスポーツ映像から、各選手の移動情報を検出する動き検出ステップと、
前記各選手の移動情報に含まれる前記各選手の複数のフレームにわたる各位置に基づき、最も前記各選手が集中しかつ前記各選手の動きが大きい領域を求めこれを前記新たなカメラワークの映像のフレーム位置として設定するカメラワーク設定ステップと、
前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成ステップと、
前記切り出した映像を出力する映像出力ステップと、
を含むデジタルカメラワークプログラム。 A digital camera work program for causing a computer to execute a digital camera work method for automatically generating a new camera work image from a sports image,
A video input step for inputting the sports video;
A motion detection step of detecting movement information of each player from the input sports video;
Based on each position of each player over a plurality of frames included in the movement information of each player, an area where the players are most concentrated and the movement of each player is large is obtained and this is determined as the video of the new camera work. A camera work setting step to set as a frame position;
A video generation step of cutting out the video of the new camera work from the sports video based on the set frame position;
A video output step of outputting the clipped video;
Digital camera work program including
前記カメラワーク設定ステップは、
使用して前記各選手の複数のフレームにわたる各位置に基づき、選手ごとにその重心位置及び移動量を求め、これらに基づき前記新たなカメラワークの映像のフレーム位置を設定する、
ことを特徴とするデジタルカメラワークプログラム。 In the digital camera work program according to claim 13,
The camera work setting step includes:
Based on each position over a plurality of frames of each player using the position of the center of gravity and the amount of movement for each player, and based on these, set the frame position of the video of the new camera work,
A digital camera work program.
前記カメラワーク設定ステップは、
前記フレーム位置の中心座標を複数のフレームにわたって求め、これら複数の中心座標が線形回帰分析による回帰直線上に位置するように前記フレーム位置を補正するステップを含む、
ことを特徴とするデジタルカメラワークプログラム。 The digital camera work program according to claim 13 or 14,
The camera work setting step includes:
Determining center coordinates of the frame position over a plurality of frames, and correcting the frame position so that the plurality of center coordinates are located on a regression line by linear regression analysis;
A digital camera work program.
前記スポーツ映像は、ボールを使用するスポーツであり、
デジタルカメラワークプログラムは、
前記スポーツ映像から前記ボールの位置を検出するボール検出ステップをも含み、
前記カメラワーク設定ステップは、
前記検出したボール位置にも基づき前記フレーム位置を設定する、
ことを特徴とするデジタルカメラワークプログラム。 In the digital camera work program according to any one of claims 13 to 15,
The sports image is a sport using a ball,
Digital camera work program
Including a ball detection step of detecting the position of the ball from the sports video,
The camera work setting step includes:
Setting the frame position based on the detected ball position;
A digital camera work program.
前記設定したフレーム位置によるフレーム内のほぼ中央にボール追跡用フレームを設定するボール追跡用フレーム設定ステップと、
前記ボール位置が前記ボール追跡用フレームの範囲内にあるか否かを判定する判定ステップと、
前記判定ステップで前記ボールが範囲内にある場合は、前記ボール位置に基づくフレーム位置の設定は実行せず、範囲外にある場合のみ前記ボール位置に基づくフレーム位置の設定を実行するよう、前記カメラワーク設定ステップを制御するステップと、
をも含むことを特徴とするデジタルカメラワークプログラム。 The digital camera work program according to claim 16,
A ball-tracking frame setting step for setting a ball-tracking frame at approximately the center in the frame according to the set frame position;
A determination step of determining whether the ball position is within a range of the ball tracking frame;
If the ball is within the range in the determining step, the frame position setting based on the ball position is not executed, and the frame position setting based on the ball position is executed only when the ball is out of the range. Controlling the workpiece setting step;
The digital camera work program characterized by including also.
前記ボール検出ステップは、前記ボールの動きベクトルを検出するステップを含み、
前記ボール追跡用フレーム設定ステップは、前記検出したボール動きベクトルの大きさに応じて、前記ボール動きベクトルの方向の反対方向に前記ボール追跡用フレームを移動させる、
ことを特徴とするデジタルカメラワークプログラム。 The digital camera work program according to claim 16 or 17,
The ball detecting step includes a step of detecting a motion vector of the ball;
The ball tracking frame setting step moves the ball tracking frame in a direction opposite to the direction of the ball motion vector according to the size of the detected ball motion vector.
A digital camera work program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004027691A JP2005223487A (en) | 2004-02-04 | 2004-02-04 | Digital camera work apparatus, digital camera work method, and digital camera work program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004027691A JP2005223487A (en) | 2004-02-04 | 2004-02-04 | Digital camera work apparatus, digital camera work method, and digital camera work program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005223487A true JP2005223487A (en) | 2005-08-18 |
Family
ID=34998804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004027691A Pending JP2005223487A (en) | 2004-02-04 | 2004-02-04 | Digital camera work apparatus, digital camera work method, and digital camera work program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005223487A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008060974A (en) * | 2006-08-31 | 2008-03-13 | Casio Comput Co Ltd | Imaging apparatus and program |
| JP2009177431A (en) * | 2008-01-23 | 2009-08-06 | Dainippon Printing Co Ltd | Video image reproducing system, server, terminal device and video image generating method or the like |
| JP2010183280A (en) * | 2009-02-04 | 2010-08-19 | Sumitomo Electric Ind Ltd | System for tracking and photographing multiple moving objects, and photographing control method |
| JP2011142450A (en) * | 2010-01-06 | 2011-07-21 | Canon Inc | Video recording device and method |
| JP2012065995A (en) * | 2010-09-27 | 2012-04-05 | Hitachi Aloka Medical Ltd | Ultrasonic diagnostic apparatus |
| JP5846268B1 (en) * | 2014-08-12 | 2016-01-20 | 株式会社リコー | Image processing system, image processing apparatus, program, and imaging system |
| WO2016139898A1 (en) * | 2015-03-05 | 2016-09-09 | ソニー株式会社 | Video processing apparatus, video processing system and video processing method |
| JP2021087186A (en) * | 2019-11-29 | 2021-06-03 | 富士通株式会社 | Video generation program, video generation method, and video generation system |
| CN115348385A (en) * | 2022-07-06 | 2022-11-15 | 深圳天海宸光科技有限公司 | Gun-ball linkage football detection method and system |
| WO2023127370A1 (en) * | 2021-12-28 | 2023-07-06 | キヤノン株式会社 | Image processing device, image processing method, and program |
| EP4220556A1 (en) | 2022-01-28 | 2023-08-02 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and storage medium |
-
2004
- 2004-02-04 JP JP2004027691A patent/JP2005223487A/en active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008060974A (en) * | 2006-08-31 | 2008-03-13 | Casio Comput Co Ltd | Imaging apparatus and program |
| JP2009177431A (en) * | 2008-01-23 | 2009-08-06 | Dainippon Printing Co Ltd | Video image reproducing system, server, terminal device and video image generating method or the like |
| JP2010183280A (en) * | 2009-02-04 | 2010-08-19 | Sumitomo Electric Ind Ltd | System for tracking and photographing multiple moving objects, and photographing control method |
| JP2011142450A (en) * | 2010-01-06 | 2011-07-21 | Canon Inc | Video recording device and method |
| JP2012065995A (en) * | 2010-09-27 | 2012-04-05 | Hitachi Aloka Medical Ltd | Ultrasonic diagnostic apparatus |
| US9652856B2 (en) | 2014-08-12 | 2017-05-16 | Ricoh Company, Ltd. | Image processing system, image processing apparatus, and image capturing system |
| JP5846268B1 (en) * | 2014-08-12 | 2016-01-20 | 株式会社リコー | Image processing system, image processing apparatus, program, and imaging system |
| WO2016139898A1 (en) * | 2015-03-05 | 2016-09-09 | ソニー株式会社 | Video processing apparatus, video processing system and video processing method |
| US10362266B2 (en) | 2015-03-05 | 2019-07-23 | Sony Corporation | Video processing apparatus, video processing system, and video processing method |
| JP2021087186A (en) * | 2019-11-29 | 2021-06-03 | 富士通株式会社 | Video generation program, video generation method, and video generation system |
| JP7384008B2 (en) | 2019-11-29 | 2023-11-21 | 富士通株式会社 | Video generation program, video generation method, and video generation system |
| WO2023127370A1 (en) * | 2021-12-28 | 2023-07-06 | キヤノン株式会社 | Image processing device, image processing method, and program |
| EP4220556A1 (en) | 2022-01-28 | 2023-08-02 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and storage medium |
| CN115348385A (en) * | 2022-07-06 | 2022-11-15 | 深圳天海宸光科技有限公司 | Gun-ball linkage football detection method and system |
| CN115348385B (en) * | 2022-07-06 | 2024-03-01 | 深圳天海宸光科技有限公司 | Football detection method and system with gun-ball linkage |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8854457B2 (en) | Systems and methods for the autonomous production of videos from multi-sensored data | |
| US8594488B1 (en) | Methods and systems for video retargeting using motion saliency | |
| CN106331480B (en) | Video image stabilization method based on image splicing | |
| CN108369816B (en) | Apparatus and method for creating video clips from omnidirectional video | |
| US8754959B2 (en) | Image processing device, dynamic image reproduction device, and processing method and program in them | |
| Carr et al. | Hybrid robotic/virtual pan-tilt-zom cameras for autonomous event recording | |
| US20170337692A1 (en) | Method, system and computer program product for automatically altering a video stream | |
| JP2017531979A (en) | System and method for visual player tracking in a sports arena | |
| JP7303754B2 (en) | Method and system for integrating user-specific content into video production | |
| CN105072314A (en) | Virtual studio implementation method capable of automatically tracking objects | |
| US20190013047A1 (en) | Identifying interesting portions of videos | |
| JP2018107793A (en) | Generation device, generation method and program of virtual view point image | |
| Halperin et al. | Egosampling: Wide view hyperlapse from egocentric videos | |
| JP2005223487A (en) | Digital camera work apparatus, digital camera work method, and digital camera work program | |
| Patrona et al. | Computational UAV cinematography for intelligent shooting based on semantic visual analysis | |
| Pidaparthy et al. | Keep your eye on the puck: Automatic hockey videography | |
| Kumar et al. | Zooming on all actors: Automatic focus+ context split screen video generation | |
| JP2010258768A (en) | Image display device and control method thereof, program and storage medium | |
| JP2011155477A (en) | Video processing apparatus, video processing method, and program | |
| JP2010183384A (en) | Photographic camera learning apparatus and program therefor | |
| Gandhi et al. | A computational framework for vertical video editing | |
| Carrillo et al. | Automatic football video production system with edge processing | |
| Fassold et al. | Towards automatic cinematography and annotation for 360° video | |
| CN115801977A (en) | Multi-mode system for segmenting video, multi-mode system for segmenting multimedia and multi-mode method for segmenting multimedia | |
| Sevilla‐Lara et al. | Smooth loops from unconstrained video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080701 |