JP2016009966A - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP2016009966A JP2016009966A JP2014128718A JP2014128718A JP2016009966A JP 2016009966 A JP2016009966 A JP 2016009966A JP 2014128718 A JP2014128718 A JP 2014128718A JP 2014128718 A JP2014128718 A JP 2014128718A JP 2016009966 A JP2016009966 A JP 2016009966A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- cutout range
- range
- cut
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、画像処理装置に関する。 The present invention relates to an image processing apparatus.
デジタルビデオカメラで撮影を行う際、撮影者がパン、チルト、ズーム等の操作を行い、最適と思われる画角で撮影を行う。しかしながらスポーツを撮影する際には、長時間であることが多いことや被写体が動き続けることなどから、長時間の撮影中に常にパン、チルト、ズーム等の操作が必要となり、撮影者に大きな負担がかかる。 When shooting with a digital video camera, the photographer performs operations such as panning, tilting, and zooming, and shooting at an angle of view that seems to be optimal. However, when shooting sports, panning, tilting, zooming, and other operations are always required during long-time shooting because it is often a long time and the subject continues to move. It takes.
撮影者に負担がかからないように、カメラを固定して競技全体を撮影する方法もある。この方法ではパン、チルト、ズーム等の必要がなく、カメラを固定して撮影しておけばよい。ただし、撮影されている領域に対して必要な部分は限られており、視聴性を良くするためにはシーンに応じて必要な部分を切り出す必要がある。 There is also a method of shooting the entire competition with the camera fixed so that the photographer is not burdened. This method eliminates the need for panning, tilting, zooming, etc., and it is sufficient to shoot with the camera fixed. However, the necessary part for the area being photographed is limited, and in order to improve the viewability, it is necessary to cut out the necessary part according to the scene.
必要な部分を切り出す方法が特許文献１で考案されている。特許文献１では選手の密集度と動きの大きい領域を検出し、その領域を切り出す手法が提案されている。また、この方法に加えて、ボールの位置も利用し領域を切り出す手法も提案されている。この手法では中央部にボール追跡用の枠を設定し、その枠の中での動きでは切り出す領域を変更しないことにより、ボールの小刻みな動きに反応しないような手法を提案している。 Patent Document 1 devises a method of cutting out a necessary part. Patent Document 1 proposes a method of detecting an area where the density and movement of players are large and cutting out the area. In addition to this method, a method of cutting out an area using the position of a ball has been proposed. In this method, a frame for tracking a ball is set in the center, and a method is proposed in which the region to be cut out is not changed by the movement in the frame so that it does not react to the small movement of the ball.
しかしながら、上記従来例ではボールと選手の関係について明記されていない。そのため、選手の位置情報のみを使用してフレーム位置を決定するときは、ボールがフレームに入らない場合が生じる。また、ボールを使用した方法においても、ボールがなるべく中央部に位置するようにしているため、密集している選手に対して中央付近にボールが無い時、良い切り出し範囲とならない。 However, in the above conventional example, the relationship between the ball and the player is not specified. Therefore, when the frame position is determined using only the position information of the player, the ball may not enter the frame. Also in the method using the ball, since the ball is positioned as centrally as possible, a good cutout range is not obtained when there is no ball near the center with respect to a crowded player.
また、ゴールのある競技において、ボールや選手に加えてゴールを切り出し範囲内に含めたい場合も多い。特にボールがゴールに近づいてきた際にはゴールとボールや選手との位置関係を知るためにもゴールを含めた切り出し範囲とする必要性が高まる。 In addition, in a competition with a goal, it is often desirable to include the goal in the cutout range in addition to the ball and the player. In particular, when the ball approaches the goal, the need for a cutout range including the goal increases in order to know the positional relationship between the goal and the ball or the player.
そこで、本発明は、画像のうちの必要な部分を適切に切り出すことが可能な装置を提供することを目的とする。 Accordingly, an object of the present invention is to provide an apparatus that can appropriately cut out a necessary portion of an image.
本発明に係る画像処理装置の構成は、入力映像から第一の被写体の位置を検出する第一検出手段と、複数の第二の被写体の位置を検出する第二検出手段と、切り出し対象とする被写体を検出する領域を決定する第一決定手段と、前記第一の被写体と前記第二の被写体と前記第一決定手段を用いて切り出し範囲を決定する第二決定手段と、前記第二決定手段で決まった切り出し範囲を入力映像より切り出す切り出し手段と、前記切り出し手段によって切り出された映像を所定の大きさにリサイズするリサイズ手段と、リサイズされた映像を出力する映像出力手段を備え、前記第一決定手段は、前記第一の被写体位置から一定の距離となる前記領域を決定し、前記第二決定手段は、前記領域内の第一または第二の被写体が水平もしくは垂直方向、または両方において前記切り出し範囲の中に含まれるように、前記切り出し範囲を決定することを特徴とする。 The configuration of the image processing apparatus according to the present invention includes a first detection unit that detects the position of the first subject from the input video, a second detection unit that detects the positions of the plurality of second subjects, and a target to be cut out. First determination means for determining a region for detecting a subject, second determination means for determining a clipping range using the first subject, the second subject, and the first determination means; and the second determination means. A first clipping unit that cuts out the clipping range determined in step 1 from the input video, a resizing unit that resizes the video clipped by the clipping unit, and a video output unit that outputs the resized video. The determining means determines the region that is a fixed distance from the first subject position, and the second determining means is that the first or second subject in the region is in a horizontal or vertical direction, As others are included in the cutout range in both, and determines the cutout range.
本発明によれば、画像のうちの必要な部分を適切に切り出すことが可能となる。 According to the present invention, a necessary part of an image can be appropriately cut out.
以下、本発明を実施するための形態を図面に基づいて説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
＜第１の実施形態＞
本実施例ではバスケットボールの競技において、あらかじめ広角に固定したカメラで競技中の映像を撮影しておき、その映像の一部を切り出して出力する方法を例に挙げて説明を行う。
<First Embodiment>
In this embodiment, in a basketball game, an explanation will be given by taking as an example a method of shooting a video during a game with a camera fixed at a wide angle in advance, and cutting out and outputting a part of the video.
図１に本実施形態の概略構成図を示す。入力された映像信号は検出部１０１と遅延部１０２に送られる。検出部１０１では制御部１０３より送信される指示や情報に基づき被写体を検出し、制御部１０３に被写体の位置の座標情報を送信する。制御部１０３は検出部１０１に対して、メモリ１０４に格納されている検出に必要な情報や、検出するタイミング等を送信する。また、制御部１０３では検出部１０１より送信される座標情報とメモリに格納されている算出用の情報に基づき、遅延フレーム数、切り出し範囲、リサイズの倍率を算出し、遅延部１０２、切り出し部１０５、リサイズ部１０６にそれぞれの値を送信する。遅延部１０２では制御部１０３より送信された値に基づき入力された映像を遅延させる。切り出し部１０５では制御部１０３より送信された値に基づき遅延部１０２で遅延された映像の一部を切り出す。リサイズ部１０６では制御部１０３より送信された値に基づき切り出し部１０５で切り出された映像をリサイズし、所望のサイズの映像を出力する。 FIG. 1 shows a schematic configuration diagram of the present embodiment. The input video signal is sent to the detection unit 101 and the delay unit 102. The detection unit 101 detects a subject based on instructions and information transmitted from the control unit 103, and transmits coordinate information of the position of the subject to the control unit 103. The control unit 103 transmits information necessary for detection, detection timing, and the like stored in the memory 104 to the detection unit 101. Further, the control unit 103 calculates the number of delay frames, the cutout range, and the resizing magnification based on the coordinate information transmitted from the detection unit 101 and the calculation information stored in the memory, and the delay unit 102 and the cutout unit 105. Each value is transmitted to the resizing unit 106. The delay unit 102 delays the input video based on the value transmitted from the control unit 103. The cutout unit 105 cuts out a part of the video delayed by the delay unit 102 based on the value transmitted from the control unit 103. The resizing unit 106 resizes the video clipped by the clipping unit 105 based on the value transmitted from the control unit 103, and outputs a video of a desired size.
検出部１０１では映像の１フレームにおけるボールや人物のような特定の被写体の座標を検出する。検出方法は様々な手法が考案されている。例えば背景差分法とパターンマッチングを使用する方法が考えられる。背景差分法はあらかじめ記憶されている背景画像と現在の画像を比較し、変化が生じた部分を抽出する方法である。この方法によりボールや人物を含む領域を検出することができる。また、パターンマッチングはあらかじめ準備した画像と現在の画像を比較し、同様もしくは近いものがあるかどうかを検出する方法である。背景差分法で抽出した領域の映像に対して、パターンマッチングを行い、所望の被写体と比較し、一致した箇所の座標を得る。得られた被写体の位置の座標は制御部１０３に送信される。 The detection unit 101 detects the coordinates of a specific subject such as a ball or a person in one frame of the video. Various detection methods have been devised. For example, a method using a background difference method and pattern matching can be considered. The background subtraction method is a method of comparing a background image stored in advance with a current image and extracting a portion where a change has occurred. By this method, an area including a ball and a person can be detected. Pattern matching is a method of comparing an image prepared in advance with a current image and detecting whether there is a similar or similar image. Pattern matching is performed on the image of the region extracted by the background subtraction method, and the image is compared with a desired subject to obtain the coordinates of the matching part. The obtained coordinates of the position of the subject are transmitted to the control unit 103.
制御部１０３では得られた被写体の座標とあらかじめメモリ１０４に格納してあるデータに基づいて、遅延フレーム数、切り出し範囲、リサイズの倍率を決定する。遅延フレーム数は切り出し範囲の算出方法により決まる。またリサイズの倍率は切り出し範囲に基づいて決まる。以下、切り出し範囲の算出方法を示した後、遅延フレーム数、リサイズの倍率の決定方法を述べる。 The control unit 103 determines the number of delayed frames, the cutout range, and the resizing magnification based on the obtained object coordinates and data stored in the memory 104 in advance. The number of delay frames is determined by the cutout range calculation method. The resizing magnification is determined based on the cutout range. Hereinafter, after showing the calculation method of the cutout range, the method for determining the number of delayed frames and the resizing magnification will be described.
図２は切り出し範囲を決定方法を示すフローチャートである。また、図３には実施例１を用いた時の単フレーム映像イメージ例１に対する切り出し範囲を示す。第一の被写体はボールであり、複数の第二の被写体は人物となる。図に示すように映像の左上を座標（ｘ，ｙ）＝（０，０）とする。以下、図２のフローを図３を用いて説明していく。 FIG. 2 is a flowchart showing a method for determining the cutout range. FIG. 3 shows a cutout range for the single-frame video image example 1 when the first embodiment is used. The first subject is a ball, and the plurality of second subjects are people. As shown in the figure, the upper left corner of the video is set to coordinates (x, y) = (0, 0). The flow of FIG. 2 will be described below with reference to FIG.
まず切り出し対象被写体検出領域の決定を行う（Ｓ２０１）。ボールの水平位置Ｘｂに対して、水平方向に一定距離Ａ離れた領域を検出領域とする。この領域を図３に斜線部として示す。
次に領域内の最も端の被写体の座標を取得（Ｓ２０２）する。水平方向においてはボールと人物のＸ座標の中でＸｂ−ＡからＸｂ＋Ａの範囲内での最大値Ｘｓｍａｘと最小値Ｘｓｍｉｎを取得する。垂直方向には制限を設けていないため、ボールと人物のＹ座標の中で最大値Ｙｓｍａｘと最小値Ｙｓｍｉｎを取得する。図３にこのシーンにおけるＸｓｍｉｎ、Ｘｓｍａｘ、Ｙｓｍｉｎ、Ｙｓｍａｘを示す。
First, the cut-out subject detection area is determined (S201). An area that is a certain distance A in the horizontal direction from the horizontal position Xb of the ball is set as a detection area. This region is shown as a hatched portion in FIG.
Next, the coordinates of the farthest subject in the area are acquired (S202). In the horizontal direction, the maximum value X smax and the minimum value X smin within the range of X b −A to X b + A are acquired from the X coordinates of the ball and the person. Since there is no restriction in the vertical direction, the maximum value Y smax and the minimum value Y smin are acquired from the Y coordinates of the ball and the person. FIG. 3 shows X smin , X smax , Y smin , and Y smax in this scene.
次に単フレームを使用した切り出し範囲の決定（Ｓ２０３）を行う。検出位置に対して、被写体をフレーム内に収めるための水平方向のオフセット値Ｂと垂直方向のオフセット値Ｃをあらかじめ決めておく。Ｓ２０２で求めた被写体の座標の最大値とオフセットから単フレームを使用した切り出し範囲としてＸｍａｘ、Ｘｍｉｎ、Ｙｍａｘ、Ｙｍｉｎを次の式より算出する。 Next, the cut-out range using a single frame is determined (S203). With respect to the detection position, a horizontal offset value B and a vertical offset value C for placing the subject in the frame are determined in advance. X max , X min , Y max , and Y min are calculated from the following equations as a cutout range using a single frame from the maximum value and offset of the coordinates of the subject obtained in S202.
Ｘｍａｘ＝Ｘｓｍａｘ＋Ｂ・・（式１）
Ｘｍｉｎ＝Ｘｓｍｉｎ−Ｂ・・（式２）
Ｙｍａｘ＝Ｙｓｍａｘ＋Ｃ・・（式３）
Ｙｍｉｎ＝Ｙｓｍｉｎ−Ｃ・・（式４）
式１〜４の結果を用いて
水平の中心位置Ｘｃｅｎｔｅｒ１とサイズＸｓｉｚｅ１
垂直の中心位置Ｙｃｅｎｔｅｒ１とサイズＹｓｉｚｅ１
を以下の式より算出する。
X max = X smax + B (1)
X min = X smin −B (Expression 2)
Y max = Y smax + C (Expression 3)
Y min = Y smin -C (4)
Horizontal center position X center1 and size X size1 using the results of equations 1-4
Vertical center position Y center1 and size Y size1
Is calculated from the following equation.
Ｘｃｅｎｔｅｒ１＝（Ｘｍａｘ＋Ｘｍｉｎ）／２・・（式５）
Ｘｓｉｚｅ１＝Ｘｍａｘ−Ｘｍｉｎ・・（式６）
Ｙｃｅｎｔｅｒ１＝（Ｙｍａｘ＋Ｙｍｉｎ）／２・・（式７）
Ｙｓｉｚｅ１＝Ｙｍａｘ−Ｙｍｉｎ・・（式８）
式５〜８で求めた値が、単フレームを使用した切り出し範囲となる。
X center1 = (X max + X min ) / 2 (Expression 5)
X size1 = X max -X min ·· ( Equation 6)
Y center1 = (Y max + Y min ) / 2 (Expression 7)
Y size1 = Y max -Y min ··· (Formula 8)
The values obtained from equations 5 to 8 are the cutout range using a single frame.
図３にＸｃｅｎｔｅｒ１、Ｙｃｅｎｔｅｒ１、Ｘｓｉｚｅ１を利用して４：３で切り出した時の切り出し範囲を実線で示す。Ｙｓｉｚｅ１を使用すると水平方向の人物が一部含まれなくなるため、ここではＸｓｉｚｅ１で切り出し範囲を決めている。ボールから一定距離以内にいる人物を含む最大の切り出し範囲となっていることが分かる。 3 by using the X center1, Y center1, X size1 4: shows a cut-out area when cut by 3 with solid lines. If Y size1 is used, a part of the person in the horizontal direction is not included. Therefore , here, the cutout range is determined by Xsize1 . It can be seen that the maximum cutout range includes a person within a certain distance from the ball.
最後に実際に切り出す範囲の決定（Ｓ２０４）を行う。Ｓ２０３で求めた切り出し範囲では、単フレームで切り出し範囲を決定しているため、連続したフレームにおいて切り出し範囲が大きく異なる場合が出てくる。そこで、連続した複数のフレームの切り出し範囲を平均し実際の切り出し範囲とする。例えばＸｃｅｎｔｅｒ１、Ｘｓｉｚｅ１、Ｙｃｅｎｔｅｒ１、Ｙｓｉｚｅ１の前後数フレームの値を平均してＸｃｅｎｔｅｒ２、Ｙｃｅｎｔｅｒ２、Ｘｓｉｚｅ２、Ｙｓｉｚｅ２を求める。平均するフレーム数は多いとフレーム間の切り出し範囲の変動が滑らかだが、単フレームで決定した切り出し範囲に変動するまでに時間がかかる。 Finally, a range to be actually cut out is determined (S204). In the cut-out range obtained in S203, the cut-out range is determined by a single frame, and therefore the cut-out range may vary greatly between consecutive frames. Therefore, the cutout ranges of a plurality of consecutive frames are averaged to obtain the actual cutout range. For example X center1, X size1, Y center1 , by averaging the values before and after a few frames of Y size1 seek X center2, Y center2, X size2 , Y size2. If the number of frames to be averaged is large, the change in the cutout range between frames is smooth, but it takes time to change to the cutout range determined in a single frame.
ここで、サイズに関して、このままではＸとＹの比率が一定とならない。切り出し範囲の縦横比は一定である必要がある。そこで本実施例の切り出した映像の出力比が４：３であるとすると、
Ｘｓｉｚｅ３＝Ｙｓｉｚｅ２×４／３・・（式９）
Ｙｓｉｚｅ３＝Ｘｓｉｚｅ２×３／４・・（式１０）
を求め、Ｘｓｉｚｅ２とＸｓｉｚｅ３（またはＹｓｉｚｅ２とＹｓｉｚｅ３）を比較し、大きい方を採用して切り出しサイズとする。これは４：３の出力比で切り出した際により大きく切り出される方を選択しており、水平と垂直の両方において被写体が切り出し範囲内に入るようにするための処理である。この判定によりＸｓｉｚｅ２とＹｓｉｚｅ３かＸｓｉｚｅ３とＹｓｉｚｅ２のどちらかが最終的な切り出しサイズのＸｓｉｚｅ４とＹｓｉｚｅ４として選択される。その結果、Ｘｃｅｎｔｅｒ２、Ｙｃｅｎｔｅｒ２、Ｘｓｉｚｅ４、Ｙｓｉｚｅ４が最終的な切り出し範囲となる。
Here, regarding the size, the ratio of X and Y does not become constant as it is. The aspect ratio of the cutout range needs to be constant. Therefore, assuming that the output ratio of the clipped video in this embodiment is 4: 3,
X size3 = Y size2 × 4/3 (Equation 9)
Y size3 = X size2 × 3/4 (Equation 10)
The calculated, by comparing the X size2 and X SIZE3 (or Y size2 and Y SIZE3), the size cut out The greater. This is a process for selecting a larger image when the image is extracted with an output ratio of 4: 3 so that the subject falls within the extraction range both horizontally and vertically. By this determination, one of X size2 and Y size3 or X size3 and Y size2 is selected as the final cutout size Xsize4 and Ysize4 . As a result, X center2 , Y center2 , X size4 , and Y size4 are the final cutout ranges.
最終的な切り出し範囲を決める際に、切り出すフレームの後のフレームの切り出し範囲を利用して、実際の切り出し範囲を決めている。そのため、後のフレームを使用する量に応じて、遅延部１０２で映像を遅延させる必要がある。例えば前後５フレームの平均で切り出し範囲を決定する際には５フレーム以上遅延させる必要がある。ただし、後のフレームを使用しないときは、遅延させる必要はなく、遅延部１０２も不要となる。 When determining the final cutout range, the actual cutout range is determined using the cutout range of the frame after the cutout frame. Therefore, it is necessary to delay the video by the delay unit 102 according to the amount of use of the subsequent frame. For example, when determining the cutout range with an average of five frames before and after, it is necessary to delay five frames or more. However, when a later frame is not used, there is no need to delay and the delay unit 102 is also unnecessary.
リサイズの割合はＸｓｉｚｅ４もしくはＹｓｉｚｅ４と出力サイズによって決まる。例えば出力が６４０×４８０であるとすると、リサイズの割合はＳ２０３の結果に基づき、６４０／Ｘｓｉｚｅ４（または４８０／Ｙｓｉｚｅ４）となる。この割合でリサイズを行い、常に６４０×４８０の出力映像を取得する。 The resizing ratio is determined by X size 4 or Y size 4 and the output size. For example, assuming that the output is 640 × 480, the resizing ratio is 640 / X size 4 (or 480 / Y size 4 ) based on the result of S203. Resizing is performed at this rate, and an output video of 640 × 480 is always obtained.
以上述べたように切り出し範囲、遅延フレーム数、リサイズの割合を算出する。このような手法で切り出し範囲を決めれば、ボールと人物の位置のみを使用し、比較的簡単に切り出し範囲を決定することができる。また、ボールから一定距離以内の被写体に最適なフレームサイズとなるため、不必要に広角になることを減らすことができる。また、切り出し対象被写体検出領域への人物の出入りが無い場合や、ボールが端でない場合は、ボールの移動に伴う画角の変動が無く、ボール小刻みな変動に伴う切り出し範囲の変動が無い。また、切り出し範囲を決める段階ではボールと人物を区別しないため、人物に対するボールの位置に関わらず、切り出し範囲を設定することができる。また、切り出しサイズの決定において、前後数フレームの平均値を使用するため、切り出し範囲の急激な変動を抑制することができる。 As described above, the cutout range, the number of delay frames, and the resizing ratio are calculated. If the cutout range is determined by such a method, the cutout range can be determined relatively easily using only the position of the ball and the person. In addition, since the frame size is optimal for a subject within a certain distance from the ball, it is possible to reduce unnecessary wide angle. Further, when a person does not enter or leave the cut-out subject detection area or when the ball is not at the end, there is no change in the angle of view due to the movement of the ball, and there is no change in the cut-out range due to the change in the ball. Further, since the ball and the person are not distinguished at the stage of determining the cutout range, the cutout range can be set regardless of the position of the ball with respect to the person. In addition, since the average value of several frames before and after is used in determining the cutout size, it is possible to suppress a sudden change in the cutout range.
＜第２の実施形態＞
実施例１ではボールと人物に関して最適となるように切り出し範囲を決定した。しかしながら例えばゴールのような固定している被写体を含めて切り出し範囲を決めたいことも多い。そこで実施例２ではボールと人物に加え、固定した被写体を含める場合の切り出し範囲を決める方法に関して述べる。
<Second Embodiment>
In Example 1, the cutout range was determined so as to be optimal with respect to the ball and the person. However, there are many cases where it is desired to determine a cutout range including a fixed subject such as a goal. Therefore, in a second embodiment, a method for determining a cutout range when a fixed subject is included in addition to a ball and a person will be described.
実施例１と同様にバスケットボールの映像から切り出す例を挙げて説明する。固定の被写体としてはゴールとし、切り出し範囲を決定する際にゴールの位置も考慮に入れて決める方法について説明する。 As in the first embodiment, an example of cutting out from a basketball video will be described. A method will be described in which a goal is set as the fixed subject, and the goal position is determined in consideration of the cutout range.
概略構成としては実施例１で示した図１と同様である。検出部１０１では実施例１と同様、ボールと人物の座標を検出する。制御部１０３ではボールと人物の座標と、あらかじめメモリ１０４に格納してあるゴールの座標を用いて切り出し範囲を決める。 The schematic configuration is the same as that shown in FIG. As in the first embodiment, the detection unit 101 detects the coordinates of the ball and the person. The control unit 103 determines the cut-out range using the coordinates of the ball and the person and the goal coordinates stored in the memory 104 in advance.
図４（ａ）、（ｂ）に実施例２を用いた時の単フレーム映像イメージ例１、２に対する切り出し範囲を示す。図示してあるゴールの水平座標Ｘｇ１、Ｘｇ２、垂直座標Ｙｇは固定となる。まず切り出し対象被写体検出領域は実施例１と同様、ボールの水平位置Ｘｂから水平方向にＡ離れた領域とする。次に切り出し対象被写体検出領域にあるボール、人物の座標とゴールの座標の中から、水平の最大値Ｘｓｍａｘ、最小値Ｘｓｍｉｎと垂直の最大値Ｙｓｍａｘ、最小値Ｙｓｍｉｎを取得する。Ｘｓｍａｘ、Ｘｓｍｉｎ、Ｙｓｍａｘ、Ｙｓｍｉｎを使用し、実施例１と同様の手法で切り出し範囲を決定する。 FIGS. 4A and 4B show cutout ranges for single-frame video image examples 1 and 2 when Example 2 is used. The horizontal coordinates X g1 , X g2 and vertical coordinates Y g of the goal shown in the figure are fixed. First, as in the first embodiment, the cut-out subject detection area is an area that is A apart from the horizontal position Xb of the ball in the horizontal direction. Next, the horizontal maximum value X smax , minimum value X smin , vertical maximum value Y smax , and minimum value Y smin are acquired from the coordinates of the ball, person, and goal in the cut-out subject detection area. Using X smax , X smin , Y smax , and Y smin , the cutout range is determined by the same method as in the first embodiment.
図４（ａ）は図３と同様の映像イメージ例１から実施例２を用いて切り出し範囲を示した例である。図３に比べてゴールが出力映像に残るためボール、人物、ゴールの位置関係が分かりやすい。また、図４（ｂ）はボールがゴールから一定距離離れている例であり、このような場合は実施例１と同様の切り出し範囲となり、不必要に広角になることが無い。 FIG. 4A is an example in which the cutout range is shown by using the same video image example 1 to example 2 as in FIG. Compared to FIG. 3, since the goal remains in the output video, the positional relationship between the ball, the person, and the goal is easier to understand. FIG. 4B shows an example in which the ball is separated from the goal by a certain distance. In such a case, the cut-out range is the same as that in the first embodiment, and the wide angle is not unnecessarily widened.
以上のように求めたＸｓｍａｘ、Ｘｓｍｉｎ、Ｙｓｍａｘ、Ｙｓｍｉｎを使用し、実施例１と同様の手法でＸｃｅｎｔｅｒ２、Ｙｃｅｎｔｅｒ２、Ｘｓｉｚｅ４、Ｙｓｉｚｅ４を算出し、最終的な切り出し範囲を決める。 Using X smax , X smin , Y smax , and Y smin obtained as described above, X center 2 , Y center 2 , X size 4 , and Y size 4 are calculated in the same manner as in Example 1, and the final cutout range is determined. Decide.
以上述べたような方法で切り出し範囲を定めれば、ゴールがボールから一定距離以内に入ったとき、ゴールを含めるような切り出し範囲とすることができる。 If the cutout range is determined by the method described above, the cutout range can be set to include the goal when the goal falls within a certain distance from the ball.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined.
１０１ 検出部、１０２ 遅延部１０２、１０３ 制御部、１０４ メモリ、
１０５ 切り出し部、１０６ リサイズ部
101 detection unit, 102 delay unit 102, 103 control unit, 104 memory,
105 cutout section, 106 resizing section
Claims (4)
複数の第二の被写体の位置を検出する第二検出手段と、
切り出し対象とする被写体を検出する領域を決定する第一決定手段と、
前記第一の被写体と前記第二の被写体と前記第一決定手段を用いて切り出し範囲を決定する第二決定手段と、
前記第二決定手段で決まった切り出し範囲を入力映像より切り出す切り出し手段と、
前記切り出し手段によって切り出された映像を所定の大きさにリサイズするリサイズ手段と、
リサイズされた映像を出力する映像出力手段を備え、
前記第一決定手段は、前記第一の被写体位置から一定の距離となる前記領域を決定し、前記第二決定手段は、前記領域内の第一または第二の被写体が水平もしくは垂直方向、または両方において前記切り出し範囲の中に含まれるように、前記切り出し範囲を決定することを特徴とする画像処理装置。 First detection means for detecting the position of the first subject from the input video;
Second detection means for detecting positions of a plurality of second subjects;
First determining means for determining a region for detecting a subject to be cut out;
Second determination means for determining a cutout range using the first subject, the second subject, and the first determination means;
Clipping means for cutting out the clipping range determined by the second determining means from the input video;
Resizing means for resizing the video clipped by the clipping means to a predetermined size;
Provided with video output means for outputting the resized video,
The first determining means determines the region that is a fixed distance from the first subject position, and the second determining means is that the first or second subject in the region is in a horizontal or vertical direction, or An image processing apparatus that determines the cutout range so as to be included in the cutout range in both cases.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014128718A JP2016009966A (en) | 2014-06-24 | 2014-06-24 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014128718A JP2016009966A (en) | 2014-06-24 | 2014-06-24 | Image processing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016009966A true JP2016009966A (en) | 2016-01-18 |
Family
ID=55227269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014128718A Pending JP2016009966A (en) | 2014-06-24 | 2014-06-24 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016009966A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114598925A (en) * | 2022-03-18 | 2022-06-07 | 脸萌有限公司 | Video editing method, device, equipment and storage medium |
-
2014
- 2014-06-24 JP JP2014128718A patent/JP2016009966A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114598925A (en) * | 2022-03-18 | 2022-06-07 | 脸萌有限公司 | Video editing method, device, equipment and storage medium |
| CN114598925B (en) * | 2022-03-18 | 2023-10-20 | 脸萌有限公司 | Video editing method, device, equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200120262A1 (en) | Image processing device, image processing method, and program | |
| US20180070008A1 (en) | Techniques for using lip movement detection for speaker recognition in multi-person video calls | |
| JP6674247B2 (en) | Information processing apparatus, information processing method, and computer program | |
| US8355048B2 (en) | Subject tracking computer program product, subject tracking device and camera | |
| US20140176612A1 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
| WO2012144195A1 (en) | Image capture device, image capture device focus control method, and integrated circuit | |
| EP2998960B1 (en) | Method and device for video browsing | |
| US10281979B2 (en) | Information processing system, information processing method, and storage medium | |
| JP6354229B2 (en) | Extraction program, method, and apparatus | |
| US20160295111A1 (en) | Image processing apparatus that combines images | |
| US20140285718A1 (en) | Moving image extracting apparatus extracting moving image of predetermined period from moving image | |
| US11470253B2 (en) | Display device and program | |
| US9686467B2 (en) | Panoramic video | |
| TWI571828B (en) | Optical navigation method and device using same | |
| US9799376B2 (en) | Method and device for video browsing based on keyframe | |
| US10834371B2 (en) | Generation apparatus of virtual viewpoint image, control method of apparatus, and storage medium | |
| JP2015111811A (en) | Image processing apparatus and control method of the same | |
| JP2009288945A (en) | Image display unit and image display method | |
| JP2016009966A (en) | Image processing device | |
| WO2015176322A1 (en) | Photographing method and device | |
| US20150237293A1 (en) | Apparatus, method, and system of controlling projection image, and recording medium storing image projection control program | |
| US20200134840A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| KR101825321B1 (en) | System and method for providing feedback of real-time optimal shooting composition using mobile camera recognition technology | |
| JP2016201617A (en) | Moving picture reproduction device and method | |
| JP2010021597A (en) | Imaging device and imaging method |