JP2021145322A - ビデオ処理方法、ビデオ処理装置および記憶媒体 - Google Patents

Abstract

【課題】ビデオ処理方法ビデオ処理装置および記憶媒体の提供。【解決手段】ビデオ処理方法であって、第１アスペクト比を有するソースビデオから複数のビデオフレームを抽出することと、第２アスペクト比を有する複数の候補クロッピングフレームを生成するために複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングすることと、複数のビデオフレームの各ビデオフレームの複数の候補クロッピングフレームのそれぞれについて評点を決定することであって評点は各候補クロッピングフレームがクロッピング範囲であるときの前記ビデオフレームの再生効果を表し評点に基づいて複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択することと、各ビデオフレームが選択されたクロッピングフレームを使用してクロッピングし第２アスペクト比を有するターゲットビデオを生成することとを含むことを特徴とするビデオ処理方法。【選択図】図１

Description

本開示は、画像およびビデオ処理の技術分野に関し、特に、ビデオ処理方法、ビデオ処理装置および記憶媒体に関する。

ソースビデオのアスペクト比とビデオの現在の再生機器のディスプレイのアスペクト比が一致しない場合が発生する。例えば、ユーザが撮影したビデオや、インタネットからダウンロードしたビデオなどは、通常、複数のアスペクト比を有し、ユーザの再生機器のディスプレイも複数のアスペクト比を有する。ソースビデオのアスペクト比とターゲットディスプレイのアスペクト比が一致しない場合、ビデオをターゲットディスプレイで再生すると（アスペクト比が１６：９であるターゲットディスプレイでアスペクト比が４：３であるビデオを再生する）、ディスプレイの両側に大きな黒い画面が表示される。

関連技術では、ソースビデオ再生のアスペクト比を再生機器のディスプレイのアスペクト比とマッチングさせて、ビデオ画面をディスプレイに埋めてより優れたユーザ体験を提供するためには、通常、ビデオ画面をズームし、またはクロッピングする必要がある。

関連技術に存在する問題を解決するために、本開示は、ビデオ処理方法、ビデオ処理装置および記憶媒体を提供する。

本開示の実施例の第１態様によれば、ビデオ処理方法を提供し、前記方法は、
第１アスペクト比を有するソースビデオから複数のビデオフレームを抽出することと、第２アスペクト比を有する複数の候補クロッピングフレームを生成するために、前記複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングすることと、前記複数のビデオフレームの各ビデオフレームの複数の候補クロッピングフレームのそれぞれについて評点を決定することであって、前記評点は、各候補クロッピングフレームがクロッピング範囲であるときの前記ビデオフレームの再生効果を表し、前記評点に基づいて前記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択することと、各ビデオフレームが、選択された前記クロッピングフレームを使用してクロッピングし、前記第２アスペクト比を有するターゲットビデオを生成することとを含む。

一実施形態において、前記候補クロッピングフレームの評点を決定することは、
前記候補クロッピングフレーム内の画像コンテンツに美的スコアを付けて、前記候補クロッピングフレームの評点を取得することを含む。

別の実施形態において、前記候補クロッピングフレームの評点を決定することは、
前記候補クロッピングフレーム内の各画素に対して顕著性ターゲット検出を実行し、顕著性ターゲット検出結果に基づいて各画素の画素評点を決定することと、前記候補クロッピングフレーム内の各画素の画素評点に従って、前記候補クロッピングフレームの評点を決定することとを含む。

さらに別の実施形態において、前記評点に基づいて前記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択することは、
前記複数のビデオフレームの各ビデオフレームに対して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することであって、前記状態遷移行列は、隣接する各フレーム間の各ビデオフレームで選択された候補クロッピングフレームのジッターに対して平滑化制御を実行するために使用されることと、最大目的関数に基づいて、前記状態遷移行列および各候補クロッピングフレームの評点を使用して、最大クロッピングフレーム評点を満たすクロッピングフレームシーケンスを決定することであって、前記クロッピングフレームシーケンスは、各ビデオフレームから選択された候補クロッピングフレームを含むこととを含む。

さらに別の実施形態において、前記各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することは、
前記各２つの候補クロッピングフレーム間の交差比および係数乗数に基づいて、状態遷移行列を構築するを含み、前記係数乗数は、平滑化の度合いを制御するために使用される。

さらに別の実施形態において、前記各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することは、
隣接する各２つの候補クロッピングフレームの中心位置間のユークリッド距離、候補クロッピングフレームの面積、および係数乗数に基づいて、状態遷移行列を構築することを含み、前記係数乗数は、平滑化の度合いを制御するために使用される。

さらに別の実施形態において、各ビデオフレームのクロッピングフレームを選択した後、前記方法は、
前記ソースビデオを、隣接する各フレーム間で選択されたクロッピングフレーム位置とサイズが変更しない複数のビデオセグメントに分割することと、隣接する２つのビデオセグメントの中間時点と隣接する２つのビデオセグメント内のクロッピングフレーム間の距離に基づいて、クロッピングフレームが前記隣接する２つのビデオセグメント内で移動する速度を決定することと、前記速度および再生時間に基づいて、前記隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整することとをさらに含む。

さらに別の実施形態において、前記複数のビデオセグメントの総数はＫ（Ｋは１より大きい正の整数である）であり、
前記速度および再生時間に基づいて、前記隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整することは、
第１ビデオセグメントに対して、再生時間が第１ビデオセグメントの中間時点より短い場合、第１ビデオセグメント内のクロッピングフレーム位置を変更しないことを維持することと、第ｋ（ｋは、１＜ｋ＜Ｋ−１を満たす正の整数である）ビデオセグメントおよび第ｋ＋１ビデオセグメントに対して、再生時間が第ｋビデオセグメントの中間時点より長いか等しく、且つ第ｋ＋１ビデオセグメントの中間時点より短い場合、前記第ｋビデオセグメント内のクロッピングフレームを調整して第１距離を移動することであって、前記第１距離は、第１速度と第１時間の積であり、ここで、前記第１速度は、クロッピングフレームが第ｋビデオセグメントから第ｋ＋１ビデオセグメントまで移動する速度であり、前記第１時間は、現在の時間と第ｋビデオセグメントの中間時点の差であることと、第Ｋビデオセグメントに対して、再生時間が第Ｋビデオセグメントの中間時点より長い場合、第Ｋビデオセグメント内のクロッピングフレーム位置を変更しないことを維持することとを含む。

本開示の実施例の第２態様によれば、ビデオ処理装置を提供し、前記装置は、
第１アスペクト比を有するソースビデオから複数のビデオフレームを抽出するように構成される抽出ユニットと、第２アスペクト比を有する複数の候補クロッピングフレームを生成するために、前記複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングするように構成されるクロッピングユニットと、前記複数のビデオフレームの各ビデオフレームの複数の候補クロッピングフレームのそれぞれについて評点を決定するように構成される評点ユニットであって、前記評点は、各候補クロッピングフレームがクロッピング範囲であるときの前記ビデオフレームの再生効果を表す評点ユニットと、前記評点に基づいて前記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択するように構成される選択ユニットと、各ビデオフレームが、選択された前記クロッピングフレームを使用してクロッピングし、前記第２アスペクト比を有するターゲットビデオを生成するように構成される生成ユニットとを含む。

一実施形態において、前記評点ユニットは、
前記候補クロッピングフレーム内の画像コンテンツに美的スコアを付けて、前記候補クロッピングフレームの評点を取得することを採用して、前記候補クロッピングフレームの評点を決定するように構成される。

別の実施形態において、前記評点ユニットは、
前記候補クロッピングフレーム内の各画素に対して顕著性ターゲット検出を実行し、顕著性ターゲット検出結果に基づいて各画素の画素評点を決定すること、前記候補クロッピングフレーム内の各画素の画素評点に従って、前記候補クロッピングフレームの評点を決定することを採用して、前記候補クロッピングフレームの評点を決定するように構成される。

さらに別の実施形態において、前記選択ユニットは、
前記複数のビデオフレームの各ビデオフレームに対して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することであって、前記状態遷移行列は、隣接する各フレーム間の各ビデオフレームで選択された候補クロッピングフレームのジッターに対して平滑化制御を実行するために使用されること、最大目的関数に基づいて、前記状態遷移行列および各候補クロッピングフレームの評点を使用して、最大クロッピングフレーム評点を満たすクロッピングフレームシーケンスを決定することであって、前記クロッピングフレームシーケンスは、各ビデオフレームから選択された候補クロッピングフレームを含むことを採用して、前記評点に基づいて前記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択する。

さらに別の実施形態において、前記選択ユニットは、
各２つの候補クロッピングフレーム間の交差比および係数乗数に基づいて、状態遷移行列を構築することであって、前記係数乗数は、平滑化の度合いを制御するために使用されることを採用して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築する。

さらに別の実施形態において、前記選択ユニットは、
隣接する各２つの候補クロッピングフレームの中心位置間のユークリッド距離、候補クロッピングフレームの面積、および係数乗数に基づいて、状態遷移行列を構築することであって、前記係数乗数は、平滑化の度合いを制御するために使用されることを採用して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築する。

さらに別の実施形態において、前記装置は調整ユニットをさらに含み、前記調整ユニットは、
前記選択ユニットが各ビデオフレームのクロッピングフレームを選択した後、前記ソースビデオを、隣接する各フレーム間で選択されたクロッピングフレーム位置とサイズが変更しない複数のビデオセグメントに分割し、隣接する２つのビデオセグメントの中間時点と隣接する２つのビデオセグメント内のクロッピングフレーム間の距離に基づいて、クロッピングフレームが前記隣接する２つのビデオセグメント内で移動する速度を決定し、前記速度および再生時間に基づいて、前記隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整するように構成される。

さらに別の実施形態において、前記複数のビデオセグメントの総数はＫ（Ｋは１より大きい正の整数である）であり、
前記調整ユニットは、
第１ビデオセグメントに対して、再生時間が第１ビデオセグメントの中間時点より短い場合、第１ビデオセグメント内のクロッピングフレーム位置を変更しないことを維持すること、第ｋ（ｋは、１＜ｋ＜Ｋ−１を満たす正の整数である）ビデオセグメントおよび第ｋ＋１ビデオセグメントに対して、再生時間が第ｋビデオセグメントの中間時点より長いか等しく、且つ第ｋ＋１ビデオセグメントの中間時点より短い場合、前記第ｋビデオセグメント内のクロッピングフレームを調整して第１距離を移動することであって、前記第１距離は、第１速度と第１時間の積であり、ここで、前記第１速度は、クロッピングフレームが第ｋビデオセグメントから第ｋ＋１ビデオセグメントまで移動する速度であり、前記第１時間は、現在の時間と第ｋビデオセグメントの中間時点の差であること、第Ｋビデオセグメントに対して、再生時間が第Ｋビデオセグメントの中間時点より長い場合、第Ｋビデオセグメント内のクロッピングフレーム位置を変更しないことを維持することを採用して、前記速度および再生時間に基づいて、前記隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整する。

本開示の実施例の第３態様によれば、ビデオ処理装置を提供し、前記装置は、
プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを含み、
ここで、前記プロセッサは、第１態様または第１態様の任意の１つの実施形態に記載のビデオ処理方法を実行するように構成される。

本開示の実施例の第４態様によれば、非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記記憶媒体の命令がモバイル端末のプロセッサによって実行されるときに、モバイル端末が第１態様または第１態様の任意の１つの実施形態に記載のビデオ処理方法を実行することができるようにする。

例えば、本願は以下の項目を提供する。
（項目１）
ビデオ処理方法であって、
第１アスペクト比を有するソースビデオから複数のビデオフレームを抽出することと、
第２アスペクト比を有する複数の候補クロッピングフレームを生成するために、上記複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングすることと、
上記複数のビデオフレームの各ビデオフレームの複数の候補クロッピングフレームのそれぞれについて評点を決定することであって、上記評点は、各候補クロッピングフレームがクロッピング範囲であるときの上記ビデオフレームの再生効果を表し、上記評点に基づいて上記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択することと、
各ビデオフレームが、選択された上記クロッピングフレームを使用してクロッピングし、上記第２アスペクト比を有するターゲットビデオを生成することとを含むことを特徴とする、上記ビデオ処理方法。
（項目２）
上記候補クロッピングフレームの評点を決定することは、
上記候補クロッピングフレーム内の画像コンテンツに美的スコアを付けて、上記候補クロッピングフレームの評点を取得することを含むことを特徴とする、
上記項目に記載のビデオ処理方法。
（項目３）
上記候補クロッピングフレームの評点を決定することは、
上記候補クロッピングフレーム内の各画素に対して顕著性ターゲット検出を実行し、上記顕著性ターゲット検出結果に基づいて各画素の画素評点を決定することと、
上記候補クロッピングフレーム内の各画素の画素評点に従って、上記候補クロッピングフレームの評点を決定することとを含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目４）
上記評点に基づいて上記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択することは、
上記複数のビデオフレームの各ビデオフレームに対して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することであって、上記状態遷移行列は、隣接する各フレーム間の各ビデオフレームで選択された候補クロッピングフレームのジッターに対して平滑化制御を実行するために使用されることと、
最大目的関数に基づいて、上記状態遷移行列および各候補クロッピングフレームの評点を使用して、最大クロッピングフレーム評点を満たすクロッピングフレームシーケンスを決定することであって、上記クロッピングフレームシーケンスは、各ビデオフレームから選択された候補クロッピングフレームを含むこととを含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目５）
上記各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することは、
上記各２つの候補クロッピングフレーム間の交差比および係数乗数に基づいて、状態遷移行列を構築することを含み、上記係数乗数は、平滑化の度合いを制御するために使用されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目６）
上記各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することは、
隣接する各２つの候補クロッピングフレームの中心位置間のユークリッド距離、候補クロッピングフレームの面積、および係数乗数に基づいて、状態遷移行列を構築することを含み、上記係数乗数は、平滑化の度合いを制御するために使用されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目７）
各ビデオフレームのクロッピングフレームを選択した後、上記方法は、
上記ソースビデオを、隣接する各フレーム間で選択されたクロッピングフレーム位置とサイズが変更しない複数のビデオセグメントに分割することと、
隣接する２つのビデオセグメントの中間時点と隣接する２つのビデオセグメント内のクロッピングフレーム間の距離に基づいて、クロッピングフレームが上記隣接する２つのビデオセグメント内で移動する速度を決定することと、
上記速度および再生時間に基づいて、上記隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整することとをさらに含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目８）
上記複数のビデオセグメントの総数はＫ（Ｋは１より大きい正の整数である）であり、
上記速度および再生時間に基づいて、上記隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整することは、
第１ビデオセグメントに対して、再生時間が第１ビデオセグメントの中間時点より短い場合、第１ビデオセグメント内のクロッピングフレーム位置を変更しないことを維持することと、
第ｋ（ｋは、１＜ｋ＜Ｋ−１を満たす正の整数である）ビデオセグメントおよび第ｋ＋１ビデオセグメントに対して、再生時間が第ｋビデオセグメントの中間時点より長いか等しく、且つ第ｋ＋１ビデオセグメントの中間時点より短い場合、上記第ｋビデオセグメント内のクロッピングフレームを調整して第１距離を移動することであって、上記第１距離は、第１速度と第１時間の積であり、上記第１速度は、クロッピングフレームが第ｋビデオセグメントから第ｋ＋１ビデオセグメントまで移動する速度であり、上記第１時間は、現在の時間と第ｋビデオセグメントの中間時点の差であることと、
第Ｋビデオセグメントに対して、再生時間が第Ｋビデオセグメントの中間時点より長い場合、第Ｋビデオセグメント内のクロッピングフレーム位置を変更しないことを維持することとを含むことを特徴とする、
上記項目のいずれか一項に記載のビデオ処理方法。
（項目９）
ビデオ処理装置であって、
第１アスペクト比を有するソースビデオから複数のビデオフレームを抽出するように構成される抽出ユニットと、
第２アスペクト比を有する複数の候補クロッピングフレームを生成するために、上記複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングするように構成されるクロッピングユニットと、
上記複数のビデオフレームの各ビデオフレームの複数の候補クロッピングフレームのそれぞれについて評点を決定するように構成される評点ユニットであって、上記評点は、各候補クロッピングフレームがクロッピング範囲であるときの上記ビデオフレームの再生効果を表す評点ユニットと、
上記評点に基づいて上記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択するように構成される選択ユニットと、
各ビデオフレームが、選択された上記クロッピングフレームを使用してクロッピングし、上記第２アスペクト比を有するターゲットビデオを生成するように構成される生成ユニットとを含むことを特徴とする、上記ビデオ処理装置。
（項目１０）
上記評点ユニットは、
上記候補クロッピングフレーム内の画像コンテンツに美的スコアを付けて、上記候補クロッピングフレームの評点を取得することを採用して、上記候補クロッピングフレームの評点を決定するように構成されることを特徴とする、
上記項目に記載のビデオ処理装置。
（項目１１）
上記評点ユニットは、
上記候補クロッピングフレーム内の各画素に対して顕著性ターゲット検出を実行し、顕著性ターゲット検出結果に基づいて各画素の画素評点を決定すること、
上記候補クロッピングフレーム内の各画素の画素評点に従って、上記候補クロッピングフレームの評点を決定することを採用して、上記候補クロッピングフレームの評点を決定するように構成されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１２）
上記選択ユニットは、
上記複数のビデオフレームの各ビデオフレームに対して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することであって、上記状態遷移行列は、隣接する各フレーム間の各ビデオフレームで選択された候補クロッピングフレームのジッターに対して平滑化制御を実行するために使用されること、
最大目的関数に基づいて、上記状態遷移行列および各候補クロッピングフレームの評点を使用して、最大クロッピングフレーム評点を満たすクロッピングフレームシーケンスを決定することであって、上記クロッピングフレームシーケンスは、各ビデオフレームから選択された候補クロッピングフレームを含むことを採用して、上記評点に基づいて上記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択することを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１３）
上記選択ユニットは、
各２つの候補クロッピングフレーム間の交差比および係数乗数に基づいて、状態遷移行列を構築することであって、上記係数乗数は、平滑化の度合いを制御するために使用されることを採用して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１４）
上記選択ユニットは、
隣接する各２つの候補クロッピングフレームの中心位置間のユークリッド距離、候補クロッピングフレームの面積、および係数乗数に基づいて、状態遷移行列を構築することであって、上記係数乗数は、平滑化の度合いを制御するために使用されることを採用して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１５）
上記装置は調整ユニットをさらに含み、上記調整ユニットは、
上記選択ユニットが各ビデオフレームのクロッピングフレームを選択した後、上記ソースビデオを、隣接する各フレーム間で選択されたクロッピングフレーム位置とサイズが変更しない複数のビデオセグメントに分割し、
隣接する２つのビデオセグメントの中間時点と隣接する２つのビデオセグメント内のクロッピングフレーム間の距離に基づいて、クロッピングフレームが上記隣接する２つのビデオセグメント内で移動する速度を決定し、
上記速度および再生時間に基づいて、上記隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整するように構成されることを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１６）
上記複数のビデオセグメントの総数はＫ（Ｋは１より大きい正の整数である）であり、
上記調整ユニットは、
第１ビデオセグメントに対して、再生時間が第１ビデオセグメントの中間時点より短い場合、第１ビデオセグメント内のクロッピングフレーム位置を変更しないことを維持すること、
第ｋ（ｋは、１＜ｋ＜Ｋ−１を満たす正の整数である）ビデオセグメントおよび第ｋ＋１ビデオセグメントに対して、再生時間が第ｋビデオセグメントの中間時点より長いか等しく、且つ第ｋ＋１ビデオセグメントの中間時点より短い場合、上記第ｋビデオセグメント内のクロッピングフレームを調整して第１距離を移動することであって、上記第１距離は、第１速度と第１時間の積であり、上記第１速度は、クロッピングフレームが第ｋビデオセグメントから第ｋ＋１ビデオセグメントまで移動する速度であり、上記第１時間は、現在の時間と第ｋビデオセグメントの中間時点の差であること、
第Ｋビデオセグメントに対して、再生時間が第Ｋビデオセグメントの中間時点より長い場合、第Ｋビデオセグメント内のクロッピングフレーム位置を変更しないことを維持することを採用して、上記速度および再生時間に基づいて、上記隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整することを特徴とする、
上記項目のいずれか一項に記載のビデオ処理装置。
（項目１７）
ビデオ処理装置であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリとを含み、
上記プロセッサは、上記項目のいずれか一項に記載のビデオ処理方法を実行するように構成されることを特徴とする、上記ビデオ処理装置。
（項目１８）
非一時的なコンピュータ読み取り可能な記憶媒体であって、
上記記憶媒体の命令がモバイル端末のプロセッサによって実行されるときに、モバイル端末が上記項目のいずれか一項に記載のビデオ処理方法を実行することができるようにすることを特徴とする、上記非一時的なコンピュータ読み取り可能な記憶媒体。
（摘要）
本開示は、ビデオ処理方法、ビデオ処理装置および記憶媒体に関する。ビデオ処理方法は、第１アスペクト比を有するソースビデオから複数のビデオフレームを抽出することと、第２アスペクト比を有する複数の候補クロッピングフレームを生成するために、前記複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングすることと、前記複数のビデオフレームの各ビデオフレームの複数の候補クロッピングフレームのそれぞれについて評点を決定することであって、前記評点は、各候補クロッピングフレームがクロッピング範囲であるときの前記ビデオフレームの再生効果を表し、前記評点に基づいて前記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択することと、各ビデオフレームが、選択された前記クロッピングフレームを使用してクロッピングし、前記第２アスペクト比を有するターゲットビデオを生成することとを含む。本開示により、ソースビデオをターゲットアスペクト比に従って出力することができ、出力コンテンツの再生効果を保証することができる。

本開示の実施例によって提供される技術的解決策は、以下の有益な効果を含み得る。

ソースビデオから抽出された複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングして、第２アスペクト比を有する複数の候補クロッピングフレームを生成し、候補クロッピングフレーム再生効果の評点に基づいてクロッピングフレームを選択し、最後に、クロッピングフレームを使用してビデオフレームをクロッピングして前記第２アスペクト比を有するターゲットビデオを生成することにより、ソースビデオをターゲットアスペクト比に従って出力することができ、出力コンテンツの再生効果を保証することができる。

上記した一般的な説明および後述する詳細な説明は、単なる例示および説明に過ぎず、本開示を限定するものではないことを理解されたい。

ここでの図面は、本明細書に組み込まれてその一部を構成し、本開示と一致する実施例を示し、明細書とともに本開示の実施例の原理を説明するために使用される。
一例示的な実施例によって示されたビデオ処理方法のフローチャートである。 一例示的な実施例によって示された評点に基づいて複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択してフレーム間の平滑化制御を実現する例示的なフローチャートである。 一例示的な実施例によって示されたクロッピングフレーム位置調整方法のフローチャートである。 一例示的な実施例によって示されたビデオ処理装置のブロック図（モバイル端末の一般的な構造）である。 一例示的な実施例によって示されたビデオ処理のための装置のブロック図である。

ここで、例示的な実施例について詳細に説明し、その例は図面に示す。特に明記しない限り、以下の説明が添付の図面に関する場合、異なる図面の同じ数字は同じまたは類似の要素を表す。以下の例示的な実施例で説明される実施形態は、本開示と一致するすべての実施形態を表すものではない。むしろ、それらは、添付された特許請求の範囲に詳述されたように、本開示の特定の態様と一致する装置および方法の例である。

関連技術では、ソースビデオ再生のアスペクト比を再生機器のディスプレイのアスペクト比とマッチングさせて、ビデオ画面をディスプレイに埋めてより優れたユーザ体験を提供するためには、通常、ビデオ画面をズームし、またはクロッピングする必要がある。ここで、ビデオ画面をズームする技術案では、ソースビデオをターゲットアスペクト比に直接にズームするが、ソースビデオのアスペクト比とターゲットアスペクト比が一致しないため、ビデオの水平方向および垂直方向のスケーリングファクタは必ず異なり、これにより画面がある程度引き伸ばされ、または圧縮される。両者のアスペクト比の差が大きいとより明確になり、ルックアンドフィールを影響する。別の技術案では、コンテンツに対する敏感なズームを試し、まず、ビデオ内の重要な物体／コンテンツを検出してキーアウトし、その後、それをターゲットアスペクト比にズームした背景に貼り付け直す。しかし、プロセス全体は、重要な物体の検出、画像の復元、ズームおよび画像の合成などの多くの動作に関するため、計算の複雑さが比較的に大きくなる。ビデオ画面をクロッピングする技術案では、通常の方式は、ビデオ画面の中心を保持する中心クロッピング方法を採用し、ソースビデオをターゲットディスプレイにリアルタイムで出力して、「全画面再生」を実現する。実施プロセス全体では、垂直方向と水平方向のコンテンツの不均等なズームがなく、それにより、背景を含む、表示されるすべてのコンテンツは、引き伸ばされたり圧縮されたりすることがない。しかしながら、ビデオ両端の余分のコンテンツをクロッピングし、ビデオの中央位置のみを保持する方法でビデオの主要コンテンツを失わないことが保証されず、クロッピングされた画像の美しさを維持することは不可能である。

これを鑑みて、本開示の実施例はビデオ処理方法を提供し、固定領域のクロッピングとコンテンツ敏感領域を組み合わせてビデオ処理を実行して、ソースビデオをターゲットアスペクト比に従って出力し、出力コンテンツの再生効果を保証することができる。

一方式において、本開示の実施例では、ソースビデオから複数のビデオフレームを抽出し、抽出された複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングしてターゲットアスペクト比を有する複数の候補クロッピングフレームを生成し、候補クロッピングフレーム再生効果の評点に基づいてクロッピングフレームを選択し、最後に、クロッピングフレームを使用してビデオフレームをクロッピングしてターゲットアスペクト比を有するターゲットビデオを生成して、ソースビデオをターゲットアスペクト比に従って出力し、出力コンテンツの再生効果を保証することができる。

図１は、一例示的な実施例によって示されたビデオ処理方法のフローチャートであり、図１に示されたように、ビデオ処理方法は次のステップを含む。

ステップＳ１１において、第１アスペクト比を有するソースビデオから複数のビデオフレームを抽出する。

本開示の実施例では、ソースビデオは処理されるビデオとして理解することができ、特定のアスペクト比を有する。説明を容易にするため、ソースビデオのアスペクト比を第１アスペクト比と称する。

本開示の実施例では、画像に変換して後続のクロッピング処理を実行するために、第１アスペクト比を有するソースビデオから複数のビデオフレームを抽出する。ここで、ソースビデオから複数のビデオフレームを抽出する場合、ソースビデオ内のすべてのビデオフレームを抽出してもよく、ビデオフレームを等間隔でまばらに抽出してもよい。

本開示の実施例では、抽出された複数のビデオフレームの数をＮ（Ｎは正の整数である）として表記する。

ステップＳ１２において、第２アスペクト比を有する複数の候補クロッピングフレームを生成するために、複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングする。

本開示の実施例では、ビデオの完全なフォーマットで、ウィンドウをスライディングする方式を使用して固定のステップサイズでターゲットアスペクト比を有する長方形フレームを生成することができ、候補クロッピングフレームとして使用される。ここで、説明を容易にするために、ターゲットアスペクト比を第２アスペクト比と称する。

本開示の実施例では、各ビデオフレームを複数回クロッピングした後に生成された複数の候補クロッピングフレームの数をＭ（Ｍは正の整数である）として表記する。

ここで、本開示の実施例では、候補クロッピングフレームの数を実際のニーズに従って設定することができる。ここで、候補クロッピングフレームの数を減らし、且つ大量のコンテンツがクロッピングされて破棄されるのを防ぐために、スライディングウィンドウの大きさを設定された閾値より大きいか等しいように制限することができる。

ステップＳ１３において、複数のビデオフレームの各ビデオフレームの複数の候補クロッピングフレームのそれぞれについて評点を決定し、評点は、各候補クロッピングフレームがクロッピング範囲であるときのビデオフレームの再生効果を表す。

本開示の実施例では、コンテンツ敏感領域の決定を実現するために、各候補クロッピングフレームがクロッピング範囲であるときのビデオフレームの再生効果を評点することができる。評点の高さを通じて、各候補クロッピングフレームがクロッピング範囲であるときのビデオフレームの再生効果を表す。

本開示の実施例の一実施形態において、各ビデオフレームにクロッピングフレームがあるようにするために、各ビデオフレーム内のすべての候補クロッピングフレームの評点を調整することができる。一例では、本開示の実施例は、ｓｏｆｔｍａｘ関数を使用して、各ビデオフレーム内のすべての候補クロッピングフレームの評点をそれらの和が１であるように調整するため、各候補クロッピングフレーム重み評点の高さを通じてビデオフレームの各候補クロッピングフレームがクロッピング範囲であるときのビデオフレームの再生効果を表すことができる。

本開示の実施例では、ｎ（ｎは１より大きいか等しく、且つＮより小さいか等しい正の整数である）番目のフレームのｍ（ｍは１より大きいか等しく、且つＭより小さいか等しい正の整数である）番目の候補クロッピングフレームの評点を

として表記することができる。

ステップＳ１４において、評点に基づいて複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択する。

ステップＳ１５において、各ビデオフレームは、選択されたクロッピングフレームを使用してクロッピングし、第２アスペクト比を有するターゲットビデオを生成する。

本開示の実施例では、第１アスペクト比を有するソースビデオから抽出された複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングして、第２アスペクト比を有する複数の候補クロッピングフレームを生成し、候補クロッピングフレーム再生効果の評点に基づいてクロッピングフレームを選択し、最後に、クロッピングフレームを使用してビデオフレームをクロッピングして前記第２アスペクト比を有するターゲットビデオを生成することにより、ソースビデオをターゲットアスペクト比に従って出力することができ、出力コンテンツの再生効果を保証することができる。

本開示の実施例において、以下、上記した実施例に関するビデオ処理プロセスを実際の応用と組み合わせて説明する。

本開示の実施例では、まず、候補クロッピングフレームを評点するプロセスを説明する。

本開示の実施例では、ソースビデオから抽出されたＮ個のビデオフレームに対して、候補クロッピングフレームの評点の決定を１フレームずつ実行する必要がある。

一実施形態において、候補クロッピングフレームの評点を決定する場合、候補クロッピングフレーム内の画像コンテンツに美的スコアを付けて、候補クロッピングフレームの評点を取得することができる。本開示の実施例では、美的スコアを付ける具体的な実施プロセスを限定せず、既存の画像美的クロッピング方法または画像美的評点方法を使用して各フレームのすべてのＭ個の候補クロッピングフレームに対して美的スコアを付けることができる。その後、ｓｏｆｔｍａｘ関数を使用して、将各ビデオフレーム内のすべての候補クロッピングフレームの評点をそれらの和が１であるように調整するため、各フレームのすべてのＭ個の候補クロッピングフレームの評点を取得することができる。例えば、ｎ番目のフレームのｍ番目の候補クロッピングフレームの評点

を取得する。

別の実施形態において、候補クロッピングフレームの評点を決定する場合、顕著性ターゲット検出方式に基づいて評点することもできる。ここで、本開示の実施例では、各フレームのすべてのＭ個の候補クロッピングフレーム内の各候補クロッピングフレームに対して、候補クロッピングフレーム内の各画素に対して顕著性ターゲット検出を実行し、顕著性ターゲット検出結果に基づいて各画素の画素評点を決定することを採用して、評点を決定する。候補クロッピングフレーム内の各画素の画素評点に従って、候補クロッピングフレームの評点を決定する。

本開示の実施例では、各ビデオフレームが選択した候補クロッピングフレームに基づいて選択されたクロッピングフレームをビデオ再生する場合、フレーム間にジッターがあるという問題が発生する可能性がある。本開示の実施例では、評点に基づいて複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択する場合、隣接する各フレーム間のジッターに対して平滑化制御を実行する。

本開示の実施例の一実施形態において、複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択するプロセスを分類プロセスと見なされ、隣接する各フレーム間のジッターを削除するために、線形チェーン条件付きランダムフィールド（ｌｉｎｅａｒ−ＣＲＦ：Ｌｉｎｅａｒ ｃｈａｉｎ Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄｓ）モデルを使用して処理する。

図２は、一例示的な実施例によって示された評点に基づいて複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択してフレーム間のスムーズな制御を実現する例示的なフローチャートである。図２を参照すると、隣接する各フレーム間のジッターに対して平滑化制御を実行することは、次のステップを含み得る。

ステップＳ１４１において、複数のビデオフレームの各ビデオフレームに対して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築する。

本開示の実施例によって構築された状態遷移行列は、隣接する各フレーム間の各ビデオフレームで選択された候補クロッピングフレームのジッターに対して平滑化制御を実行するために使用される。

本開示の実施例では、候補クロッピングフレーム間の位置大きさの差に従って状態遷移行列を設定し、以下、状態遷移行列は

として表される。

一実施形態において、各２つの候補クロッピングフレーム間の交差比（ＩｏＵ：Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ，）および係数乗数に基づいて、状態遷移行列を構築することができる。

例えば、２つのクロッピングフレーム間の交差比に基づいて計算し、具体的な計算式は以下に示す。

ここで、

は状態遷移行列の第ｉ行第ｊ列の値を表し、

はｉ番目の候補クロッピングフレームを表し、

はｉ番目の候補クロッピングフレームとｊ番目の候補クロッピングフレームの間のＩｏＵを表し、

は係数乗数であり、平滑化の度合いの大きさを制御するために使用され、

の大きさを調整することにより平滑化の度合いの制御を実現することができる。

別の実施形態において、本開示の実施例では、隣接する各２つの候補クロッピングフレームの中心位置間のユークリッド距離、候補クロッピングフレームの面積、および係数乗数に基づいて、状態遷移行列を構築し、前記係数乗数は、平滑化の度合いを制御するために使用される。

例えば、本開示の実施例では、クロッピングフレームの大きさおよび中心位置を同時に考慮して、以下の式を使用して状態遷移行列を決定することができる。

ここで、

はｉ番目の候補クロッピングフレームの中心座標を表し、

はｉ番目の候補クロッピングフレームの面積を表し、

関数は２つのクロッピングフレーム中心座標の差を計算するために使用され、ここで、直接にユークリッド距離を使用して計算することができ、

は、中心点位置と面接の差の影響のバランスを取るために使用され、

を調整することにより面積変化および中心点位置変化による影響のバランスを取ることができ、

は平滑化の度合いの大きさを制御するための係数乗数であり、

の大きさを制御することにより平滑化の度合いの制御を実現することができる。

ステップＳ１４２において、最大目的関数に基づいて、状態遷移行列および各候補クロッピングフレームの評点を使用して、最大クロッピングフレーム評点を満たすクロッピングフレームシーケンスを決定し、クロッピングフレームシーケンスは、各ビデオフレームから選択された候補クロッピングフレームを含む。

一実施形態において、本開示の実施例は、フレーム間にジッターが発生しないクロッピングフレームシーケンス

を取得するために、ビタビアルゴリズムを使用して以下の最大目的関数を解ける。

ここで、

はｉ番目のフレームが選択した候補クロッピングフレームの番号を表す。

はｎ番目のフレームから選択されたｙ番目の候補クロッピングフレームの評点を表す。

はｎ番目のフレームから選択されたｙ番目の候補クロッピングフレームとｎ−１番目のフレームから選択されたｙ番目の候補クロッピングフレームに対応する状態遷移行列値を表す。

本開示の実施例では、上記したアンチシェイク平滑化処理を実行した後、各クロッピングフレームは、フレーム間にジッターがないようにする。通常、候補クロッピングフレームの位置と大きさは一定期間変更しないが、突然別の候補クロッピングフレームにジャンプして一定時間維持する。クロッピングフレームのこのようなジャンプは、最後に出力されたビデオコンテンツがジャンプし、および途切れる。したがって、このクロッピングフレーム変化をクロッピングフレームの移動およびズームの平滑を含む平滑化処理し、クロッピングフレーム位置の調整を実行する必要がある。

図３は、一例示的な実施例によって示されたクロッピングフレーム位置調整方法のフローチャートである。図３を参照すると、クロッピングフレーム位置調整方法は、次のステップを含む。

ステップＳ２１において、ソースビデオを隣接する各フレーム間で選択されたクロッピングフレーム位置とサイズが変更しない複数のビデオセグメントに分割する。

本開示の実施例では、クロッピングフレーム位置および大きさが変更しない各ビデオセグメントを決定することができ、複数のビデオセグメントの総数がＫ（Ｋは１より大きい正の整数である）であると仮定する。

ステップＳ２２において、隣接する２つのビデオセグメントの中間時点と隣接する２つのビデオセグメント内のクロッピングフレーム間の距離に基づいて、クロッピングフレームが隣接する２つのビデオセグメント内で移動する速度を決定する。

本開示の実施例では、ｋ番目のビデオの持続時間は

であり、中間時点は

である。ここで、

である。ベクトル

を使用して

番目のセグメントのビデオのクロッピングフレームを表し、ここで、

はそれぞれ、前記クロッピングフレームの左上頂点の横軸および縦軸であり、

はそれぞれ、前記クロッピングフレームの右下頂点の横軸および縦軸である。

クロッピングフレームの移動速度を決定する場合、以下の式を使用してｋ番目からｋ＋１番目までのクロッピングフレームの速度を計算することができる。

ここで、クロッピングフレームの減算は４つの座標の減算である。計算された速度

の各値は各座標が特定の軸に沿った移動速度に対応し、即ち、

それぞれはｘ軸に沿った左上隅および右下隅の頂点の移動速度であり、

それぞれはｙ軸に沿った左上隅および右下隅の頂点の移動速度である。

ステップＳ２３において、隣接する２つのビデオセグメントでクロッピングフレームが移動しようとする速度および再生時間に基づいて、隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整する。

本開示の実施例では、第１ビデオセグメントに対して、再生時間が第１ビデオセグメントの中間時点より短い場合、第１ビデオセグメント内のクロッピングフレーム位置を変更しないことを維持する。

である場合、第ｋビデオセグメントおよび第ｋ＋１ビデオセグメントに対して、再生時間が第ｋビデオセグメントの中間時点より長いか等しく、且つ第ｋ＋１ビデオセグメントの中間時点より短い場合、第ｋビデオセグメント内のクロッピングフレームを調整して第１距離を移動し、第１距離は第１速度と第１時間の積であり、前記第１速度は、クロッピングフレームが第ｋビデオセグメントから第ｋ＋１ビデオセグメントまで移動する速度であり、第１時間は、現在の時間と第ｋビデオセグメントの中間時点の差である。

第Ｋビデオセグメントに対して、再生時間が第Ｋビデオセグメントの中間時点より長い場合、第Ｋビデオセグメント内のクロッピングフレーム位置を変更しないことを維持する。

本開示の実施例では、任意の時間ｔに対して、以下の式を使用して当該時間のクロッピングフレーム位置

を計算することができる。

ここで、

（即ち、最初のビデオの前半である）である場合、

である。

（即ち、最後のビデオの後半である）である場合、

である。

である場合、

である。

本開示の実施例では、ソースビデオ内の各ビデオフレームに対して、上記した方法を採用してクロッピングして、クロッピングフレームを生成し、ここで、クロッピングして生成されたクロッピングフレームは同じアスペクト比を有する。同じアスペクト比を有するクロッピングフレームを同じ解像度にズームした後にビデオに再び組み合わせすると、ターゲットビデオを取得して出力することができ、ソースビデオをターゲットアスペクト比に従って出力し、出力コンテンツの再生効果を保証することができる。

同じ構想に基づいて、本開示の実施例はビデオ処理装置をさらに提供する。

前記機能を実現するために、本開示の実施例によって提供されるビデオ処理装置は、各機能を実行することに対応するハードウェア構造および／またはソフトウェアモジュールを含むことを理解すべきである。本開示の実施例に開示される実施例で説明された各例示のユニットおよびアルゴリズムステップを組み合わせることにより、本開示の実施例は、ハードウェア、またはハードウェアとコンピュータソフトウェアの組み合わせの形態で実現されることができる。特定の機能がハードウェアで実行されるかコンピュータソフトウェア駆動のハードウェアで実行されるかは、技術的解決策の特定の応用および設計の制約条件に依存する。当業者は、各特定の応用に対して異なる方法を使用して説明された機能を実現することができるが、このような実現は本開示の実施例の範囲を超えると見なされるべきではない。

図４は、一例示的な実施例によって示されたビデオ処理装置のブロック図である。図４を参照すると、ビデオ処理装置１００は、抽出ユニット１０１、クロッピングユニット１０２、評点ユニット１０３、選択ユニット１０４および生成ユニット１０５を含む。

抽出ユニット１０１は、第１アスペクト比を有するソースビデオから複数のビデオフレームを抽出するように構成される。クロッピングユニット１０２は、第２アスペクト比を有する複数の候補クロッピングフレームを生成するために、複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングするように構成される。評点ユニット１０３は、複数のビデオフレームの各ビデオフレームの複数の候補クロッピングフレームのそれぞれについて評点を決定するように構成され、評点は、各候補クロッピングフレームがクロッピング範囲であるときのビデオフレームの再生効果を表す。選択ユニット１０４は、評点に基づいて複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択するように構成される。生成ユニット１０５は、各ビデオフレームが、選択されたクロッピングフレームを使用してクロッピングし、第２アスペクト比を有するターゲットビデオを生成するように構成される。

一実施形態において、評点ユニット１０３は、候補クロッピングフレーム内の画像コンテンツに美的スコアを付けて、候補クロッピングフレームの評点を取得する。

別の実施形態において、評点ユニット１０３は、候補クロッピングフレーム内の各画素に対して顕著性ターゲット検出を実行し、顕著性ターゲット検出結果に基づいて各画素の画素評点を決定する。候補クロッピングフレーム内の各画素の画素評点に従って、候補クロッピングフレームの評点を決定する。

さらに別の実施形態において、選択ユニット１０４は、
複数のビデオフレームの各ビデオフレームに対して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することであって、状態遷移行列は、隣接する各フレーム間の各ビデオフレームで選択された候補クロッピングフレームのジッターに対して平滑化制御を実行するために使用されること、最大目的関数に基づいて、状態遷移行列および各候補クロッピングフレームの評点を使用して、最大クロッピングフレーム評点を満たすクロッピングフレームシーケンスを決定することであって、クロッピングフレームシーケンスは、各ビデオフレームから選択された候補クロッピングフレームを含むことを採用して、評点に基づいて複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択する。

さらに別の実施形態において、選択ユニット１０４は、各２つの候補クロッピングフレーム間の交差比および係数乗数に基づいて、状態遷移行列を構築し、係数乗数は、平滑化の度合いを制御するために使用される。

さらに別の実施形態において、選択ユニット１０４は、隣接する各２つの候補クロッピングフレームの中心位置間のユークリッド距離、候補クロッピングフレームの面積、および係数乗数に基づいて、状態遷移行列を構築し、係数乗数は、平滑化の度合いを制御するために使用される。

さらに別の実施形態において、ビデオ処理装置１００は調整ユニット１０６をさらに含み、調整ユニット１０６は、選択ユニット１０４が各ビデオフレームのクロッピングフレームを選択した後、ソースビデオを隣接する各フレーム間で選択されたクロッピングフレーム位置とサイズが変更しない複数のビデオセグメントに分割し、隣接する２つのビデオセグメントの中間時点と隣接する２つのビデオセグメント内のクロッピングフレーム間の距離に基づいて、クロッピングフレームが隣接する２つのビデオセグメント内で移動する速度を決定し、速度および再生時間に基づいて、隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整するように構成される。

さらに別の実施形態において、複数のビデオセグメントの総数はＫであり、ここで、Ｋは１より大きい正の整数である。

調整ユニット１０６は、
第１ビデオセグメントに対して、再生時間が第１ビデオセグメントの中間時点より短い場合、第１ビデオセグメント内のクロッピングフレーム位置を変更しないことを維持すること、第ｋ（ｋは、１＜ｋ＜Ｋ−１を満たす正の整数である）ビデオセグメントおよび第ｋ＋１ビデオセグメントに対して、再生時間が第ｋビデオセグメントの中間時点より長いか等しく、且つ第ｋ＋１ビデオセグメントの中間時点より短い場合、第ｋビデオセグメント内のクロッピングフレームを調整して第１距離を移動することであって、第１距離は第１速度と第１時間の積であり、ここで、第１速度は、クロッピングフレームが第ｋビデオセグメントから第ｋ＋１ビデオセグメントまで移動する速度であり、第１時間は、現在の時間と第ｋビデオセグメントの中間時点の差であること、第Ｋビデオセグメントに対して、再生時間が第Ｋビデオセグメントの中間時点より長い場合、第Ｋビデオセグメント内のクロッピングフレーム位置を変更しないことを維持することを採用して、速度および再生時間に基づいて、隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整する。

上記の実施例の装置に関して、ここで、各モジュールが動作を実行する具体的な方法は、既に、前記方法に関する実施例で詳細に説明されており、ここでは詳細に説明しない。

図５は、一例示的な実施例によって示されたビデオ処理のための装置２００のブロック図である。例えば、装置２００は携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末等であってもよい。

図５を参照すれば、装置２００は、処理コンポーネント２０２、メモリ２０４、電力コンポーネント２０６、マルチメディアコンポーネント２０８、オーディオコンポーネント２１０、入力／出力（Ｉ／Ｏ）インターフェース２１２、センサコンポーネント２１４、および通信コンポーネント２１６のうちの１つまたは複数のコンポーネットを含むことができる。

処理コンポーネント２０２は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する操作のような装置２００の全般的な操作を制御する。処理コンポーネント２０２は、前記方法のステップのすべてまたは一部を完了するために、１つまたは複数のプロセッサ２２０を含んで命令を実行することができる。加えて、処理コンポーネント２０２は、処理コンポーネント２０２と他のコンポーネントの間の相互作用を容易にするために、１つまたは複数のモジュールを含むことができる。例えば、処理コンポーネント２０２は、マルチメディアコンポーネント２０８と処理コンポーネント２０２との間の相互作用を容易にするために、マルチメディアモジュールを含むことができる。

メモリ２０４は、機器２００での操作をサポートするために、様々なタイプのデータを格納するように構成される。これらのデータの例には、装置２００で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。メモリ２０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせによって実現されることができる。

電力コンポーネント２０６は、装置２００の様々なコンポーネントに電力を提供する。電力コンポーネント２０６は、電力管理システム、１つまたは複数の電源、及び装置２００の電力の生成、管理および分配に関する他のコンポーネントを含むことができる。

マルチメディアコンポーネント２０８は、前記バッテリの充電装置２００とユーザとの間の、出力インターフェースを提供するスクリーンを含む。いくつかの実施形態において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含み得る。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実装されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルでのジェスチャーを検知するための１つまたは複数のタッチセンサを含む。前記タッチセンサは、タッチまたはスワイプの操作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関連する持続時間及び圧力も検出することができる。いくつかの実施例において、マルチメディアコンポーネント２０８は、１つのフロントカメラ及び／またはリアカメラを含む。機器２００が、撮影モードまたはビデオモードなどの動作モードにあるとき、フロントカメラ及び／またはリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは、固定光学レンズシステムであり、または焦点距離と光学ズーム機能を持つことができる。

オーディオコンポーネント２１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント２１０は、１つのマイクロフォン（ＭＩＣ）を含み、装置２００が通話モード、録音モード及び音声認識モードなどの動作モードにあるとき、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ２０４にさらに格納されてもよく、または通信コンポーネント２１６を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント２１０は、オーディオ信号を出力するためのスピーカをさらに含む。

Ｉ／Ｏインターフェース２１２は、処理コンポーネント２０２と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを含むが、これらに限定されない。

センサコンポーネント２１４は、装置２００に各態様の状態の評価を提供するための１つまたは複数のセンサを含む。例えば、センサコンポーネント２１４は、機器２００のオン／オフ状態と、装置２００のディスプレイやキーパッドなどのコンポーネントの相対的な位置づけを検出することができ、センサコンポーネント２１４は、装置２００または装置２００のコンポーネントの位置の変化、ユーザとの装置２００の接触の有無、装置２００の向きまたは加速／減速、及び装置２００の温度の変化も検出することができる。センサコンポ―ネット２１４は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを含むことができる。センサコンポーネント２１４は、撮像用途で使用するためのＣＭＯＳまたはＣＣＤ画像センサなどの光センサも含むことができる。いくつかの実施例において、前記センサコンポーネント２１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサをさらに含むことができる。

通信コンポーネント２１６は、装置２００と他の装置の間の有線または無線通信を容易にするように構成される。装置２００は、ＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、前記通信コンポーネント２１６は、放送チャンネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント２１６は、短距離通信を促進するために、近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて具現することができる。

例示的な実施例において、装置２００は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって具現されることができ、前記方法を実行するように構成される。

例示的な実施例において、命令を含むメモリ２０４などの、命令を含む非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記命令は、装置２００のプロセッサ２２０によって実行されて前記方法を完了することができる。例えば、前記非一時的なコンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスクおよび光学データ記憶装置などであってもよい。

本開示の「複数」は２つまたは２つ以上を指し、他の数量詞はこれと類似することを理解することができる。「および／または」は、関連付けられたオブジェクトを説明する関連付けであり、３種類の関係が存在することができることを示し、例えば、Ａおよび／またはＢは、Ａが独立で存在する場合、ＡとＢが同時に存在する場合、Ｂが独立で存在する場合など３つの場合を表すことができる。文字「／」は、一般的に、コンテキストオブジェクトが「または」の関係であることを示す。単数形の「１つ」、「前記」および「当該」は、コンテキストで他の意味を明確に示さない限り、複数形も含むことを意図する。

用語「第１」、「第２」などは様々な情報を説明するために使用されるが、これらの情報はこれらの用語に限定されないことをさらに理解されたい。これらの用語は、同じタイプの情報をお互いに区別するために使用され、特定の順序または重要性を示すものではない。実際に、「第１」、「第２」などの表現は、お互いに交換して使用することができる。例えば、本開示の範囲から逸脱することなく、第１の情報は第２の情報とも称し得、同様に、第２の情報は第１の情報とも称し得る。

本開示の実施例で、図面において特定の順序で動作を説明したが、それらの動作は、示された特定の順序でまたは連続した順序に従って実行されることを要求し、または示された全ての動作を実行して、目的の結果を取得することを要求するものとして理解されるべきではないことをさらに理解することができる。特定の環境では、マルチタスクと並列処理が有利な場合がある。

当業者は、明細書を考慮して、本明細書に開示された発明を実施した後に、本開示の他の実施形態を容易に想到し得るであろう。本出願は、本開示のあらゆる変形、応用または適応性変化を網羅することを意図し、これらの変形、応用または適応性変化は、本開示の普通の原理に準拠し、本開示によって開示されない本技術分野における公知知識または従来の技術的手段を含む。明細書と実施例は、例示としてのみ考慮され、本開示の真の範囲および思想は添付の特許請求の範囲によって示される。

本開示は、上記に既に説明し且つ図面に示した正確な構造に限定されるものではなく、その範囲から逸脱することなく様々な修正及び変更を行うことができることを理解されたい。本開示の範囲は、添付の特許請求の範囲によってのみ制限される。

Claims (18)

1. ビデオ処理方法であって、
   第１アスペクト比を有するソースビデオから複数のビデオフレームを抽出することと、
   第２アスペクト比を有する複数の候補クロッピングフレームを生成するために、前記複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングすることと、
   前記複数のビデオフレームの各ビデオフレームの複数の候補クロッピングフレームのそれぞれについて評点を決定することであって、前記評点は、各候補クロッピングフレームがクロッピング範囲であるときの前記ビデオフレームの再生効果を表し、前記評点に基づいて前記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択することと、
   各ビデオフレームが、選択された前記クロッピングフレームを使用してクロッピングし、前記第２アスペクト比を有するターゲットビデオを生成することとを含むことを特徴とする、前記ビデオ処理方法。
2. 前記候補クロッピングフレームの評点を決定することは、
   前記候補クロッピングフレーム内の画像コンテンツに美的スコアを付けて、前記候補クロッピングフレームの評点を取得することを含むことを特徴とする、
   請求項１に記載のビデオ処理方法。
3. 前記候補クロッピングフレームの評点を決定することは、
   前記候補クロッピングフレーム内の各画素に対して顕著性ターゲット検出を実行し、前記顕著性ターゲット検出結果に基づいて各画素の画素評点を決定することと、
   前記候補クロッピングフレーム内の各画素の画素評点に従って、前記候補クロッピングフレームの評点を決定することとを含むことを特徴とする、
   請求項１に記載のビデオ処理方法。
4. 前記評点に基づいて前記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択することは、
   前記複数のビデオフレームの各ビデオフレームに対して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することであって、前記状態遷移行列は、隣接する各フレーム間の各ビデオフレームで選択された候補クロッピングフレームのジッターに対して平滑化制御を実行するために使用されることと、
   最大目的関数に基づいて、前記状態遷移行列および各候補クロッピングフレームの評点を使用して、最大クロッピングフレーム評点を満たすクロッピングフレームシーケンスを決定することであって、前記クロッピングフレームシーケンスは、各ビデオフレームから選択された候補クロッピングフレームを含むこととを含むことを特徴とする、
   請求項１ないし３のいずれか一項に記載のビデオ処理方法。
5. 前記各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することは、
   前記各２つの候補クロッピングフレーム間の交差比および係数乗数に基づいて、状態遷移行列を構築することを含み、前記係数乗数は、平滑化の度合いを制御するために使用されることを特徴とする、
   請求項４に記載のビデオ処理方法。
6. 前記各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することは、
   隣接する各２つの候補クロッピングフレームの中心位置間のユークリッド距離、候補クロッピングフレームの面積、および係数乗数に基づいて、状態遷移行列を構築することを含み、前記係数乗数は、平滑化の度合いを制御するために使用されることを特徴とする、
   請求項４に記載のビデオ処理方法。
7. 各ビデオフレームのクロッピングフレームを選択した後、前記方法は、
   前記ソースビデオを、隣接する各フレーム間で選択されたクロッピングフレーム位置とサイズが変更しない複数のビデオセグメントに分割することと、
   隣接する２つのビデオセグメントの中間時点と隣接する２つのビデオセグメント内のクロッピングフレーム間の距離に基づいて、クロッピングフレームが前記隣接する２つのビデオセグメント内で移動する速度を決定することと、
   前記速度および再生時間に基づいて、前記隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整することとをさらに含むことを特徴とする、
   請求項４に記載のビデオ処理方法。
8. 前記複数のビデオセグメントの総数はＫ（Ｋは１より大きい正の整数である）であり、
   前記速度および再生時間に基づいて、前記隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整することは、
   第１ビデオセグメントに対して、再生時間が第１ビデオセグメントの中間時点より短い場合、第１ビデオセグメント内のクロッピングフレーム位置を変更しないことを維持することと、
   第ｋ（ｋは、１＜ｋ＜Ｋ−１を満たす正の整数である）ビデオセグメントおよび第ｋ＋１ビデオセグメントに対して、再生時間が第ｋビデオセグメントの中間時点より長いか等しく、且つ第ｋ＋１ビデオセグメントの中間時点より短い場合、前記第ｋビデオセグメント内のクロッピングフレームを調整して第１距離を移動することであって、前記第１距離は、第１速度と第１時間の積であり、前記第１速度は、クロッピングフレームが第ｋビデオセグメントから第ｋ＋１ビデオセグメントまで移動する速度であり、前記第１時間は、現在の時間と第ｋビデオセグメントの中間時点の差であることと、
   第Ｋビデオセグメントに対して、再生時間が第Ｋビデオセグメントの中間時点より長い場合、第Ｋビデオセグメント内のクロッピングフレーム位置を変更しないことを維持することとを含むことを特徴とする、
   請求項７に記載のビデオ処理方法。
9. ビデオ処理装置であって、
   第１アスペクト比を有するソースビデオから複数のビデオフレームを抽出するように構成される抽出ユニットと、
   第２アスペクト比を有する複数の候補クロッピングフレームを生成するために、前記複数のビデオフレームの各ビデオフレームをそれぞれ複数回クロッピングするように構成されるクロッピングユニットと、
   前記複数のビデオフレームの各ビデオフレームの複数の候補クロッピングフレームのそれぞれについて評点を決定するように構成される評点ユニットであって、前記評点は、各候補クロッピングフレームがクロッピング範囲であるときの前記ビデオフレームの再生効果を表す評点ユニットと、
   前記評点に基づいて前記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択するように構成される選択ユニットと、
   各ビデオフレームが、選択された前記クロッピングフレームを使用してクロッピングし、前記第２アスペクト比を有するターゲットビデオを生成するように構成される生成ユニットとを含むことを特徴とする、前記ビデオ処理装置。
10. 前記評点ユニットは、
    前記候補クロッピングフレーム内の画像コンテンツに美的スコアを付けて、前記候補クロッピングフレームの評点を取得することを採用して、前記候補クロッピングフレームの評点を決定するように構成されることを特徴とする、
    請求項９に記載のビデオ処理装置。
11. 前記評点ユニットは、
    前記候補クロッピングフレーム内の各画素に対して顕著性ターゲット検出を実行し、顕著性ターゲット検出結果に基づいて各画素の画素評点を決定すること、
    前記候補クロッピングフレーム内の各画素の画素評点に従って、前記候補クロッピングフレームの評点を決定することを採用して、前記候補クロッピングフレームの評点を決定するように構成されることを特徴とする、
    請求項９に記載のビデオ処理装置。
12. 前記選択ユニットは、
    前記複数のビデオフレームの各ビデオフレームに対して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することであって、前記状態遷移行列は、隣接する各フレーム間の各ビデオフレームで選択された候補クロッピングフレームのジッターに対して平滑化制御を実行するために使用されること、
    最大目的関数に基づいて、前記状態遷移行列および各候補クロッピングフレームの評点を使用して、最大クロッピングフレーム評点を満たすクロッピングフレームシーケンスを決定することであって、前記クロッピングフレームシーケンスは、各ビデオフレームから選択された候補クロッピングフレームを含むことを採用して、前記評点に基づいて前記複数の候補クロッピングフレームから各ビデオフレームのクロッピングフレームを選択することを特徴とする、
    請求項９ないし１１のいずれか一項に記載のビデオ処理装置。
13. 前記選択ユニットは、
    各２つの候補クロッピングフレーム間の交差比および係数乗数に基づいて、状態遷移行列を構築することであって、前記係数乗数は、平滑化の度合いを制御するために使用されることを採用して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することを特徴とする、
    請求項１２に記載のビデオ処理装置。
14. 前記選択ユニットは、
    隣接する各２つの候補クロッピングフレームの中心位置間のユークリッド距離、候補クロッピングフレームの面積、および係数乗数に基づいて、状態遷移行列を構築することであって、前記係数乗数は、平滑化の度合いを制御するために使用されることを採用して、各２つの候補クロッピングフレーム間の位置に基づいて、状態遷移行列を構築することを特徴とする、
    請求項１２に記載のビデオ処理装置。
15. 前記装置は調整ユニットをさらに含み、前記調整ユニットは、
    前記選択ユニットが各ビデオフレームのクロッピングフレームを選択した後、前記ソースビデオを、隣接する各フレーム間で選択されたクロッピングフレーム位置とサイズが変更しない複数のビデオセグメントに分割し、
    隣接する２つのビデオセグメントの中間時点と隣接する２つのビデオセグメント内のクロッピングフレーム間の距離に基づいて、クロッピングフレームが前記隣接する２つのビデオセグメント内で移動する速度を決定し、
    前記速度および再生時間に基づいて、前記隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整するように構成されることを特徴とする、
    請求項１２に記載のビデオ処理装置。
16. 前記複数のビデオセグメントの総数はＫ（Ｋは１より大きい正の整数である）であり、
    前記調整ユニットは、
    第１ビデオセグメントに対して、再生時間が第１ビデオセグメントの中間時点より短い場合、第１ビデオセグメント内のクロッピングフレーム位置を変更しないことを維持すること、
    第ｋ（ｋは、１＜ｋ＜Ｋ−１を満たす正の整数である）ビデオセグメントおよび第ｋ＋１ビデオセグメントに対して、再生時間が第ｋビデオセグメントの中間時点より長いか等しく、且つ第ｋ＋１ビデオセグメントの中間時点より短い場合、前記第ｋビデオセグメント内のクロッピングフレームを調整して第１距離を移動することであって、前記第１距離は、第１速度と第１時間の積であり、前記第１速度は、クロッピングフレームが第ｋビデオセグメントから第ｋ＋１ビデオセグメントまで移動する速度であり、前記第１時間は、現在の時間と第ｋビデオセグメントの中間時点の差であること、
    第Ｋビデオセグメントに対して、再生時間が第Ｋビデオセグメントの中間時点より長い場合、第Ｋビデオセグメント内のクロッピングフレーム位置を変更しないことを維持することを採用して、前記速度および再生時間に基づいて、前記隣接する２つのビデオセグメント内のクロッピングフレームの位置を調整することを特徴とする、
    請求項１５に記載のビデオ処理装置。
17. ビデオ処理装置であって、
    プロセッサと、
    プロセッサ実行可能命令を記憶するように構成されるメモリとを含み、
    前記プロセッサは、請求項１ないし８のいずれか一項に記載のビデオ処理方法を実行するように構成されることを特徴とする、前記ビデオ処理装置。
18. 非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記記憶媒体の命令がモバイル端末のプロセッサによって実行されるときに、モバイル端末が請求項１ないし８のいずれか一項に記載のビデオ処理方法を実行することができるようにすることを特徴とする、前記非一時的なコンピュータ読み取り可能な記憶媒体。

Images