JP2016532947A - 構図変更方法、構図変更装置、端末、プログラム及び記録媒体 - Google Patents

Abstract

本開示は、構図変更方法、構図変更装置、端末、プログラム及び記録媒体に関し、コンピュータ技術分野に属する。上記方法は、オリジナル画像の顕著性モデルを構築するステップと、上記顕著性モデルに基づいて、上記オリジナル画像における各画素点の顕著性値を計算するステップと、各画素点の顕著性値、上記オリジナル画像のオリジナル解像度及び目標画像の目標解像度に基づいて、上記目標画像に対して構図変更を行うステップとを含む。上記装置は、モデル構築モジュール、数値計算モジュール及び画像リターゲティングモジュールを含む。本開示は、オリジナル画像の画像コンテンツに対して分析して重要な画素点を得る分析過程が複雑しすぎて、且つ計算量が非常に大きい問題を解決し、計算量を低減する効果を奏する。【選択図】図１

Description

相互参照

本願は、出願番号がＣＮ２０１４１０２８７１２５．７であって、出願日が２０１４年６月２４日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。

本開示は、コンピュータ技術分野に関し、特に、構図変更方法、構図変更装置及び端末に関する。

構図変更（ｉｍａｇｅ ｒｅｔａｒｇｅｔｉｎｇ）技術は、画像コンテンツに基づいて、画像における冗長情報に対して圧縮変形或いはカットを行う画像処理技術である。一般的には、シームカービング（ｓｅａｍｃａｒｖｉｎｇ）アルゴリズムに基づく構図変更技術を用いて画像における冗長情報を除去する。

シームカービングアルゴリズムを用いて構図変更を行う過程において、端末は、まずオリジナル画像における各画素点の色特徴ベクトルを取得し、当該色特徴ベクトル、オリジナル画像の画像コンテンツ、及び画像解像度等のパラメータに基づいて、画像において冗長度の高い画素点からなる画素ラインを特定し、特定されたこれらの冗長な画素ラインをカットして、構図変更（リターゲティング）された画像を得る。

発明者が本開示を実現する過程において、関連技術に少なくとも以下の問題が存在することを発見した。シームカービングアルゴリズムを用いて構図変更を行う場合、端末は、オリジナル画像の画像コンテンツを分析して重要な画素点を得る必要があるが、分析過程が複雑すぎて、計算量が非常に大きい。

関連技術における問題を解決するために、本開示は、構図変更方法、構図変更装置及び端末を提供した。

本開示実施例の第１の方面によれば、構図変更方法を提供し、当該構図変更方法は、
オリジナル画像の顕著性モデルを構築するステップと、
上記顕著性モデルに基づいて、上記オリジナル画像における各画素点の顕著性値を計算するステップと、
各画素点の顕著性値、上記オリジナル画像のオリジナル解像度、及び目標画像の目標解像度に基づいて、上記目標画像に対して構図変更を行うステップと、を含む。

選択的に、上記各画素点の顕著性値、上記オリジナル画像のオリジナル解像度、及び目標画像の目標解像度に基づいて、上記目標画像に対して構図変更を行うステップは、
上記オリジナル解像度及び上記目標解像度に基づいて、各画素点の初期シフトベクトルを計算するステップと、
各画素点について、上記画素点の顕著性値及び上記画素点の初期シフトベクトルに基づいて、上記画素点の最終シフトベクトルを計算するステップと、
各最終シフトベクトルに基づいて、上記目標画像に対して構図変更を行うステップと、を含む。

選択的に、上記画素点の顕著性値及び上記画素点の初期シフトベクトルに基づいて、上記画素点の最終シフトベクトルを計算するステップは、
上記画素点の顕著性値に基づいて、上記顕著性値と負の相関関係を有する上記画素点の歪み係数を計算するステップと、
上記歪み係数を上記初期シフトベクトルに掛けて、上記最終シフトベクトルを取得するステップと、を含む。

選択的に、上記オリジナル解像度及び上記目標解像度に基づいて、各画素点の初期シフトベクトルを計算するステップは、
上記オリジナル解像度に基づいて、オリジナル画像領域を特定し、上記オリジナル解像度及び上記目標解像度に基づいて、目標画像領域を特定するステップと、
上記オリジナル画像領域において、所定数の第１の特徴点を選択し、上記目標画像領域において、上記第１の特徴点に対応する所定数の第２の特徴点を選択するステップと、
各第１の特徴点と対応する第２の特徴点との間の参照シフトベクトルを計算するステップと、
各画素点について、ｎ（ｎ≧３）個の第１の特徴点により囲まれる閉鎖領域に位置する上記画素点と上記ｎ個の第１の特徴点との間の相対的位置を計算し、上記相対的位置及び上記ｎ個の第１の特徴点に対応するｎ個の参照シフトベクトルに基づいて、上記画素点の初期シフトベクトルを計算するステップと、を含む。

本開示実施例の第２の方面によれば、構図変更装置を提供し、当該構図変更装置は、
オリジナル画像の顕著性モデルを構築するためのモデル構築モジュールと、
上記モデル構築モジュールにより構築された上記顕著性モデルに基づいて、上記オリジナル画像における各画素点の顕著性値を計算するための数値計算モジュールと、
上記数値計算モジュールにより算出された各画素点の顕著性値、上記オリジナル画像のオリジナル解像度、及び目標画像の目標解像度に基づいて、目標画像に対して構図変更を行うための画像リターゲティングモジュールと、を含む。

選択的に、上記画像リターゲティングモジュールは、
上記オリジナル解像度及び上記目標解像度に基づいて、各画素点の初期シフトベクトルを計算するための第１の計算ユニットと、
各画素点について、上記画素点の顕著性値及び上記第１の計算ユニットにより算出された上記画素点の初期シフトベクトルに基づいて、上記画素点の最終シフトベクトルを計算するための第２の計算ユニットと、
上記第２の計算ユニットにより算出された各最終シフトベクトルに基づいて、上記目標画像に対して構図変更を行うための画像リターゲティングユニットと、を含む。

選択的に、上記第２の計算ユニットは、
上記画素点の顕著性値に基づいて、上記顕著性値と負の相関関係を有する上記画素点の歪み係数を計算するための第１の計算サブユニットと、
上記第１の計算サブユニットにより算出された上記歪み係数を上記初期シフトベクトルに掛けて、上記最終シフトベクトルを取得するための第２の計算サブユニットと、を含む。

選択的に、上記第１の計算ユニットは、
上記オリジナル解像度に基づいて、オリジナル画像領域を特定し、上記オリジナル解像度及び上記目標解像度に基づいて、目標画像領域を特定するための領域特定サブユニットと、
上記領域特定サブユニットにより特定された上記オリジナル画像領域において、所定数の第１の特徴点を選択し、上記領域特定サブユニットにより特定された上記目標画像領域において、上記第１の特徴点に対応する所定数の第２の特徴点を選択するための特徴点選択サブユニットと、
上記特徴点選択サブユニットにより選択された各第１の特徴点と対応する第２の特徴点との間の参照シフトベクトルを計算するための第３の計算サブユニットと、
各画素点について、ｎ（ｎ≧３）個の第１の特徴点により囲まれる閉鎖領域に位置する上記画素点と上記ｎ個の第１の特徴点との間の相対的位置を計算し、上記相対的位置及び上記第３の計算サブユニットにより算出された上記ｎ個の第１の特徴点に対応するｎ個の参照シフトベクトルに基づいて、上記画素点の初期シフトベクトルを計算するための第４計算サブユニットと、を含む。

本開示実施例の第３の方面によると、端末を提供し、当該端末は、
プロセッサと、
プロセッサが実行可能な指令を記憶するためのメモリとを含み、
上記プロセッサは、
オリジナル画像の顕著性モデルを構築し、
上記顕著性モデルに基づいて、上記オリジナル画像における各画素点の顕著性値を計算し、
各画素点の顕著性値、上記オリジナル画像のオリジナル解像度及び目標画像の目標解像度に基づいて上記目標画像に対して構図変更を行うように配置される。

本開示の実施例に係る技術案は、以下の有益な効果を含む。

オリジナル画像の顕著性モデルを構築し、顕著性モデルに基づいて、オリジナル画像における各画素点の顕著性値を算出し、各画素点の顕著性値、オリジナル画像のオリジナル解像度及び目標画像の目標解像度に基づいて、目標画像に対して構図変更し、画素点の顕著性値が高いほど、当該画素点が重要であるため、画素点の顕著性値に基づいて、目標画像に対して構図変更し、即ち画素点の重要度に基づいて、目標画像に対して構図変更し、オリジナル画像における画像コンテンツを分析することにより重要な画素点を得る必要なく、オリジナル画像の画像コンテンツに対して分析して重要な画素点を得る分析過程が複雑すぎ、且つ計算量が非常に大きい問題を解決でき、計算量を低減する効果を奏する。

以上の一般的な記述及び以下の詳細な記述は、例示のものに過ぎず、本開示を限定するものではないと理解すべきである。

ここでの図面は、明細書の一部分として明細書全体を構成することにより、本開示に合致する実施例を例示するとともに、本開示の原理を解釈するためのものである。
一例示的な実施例にかかる構図変更方法を示すフローチャートである。 他の例示的な実施例にかかる構図変更方法を示すフローチャートである。 本例示的な実施例にかかる初期シフトベクトルの計算場面を模式的に示す図である。 本例示的な実施例にかかる第１の特徴点の分布を模式的に示す図である。 一例示的な実施例にかかる構図変更装置を示すブロック図である。 一例示的な実施例にかかる構図変更装置を示すブロック図である。 一例示的な実施例にかかる構図変更に用いる装置を示すブロック図である。

ここで、図面に示された例示的な実施例を詳細に説明する。以下の内容において、図面を言及するとき、特に説明しない限り、異なる図面における同じ数字が同一または同等の要素を示す。以下の例示的な実施例に記載の実施の形態は、本発明と一致するあらゆる実施の形態を代表するわけではない。逆に、それらは、添付された特許請求の範囲に詳細に記載される、本発明の一部の方面と一致する装置及び方法の例にすぎない。

図１は、一例示的な実施例にかかる構図変更方法を示すフローチャートであり、当該構図変更方法は、端末に適用され、図１に示すように、当該構図変更方法は、以下のステップを含む。

ステップ１０１において、オリジナル画像の顕著性モデルを構築する。

顕著性モデルは、画素点の顕著性値が画像における他の異なる色値を有する画素点或いは色値の差が大きい画素点による影響を表す。

ステップ１０２において、顕著性モデルに基づいて、オリジナル画像における各画素点の顕著性値を算出する。

ステップ１０３において、各画素点の顕著性値、オリジナル画像のオリジナル解像度及び目標画像の目標解像度に基づいて、目標画像に対して構図変更（リターゲティング）を行う。

画素点の顕著性値が高いほど、当該画素点が重要であるため、端末は、オリジナル画像における各画素点の顕著性値に基づいて、各画素点の重要度を特定し、画素点の重要度に基づいて、オリジナル画像のオリジナル解像度から目標解像度に構図変更し、目標画像を取得する。

端末は、オリジナル画像における画像コンテンツを分析することにより重要な画素点を得る必要なく、画素点の顕著性値に基づいて重要な画素点を分析することができるため、オリジナル画像を構図変更する過程を簡略し、構図変更過程における計算量を大幅に低減した。

以上のように、本開示にかかる構図変更方法は、オリジナル画像の顕著性モデルを構築し、顕著性モデルに基づいて、オリジナル画像における各画素点の顕著性値を算出し、各画素点の顕著性値、オリジナル画像のオリジナル解像度及び目標画像の目標解像度に基づいて、目標画像に対して構図変更し、画素点の顕著性値が高いほど、当該画素点が重要であるため、画素点の顕著性値に基づいて、目標画像に対して構図変更し、即ち画素点の重要度に基づいて、目標画像に対して構図変更し、オリジナル画像における画像コンテンツを分析することにより重要な画素点を得る必要なく、オリジナル画像の画像コンテンツに対して分析して重要な画素点を得る分析過程が複雑すぎ、且つ計算量が非常に大きい問題を解決でき、計算量を低減する効果を奏する。

図２Ａは、他の例示的な実施例にかかる構図変更方法を示すフローチャートであり、当該構図変更方法は、端末に適用され、図２Ａに示すように、当該構図変更方法は、以下のステップを含む。

ステップ２０１において、オリジナル画像の顕著性モデルを構築する。

顕著性モデルは、画素点の顕著性値が画像における他の異なる色値を有する画素点或いは色値の差が大きい画素点による影響を表す。

本実施例は、２つの顕著性モデルを構築する方法を提供し、構築フローは、以下のようである。

第１、所定のオーバーセグメンテーションアルゴリズムに基づいて、オリジナル画像に対してオーバーセグメンテーションを行い、少なくとも１つの領域を得て、同じ領域において各画素点の色値が同じであり、各領域の色値及び重心を特定し、各領域に対応する色値及び各領域の重心に基づいて、顕著性モデルを構築する。

なお、画像に対してオーバーセグメンテーションを行うことは、画像を異なる領域に分割することであり、各領域における画素点がある特性上では同じであり、例えば、オーバーセグメンテーションされた後のある領域における各画素点の色値が同じ、或いはオーバーセグメンテーションされた後のある領域における各画素点の色値が非常に近い。

オーバーセグメンテーションされた後の領域における各画素点が同じ色値を有するため、当該領域の色値を特定でき、また、各領域について、領域に対応する重心を算出することもできる。

第２、各画素点の色値に従って、オリジナル画像における各画素点を分類し、同じ色値の画素点を同一の色タイプに分類し、各種の色タイプの色値に基づいて、顕著性モデルを構築する。

実際に応用する場合、画素点を記憶するための色値に対応する記憶空間を設けることができ、記憶空間の数は、通常２５６＊２５６＊２５６個であり、オリジナル画像における画素点を順に読み取り、当該画素点を当該画素点の色値に対応する記憶空間に入れることにより、各記憶空間のそれぞれに保存される各画素点の色値が同じである。

ステップ２０２において、顕著性モデルに基づいて、オリジナル画像における各画素点の顕著性値を計算する。

端末は、ステップ２０１での何れかの方法で顕著性モデルを構築するとともに、得られた顕著性モデルに基づいて、オリジナル画像における各画素点の顕著性値を計算できる。

ステップ２０３において、オリジナル解像度及び目標解像度に基づいて、各画素点の初期シフトベクトルを計算する。

オリジナル解像度は、オリジナル画像の解像度を指し、例えば、オリジナル解像度が６０＊６０である。目標解像度は、オリジナル画像に対して構図変更を行って得られた目標画像の解像度を指し、例えば目標解像度が４０＊６０である。初期シフトベクトルは、オリジナル画像のオリジナル解像度を同じ比率で目標解像度に拡大・縮小した場合、画素点がオリジナル画像における位置と当該画素点が目標画像における位置との間のシフトベクトルを指す。

なお、オリジナル解像度及び目標解像度に基づいて、各画素点の初期シフトベクトルを計算するステップは、以下のステップを含む。

１）オリジナル解像度に基づいて、オリジナル画像領域を特定し、オリジナル解像度及び目標解像度に基づいて、目標画像領域を特定する。

２）オリジナル画像領域において、所定数の第１の特徴点を選択し、目標画像領域において、第１の特徴点に対応する所定数の第２の特徴点を選択する。

３）各第１の特徴点と対応する第２の特徴点との間の参照シフトベクトルを計算する。

４）各画素点について、画素点とｎ個の第１の特徴点との間の相対的位置を計算し、当該画素点は、ｎ（ｎ≧３）個の第１の特徴点により囲まれる閉鎖領域に位置する。相対的位置及びｎ個の第１の特徴点に対応するｎ個の参照シフトベクトルに基づいて、画素点の初期シフトベクトルを計算する。

参照シフトベクトルは、オリジナル画像のオリジナル解像度を同じ比率で目標解像度に拡大・縮小した場合、選択された特徴点がオリジナル画像における位置と当該特徴点が目標画像における位置との間のシフトベクトルを指す。

図２Ｂに示した初期シフトベクトルの計算場面の模式的な図を参照し、図２Ｂは、オリジナル解像度が６０＊６０で、目標解像度が４０＊６０である例を挙げて説明し、画素点を単位として座標を構築する。座標において、オリジナル画像領域２１０は、ｘ軸における値の範囲が０〜６０で、ｙ軸における値の範囲が０〜６０であり、目標画像領域２２０は、ｘ軸における値の範囲が１０〜５０で、ｙ軸における値の範囲が０〜６０である。

オリジナル画像領域において、１０＊１０個の第１の特徴点を均一に選択すると、オリジナル画像領域において、１０行を選択し、各行で１０個の第１特徴点を選択し、選択した第１の特徴点の座標がＡ（０，０）、Ｂ（０，６）、Ｃ（６，１２）などであってもよい。目標画像領域において、第１の特徴点に対応する第２の特徴点を選択する必要があるため、各第１の特徴点に対応して選択した第２の特徴点の座標はＡ’（１０，０）、Ｂ’（１０，４）、Ｃ’（１４，８）等であってもよい。

各参照シフトベクトルを取得した後、端末は、オリジナル画像領域において、ｎ個ごとの第１の特徴点により閉鎖領域を囲むことができ、例えば、ｎ＝３を例とすると、図２Ｃに示した第１の特徴点の分布の模式的な図を得られる。図２Ｃは、第１の特徴点の分布の模式的な図における１つの三角形を例として説明し、当該三角形の３つの頂点が３つの第１の特徴点であり、白い丸で示し、当該三角形内に含む画素点は、黒い丸で示す。

ステップ２０４において、各画素点について、当該画素点の顕著性値及び当該画素点の初期シフトベクトルに基づいて、当該画素点の最終シフトベクトルを算出する。

最終シフトベクトルは、オリジナル画像について、オリジナル解像度から顕著性値に従って目標解像度へ構図変更する場合、画素点のオリジナル画像における位置と当該画素点の目標画像における位置との間のシフトベクトルを指す。

画素点の顕著性値が大きいほど、当該画素点が重要であるため、端末は、重要な画素点の初期シフトベクトルが大きくて重要領域が変形してしまう問題を避けるために、さらに、顕著性値に基づいて画素点の初期シフトベクトルを処理する必要があり、顕著性値の高い画素点の初期シフトベクトルを減少し、画像の構図変更効果を向上させる。

なお、画素点の顕著性値及び画素点の初期シフトベクトルに基づいて、画素点の最終シフトベクトルを計算するステップは、以下のステップを含む。

１）画素点の顕著性値に基づいて、当該顕著性値と負の相関関係を有する画素点の歪み係数を計算する。

２）初期シフトベクトルに歪み係数を掛けて、最終シフトベクトルを得る。

歪み係数は、画素点に対して画像変形を行う際に掛ける係数であり、当該歪み係数が画素点の顕著性値と負の相関関係を有する。即ち、画素点の顕著性値が大きいほど、当該画素点の歪み係数が小さく、一方、画素点の顕著性値が小さいほど、当該画素点の歪み係数が大きい。

ステップ２０５において、各最終シフトベクトルに基づいて、目標画像に対して構図変更を行う。

端末は、最終シフトベクトルに基づいて、オリジナル画像をオリジナル解像度から目標解像度へ構図変更して、目標画像を得ることができる。

本実施例において、端末は、オリジナル画像における画像コンテンツを分析することにより重要な画素点を得る必要なく、画素点の顕著性値に基づいて、重要な画素点を分析することにより、重要な画素点の最終シフトベクトルを減少し、オリジナル画像を構図変更する過程を簡略し、構図変更過程における計算量を大幅に低減した。

以上のように、本開示にかかる構図変更方法は、オリジナル画像の顕著性モデルを構築し、顕著性モデルに基づいて、オリジナル画像における各画素点の顕著性値を算出し、各画素点の顕著性値、オリジナル画像のオリジナル解像度及び目標画像の目標解像度に基づいて、目標画像に対して構図変更し、画素点の顕著性値が高いほど、当該画素点が重要であるため、画素点の顕著性値に基づいて、目標画像に対して構図変更し、即ち画素点の重要度に基づいて、目標画像に対して構図変更し、オリジナル画像における画像コンテンツを分析することにより重要な画素点を得る必要なく、オリジナル画像の画像コンテンツに対して分析して重要な画素点を得る分析過程が複雑すぎ、且つ計算量が非常に大きい問題を解決でき、計算量を低減する効果を奏する。

また、画素点の顕著性値に基づいて、画素点の歪み係数を計算し、当該顕著性値が歪み係数と負の相関関係を有し、初期シフトベクトルに歪み係数を掛けて、最終シフトベクトルを得て、顕著性値の高い画素点の最終シフトベクトルを減少し、即ち、重要領域の変形を減少し、これにより、画像の構図変更効果を向上させる。

図３は、一例示的な実施例にかかる構図変更装置を示すブロック図であり、当該構図変更装置は、端末に適用され、図３に示すように、当該構図変更装置は、モデル構築モジュール３１０、数値計算モジュール３２０、及び画像リターゲティングモジュール３３０を含む。

当該モデル構築モジュール３１０は、オリジナル画像の顕著性モデルを構築するように配置される。

当該数値計算モジュール３２０は、モデル構築モジュール３１０により構築された顕著性モデルに基づいて、オリジナル画像における各画素点の顕著性値を計算するように配置される。

当該画像リターゲティングモジュール３３０は、数値計算モジュール３２０により算出された各画素点の顕著性値、オリジナル画像のオリジナル解像度及び目標画像の目標解像度に基づいて、目標画像に対して構図変更するように配置される。

以上のように、本開示にかかる構図変更装置は、オリジナル画像の顕著性モデルを構築し、顕著性モデルに基づいて、オリジナル画像における各画素点の顕著性値を算出し、各画素点の顕著性値、オリジナル画像のオリジナル解像度及び目標画像の目標解像度に基づいて、目標画像に対して構図変更し、画素点の顕著性値が高いほど、当該画素点が重要であるため、画素点の顕著性値に基づいて、目標画像に対して構図変更し、即ち画素点の重要度に基づいて、目標画像に対して構図変更し、オリジナル画像における画像コンテンツを分析することにより重要な画素点を得る必要なく、オリジナル画像の画像コンテンツに対して分析して重要な画素点を得る分析過程が複雑すぎ、且つ計算量が非常に大きい問題を解決でき、計算量を低減する効果を奏する。

図４は、一例示的な実施例にかかる構図変更装置を示すブロック図であり、当該構図変更装置は、端末に適用され、図４に示すように、当該構図変更装置は、モデル構築モジュール３１０、数値計算モジュール３２０、及び画像リターゲティングモジュール３３０を含む。

当該モデル構築モジュール３１０は、オリジナル画像の顕著性モデルを構築するように配置される。

当該数値計算モジュール３２０は、モデル構築モジュール３１０により構築された顕著性モデルに基づいて、オリジナル画像における各画素点の顕著性値を計算するように配置される。

当該画像リターゲティングモジュール３３０は、数値計算モジュール３２０により算出された各画素点の顕著性値、オリジナル画像のオリジナル解像度及び目標画像の目標解像度に基づいて目標画像に対して構図変更するように配置される。

選択的に、画像リターゲティングモジュール３３０は、第１の計算ユニット３３１、第２の計算ユニット３３２及び画像リターゲティングユニット３３３を含む。

当該第１の計算ユニット３３１は、オリジナル解像度及び目標解像度に基づいて、各画素点の初期シフトベクトルを計算するように配置される。

当該第２の計算ユニット３３２は、各画素点について、画素点の顕著性値及び第１の計算ユニット３３１により算出された画素点の初期シフトベクトルに基づいて、画素点の最終シフトベクトルを計算するように配置される。

当該画像リターゲティングユニット３３３は、第２の計算ユニット３３２により算出された各最終シフトベクトルに基づいて、目標画像に対して構図変更を行うように配置される。

選択的に、第２の計算ユニット３３２は、第１の計算サブユニット３３２１及び第２の計算サブユニット３３２２を含む。

当該第１の計算サブユニット３３２１は、画素点の顕著性値に基づいて、当該顕著性値と負の相関関係を有する画素点の歪み係数を計算するように配置される。

当該第２の計算サブユニット３３２２は、第１の計算サブユニット３３２１により算出された歪み係数を初期シフトベクトルに掛けて、最終シフトベクトルを得るように配置される。

選択的に、第１の計算ユニット３３１は、領域特定サブユニット３３１１、特徴点選択サブユニット３３１２、第３の計算サブユニット３３１３、及び第４の計算サブユニット３３１４を含む。

当該領域特定サブユニット３３１１は、オリジナル解像度に基づいて、オリジナル画像領域を特定し、オリジナル解像度及び目標解像度に基づいて、目標画像領域を特定するように配置される。

当該特徴点選択サブユニット３３１２は、領域特定サブユニット３３１１により特定されたオリジナル画像領域において、所定数の第１の特徴点を選択し、領域特定サブユニット３３１１により特定された目標画像領域において、第１の特徴点に対応する所定数の第２の特徴点を選択するように配置される。

当該第３の計算サブユニット３３１３は、特徴点選択サブユニット３３１２により選択された各第１の特徴点と対応する第２の特徴点との間の参照シフトベクトルを計算するように配置される。

当該第４計算サブユニット３３１４は、各画素点について、画素点とｎ個の第１の特徴点との間の相対的位置を計算し、画素点がｎ（ｎ≧３）個の第１の特徴点により囲まれる閉鎖領域に位置し、相対的位置及び第３の計算サブユニット３３１３により算出されたｎ個の第１の特徴点に対応するｎ個の参照シフトベクトルに基づいて、画素点の初期シフトベクトルを計算するように配置される。

以上のように、本開示にかかる構図変更装置は、オリジナル画像の顕著性モデルを構築し、顕著性モデルに基づいて、オリジナル画像における各画素点の顕著性値を算出し、各画素点の顕著性値、オリジナル画像のオリジナル解像度及び目標画像の目標解像度に基づいて、目標画像に対して構図変更し、画素点の顕著性値が高いほど、当該画素点が重要であるため、画素点の顕著性値に基づいて、目標画像に対して構図変更し、即ち画素点の重要度に基づいて、目標画像に対して構図変更し、オリジナル画像における画像コンテンツを分析することにより重要な画素点を得る必要なく、オリジナル画像の画像コンテンツに対して分析して重要な画素点を得る分析過程が複雑すぎ、且つ計算量が非常に大きい問題を解決でき、計算量を低減する効果を奏する。

また、画素点の顕著性値に基づいて、画素点の歪み係数を計算し、当該顕著性値が歪み係数と負の相関関係を有し、初期シフトベクトルに歪み係数を掛けて、最終シフトベクトルを得て、顕著性値の高い画素点の最終シフトベクトルを減少し、即ち、重要領域の変形を減少し、これにより、画像の構図変更効果を向上させる。

上記実施例における装置に関して、各モジュールが操作を実行する具体的な形態は、該当する方法に係る実施例において既に詳細に記述したため、ここで、詳細に説明しない。

本開示の一例示的な実施例は、端末を提供し、本開示にかかる構図変更方法を実現でき、当該端末は、プロセッサと、プロセッサが実行可能な指令を記憶するためのメモリとを含み、
上記プロセッサは、
オリジナル画像の顕著性モデルを構築し、
上記顕著性モデルに基づいて、上記オリジナル画像における各画素点の顕著性値を計算し、
各画素点の顕著性値、上記オリジナル画像のオリジナル解像度、及び目標画像の目標解像度に基づいて、上記目標画像に対して構図変更を行うように配置される。

上記実施例における端末に関して、プロセッサが操作を実行する具体的な形態は、当該方法に係る実施例において既に詳細に記述したため、ここで、詳細に説明しない。

図５は、一例示的な実施例にかかる構図変更装置５００を示すブロック図である。例えば、装置５００は、携帯電話、コンピューター、デジタル放送端末、メッセージ送受信デバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタント等であってもよい。

図５を参照して、装置５００は、プロセスアセンブリ５０２、メモリ５０４、電源アセンブリ５０６、マルチメディアアセンブリ５０８、オーディオアセンブリ５１０、入出力（Ｉ／Ｏ）インターフェイス５１２、センサアセンブリ５１４、及び通信アセンブリ５１６のような一つ以上のアセンブリを含んでよい。

プロセスアセンブリ５０２は、一般的には装置５００の全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセスアセンブリ５０２は、一つ以上のプロセッサ５１８を含み、これらによって命令を実行することにより、上記の方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセスアセンブリ５０２は、一つ以上のモジュールを含み、これらによってプロセスアセンブリ５０２と他のアセンブリの間のインタラクションを容易にするようにしてもよい。例えば、プロセスアセンブリ５０２は、マルチメディアモジュールを含み、これらによってマルチメディアアセンブリ５０８とプロセスアセンブリ５０２の間のインタラクションを容易にするようにしてもよい。

メモリ５０４は、各種類のデータを記憶することにより装置５００の操作を支援するように構成される。これらのデータの例は、装置５００において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ５０４は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（ＲｅａｄＯｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。

電源アセンブリ５０６は、装置５００の多様なアセンブリに電力を供給する。電源アセンブリ５０６は、電源管理システム、一つ以上の電源、及び装置５００のための電力の生成、管理及び割り当てに関連する他のアセンブリを含んでもよい。

マルチメディアアセンブリ５０８は、前記装置５００とユーザの間に一つの出力インターフェイスを提供するスクリーンを含む。上記の実施例において、スクリーンは液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンを実現することができ、ユーザからの入力信号を受信することができる。タッチパネルは一つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記のタッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記の実施例において、マルチメディアアセンブリ５０８は、一つのフロントカメラ、及び／又はリアカメラを含む。装置５００が、例えば撮影モード、或はビデオモード等の操作モードにある場合、フロントカメラ、及び／又はリアカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアカメラのそれぞれは、一つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。

オーディオアセンブリ５１０は、オーディオ信号を入出力するように構成されてもよい。例えば、オーディオアセンブリ５１０は、一つのマイク（ＭＩＣ）を含み、装置５００が、例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信されたオーディオ信号は、さらにメモリ５０４に記憶されたり、通信アセンブリ５１６を介して送信されたりされる。上記の実施例において、オーディオアセンブリ５１０は、オーディオ信号を出力するための一つのスピーカーをさらに含む。

Ｉ／Ｏインターフェイス５１２は、プロセスアセンブリ５０２と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。

センサアセンブリ５１４は、装置５００に各方面の状態に対する評価を提供するための一つ以上のセンサを含む。例えば、センサアセンブリ５１４は、装置５００のＯＮ／ＯＦＦ状態、装置５００のディスプレイとキーパッドのようなアセンブリの相対的な位置決めを検出できる。また、例えば、センサアセンブリ５１４は、装置５００、或は装置５００の一つのアセンブリの位置変更、ユーザと装置５００とが接触しているか否か、装置５００の方位、又は加速／減速、装置５００の温度の変化を検出できる。センサアセンブリ５１４は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサアセンブリ５１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ図像センサのような光センサを含んでもよい。上記の実施例において、当該センサアセンブリ５１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。

通信アセンブリ５１６は、装置５００と他の機器の間に有線、又は無線形態の通信を提供する。装置５００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。一つの例示的な実施例において、通信アセンブリ５１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。一つの例示的な実施例において、前記通信アセンブリ５１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（ＩｎｆｒａｒｅｄＤａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（ＵｌｔｒａＷｉｄｅ Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ）技術、他の技術に基づいて実現できる。

例示的な実施例において、装置５００は、一つ以上のＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。

例示的な実施例において、さらに、命令を含む非一時的なコンピュータで読み取り可能な記憶媒体、例えば命令を含むメモリ５０４を提供しており、装置５００のプロセッサ５１８により上記命令を実行して上記方法を実現する。例えば、前記非一時的なコンピュータで読み取り可能な記憶媒体は、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ−ＡｃｃｅｓｓＭｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＲＯＭ）、磁気テープ、フロッピーディスク、光データ記憶デバイス等である。

当業者は、本明細書に開示された発明の詳細を考慮し、実施することにより、本発明の他の実施方案を容易に想定することができる。本出願は、本発明のいかなる変形、用途、又は適応的な変化を含むことを目的としており、いかなる変形、用途、又は適応的な変化は、本発明の一般原理に基づき、且つ本開示において公開されていない本技術分野においての公知常識又は慣用技術手段を含む。明細書及び実施例は、例示的なものを開示しており、本発明の保護範囲と主旨は、特許請求の範囲に記述される。

本発明は、上記において開示された構成又は図面に示した構造に限定されるものではなく、本発明の範囲内であれば、様々な補正又は変更を行うことができる。本発明の範囲は、特許請求の範囲により制限される。

本開示は、コンピュータ技術分野に関し、特に、構図変更方法、構図変更装置、端末、プログラム及び記録媒体に関する。

関連技術における問題を解決するために、本開示は、構図変更方法、構図変更装置、端末、プログラム及び記録媒体を提供した。

本開示実施例の第３の方面によると、端末を提供し、当該端末は、
プロセッサと、
プロセッサが実行可能な指令を記憶するためのメモリとを含み、
上記プロセッサは、
オリジナル画像の顕著性モデルを構築し、
上記顕著性モデルに基づいて、上記オリジナル画像における各画素点の顕著性値を計算し、
各画素点の顕著性値、上記オリジナル画像のオリジナル解像度及び目標画像の目標解像度に基づいて上記目標画像に対して構図変更を行うように配置される。
本開示実施例の第４の方面によると、プロセッサに実行されることにより、上記構図変更方法を実現するプログラムを提供する。
本開示実施例の第５の方面によると、上記プログラムを記録した記録媒体を提供する。

Claims (11)

1. オリジナル画像の顕著性モデルを構築するステップと、
   上記顕著性モデルに基づいて、上記オリジナル画像における各画素点の顕著性値を計算するステップと、
   各画素点の顕著性値、上記オリジナル画像のオリジナル解像度、及び目標画像の目標解像度に基づいて、上記目標画像に対して構図変更を行うステップと、を含む
   ことを含むことを特徴とする構図変更方法。
2. 上記各画素点の顕著性値、上記オリジナル画像のオリジナル解像度、及び目標画像の目標解像度に基づいて、上記目標画像に対して構図変更を行うステップは、
   上記オリジナル解像度及び上記目標解像度に基づいて、各画素点の初期シフトベクトルを計算するステップと、
   各画素点について、上記画素点の顕著性値及び上記画素点の初期シフトベクトルに基づいて、上記画素点の最終シフトベクトルを計算するステップと、
   各最終シフトベクトルに基づいて、上記目標画像に対して構図変更を行うステップと、を含む
   ことを特徴とする請求項１に記載の方法。
3. 上記画素点の顕著性値及び上記画素点の初期シフトベクトルに基づいて、上記画素点の最終シフトベクトルを計算するステップは、
   上記画素点の顕著性値に基づいて、上記顕著性値と負の相関関係を有する上記画素点の歪み係数を計算するステップと、
   上記歪み係数を上記初期シフトベクトルに掛けて、上記最終シフトベクトルを取得するステップと、を含む
   ことを特徴とする請求項２に記載の方法。
4. 
5. 上記オリジナル解像度及び上記目標解像度に基づいて、各画素点の初期シフトベクトルを計算するステップは、
   上記オリジナル解像度に基づいて、オリジナル画像領域を特定し、上記オリジナル解像度及び上記目標解像度に基づいて、目標画像領域を特定するステップと、
   上記オリジナル画像領域において、所定数の第１の特徴点を選択し、上記目標画像領域において、上記第１の特徴点に対応する所定数の第２の特徴点を選択するステップと、
   各第１の特徴点と対応する第２の特徴点との間の参照シフトベクトルを計算するステップと、
   各画素点について、ｎ（ｎ≧３）個の第１の特徴点により囲まれる閉鎖領域に位置する上記画素点と上記ｎ個の第１の特徴点との間の相対的位置を計算し、上記相対的位置及び上記ｎ個の第１の特徴点に対応するｎ個の参照シフトベクトルに基づいて、上記画素点の初期シフトベクトルを計算するステップと、を含む
   ことを特徴とする請求項２〜４の何れか１項に記載の方法。
6. オリジナル画像の顕著性モデルを構築するためのモデル構築モジュールと、
   上記モデル構築モジュールにより構築された上記顕著性モデルに基づいて、上記オリジナル画像における各画素点の顕著性値を計算するための数値計算モジュールと、
   上記数値計算モジュールにより算出された各画素点の顕著性値、上記オリジナル画像のオリジナル解像度、及び目標画像の目標解像度に基づいて、目標画像に対して構図変更を行うための画像リターゲティングモジュールと、を含む
   ことを特徴とする構図変更装置。
7. 上記画像リターゲティングモジュールは、
   上記オリジナル解像度及び上記目標解像度に基づいて、各画素点の初期シフトベクトルを計算するための第１の計算ユニットと、
   各画素点について、上記画素点の顕著性値及び上記第１の計算ユニットにより算出された上記画素点の初期シフトベクトルに基づいて、上記画素点の最終シフトベクトルを計算するための第２の計算ユニットと、
   上記第２の計算ユニットにより算出された各最終シフトベクトルに基づいて、上記目標画像に対して構図変更を行うための画像リターゲティングユニットと、を含む
   ことを特徴とする請求項６に記載の装置。
8. 上記第２の計算ユニットは、
   上記画素点の顕著性値に基づいて、上記顕著性値と負の相関関係を有する上記画素点の歪み係数を計算するための第１の計算サブユニットと、
   上記第１の計算サブユニットにより算出された上記歪み係数を上記初期シフトベクトルに掛けて、上記最終シフトベクトルを取得するための第２の計算サブユニットと、を含む
   ことを特徴とする請求項７に記載の装置。
9. 
10. 上記第１の計算ユニットは、
    上記オリジナル解像度に基づいて、オリジナル画像領域を特定し、上記オリジナル解像度及び上記目標解像度に基づいて、目標画像領域を特定するための領域特定サブユニットと、
    上記領域特定サブユニットにより特定された上記オリジナル画像領域において、所定数の第１の特徴点を選択し、上記領域特定サブユニットにより特定された上記目標画像領域において、上記第１の特徴点に対応する所定数の第２の特徴点を選択するための特徴点選択サブユニットと、
    上記特徴点選択サブユニットにより選択された各第１の特徴点と対応する第２の特徴点との間の参照シフトベクトルを計算するための第３の計算サブユニットと、
    各画素点について、ｎ（ｎ≧３）個の第１の特徴点により囲まれる閉鎖領域に位置する上記画素点と上記ｎ個の第１の特徴点との間の相対的位置を計算し、上記相対的位置及び上記第３の計算サブユニットにより算出された上記ｎ個の第１の特徴点に対応するｎ個の参照シフトベクトルに基づいて、上記画素点の初期シフトベクトルを計算するための第４計算サブユニットと、を含む
    ことを特徴とする請求項７〜９の何れか１項に記載の装置。
11. プロセッサと、
    プロセッサが実行可能な指令を記憶するためのメモリとを含み、
    上記プロセッサは、
    オリジナル画像の顕著性モデルを構築し、
    上記顕著性モデルに基づいて、上記オリジナル画像における各画素点の顕著性値を計算し、
    各画素点の顕著性値、上記オリジナル画像のオリジナル解像度及び目標画像の目標解像度に基づいて、上記目標画像に対して構図変更を行うように配置される
    ことを特徴とする端末。

Images