JP2022505118A - 画像処理方法、装置、ハードウェア装置 - Google Patents

Abstract

【課題】
本開示には、画像処理方法、装置、ハードウェア装置が開示される。
【解決手段】
当該画像処理方法は、オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを取得することと、現在の時間ノードに対応する第１オーディオ属性データを取得することと、前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行うこととを含む。本開示の実施例に係る画像処理方法は、オーディオの属性データに応じて処理対象画像に対して所定の処理を行うことで、オーディオ属性データと画像処理操作との間の関係を設定するだけで画像処理を完成でき、画像処理の柔軟性と効率を向上させる。
【選択図】 図１

Description

本開示は、画像処理分野に関し、特に画像処理方法、装置、ハードウェア装置に関する。

本開示は、2018年10月19日付けで出願された「画像処理方法、装置、ハードウェア装置」と名付けられた、出願番号が201811222642.0である中国特許出願に基づくものであり、その内容は全て本出願に参照として取り込まれる。

コンピュータ技術の発展につれて、スマート端末の適用範囲が広く拡大されており、例えば、スマート端末によって、音楽を聞くこと、ゲームを楽しむこと、ネットチャットを行うこと、写真を取ること等が可能になっている。スマート端末の撮影技術については、その撮影画素が既に千万画素以上に達し、高い解像度と専門業務用カメラに匹敵する撮影効果を有している。

現在、スマート端末を採用して撮影する場合、出荷時に内蔵された撮影ソフトウェアを使用して伝統的な機能の撮影効果を実現できるだけではなく、ネットワークからアプリケーション(Application、単にAPPという)をダウンロードすることによって付加的機能を有する撮影効果も実現することができる。例えば、暗光検出、美顔カメラやスーパー画素等の機能を実現できるAPPがある。スマート端末の美顔機能は、一般的に、肌色調整、肌平滑化、目拡げや細顔、等の美顔処理効果を含み、画像における既に認識された全ての人の顔に対して同じ程度の美顔処理を行うことができる。現在、簡単な特殊効果を実現できるAPPもある。

しかしながら、現在の特殊効果機能については、予め特殊効果を設定しておき、それをビデオや画像に合成するしかできない。特殊効果を修正する必要がある場合、特殊効果を改めて作成してからそれをビデオや画像に合成しなければならない。このため、特殊効果の生成は、かなり柔軟性が無くなってしまう。

本開示の一態様によれば、以下の発明を提供する。
オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを得ることと、現在の時間ノードに対応する第１オーディオ属性データを取得することと、前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行うことと、を含む画像処理方法。

さらに、前記した、オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを得ることには、オーディオを取得し、前記オーディオを分析して、前記オーディオにおける第１時間ノードの各々とオーディオ属性データとのマッピング表を得ることを含む。

さらに、前記した、現在の時間ノードに対応する第１オーディオ属性データを取得することには、前記オーディオの現在の再生時間ノードを取得することと、前記マッピング表に基づいて現在の再生時間ノードに対応する第１オーディオ属性データを取得することと、を含む。

さらに、前記した、前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行うことには、前記第１オーディオ属性データに基づいて処理対象画像における対象物に対して所定の処理を行うことを含む。

さらに、前記した、オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを得ることには、処理対象画像に関連するオーディオを取得することと、前記オーディオを分析して、前記オーディオにおける第１時間ノードの各々とオーディオ属性データとのマッピング表を得ることと、を含む。

さらに、前記した、現在の時間ノードに対応する第１オーディオ属性データを取得することには、前記処理対象画像の現在の画像フレームに対応する第２時間ノードを取得することと、前記マッピング表に基づいて前記第２時間ノードに対応する第１オーディオ属性データを取得することと、を含む。

さらに、前記した、前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行うことには、前記第１オーディオ属性データに基づいて前記現在の画像フレームにおける対象物に対して所定の処理を行うことを含む。

さらに、前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行う前に、前記方法は、処理対象画像に対して前処理を行うことをさらに含み、前記した処理対象画像に対して前処理を行うことには、処理対象画像を分割して対象物の輪郭を得ることと、前記対象物の輪郭に基づいて前記対象物の内輪郭特徴点を生成することと、前記内輪郭特徴点に基づいて外輪郭特徴点を生成することと、を含む。

さらに、前記した、前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行うことには、前記第１オーディオ属性データに基づいて所定の素材の属性を設定することと、前記所定の素材を前記内輪郭特徴点と前記外輪郭特徴点との間のエリアに充填することと、を含む。

さらに、前記第１オーディオ属性データは、オーディオテンポ強度情報であり、前記した、前記第１オーディオ属性データに基づいて所定の素材の属性を設定することには、前記オーディオテンポ強度情報に基づいて、前記所定の素材の幅、輝度および表示時間長のうちの１つ又は複数を設定することを含む。

本開示の他の態様によれば、以下の発明を提供する。
オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを得るためのオーディオ属性データ取得モジュールと、
現在の時間ノードに対応する第１オーディオ属性データを取得するための第１オーディオ属性データ取得モジュールと、
前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行うための画像処理モジュールと、
を備える画像処理装置。

さらに、前記オーディオ属性データ取得モジュールは、オーディオを取得し、前記オーディオを分析して、前記オーディオにおける第１時間ノードの各々とオーディオ属性データとのマッピング表を得るためのものである。

さらに、前記第１オーディオ属性データ取得モジュールは、前記オーディオの現在の再生時間ノードを取得し、前記マッピング表に基づいて現在の再生時間ノードに対応する第１オーディオ属性データを取得するためのものである。

さらに、前記画像処理モジュールは、前記第１オーディオ属性データに基づいて処理対象画像における対象物に対して所定の処理を行うためのものである。
さらに、前記オーディオ属性データ取得モジュールは、処理対象画像に関連するオーディオを取得し、前記オーディオを分析して、前記オーディオにおける第１時間ノードの各々とオーディオ属性データとのマッピング表を得るためのものである。

さらに、前記第１オーディオ属性データ取得モジュールは、前記処理対象画像の現在の画像フレームに対応する第２時間ノードを取得し、前記マッピング表に基づいて前記第２時間ノードに対応する第１オーディオ属性データを取得するためのものである。

さらに、前記画像処理モジュールは、前記第１オーディオ属性データに基づいて前記現在の画像フレームにおける対象物に対して所定の処理を行うためのものである。

さらに、前記画像処理装置は、処理対象画像を分割して対象物の輪郭を取得し、前記対象物の輪郭に基づいて前記対象物の内輪郭特徴点を生成し、前記内輪郭特徴点に基づいて外輪郭特徴点を生成するための処理対象画像前処理モジュール、をさらに備える。

さらに、前記画像処理モジュールは、前記第１オーディオ属性データに基づいて所定の素材の属性を設定するための素材設定モジュールと、前記所定の素材を前記内輪郭特徴点と前記外輪郭特徴点との間のエリアに充填するための填充モジュールと、をさらに備える。

さらに、前記第１オーディオ属性データは、オーディオテンポ強度情報であり、前記素材設定モジュールは、前記オーディオテンポ強度情報に基づいて、前記所定の素材の幅、輝度および表示時間長のうちの１つ又は複数を設定するためのものである。

本開示のさらに他の態様によれば、以下の発明を提供する。
非一時的なコンピュータ読み取り可能の命令を記憶するためのメモリと、前記したいずれかの画像処理方法に記載のステップを実現するように、前記コンピュータ読み取り可能の命令を実行するためのプロセッサと、を備える電子機器。

本開示のさらに他の態様によれば、以下の発明を提供する。
非一時的なコンピュータ読み取り可能の命令を記憶するためのコンピュータ読み取り可能記憶媒体であって、前記非一時的なコンピュータ読み取り可能の命令がコンピュータによって実行される場合、前記コンピュータに前記したいずれかの方法に記載のステップを実行させる、コンピュータ読み取り可能記憶媒体。

本開示には、画像処理方法、装置、ハードウェア装置が開示される。当該画像処理方法は、オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを得ることと、現在の時間ノードに対応する第１オーディオ属性データを取得することと、前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行うことと、を含む。

本開示の実施例に係る画像処理方法は、オーディオの属性データに応じて処理対象画像に対して所定の処理を行う。これにより、オーディオ属性データと画像処理操作との間の関係を設定するだけで画像処理を完成でき、画像処理の柔軟性と効率を向上させる。

上述した説明は、単に本開示に係る発明についての記述に過ぎず、本開示に係る技術手段をより明瞭にするために、明細書の内容に従って実施することができ、そして、本開示の上述の及びその他の目的、特徴やメリットをより理解し易くするために、以下では、特に好適な実施例を挙げて、図面を参照して詳細に説明する。

図１は、本開示の一実施例に係る画像処理方法によるフローチャートである。 図２ａは、本開示による画像処理効果の一実施例の模式図である。 図２ｂは、本開示による画像処理効果の一実施例の模式図である。 図２ｃは、本開示による画像処理効果の一実施例の模式図である。 図２ｄは、本開示による画像処理効果の一実施例の模式図である。 図３は、本開示の一実施例に係る画像処理装置の構成模式図である。 図４は、本開示の実施例に提供される電子機器の構成模式図である。

以下では、特定の具体的な例によって本開示の実施形態を説明する。当業者は、本明細書に掲載された内容によって簡単に本開示の他のメリットや効果を知ることができる。そして、記載された実施例は、全ての実施例ではなく、単に本開示の一部の実施例に過ぎないことが明らかである。本開示は、その他の異なる具体的な実施形態によって実施又は適用することができ、本明細書における各種の詳細は、異なる観点や適用に基づいて、本開示の趣旨を逸脱することなく多種の修正や変更をすることもできる。なお、矛盾がない場合、以下の実施例及び実施例における特徴は、互いに組み合わせることができる。本開示における実施例に基づき、当業者が創造的労働を行わずに得られた全ての他の実施例は、いずれも本開示の技術的範囲に含まれる。

なお、以下、添付の特許請求の範囲に含まれる実施例の諸態様が記載される。本文で記載される態様は、多種の形式で広く実現することができ、且つ本文で記載されたいかなる特定の構成及び/又は機能は、単に例示的なものであることが明らかである。本開示によれば、本文で記載される一態様は、いかなるその他の態様とは個別に実施可能であり、且つ各種の方式でこれら態様のうちの２つ又は２つ以上を組み合わせることができることが当業者に理解されるべきである。例えば、本文で記載されたいくつかの態様を使用してデバイスを実施し、かつ／あるいは、方法を実践することができる。また、本文で記載された態様の１つ又は複数以外のその他の構成及び/又は機能性を使用してこのデバイスを実施し、かつ／あるいは、この方法を実践することができる。

なお、以下の実施例で提供される図は、単に本開示の基本的な思想を例示的に説明するに過ぎない。そして、図面において、実際に実施するときの要素の数、形状及び寸法にしたがって描画することなく、本開示に係る要素しか示していない。その実際に実施するときの各要素の形態、数、及び割合は、任意に変更可能であり、且つその要素のレイアウト形態もより複雑になる可能性がある。

そして、以下の記載では、徹底的に実例を理解するために具体的な詳細を提供する。しかしながら、これらの特定の詳細がない場合に前記態様を実践できることが当業者に理解されるべきである。

本開示の実施例には、画像処理方法が提供されている。本実施例に提供される当該画像処理方法は、計算装置によって実行され得る。当該計算装置は、ソフトウェア又はソフトウェアとハードウェアとの組み合わせとして実現され得る。当該計算装置は、サーバや端末装置等に集積して設けることができる。図１に示すように、当該画像処理方法は、主に以下のステップS101～ステップS103を含む。

ステップS101：オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを得る。

一実施例において、前記オーディオは、処理対象となる画像とは、互いに独立している。前記した画像は、ビデオやGIF画像のような動的画像であってもよく、ピクチャのような静的画像であってもよい。当該実施例においては、使用しようとするオーディオを取得し、前記オーディオに対して前処理を行う。前記前処理は、例えば、オーディオに対して時間ノードずつの分析を行い。前記時間ノードは、サンプリング周波数に応じて設定されてもよく、当該実施例においては、時間ノードの間の長さを10msとしてよく、つまり、10ms毎に１つの時間ノードをサンプリングし、当該時間ノードでのオーディオ属性データを分析する。前記したオーディオ属性データは、オーディオのいかなる属性であってもよい。典型的には、音の強さ、音調、音色、音の長さ、テンポ、等である。当該実施例において、オーディオ属性データがテンポ強さであることを、例えば、テンポ強さを５つのレベルに設定する。時間ノードの各々について、オーディオに対する分析を経て、当該時間ノードでのテンポ強さのレベルが得られる。オーディオを分析した後、時間ノードとそれに対応するテンポ強さのレベルとの対応関係を得ることができる。当該実施例において、例えば、マッピング表を使用して当該対応関係を保存する。

他の実施例において、前記オーディオは処理対象画像と関連づけられている。前記した画像は、ビデオやGIF画像のような動的画像であってもよく、ピクチャのような静的画像であってもよい。前記した関連は、典型的には、例えば、前記オーディオと処理対象画像とが対応関係を有する。例えば、ビデオの再生時又はピクチャのオープン時に前記オーディオはそれと一緒に再生される。このような場合に、典型的には、前記オーディオはビデオにおけるオーディオ又はピクチャに内蔵されたオーディオである。当該実施例においては、使用しようとするオーディオを取得し、前記オーディオに対して前処理を行う。前記前処理は、例えば、オーディオに対して時間ノードずつ分析を行う。前記時間ノードは、サンプリング周波数に応じて設定され得る。当該実施例において、サンプルレートは、例えば、画像の属性と関係する。例えば、画像がビデオであり、ビデオが１秒に30フレームのビデオフレームを有する場合、時間ノードの間の長さを33msとして設定してもよい。つまり、33ms毎に１つの時間ノードをサンプリングする。このように、時間ノードは、ビデオフレームと対応することになる。或いは、画像がGIF画像である場合、GIF画像は同様に複数のフレームのピクチャを有している。フレーム毎のピクチャの現れる時間を時間ノードとする。画像が静的ピクチャである場合、任意に時間ノードを設定してもよい。勿論、画像がビデオ又はGIF画像である場合、同様に任意に時間ノードを設定してもよく、ここでは説明を省略する。当該時間ノードでのオーディオ属性データを分析する。前記したオーディオ属性データは、オーディオのいかなる属性であってもよい。典型的には、音の強さ、音調、音色、音の長さ、テンポ、等である。当該実施例において、オーディオ属性データがテンポ強さであることを例として、例えば、テンポ強さを５つのレベルに設定する。各時間ノードについて、オーディオに対する分析を経て、当該時間ノードでのテンポ強さのレベルが得られる。オーディオを分析した後、時間ノードとそれに対応するテンポ強さのレベルとの対応関係を得ることができる。当該実施例において、例えば、マッピング表を使用して当該対応関係を保存する。

前記マッピング表において、前記時間ノードは、時間ノードIDと当該IDに対応するオーディオ属性データとを含む。前記時間ノードIDは、典型的には、例えば、時間ノード系列における前記時間ノードの番号である。

ステップS102：現在の時間ノードに対応する第１オーディオ属性データを取得する。

一実施例において、前記オーディオは前記処理対象画像とは互いに独立しており、このとき、前記オーディオの現在の再生されている時間ノードを取得する。現在再生されている時間が時間ノードに位置しない場合、切り上げ又は切り捨ての方式によって現在の時間ノードを特定可能である。現在の時間ノードに基づいてステップS102で生じたマッピング表で検索し、前記現在の時間ノードに対応するオーディオ属性データを取得し、第１オーディオ属性データとする。典型的には、例えば、前記時間ノードの番号を使用して、前記マッピング表で当該番号と同じ番号の時間ノードに対応するオーディオ属性データを検索し、当該オーディオ属性データを第１オーディオ属性データとする。

他の実施例において、前記オーディオは前記処理対象画像と関連している。例えば、前記オーディオがビデオにおけるオーディオである。この場合、ステップS101でのサンプリング方法によれば、ビデオフレームの現れる周波数を使用してオーディオの時間ノードをサンプリングしてもよい。このとき、ビデオフレームとオーディオの時間ノードとは対応関係を有するため、ビデオフレームの番号とオーディオの時間ノードの番号とは１対１で対応する。このとき、ビデオフレームから現在の時間ノードを直接に取得可能であり、第２時間ノードとする。前記第２時間ノードの番号を使用してマッピング表で当該番号と同じ番号の時間ノードに対応するオーディオ属性データを検索し、当該オーディオ属性データを第１オーディオ属性データとする。

ステップS103：前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行う。

一実施例において、前記第１オーディオ属性データに基づいて処理対象画像における対象物に対して所定の処理を行う。前記処理対象画像には、例えば複数の対象を含む。例えば、処理する必要がある対象を対象物として予め設定し、オーディオ属性データと所定の処理との間の関係を予め設定する。マッピング関係によって前記関係を設定可能であり、典型的には、異なるオーディオ属性データと所定の処理との間の直接対応関係を直接的に設定してもよく、オーディオ属性データと所定の処理との間の関係を間接的に設定してもよく、典型的には、オーディオ属性データをパラメータとして前記所定の処理に必要な第１パラメータを算出し、当該第１パラメータを使用して前記所定の処理を設定する。当該実施例において、前記画像は静的ピクチャであってもよく、このとき、オーディオの再生につれて、静的ピクチャ上の静的対象に対して異なる処理効果を呈してもよい。

他の実施例において、前記第１オーディオ属性データに基づいて前記現在の画像フレームにおける対象物に対して所定の処理を行う。前記現在の画像フレームは、例えば複数の対象を含む。上述の実施例における処理方法のように画像フレームを処理すればよい。当該実施例において、前記処理対象画像が例えばビデオであり、ビデオの再生につれて、各ビデオフレームにおける対象物の形態は変化する可能性があり、ビデオフレームの各々に対する処理もオーディオの時間ノードに伴って変化して、ビデオにおける対象物での特殊効果がオーディオの変化にしたがって変化するという効果を呈する。

一実施例において、ステップS103の前に、処理対象画像に対して前処理を行うステップをさらに含み、前記した、処理対象画像に対して前処理を行うことには、
処理対象画像を分割して対象物の輪郭を得ることと、
前記対象物の輪郭に基づいて前記対象物の内輪郭特徴点を生成することと、
前記内輪郭特徴点に基づいて外輪郭特徴点を生成することと、
を含む。

ここで、処理対象画像はいかなる画像であってもよい。一実施例において、前記処理対象画像がピクチャであり、ここで、対象画像には対象物を含み、前記対象物がいかなる物体であってもよい。一実施例では、前記対象物が人体である。対象画像を分割して、画像での対象を分割し、その他の対象と分離させ、対象物の輪郭を得る。一実施例において、前記対象画像がビデオである場合、まずビデオを取得し、ビデオにおけるビデオフレーム画像を分割し、前記ビデオフレーム画像における対象物をその他の対象と分離し、対象物の輪郭を得る必要がある。

前のステップで得られた対象物の輪郭に基づいて、対象物の内輪郭特徴点を生成する。当該内輪郭特徴点は、直接に対象物の輪郭線に位置してもよく、或いは輪郭線と所定の距離を持ってもよい。例えば、内輪郭特徴点は、前記輪郭線と0.1cmの距離を持ってもよい。一実施例において、前記内輪郭特徴点の間の距離が同じであり、つまり、前記内輪郭特徴点は、対象物の輪郭に対して均一に分布している。

前のステップで生成された内輪郭特徴点に基づいて、外輪郭特徴点を生成する。一実施例において、前記内輪郭特徴点に基づいて、前記内輪郭特徴点より対象物から離れた方向に外輪郭特徴点を補間する。対象物が人体である場合を例として、内輪郭特徴点は人体の輪郭線に位置し、内輪郭特徴点の各々に対して、人体の外側でそれに対応する外輪郭特徴点を補間する。

上述の３つのステップによって、１つの内輪郭特徴点と外輪郭特徴点とからなるエリアを生成し、当該エリアは内輪郭特徴点と外輪郭特徴点との間に位置する。当該実施例において、前記した、前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行うことには、前記第１オーディオ属性データに基づいて所定の素材の属性を設定することと、前記所定の素材を前記内輪郭特徴点と前記外輪郭特徴点との間のエリアに充填することと、を含む。一実施例において、前記第１オーディオ属性データがオーディオテンポ強度情報であり、前記した、前記第１オーディオ属性データに基づいて所定の素材の属性を設定することには、前記オーディオテンポ強度情報に基づいて、前記所定の素材の幅、輝度、および表示時間長のうちの１つ又は複数を設定することを含む。一実施例において、例えば、前記オーディオのテンポ強さは、５つのレベルを含み、レベルの各々について対応する素材の幅、輝度、および表示時間長を設定する。オーディオのテンポ強さのレベルを取得した後で、前記素材の幅、輝度および表示時間長も設定されたら、その後、設定された素材を使用して前記内輪郭特徴点と前記外輪郭特徴点との間のエリアに充填することで、素材を利用して対象物のエッジを描く処理効果が達成される。当該実施例において、前記素材はカラーカード、ピクチャ等であってもよく、本開示は素材の種類を具体的に限定しない。

勿論、本開示に記載された所定の処理は、いかなる処理であってもよく、上述の処理方式に限られない。上述の処理方式は、単に理解の便宜のために挙げられた例に過ぎない。

図2a～2dは、本開示に開示された画像処理方法で画像を処理する効果の実施例である。当該実施例においては、対象物が人体であり、人体のエッジを描く処理を行うことで、画像中で人体の位置を強調して表示する。図2a～2dに示すように、画像における人体は、ダンス動作を行っており、且つ伴奏の音楽もある。図2a～2dは、４つのテンポレベルに呈した異なるエッジ描きの効果をそれぞれ示し、テンポの速さの順序は、それぞれ2c、2d、2a、2bである。

本開示には、画像処理方法、装置、ハードウェア装置が開示されている。当該画像処理方法は、オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを得ることと、現在の時間ノードに対応する第１オーディオ属性データを取得することと、前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行うことと、を含む。本開示の実施例に係る画像処理方法は、オーディオの属性データに基づいて処理対象画像に対して所定の処理を行い、オーディオ属性データと画像処理操作との間の関係を設定するだけで画像処理を完成でき、画像処理の柔軟性と効率を向上させる。

以上、上述の順序によって上述した方法に係る実施例における各ステップを説明したが、本開示の実施例におけるステップは、必ずしも上述の順序によって実行されるものではなく、逆順、並行、交差、等のその他の順序で実行されてもよいことは、当業者に理解されるべきである。そして、上述のステップを基礎として、当業者はその他のステップをさらに加えても良い。これらの明らかな変形又は均等置換の方式も本開示の技術的範囲内に含まれるべきであるが、ここで説明を省略する。

以下は、本開示に係る装置の実施例である。本開示に係る装置の実施例は、本開示の方法に係る実施例を実現するステップを実行するために使用可能である。説明の便宜上、本開示の実施例に関連する部分のみを示しているが、開示されていない具体的な技術の詳細は、本開示の方法に係る実施例を参照すればよい。

本開示の実施例において、画像処理装置が提供される。当該装置は、上述した画像処理方法の実施例に記載されたステップを実行可能である。図３に示すように、当該装置300は主に、オーディオ属性データ取得モジュール301と、第１オーディオ属性データ取得モジュール302と、画像処理モジュール303とを備える。

オーディオ属性データ取得モジュール301は、オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを得るためのものである。

第１オーディオ属性データ取得モジュール302は、現在の時間ノードに対応する第１オーディオ属性データを取得するためのものである。

画像処理モジュール303は、前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行うためのものである。

さらに、前記オーディオ属性データ取得モジュール301は、オーディオを取得し、前記オーディオを分析して、前記オーディオにおける第１時間ノードの各々とオーディオ属性データとのマッピング表を得る。

さらに、前記第１オーディオ属性データ取得モジュール302は、前記オーディオの現在の再生時間ノードを取得し、前記マッピング表に基づいて現在の再生時間ノードに対応する第１オーディオ属性データを取得するためのものである。

さらに、前記画像処理モジュール303は、前記第１オーディオ属性データに基づいて処理対象画像における対象物に対して所定の処理を行うためのものである。

さらに、前記オーディオ属性データ取得モジュール301は、処理対象画像に関連するオーディオを取得し、前記オーディオを分析して、前記オーディオにおける第１時間ノードの各々とオーディオ属性データとのマッピング表を得るためのものである。

さらに、前記第１オーディオ属性データ取得モジュール302は、前記処理対象画像の現在の画像フレームに対応する第２時間ノードを取得し、前記マッピング表に基づいて前記第２時間ノードに対応する第１オーディオ属性データを取得するためのものである。

さらに、前記画像処理モジュール303は、前記第１オーディオ属性データに基づいて前記現在の画像フレームにおける対象物に対して所定の処理を行うためのものである。

さらに、前記画像処理装置は、処理対象画像を分割して対象物の輪郭を取得し、前記対象物の輪郭に基づいて前記対象物の内輪郭特徴点を生成し、前記内輪郭特徴点に基づいて外輪郭特徴点を生成するための、処理対象画像前処理モジュールをさらに備える。

さらに、前記画像処理モジュール303は、前記第１オーディオ属性データに基づいて所定の素材の属性を設定するための素材設定モジュールと、前記所定の素材を前記内輪郭特徴点と前記外輪郭特徴点との間のエリアに充填するための充填モジュールと、をさらに備える。

さらに、前記第１オーディオ属性データは、オーディオテンポ強度情報であり、前記素材設定モジュールは、前記オーディオテンポ強度情報に基づいて、前記所定の素材の幅、輝度、および表示時間長のうちの１つ又は複数を設定するためのものである。

図３に示す装置は、図１に示した実施例に係る方法を実行可能である。本実施例に詳細に記載されていない部分は、図１に示した実施例に対する関連説明を参照すればよい。当該発明の実行過程および技術効果は、図１に示した実施例での記載を参照すればよく、ここでは説明を省略する。

以下、本開示の実施例を実現するための電子機器400の構成模式図である図４を説明する。本開示の実施例における電子機器は、携帯電話、ノートパソコン、デジタル放送受信機、PDA（パーソナルデジタルアシスタント）、PAD（タブレット）、PMP（携帯マルチメディアプレーヤ）、車載端末（例えば、車載カーナビゲーション端末）等の携帯端末、及びデジタルTV、デスクトップ型コンピュータ等の固定端末を含むが、それに限られない。図４に示した電子機器は、一つの例に過ぎず、本開示の実施例の機能や使用範囲に何らの限定を加えるものではない。

図４に示すように、電子機器400は、例えば、読出し専用メモリ（ROM）402に記憶されたプログラム又は記憶装置408からランダムアクセスメモリ（RAM）403にロードされたプログラムによって各種の適当な動作や処理を実行できる処理装置（例えば、CPU、GPU等）401を含む。RAM403には、電子機器400の操作に必要な各種のプログラムやデータがさらに記憶されている。処理装置401、ROM402及びRAM403は、バス404を介して互いに接続されている。入力/出力（I/O）インターフェース405もバス404に接続されている。

通常、以下の装置は、I/Oインターフェース405に接続可能である。例えば、タッチスクリーン、タッチパネル、キーボード、マウス、画像センサ、マイクロホン、加速度計、ジャイロ、等の入力装置406と、液晶ディスプレイ（LCD）、スピーカ、バイブレータ、等の出力装置407と、テープ、ハードディスク、等の記憶装置408と、通信装置409とを含む。通信装置409は、電子機器400がその他のデバイスと無線又は有線通信を行ってデータを交換することを許容する。図４は、各種の装置を有する電子機器400を示しているが、示された装置を全て実施又は有する必要はなく、代替的に実施する、より多い／少ない装置を有してもよいことが理解されるべきである。

特に、本開示の実施例によれば、以上のフロー図を参照して記載された過程は、コンピュータソフトウェアプログラムとして実現可能である。例えば、本開示の実施例は、コンピュータ読み取り可能な媒体に担持されたコンピュータプログラムを備えるコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示す方法のプログラムコードを実行するためのものである。このような実施例において、当該コンピュータプログラムは、通信装置409を介してネットからダウンロード及びインストールされ、又は、記憶装置408からインストールされ、又は、ROM402からインストールされることが可能である。当該コンピュータプログラムが処理装置401によって実行される場合、本開示の実施例に係る方法で限定された上述の機能を実行する。

なお、本開示に係る前記コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能記憶媒体、又は、上述の両者の任意の組み合わせであってもよい。コンピュータ読み取り可能記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線や半導体のシステム、装置又はデバイス、或いは、それらの任意の組み合わせであればよいが、これらに限られない。コンピュータ読み取り可能記憶媒体のより具体的な例は、１つ又は複数の導線を有する電気的な接続、携帯コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（RAM）、読出し専用メモリ（ROM）、消去可能なプログラミング読出し専用メモリ（EPROM又はフラッシュメモリ）、光ファイバー、携帯コンパクト磁気ハードディスク、読出し専用メモリ（CD-ROM）、光記録部品、磁気記録部品、又は、以上の任意の適当な組み合わせを含んでもよいが、それらに限られない。本開示において、コンピュータ読み取り可能記憶媒体は、プログラムを含む又は記憶するいかなる有形媒体であってもよい。当該プログラムは、命令実行システム、装置又は部品によって使用され、又は、それと組み合わせて使用されることが可能である。そして、本開示において、コンピュータ読み取り可能な信号媒体は、ベースバンドで伝播され、又は、搬送波の一部として伝播されるデータ信号を含んでもよく、それらにコンピュータ読み出し可能なプログラムコードが担持されている。このような伝播されるデータ信号は、多種の形式を採用可能であり、電磁気信号、光信号、又は、以上の任意の適当な組み合わせを含んでもよいが、それらに限られない。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能記憶媒体以外のいかなるコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な信号媒体は、命令実行システム、装置、又はデバイスによって使用され、又は、それと組み合わせて使用されるためのプログラムを発信、伝播、又は伝送可能である。コンピュータ読み取り可能な媒体に含まれているプログラムコードは、いかなる適当な媒体で伝送してもよい。電線、光ケーブル、RF（無線周波数）等、又は、以上の任意の適当な組み合わせを含むが、それらに限られない。

前記コンピュータ読み取り可能な媒体は、前記電子機器に含まれてもよく、独立に存在し、当該電子機器に組み込まれていなくてもよい。

前記コンピュータ読み取り可能な媒体には、１つ又は複数のプログラムが担持されている。上述した１つ又は複数のプログラムが当該電子機器に実行される場合、オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを取得し、現在の時間ノードに対応する第１オーディオ属性データを取得し、前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行うことを、当該電子機器に行わせる。

１種類又は複数の種類のプログラミング言語又はそれらの組み合わせによって本開示に係る操作を実行するためのコンピュータプログラムコードを書くことが可能である。前記プログラミング言語は、Java、Smalltalk、C++のようなオブジェクト向けのプログラミング言語を含み、さらに「C」言語又はそれと類似するプログラミング言語のような従来の手続型プログラミング言語も含む。プログラムコードは、完全にユーザのコンピュータで実行されてもよく、部分的にユーザのコンピュータで実行されてもよく、１つの独立のソフトウェアパッケージとして実行されてもよく、一部がユーザのコンピュータで且つ一部がリモートコンピュータで実行されてもよく、又は、完全にリモートコンピュータ又はサーバで実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意の種類のネットを介して、ユーザのコンピュータ又は外部のコンピュータに接続されることが可能である（例えば、インタネットサービスプロバイダを利用してインタネットで接続する）。

図面におけるフロー図やブロック図は、本開示の各種の実施例に係るシステム、方法、コンピュータプログラム製品で実現可能なアーキテクチャ、機能や操作を図示している。ここで、フロー図又はブロック図におけるブロック毎は、１つ又は複数の所定のロジック機能を実現するための実行可能命令を含む１つのモジュール、プログラムセグメント、又はコードの一部を代表する。そして、ある代替的な実現において、ブロックに記載されている機能は、図面に示す順序と異なる順序で生じることも可能である。例えば、連続して示された２つのブロックは、実際には、基本的に並行実行されることが可能であり、逆の順序で実行されることも可能である。これは、それに係る機能によって定められる。なお、ブロック図及び/又はフロー図における各ブロック、ブロック図、及び/又は、フロー図におけるブロックの組み合わせは、規定の機能や操作を実行する専用のハードウェアに基づくシステムによって実現可能であり、或いは、専用のハードウェアとコンピュータ命令との組み合わせによって実現可能である。

本開示の実施例に係るユニットは、ソフトウェアで実現可能であり、ハードウェアでも実現可能である。また、ユニットの名称は、ある場合に、当該ユニット自身に対する限定を構成するものではない。例えば、第１取得ユニットは、「少なくとも２つのIPアドレスを取得するユニット」として記載されてもよい。

以上の記載は、単に本開示の好適な実施例及びその技術原理に対する説明に過ぎない。本開示に係る開示範囲は、上述の技術的特徴の特定の組み合わせによる技術案に限られず、上述の技術思想を逸脱しない前提で上述の技術的特徴又はその均等特徴によって任意に組み合わせられたその他の発明を含んでもよいことが当業者に理解されるべきである。例えば、上述の特徴と本開示（これに限られない）に開示された類似な機能を有する技術的特徴とが互いに入れ換えられた発明が該当する。

Claims (13)

1. オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを取得するステップと、
   現在の時間ノードに対応する第１オーディオ属性データを取得するステップと、
   前記第１オーディオ属性データに応じて、処理対象画像に対して所定の処理を行うステップと、
   を含む、画像処理方法。
2. オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを取得する前記ステップは、
   オーディオを取得し、前記オーディオを分析し、前記オーディオにおける第１時間ノードの各々とオーディオ属性データとのマッピング関係表を得るステップ、
   を含む、請求項１に記載の画像処理方法。
3. 現在の時間ノードに対応する第１オーディオ属性データを取得する前記ステップは、
   前記オーディオの現在の再生時間ノードを取得するステップと、
   マッピング表に基づいて現在の再生時間ノードに対応する第１オーディオ属性データを取得するステップと、
   を含む、請求項２に記載の画像処理方法。
4. 前記第１オーディオ属性データに応じて、処理対象画像に対して所定の処理を行う前記ステップは、
   前記第１オーディオ属性データに基づいて処理対象画像における対象物に対して所定の処理を行うステップ、
   を含む、請求項３に記載の画像処理方法。
5. オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを取得する前記ステップは、
   処理対象画像に関連するオーディオを取得するステップと、
   前記オーディオを分析し、前記オーディオにおける第１時間ノードの各々とオーディオ属性データとのマッピング表を得るステップと、
   を含む、請求項１に記載の画像処理方法。
6. 現在の時間ノードに対応する第１オーディオ属性データを取得する前記ステップは、
   前記処理対象画像の現在の画像フレームに対応する第２時間ノードを取得するステップと、
   前記マッピング表に基づいて前記第２時間ノードに対応する第１オーディオ属性データを取得するステップと、
   を含む、請求項５に記載の画像処理方法。
7. 前記第１オーディオ属性データに応じて、処理対象画像に対して所定の処理を行う前記ステップは、
   前記第１オーディオ属性データに基づいて前記現在の画像フレームにおける対象物に対して所定の処理を行うステップ、
   を含む、請求項５に記載の画像処理方法。
8. 前記画像処理方法は、さらに、
   前記第１オーディオ属性データに応じて、処理対象画像に対して所定の処理を行う前記ステップの前に、処理対象画像に対して前処理を行うステップを含み、
   処理対象画像に対して前処理を行う前記ステップは、
   処理対象画像を分割して対象物の輪郭を得るステップと、
   前記対象物の輪郭に基づいて前記対象物の内輪郭特徴点を生成するステップと、
   前記内輪郭特徴点に基づいて外輪郭特徴点を生成するステップと、
   を含む、請求項１乃至７いずれか一項に記載の画像処理方法。
9. 前記第１オーディオ属性データに応じて、処理対象画像に対して所定の処理を行う前記ステップは、
   前記第１オーディオ属性データに基づいて所定の素材の属性を設定するステップと、
   前記所定の素材を前記内輪郭特徴点と前記外輪郭特徴点との間のエリアに充填するステップと、
   を含む、請求項８に記載の画像処理方法。
10. 前記第１オーディオ属性データは、オーディオテンポ強度情報であり、
    前記第１オーディオ属性データに基づいて所定の素材の属性を設定する前記ステップは、
    前記オーディオテンポ強度情報に基づいて、前記所定の素材の幅、輝度および表示時間長のうちの１つ又は複数を設定するステップ、
    を含む、請求項９に記載の画像処理方法。
11. オーディオを取得し、前記オーディオに対して前処理を行って、前記オーディオの第１時間ノード毎のオーディオ属性データを得るためのオーディオ属性データ取得モジュールと、
    現在の時間ノードに対応する第１オーディオ属性データを取得するための第１オーディオ属性データ取得モジュールと、
    前記第１オーディオ属性データに基づいて処理対象画像に対して所定の処理を行うための画像処理モジュールと
    を備える、画像処理装置。
12. 非一時的なコンピュータで読取り可能な命令を記憶するためのメモリと、
    請求項１乃至１０いずれか一項に記載の画像処理方法を実現するように、前記コンピュータで読取り可能の命令を実行するためのプロセッサと、
    を備える、電子機器。
13. 非一時的なコンピュータで読取り可能な命令を記憶するためのコンピュータで読取り可能な記憶媒体であって、
    前記非一時的なコンピュータで読取り可能な命令がコンピュータによって実行されると、前記コンピュータに、請求項１乃至１０いずれか一項に記載の画像処理方法を実行させる、
    コンピュータで読取り可能な記憶媒体。
    

Images