JP2017520036A - モザイク画像の生成方法および装置 - Google Patents

Abstract

ターゲット画像を複数の所定サイズの画像ブロックに分割するステップと、各画像ブロックから画像ブロックの特徴ベクトルを抽出するステップと、素材ライブラリに対応する特徴ベクトルテーブルを取得するステップと、各画像ブロックの特徴ベクトルに対して、マッチングされた素材特徴ベクトルの前記素材特徴ベクトルテーブルにおける記憶位置を取得するステップと、前記画像素材と前記素材特徴ベクトルとの対応関係により、前記記憶位置に基づいて対応する画像素材の記憶アドレスを取得するステップと、各記憶アドレスに基づいて対応する画像素材を取得し且つモザイク画像を生成するステップとを含むことで、モザイク画像の生成効率を向上させる。

Description

（関連出願の参照）
本出願は、２０１５年０３月３１日に提出された出願番号「２０１５１０１４９８７３．３」の中国特許出願の優先権を主張し、その全ての内容は、引用によって全体として本出願に組み込まれる。
本発明は、コンピュータ技術分野に関し、具体的には、電子画像処理技術分野に関し、特にモザイク画像の生成方法および装置に関する。

インターネット技術の発展に伴い、デジタルエンターテイメント製品は、人々のまわりに登場している。デジタルエンターテイメント製品とは、アニメーション、漫画、ネットワークゲーム、モザイク画像等のデジタル技術に基づくエンターテイメント製品を指す。この中で、モザイク画像は、複数の小さな画像ブロックを繋ぎ合せてなる画像である。従来技術では、既にいくつかのモザイク画像の繋ぎ合せ方法があり、１つのタイプの画像を別のタイプの画像により繋ぎ合せ、例えば、複数の人物画像を素材として１枚の風景画像を繋ぎ合せて形成することができる。

現在のモザイク画像の生成過程において、通常、ターゲット画像を複数の画像ブロックに分割し、そしてこれらの画像ブロックを、素材ライブラリにおける画像素材とそれぞれマッチングする必要がある。このような生成過程では、重複マッチングが発生するため、モザイク画像の生成効率が低いという問題となっている。

上記背景技術の項目に記載された１つまたは複数の技術的課題を解決するために、本発明は、改良されたモザイク画像の生成方法および装置を提供することを目的とする。

本発明の第１の態様では、ターゲット画像を複数の所定サイズの画像ブロックに分割するステップと、各画像ブロックから画像ブロックの特徴ベクトルを抽出するステップと、素材ライブラリに対応する、前記素材ライブラリにおける各画像素材の素材特徴ベクトルを記憶するための特徴ベクトルテーブルを取得するステップと、各画像ブロックの特徴ベクトルに対して、マッチングされた素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を取得するステップと、前記画像素材と前記素材特徴ベクトルとの対応関係により、前記記憶位置に基づいて対応する画像素材の記憶アドレスを取得するステップと、各記憶アドレスに基づいて対応する画像素材を取得し且つモザイク画像を生成するステップとを含むモザイク画像の生成方法を提供する。

いくつかの実施例において、前記各画像ブロックの特徴ベクトルに対して、マッチングされた素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を取得するステップは、各素材特徴ベクトルを検索する際に検索順序、および素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を提供するための、前記特徴ベクトルテーブルのインデックス構造を取得するステップと、各画像ブロックの特徴ベクトルに対して、前記インデックス構造に応じて前記特徴ベクトルテーブルからマッチングされた素材特徴ベクトルを検索するステップと、前記インデックス構造からマッチングされた各素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を取得するステップとを含む。

いくつかの実施例において、前記インデックス構造の生成は、前記特徴ベクトルテーブルを各素材特徴ベクトルの近傍関係に応じて分割し、且つツリー構造を生成するステップと、各素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置で前記ツリー構造において対応する各素材特徴ベクトルを置換して前記特徴ベクトルテーブルのインデックス構造を生成するステップと、を含む。

いくつかの実施例において、前記画像素材と前記素材特徴ベクトルとの対応関係により、前記記憶位置に基づいて対応する画像素材の記憶アドレスを取得する前記ステップは、前記画像素材の前記素材ライブラリの記憶ファイルにおける記憶アドレスと前記画像素材に対応する素材特徴ベクトルの特徴ベクトルテーブルにおけるマッピング関係を取得するステップと、前記マッピング関係により、前記記憶位置に基づいて対応する画像素材の前記素材ライブラリの記憶ファイルにおける記憶アドレスを取得するステップとを含む。

いくつかの実施例において、前記各記憶アドレスに基づいて対応する画像素材を取得し且つモザイク画像を生成する前記ステップは、前記記憶ファイルを読み取るステップと、各記憶アドレスに基づき、前記記憶ファイルから対応する画像素材をそれぞれ取得するステップと、取得された各画像素材で前記ターゲット画像において対応する各画像ブロックを置換してモザイク画像を生成するステップとを含む。

いくつかの実施例において、前記ターゲット画像を複数の所定サイズの画像ブロックに分割する前記ステップの前に、さらに、画像を取得するステップと、前記画像の画素サイズが所定の画素サイズ範囲内にあるか否かを判断するステップと、前記画像の画素サイズが所定の画素サイズ範囲内にない場合、前記画像の画素サイズを、ターゲット画像とするように所定の画素サイズ範囲内に調整するステップとを含む。

いくつかの実施例において、前記方法は、元画像を取得するステップと、前記元画像を、画像素材とするように所定サイズの画像に変更するステップとをさらに含み、その中で、前記変更は、画像領域選択、画素圧縮の中の少なくとも１つを含む。

いくつかの実施例において、前記元画像を、画像素材とするように所定サイズの画像に変更する前記ステップは、さらに、前記元画像をボールモデルにマッピングしてから平面に逆投影するステップと、平面に逆投影された元画像を、画像素材とするように所定サイズの画像に変更するステップとを含む。

いくつかの実施例において、ユーザが素材ライブラリを選択するために、画像素材を複数の素材ライブラリに分類して記憶するステップをさらに含む。

本発明の第２の態様では、ターゲット画像を複数の所定サイズの画像ブロックに分割するように構成される分割モジュールと、各画像ブロックから画像ブロックの特徴ベクトルを抽出するように構成される抽出モジュールと、素材ライブラリに対応する、前記素材ライブラリにおける各画像素材の素材特徴ベクトルを記憶するための特徴ベクトルテーブルを取得するように構成されるベクトルテーブル取得モジュールと、各画像ブロックの特徴ベクトルに対して、マッチングされた素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を取得するように構成される位置取得モジュールと、前記画像素材と前記素材特徴ベクトルとの対応関係により、前記記憶位置に基づいて対応する画像素材の記憶アドレスを取得するように構成されるアドレス取得モジュールと、各記憶アドレスに基づいて対応する画像素材を取得し且つモザイク画像を生成するように構成される生成モジュールとを備えるモザイク画像の生成装置を提供する。

いくつかの実施例において、前記位置取得モジュールは、各素材特徴ベクトルを検索する際に検索順序、および素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を提供するための、前記特徴ベクトルテーブルのインデックス構造を取得するように構成されるインデックス構造取得ユニットと、各画像ブロックの特徴ベクトルに対して、前記インデックス構造に応じて前記特徴ベクトルテーブルからマッチングされた素材特徴ベクトルを検索するように構成される検索ユニットと、前記インデックス構造からマッチングされた各素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を取得するように構成される記憶位置取得ユニットとを、さらに備える。

いくつかの実施例において、前記位置取得モジュールは、前記特徴ベクトルテーブルを各素材特徴ベクトルの近傍関係に応じて分割し、且つツリー構造を生成し、各素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置で前記ツリー構造において対応する各素材特徴ベクトルを置換して前記特徴ベクトルテーブルのインデックス構造を生成するように構成されるインデックス構造生成ユニットをさらに備える。

いくつかの実施例において、前記アドレス取得モジュールは、前記画像素材の前記素材ライブラリの記憶ファイルにおける記憶アドレスと前記画像素材に対応する素材特徴ベクトルの特徴ベクトルテーブルにおけるマッピング関係を取得するように構成されるマッピング関係取得ユニットと、前記マッピング関係により、前記記憶位置に基づいて対応する画像素材の前記素材ライブラリの記憶ファイルにおける記憶アドレスを取得するように構成される記憶アドレス取得ユニットとを、さらに備える。

いくつかの実施例において、前記生成モジュールは、前記記憶ファイルを読み取るように構成される読み取りユニットと、各記憶アドレスに基づき、前記記憶ファイルから対応する画像素材をそれぞれ取得するように構成される素材取得ユニットと、取得された各画像素材で前記ターゲット画像において対応する各画像ブロックを置換してモザイク画像を生成するように構成される置換ユニットとを、さらに備える。

いくつかの実施例において、画像を取得するように構成される画像取得ユニットと、前記画像の画素サイズが所定の画素サイズ範囲内にあるか否かを判断するように構成される画素サイズ判断ユニットと、前記画像の画素サイズが所定の画素サイズ範囲内にない場合、前記画像の画素サイズを、ターゲット画像とするように所定の画素サイズ範囲内に調整するように構成される画素サイズ調整ユニットとを備えるスクリーニングモジュールを、さらに備える。

いくつかの実施例において、前記装置は、元画像を取得するように構成される元画像取得ユニットと、前記元画像を画像素材とするように所定サイズに変更するように構成される画像変更ユニットとを備える画像素材生成モジュールをさらに備え、その中で、前記変更は、画像領域選択、画素圧縮の中の少なくとも１つを含む。

いくつかの実施例において、画像素材生成モジュールは、前記元画像をボールモデルにマッピングしてから平面に逆投影するように構成される画像変換ユニットと、平面に逆投影された元画像を画像素材とするように所定サイズに変更するように構成される変換画像変更ユニットとを、さらに備える。

本発明に係るモザイク画像の生成方法および装置では、ターゲット画像を分割した画像ブロックの特徴ベクトルと素材ライブラリの特徴ベクトルテーブルにおける素材特徴ベクトルとをマッチングすることにより、画像ブロックを置換するための画像素材の素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置を取得し、さらに、画像素材と素材特徴ベクトルとの対応関係により、上記記憶位置に基づいて対応する画像素材の記憶アドレスを取得し、最終的に、各記憶アドレスに基づいて対応する画像素材を取得し且つモザイク画像を生成する。本発明に係るモザイク画像の生成方法および装置によれば、モザイク画像の生成効率を向上させる。

以下、図面を参照しながら非限定的な実施例を詳細に説明することにより、本発明の他の特徴、目的および利点はより明らかになる。
図１は、本発明に係るモザイク画像の生成方法の一実施例のフローチャートである。
図２は、本発明に係るインデックス構造に基づいて特徴ベクトルテーブルから画像ブロックの特徴ベクトルとマッチングする素材特徴ベクトルの記憶位置を取得する一実施例のフローチャートである。
図３は、本発明に係る画像素材となる地理情報点のスクリーンショットの模式図である。
図４は、本発明に係るモザイク画像の生成方法の別の実施例のフローチャートである。
図５ａ、図５ｂは、それぞれ本発明に係るモザイク画像の生成方法の一実施例の初期画像、モザイク画像の模式図である。
図６は、本発明に係るモザイク画像の生成装置の一実施例の構造模式図である。
図７は、本発明に係るモザイク画像を生成するコンピュータシステムの構造模式図である。

以下、図面および実施例を参照しながら、本発明をさらに詳細に説明する。ただし、ここで説明されている具体的な実施例は、係る発明を解釈するためのものに過ぎず、本発明の範囲を制限するものではないと理解されるべきである。また、説明の便宜上、図面に本発明と関連する部分のみが示されている。

ただし、衝突がない限り、本発明における実施例、および実施例における特徴は、互いに組み合せてもよい。以下、図面を参照しながら実施例に基づいて本発明を詳細に説明する。

図１を参照し、それはモザイク画像の生成方法のフロー１００を示す。本実施例では、主に該方法をディスプレイを備えた電子機器に適用することを例として説明し、当該電子機器は、スマートフォン、タブレットＰＣ、電子書リーダー、ＭＰ３メディアプレーヤ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、動画専門家集団による音響形式第３層型）、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、動画専門家集団による音響形式第４層型）メディアプレーヤ、ラップトップコンピュータ、およびデスクトップコンピュータなどを含んでもよい。本発明のモザイク画像の生成方法は、ステップＳ１０１〜Ｓ１０４を含む。

ステップＳ１０１：ターゲット画像を複数の所定サイズの画像ブロックに分割する。

本実施例において、電子機器（例えば、モザイク画像を生成するアプリケーションが実行されているスマートフォン）は、モザイク画像作成対象のターゲット画像を所定サイズの複数の画像ブロックに分割できる。ここで、電子機器は、モザイク画像作成対象のターゲット画像をローカルまたは遠隔から取得してもよく、ターゲット画像として１枚の写真を撮影してもよい。ターゲット画像は、画素に応じて所定サイズの画像ブロックに分割してもよく、例えば、３２×３２画素サイズの画像ブロックに分割してもよい。その中で、所定サイズは、ターゲット画像を分割して得られた画像ブロックがモザイク画像生成用の画像素材と同一の画素サイズを有してもよいことを示す。

本実施例の代替実施形態において、電子機器は、ターゲット画像を遠隔サーバ（例えば、電子機器上のモザイク画像を生成するアプリケーションをサポートできるバックエンドサーバ）にも送信できる。遠隔サーバは、ターゲット画像を所定サイズの複数の画像ブロックに分割できる。ここで、遠隔サーバは、１台のサーバであってもよく、ネットワークによって接続されるサーバクラスターであってもよい。この場合、当該電子機器は、有線接続方式または無線接続方式によって遠隔サーバからこれらの情報を受信することができる。上記無線接続方式は、３Ｇ／４Ｇ接続、ＷｉＦｉ接続、ブルートゥース接続、ＷｉＭＡＸ接続、Ｚｉｇｂｅｅ接続、ＵＷＢ（ｕｌｔｒａ ｗｉｄｅｂａｎｄ）接続、および他の既知されるまたは将来開発される無線接続方式を含むが、それらに限定されない。

ステップＳ１０２：各画像ブロックから画像ブロックの特徴ベクトルを抽出する。

本実施例において、電子機器は、分割された各画像ブロックから画像ブロックの特徴ベクトルを抽出できる。その中で、画像ブロックの特徴ベクトルは、画像ブロックの１つまたは複数の特徴（例えば、色特徴等）を特徴付けるためのベクトル、例えば複数の特徴点の色値で構成されるベクトルであってもよい。

画像ブロックの特徴ベクトルの例として、画像ブロックの特徴ベクトルは、画像ブロックの色特徴のみを特徴付けてもよい。例えば、従来のディスプレイは、ＲＧＢ色標準を用い、ディスプレイ上に、エレクトロンガンが画面の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色発光ダイオードに発射することにより色を発生させる。ＲＧＢ色標準は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色チャネルの変更およびそれらの重ね合わせによって様々な色を得ることである。したがって、画像ブロックの色値は、特徴点のそれぞれＲ、Ｇ、Ｂの３つの色チャネルにおける数値（色値）で示すことができる。具体的には、各画像ブロックに対して、電子機器は、まず画像から複数の点、例えば２５個の点を特徴点として選択し、次に各特徴点からＲ、Ｇ、Ｂの３つの色チャネルにおける数値を取得し、最終的にこれらの２５×３個の数値を順に配列して２５×３次元のベクトル、つまり画像ブロックの特徴ベクトルを構成する。特徴点となる２５個の点はデフォルト規則に応じて選択されてもよい。例えば、画像ブロックに３２×３２個の画素点があり、各行から５個の点を選択でき、計５行を選択し、５×５のドットマトリクスを形成する。２５個の特徴点は、３２×３２個の画素点から×型で選択されてもよく、他の形態で選択されてもよく、本発明はこれを限定しない。必要に応じて、上記２５×３次元のベクトルにおいて、各特徴点のＲ、Ｇ、Ｂの３つの色チャネルにおける数値の順序は、複数種類があってもよい。例えば２５×３次元のベクトルは、まず各特徴点のＲ色チャネルにおける数値であり、続いて各特徴点のＧ色チャネルにおける数値であり、最終的に各特徴点のＢ色チャネルにおける数値であってもよい。２５×３次元のベクトルは、１つの特徴点の順序に応じて配列されてもよく、１つの特徴点のＲ、Ｇ、Ｂの３つの色チャネルにおける数値から、続いて次の特徴点のＲ、Ｇ、Ｂの３つの色チャネルにおける数値である。実用上、２５×３次元のベクトルは、実際の応用に応じて数値の順序を設定することができ、本発明はこれを限定しない。

必要に応じて、各画像ブロックから画像ブロックの特徴ベクトルを抽出するステップは、遠隔サーバで実行されてもよい。

ステップＳ１０３：素材ライブラリに対応する特徴ベクトルテーブルを取得する。

本実施例において、電子機器は、ローカルまたは遠隔サーバからデフォルトされたり選択されたりした素材ライブラリに対応する特徴ベクトルテーブルを取得する。その中で、素材ライブラリは、素材画像の関連データ（例えば、素材画像の記憶ファイル等）を記憶するために用いられてもよい。ここで、素材ライブラリは、デフォルト素材ライブラリであってもよく、複数の選択可能な素材ライブラリから選択された素材ライブラリであってもよい。必要に応じて、素材ライブラリが複数である場合、異なる分類方法に基づいて分類して記憶されてもよい。例えば、複数の素材ライブラリは、地理領域（例えば、都市である北京、上海等）に応じて記憶されるストリートビュー画像素材ライブラリであってもよく、性別（例えば、男性、女性等）に応じて記憶される人物画像素材ライブラリであってもよく、また、異なる季節（例えば、春、冬等）に応じて記憶されるビュー画像素材ライブラリ等であってもよい。必要に応じて、複数の素材ライブラリは、さらに、複数の分類方法に応じて同時に分類して記憶される画像素材ライブラリであってもよく、例えば、地理領域の異なる季節（北京の春、蘇州の夏等）に応じて分類して記憶される景色画像素材ライブラリ等であってもよい。本発明はこれを限定しない。

本実施例において、特徴ベクトルテーブルは、対応する素材ライブラリにおける各画像素材の素材特徴ベクトルを記憶するために用いられる。特徴ベクトルテーブルは、電子機器のローカルまたは遠隔サーバに予め記憶されてもよい。その中で、素材特徴ベクトルは、画像素材の１つまたは複数の特徴（例えば、色特徴等）を特徴付けるためのベクトル、例えば、複数の特徴点の色値で構成されるベクトルであってもよい。当業者は、マッチングしやすくするために、各画像素材の素材特徴ベクトルが上記画像ブロックの特徴ベクトルと同一表示方法を有してもよいと理解できる。例えば、画像素材から２５個の点を特徴点として選択し、次に各特徴点からＲ、Ｇ、Ｂの３つの色チャネルにおける数値を取得し、最終的にこれらの２５×３個の数値を順に応じて配列して１つの２５×３次元のベクトル、すなわち画像素材の特徴ベクトルを構成する。その中で、画像素材を特徴付けるための特徴ベクトルと画像ブロックを特徴付けるための特徴ベクトルの特徴点Ｒ、Ｇ、Ｂの３つの色チャネルにおける数値は、同一の配列順序を有してもよい。

必要に応じて、素材ライブラリに対応する特徴ベクトルテーブルを取得するステップは、遠隔サーバで実行されてもよい。

ステップＳ１０４：各画像ブロックの特徴ベクトルに対して、マッチングする素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置を取得する。

本実施例において、各画像ブロックの特徴ベクトルに対して、電子機器はステップ１０３で取得された特徴ベクトルテーブルにおける素材特徴ベクトルに基づいてベクトルマッチングを行い、マッチングする素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置を取得する。その中で、電子機器は、特徴ベクトルのマッチング程度に基づいて、素材特徴ベクトルと画像ブロックの特徴ベクトルとがマッチングするか否かを判断できる。例として、当該マッチング程度は、素材特徴ベクトルと画像ブロックの特徴ベクトルとの対応する数値の分散で示されてもよく、分散が大きければ大きいほどマッチング程度が低くなり、分散値が小さければ小さいほどマッチング程度が高くなることを示している。また、当該マッチング程度は、加重百分率で示されてもよい。加重百分率は、例えば、次の方法で得ることができ、すなわち、ベクトルの次元数が７５次元であれば、各次元の重みが１／７５であり、素材特徴ベクトルにおける各次元の数値を画像ブロックの特徴ベクトルに対応する次元の数値で割り、得られた商を重みの１／７５と乗じ、当該次元の重み百分率として、各次元の重み百分率を加算すると、素材特徴ベクトルの画像ブロックの特徴ベクトルに対する加重百分率を得る。加重百分率の値が大きければ大きいほど、マッチング程度が高くなり、加重百分率の値が小さければ小さいほどマッチング程度が低くなることを示している。また、当該マッチング程度は、他の方法で示されてもよい。本発明はこれを限定しない。当業者にとって理解できるように、電子機器は、画像ブロックの特徴ベクトルとのマッチング程度が最も高い素材特徴ベクトル、またはマッチングされた一番目の、マッチング程度値が閾値より大きい（例えば、加重百分率が８０％より大きくてもよい）素材特徴ベクトルを、画像ブロックの特徴ベクトルとマッチングする素材特徴ベクトルとして選択できること等である。

本実施例において、電子機器は、ベクトルマッチングを行う場合、ベクトルテーブルに記憶される素材特徴ベクトルの順に応じてマッチングしてもよく、特徴ベクトルテーブルのインデックス構造（例えばツリー型のインデックス構造）で提供される検索順序に応じてマッチングしてもよく、また、その他の順序に応じてマッチングしてもよい。本発明はこれを限定しない。例として、図２は、インデックス構造に基づき、特徴ベクトルテーブルから画像ブロックの特徴ベクトルとマッチングする素材特徴ベクトルの記憶位置を取得する実施例のフロー２００を示す。当該フロー２００は、具体的には、ステップＳ２０１〜ステップＳ２０３を含む。

ステップＳ２０１：特徴ベクトルテーブルのインデックス構造を取得する。

本実施例において、電子機器は、特徴ベクトルテーブルのインデックス構造をローカルまたは遠隔から取得できる。その中で、当該インデックス構造は、ツリー構造であってもよく、テーブル構造であってもよく、各素材特徴ベクトルを検索する際に、検索順序および素材特徴ベクトルの上記特徴ベクトルテーブルにおける記憶位置を提供するために用いられる。インデックス構造は、ツリー構造である場合、当該ツリー構造の設計が合理的であれば、ツリーの１つのノードがマッチングを完了した後、マッチングに成功しまたは当該ノードの左サブツリー、右サブツリーのいずれかを排除し、これによりマッチング速度を大幅に高めることができる。

ステップＳ２０２：各画像ブロックの特徴ベクトルに対して、インデックス構造に応じて特徴ベクトルテーブルからマッチングされた素材特徴ベクトルを検索する。

本実施例において、各画像ブロックの特徴ベクトルに対して、電子機器または遠隔サーバは、インデックス構造で提供される検索順序に応じて特徴ベクトルテーブルから画像ブロックの特徴ベクトルとマッチングする素材特徴ベクトルを検索する。

ステップＳ２０３：インデックス構造からマッチングされた各素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置を取得する。

本実施例において、電子機器または遠隔サーバは、ステップＳ２０２のマッチング結果に基づき、インデックス構造からマッチングされた各素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置を取得する。その中で、当該記憶位置は、素材特徴ベクトルの論理アドレスであってもよく（例えば、特徴ベクトルの特徴ベクトルテーブルにおける記憶番号であってもよい）、素材特徴ベクトルの物理アドレス（特徴ベクトルの所属する物理メモリ空間の実アドレス）であってもよい。当該記憶位置と素材特徴ベクトルとが所定のマッピング関係を有する。必要に応じて、当該マッピング関係は、例えば、当該記憶位置が素材特徴ベクトルのインデックス下付き文字の形態で特徴ベクトルテーブルに記憶されてもよい。

本実施例のいくつかの代替実施形態において、上記インデックス構造はツリー構造であってもよい。当該ツリー構造型のインデックス構造は、まず、各素材特徴ベクトルの近傍関係に応じて特徴ベクトルテーブルを分割し、且つツリー構造を生成し、次に、各素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置でツリー構造において対応する各素材特徴ベクトルを置換して特徴ベクトルテーブルのインデックス構造を生成することにより、生成されてもよい。ここで、特徴ベクトルテーブルにおける素材特徴ベクトルの近傍関係に応じて分割されたツリー構造において、素材特徴ベクトルは、最近傍関係に応じて分布されてもよい。ツリー構造のノードに実際に記憶されるデータは、素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置であってもよく、ツリー構造のデータ量を縮小させ、ツリー構造を簡略化させる。電子機器または遠隔サーバは、当該記憶位置と特徴ベクトルテーブルにおける素材特徴ベクトルとの関係に基づき、当該ツリー構造のノードでの記憶位置から対応する素材特徴ベクトルを読み取ってもよい。例として、実際の画像ブロックの特徴ベクトルのマッチング過程において、電子機器または遠端サーバは、ツリー構造の順序に応じてマッチングする。例えば、まずツリー構造のルートノードをマッチングし、電子機器または遠端サーバはルートノードでの記憶位置を読み取り、当該記憶位置と素材特徴ベクトルとのマッピング関係によって、対応する素材特徴ベクトルを読み取り且つ画像ブロックの特徴ベクトルと比較し、素材特徴ベクトルと画像ブロックの特徴ベクトルとのマッチング度に基づいて素材特徴ベクトルと画像ブロックの特徴ベクトルとがマッチングするか否かを決定する。その中で、マッチング度は、素材特徴ベクトルと画像ブロックの特徴ベクトルとのマッチング程度を特徴付けるものである。マッチング度が第１の閾値より大きい場合、ルートノードに対応する素材特徴ベクトルが当該画像ブロックの特徴ベクトルとマッチングしたと判定し、ルートノードでの記憶位置を取得し、マッチング度が第２の閾値より大きく且つ第１の閾値より小さい場合、ツリー構造の右サブツリーをマッチングし続け、マッチング度が第２の閾値より小さい場合、ツリー構造の左サブツリーをマッチングし続ける。これによって類推する。

本実施例のいくつかの代替実施形態において、当該インデックス構造は、ｋ−ｄツリー（ｋ−ｄｉｍｅｎｓｉｏｎａｌ ｔｒｅｅ、ｋ次元ツリー）構造であってもよい。ｋ−ｄツリーは、ｋ次元データ空間を分割するデータ構造である。その中で、ｋ−ｄツリーは、各ノードがいずれもｋ次元点である二分木である。ｋ−ｄツリーのすべての非リーフノードは、超平面で空間を２つの部分に分割することを見なすことができる。その中で、超平面の左側にある点は、当該非リーフノードの左サブツリーを表現し、超平面の右側にある点は、当該非リーフノードの右サブツリーを表現する。超平面の方向は、各ノードのいずれもｋ次元のうちの１つの超平面に垂直な次元に関連付けられる関係により選択されてもよい。例えば、ｘ軸で分割する場合、ｘ値が所定値より小さいすべてのノードのいずれも左サブツリーに出現し、ｘ値が所定値より大きいすべてのノードのいずれも右サブツリーに出現することになる。ｋ−ｄツリーインデックス構造の分割空間が重なることがなく、大量のデータを処理する際に速度が比較的速い。

ステップＳ１０５：画像素材と素材特徴ベクトルとの対応関係により、上記記憶位置に基づいて対応する画像素材の記憶アドレスを取得する。

本実施例において、画像素材と素材特徴ベクトルとの対応関係により、電子機器または遠隔サーバは、上記記憶位置に基づいて対応する画像素材の記憶アドレスを取得することができる。その中で、画像素材の記憶アドレスは、画像素材の素材ライブラリにおける記憶番号または実アドレス（物理アドレス）であってもよい。当業者にとって理解できるように、素材特徴ベクトルが画像素材の特徴ベクトルであり、それらの間に一対一の対応関係があるため、上記記憶位置と対応の画像素材の記憶アドレスとの間にも一対一の対応関係、またはマッピング関係がある。必要に応じて、画像素材は、それに対応する素材特徴ベクトルと同一の記憶順序を有してもよい。

本実施例のいくつかの実施形態において、電子機器または遠隔サーバは、まず画像素材の素材ライブラリの記憶ファイルにおける記憶アドレスと画像素材に対応する素材特徴ベクトルの特徴ベクトルテーブルにおけるマッピング関係を取得し、次に上記マッピング関係により、記憶位置に基づいて対応する画像素材の素材ライブラリの記憶ファイルにおける記憶アドレスを取得する。その中で、上記マッピング関係は、電子機器または遠隔サーバのメモリに予め記憶されてもよい。上記記憶ファイルは、素材ライブラリにおけるすべての画像素材の電子機器または遠隔サーバのメモリにおける存在形態である。必要に応じて、記憶ファイルは、画像の圧縮フォーマット（例えば、ｊｐｇフォーマット等）を含んでもよく、画素点の色値のバイナリフォーマット等であってもよく、本発明はこれを限定しない。例として、記憶ファイルは画像素材の各画素点のＲ、Ｇ、Ｂの３つの色チャネルにおける数値で構成されるバイナリファイルであってもよい。この場合、当該バイナリファイルを取得すると、画像素材の各画素点のＲ、Ｇ、Ｂの３つの色チャネルにおける数値に基づいて画像素材を表示できる。

ステップＳ１０６：各記憶アドレスに基づいて対応する画像素材を取得し且つモザイク画像を生成する。

本実施例において、電子機器または遠隔サーバは、まずステップＳ１０５で得られた各記憶アドレスに基づいて対応する画像素材を取得し、次に取得された画像素材で対応の画像ブロックを置換することによりモザイク画像を生成することができる。

本実施例のいくつかの実施形態において、電子機器または遠隔サーバは、メモリから素材ライブラリの記憶ファイルを読み出し、次に各記憶アドレスに基づき記憶ファイルからそれぞれ対応する画像素材を取得し、続いて取得された各画像素材でターゲット画像において対応する各画像ブロックを置換してモザイク画像を生成する。必要に応じて、電子機器または遠隔サーバは、さらにターゲット画像における画像ブロックが完全に置換されるか否かを検出し、結果が否である場合、ステップＳ１０２に戻り、置換されていない画像ブロックの画像ブロックの特徴ベクトルを再抽出し、ベクトルマッチングを行い、対応する素材画像を取得する。

本実施例のいくつかの代替実施形態において、画像素材は、電子機器または遠隔サーバがまず元画像を取得し、次に元画像を所定サイズの画像に変更して画像素材とすることによって取得できる。その中で、上記変更は、画像領域選択、画素圧縮等の少なくとも１つを含むが、それらに限定されない。元画像は、任意画像、例えば人物画像、風景画像、ストリートビュー画像等であってもよい。画像の所定サイズは、予め設定された画像素材の画素値である（例えば、３２×３２画素であってもよい）。必要に応じて、当該画素値は、経験により得られた値であってもよく、画素値および生成されたモザイク画像の生成効果に基づいてサンプルセットの訓練により得られた画素値等であってもよく、本発明はこれを限定しない。元画像のサイズが上記所定サイズより大きい場合、電子機器または遠隔サーバは、元画像を変更し、所定サイズの画像素材を得る。必要に応じて、電子機器または遠隔サーバは、元画像における所定の領域、例えば人物画像の頭部画像部分を選択できる。電子機器または遠隔サーバは、所定サイズの画像素材を取得するために、さらに元画像または選択された領域部分の画像に対して画素圧縮を行う。実用上、元画像がストリートビュー画像である場合、さらにストリートビュー画像における地理情報点（１つの地理情報点は、1棟の家屋、１つの店舗、１つのランドマーク的な建物等であってもよい）に応じて領域を選択し、画像素材の意味性および興味性を高める。図３に示されるように、北京の一部の観光スポット画像を元画像とし、地理情報点領域を選択した後に圧縮して形成された画像素材である。

本実施例のいくつかの代替実施形態において、電子機器または遠隔サーバは、さらに元画像に対して次のような処理を行い、まず元画像をボールモデルにマッピングしてから平面に逆投影し、次に平面に逆投影された元画像を、画像素材とするように所定サイズの画像に変更する。当業者にとって理解できるように、元画像が電子地図におけるストリートビュー画像である場合、元画像が魚眼画像を含む画像である可能性があり、サイズが非常に大きく（例えば、８１９２×４０９６画素であり）、所定サイズ（例えば、３２×３２画素であり）に直接的に圧縮する場合、画像の細部がなくなってしまうおそれがあり、また、魚眼画像が魚眼視角（１８０°より大きい視角）の画像を平面に投影して形成された画像であってもよく、それを直接的に圧縮する場合、エッジ歪みをもたらし、モザイク画像の生成効果を損なうおそれがある。したがって、魚眼画像を含む画像に対して、まず画像を３次元ボールモデルにマッピングし、魚眼視角で画像を復元し、次に平面に逆投影し、１８０°視角の画像を形成し、それにより画像変更過程における歪みを解消できる。

本実施例に対して、応用シーンは以下のようにしてもよく、すなわち、ユーザが画像を選択し（検索条件を入力して遠隔サーバ画像、例えば人物画像を取得してもよく）、かつ素材ライブラリを選択した（例えば、都市である北京等を選択した）後、電子機器または遠端サーバは画像を取得し、素材ライブラリにおいて画像素材をマッチングし、画像ブロックを置換してモザイク画像を生成し且つ表示する。電子機器または遠端サーバは、画像を画像ブロックに分割でき、且つ素材ライブラリの特徴ベクトルテーブルおよび特徴ベクトルテーブルのインデックス構造に基づいて特徴ベクトルと画像ブロックとがマッチングする各画像素材の記憶アドレスを取得でき、素材ライブラリの記憶ファイルを読み取った後に対応する画像素材を順に取得してモザイク画像を生成してもよい。本発明の上記実施例で提供される方法は、モザイク画像の生成効率を向上させることに寄与する。

なお、本実施例のモザイク画像の生成方法は、例示的なものに過ぎず、フロー１００におけるステップは、時間上の前後順序を含まない。その中のいくつかのステップは、実際の応用において必要に応じて調整できる。ステップ順序の変更は、本発明のモザイク画像の生成方法の実行結果に影響を与えない。例えば、ステップ１０３とステップ１０２は、同時に実行してもよく、順序を入れ替えて実行してもよい。本発明はこれを限定しない。

図４を参照し、それは本発明に係るモザイク画像の生成方法の別の実施例のフロー４００を示す図である。フロー４００は、ステップＳ４０１〜ステップＳ４０９を含む。

ステップＳ４０１：画像を取得する。

本実施例において、電子機器は、まず１枚の画像をローカルまたは遠隔から取得し、１枚の写真を画像として撮影してもよい。その中で、当該画像は任意の内容およびサイズの画像であってもよい。

ステップＳ４０２：画像の画素サイズが所定の画素サイズ範囲内にあるか否かを判断する。

本実施例において、電子機器は、ステップＳ４０１で取得された画像の画素サイズが所定の画素サイズ範囲内にあるか否かを判断する。電子機器は、ステップＳ４０１で取得された画像を遠隔サーバにアップロードできる。遠隔サーバは画像を取得した後に、画像の画素サイズが所定の画素サイズ範囲内にあるか否かを判断する。当業者にとって理解できるように、電子機器または遠隔サーバで取得された画像の画素が小さすぎる場合、モザイク画像の生成効果に深刻な影響を与えることになる。例として、画像の画素サイズが９６×９６画素であり、画像を分割し、画像ブロックの所定サイズが３２×３２画素であれば、３×３個の画像ブロックに分割することだけができる。ストリートビュー画像を繋ぎ合せて顔のモザイク画像を生成する場合、顔が完全に見えないおそれがある。したがって、電子機器または遠隔サーバは、まず画像の画素サイズを判断できる。

本実施例において、所定の画素サイズ範囲は、モザイク画像の生成に好ましい画素サイズ範囲であってもよい（例えば、５１２×５１２画素〜８１９２×４０９６画素であってもよい）。当該所定の画素サイズ範囲は、経験値によって得られてもよく、サンプルセットを訓練することによって得られてもよい。本発明はこれを限定しない。

ステップＳ４０３：画像の画素サイズが所定の画素サイズ範囲内にない場合、画像の画素サイズをターゲット画像とするように所定の画素サイズ範囲内に調整する。

本実施例において、画像の画素サイズが所定の画素サイズ範囲内にない場合、電子機器または遠隔サーバは、画像をターゲット画像とするように画像の画素サイズを所定の画素サイズ範囲内に調整する。その中で、画像の画素サイズが画素サイズ範囲の最小画素値より小さい場合、電子機器または遠隔サーバは画像に引き伸ばし、幅補完または高さ補完の調整を行ってターゲット画像とし、画像の画素サイズが画素サイズ範囲の最大画素値より大きい場合、画像に対して画素圧縮、領域裁断等の調整を行ってターゲット画像とする。

ステップＳ４０４：ターゲット画像を複数の所定サイズの画像ブロックに分割する。

本実施例において、電子機器または遠隔サーバは、モザイク画像作成対象のターゲット画像を所定サイズの複数の画像ブロックに分割できる。その中で、所定サイズは、分割された画像ブロックがモザイク画像生成用の画像素材と同じ画素サイズを有してもよいことを示す。

ステップＳ４０５：各画像ブロックから画像ブロックの特徴ベクトルを抽出する。

本実施例において、電子機器は分割された各画像ブロックから画像ブロックの特徴ベクトルを抽出できる。画像ブロックの特徴ベクトルは、画像ブロックの１つまたは複数の特徴（例えば、色特徴等）を示すためのベクトル、例えば複数の特徴点の色値で構成されるベクトルであってもよい。

ステップＳ４０６：素材ライブラリに対応する特徴ベクトルテーブルを取得する。

本実施例において、電子機器は、ローカルまたは遠隔サーバからデフォルトされたり選択されたりした素材ライブラリに対応する特徴ベクトルテーブルを取得する。その中で、素材ライブラリは、素材画像の関連データ（例えば、素材画像の記憶ファイル等であってもよい）を記憶するために用いられてもよい。本実施例において、特徴ベクトルテーブルは、対応する素材ライブラリにおける各画像素材の素材特徴ベクトルを記憶するために用いられる。特徴ベクトルテーブルは、電子機器のローカルまたは遠隔サーバに予め記憶されてもよい。ここで、素材特徴ベクトルは、画像ブロックの特徴ベクトルと同一の抽出方式および表示方法を有してもよい。

ステップＳ４０７：各画像ブロックの特徴ベクトルに対して、マッチングする素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置を取得する。

本実施例において、各画像ブロックの特徴ベクトルに対して、電子機器または遠隔サーバは、ステップ４０７で取得された特徴ベクトルテーブルにおける素材特徴ベクトルに基づいてベクトルマッチングを行い、マッチングする素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置を取得する。その中で、特徴ベクトルのマッチング程度に基づいて、電子機器は素材特徴ベクトルと画像ブロックの特徴ベクトルとがマッチングするか否かを判断できる。電子機器または遠隔サーバは、画像ブロックの特徴ベクトルと素材特徴ベクトルに対してベクトルマッチングを行う場合、ベクトルテーブルに記憶される素材特徴ベクトルの順に応じてマッチングしてもよく、特徴ベクトルテーブルのインデックス構造（例えば、ツリー型のインデックス構造）で提供される検索順序に応じてマッチングしてもよく、また、その他の順序に応じてマッチングしてもよい。本発明はこれを限定しない。

ステップＳ４０８：画像素材と素材特徴ベクトルとの対応関係により、上記記憶位置に基づいて対応する画像素材の記憶アドレスを取得する。

本実施例において、画像素材と素材特徴ベクトルとの対応関係により、電子機器または遠隔サーバは、上記記憶位置に基づいて対応する画像素材の記憶アドレスを取得することができる。その中で、画像素材の記憶アドレスは画像素材の素材ライブラリにおける記憶番号または実アドレスであってもよい。当業者にとって理解できるように、素材特徴ベクトルが画像素材の特徴ベクトルであり、それらの間に一対一の対応関係があり、したがって、上記記憶位置と対応の画像素材の記憶アドレスとの間にも一対一の対応関係、またはマッピング関係がある。必要に応じて、画像素材は、それに対応する素材特徴ベクトルと同一の記憶順序を有してもよい。

ステップＳ４０９：各記憶アドレスに基づいて対応する画像素材を取得し且つモザイク画像を生成する。

本実施例において、電子機器または遠隔サーバは、まずステップＳ４０８で得られた各記憶アドレスに基づき、素材ライブラリの記憶ファイルを読み取り、記憶ファイルから対応する画像素材を順に取得し、次に取得された画像素材で対応の画像ブロックを置換することによりモザイク画像を生成する。

本実施例において、上記フローにおけるステップ４０４、ステップ４０５、ステップ４０６、ステップ４０７、ステップ４０８、およびステップ４０９は、それぞれ上記実施例におけるステップ１０１、ステップ１０２、ステップ１０３、ステップ１０４、ステップ１０５、およびステップ１０６とほぼ同じであり、ここで説明を省略する。

図５ａ、５ｂは、本発明のモザイク画像の生成方法を用いて、ターゲット画像をモザイク画像に生成する例を示す。その中で、図５ｂは、１つの都市の地理情報点を画像素材として図５ａにおける人物画像に対して生成されたモザイク画像である。図５ａ、図５ｂにおいて、図５ａは電子機器または遠隔サーバにより取得された画像であり、画素が比較的大きい。電子機器または遠隔サーバは、画像に対して領域裁断を行ってターゲット画像として図５ｂに示されるようなモザイク画像を生成する。図５ｂにおけるモザイク画像には、図５ａにおける人物画像の頭部画像のみが含まれる。図５ｂにおけるモザイク画像は、拡大された後に、当該都市の地域特性を有する各画像素材を表示することができる。

図４から分かるように、それと図１に対応する実施例との相違点は、本実施例におけるモザイク画像生成のフロー４００において、画像を取得するステップＳ４０１、画像画素サイズを判断するステップＳ４０２、および画像サイズをターゲット画像とするように調整するステップＳ４０３が追加される。本実施例に係る技術案では、ステップＳ４０１、Ｓ４０２およびＳ４０３を追加することにより、ユーザで選択されたり撮影されたりした画像をスクリーニングおよび調整し、生成されたモザイク画像の忠実度が高くなり、効果が高くなることに寄与する。

さらに、図６を参照し、上記方法を実現するために、本発明は、モザイク画像の生成装置の実施例を提供し、当該装置の実施例は、図１に示される方法の実施例と対応し、当該装置は、具体的に電子機器（モザイク画像を生成するアプリケーションが実行されているスマートフォン）またはサーバ（例えば、電子機器におけるモザイク画像を生成するアプリケーションをサポートするバックグラウンドサーバ）に適用できる。

図６に示されるように、本実施例に係るモザイク画像の生成装置６００は、分割モジュール６０１、抽出モジュール６０２、ベクトルテーブル取得モジュール６０３、位置取得モジュール６０４、アドレス取得モジュール６０５および生成モジュール６０６を備える。その中で、分割モジュール６０１は、ターゲット画像を複数の所定サイズの画像ブロックに分割するように構成され、抽出モジュール６０２は、各画像ブロックから画像ブロックの特徴ベクトルを抽出するように構成され、ベクトルテーブル取得モジュール６０３は、素材ライブラリに対応する、素材ライブラリにおける各画像素材の素材特徴ベクトルを記憶するための特徴ベクトルテーブルを取得するように構成され、位置取得モジュール６０４は、各画像ブロックの特徴ベクトルに対して、マッチングする素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置を取得するように構成され、アドレス取得モジュール６０５は、前記画像素材と前記素材特徴ベクトルとの対応関係により、前記記憶位置に基づいて対応する画像素材の記憶アドレスを取得するように構成され、生成モジュール６０６は、各記憶アドレスに基づいて対応する画像素材を取得し且つモザイク画像を生成するように構成される。

本実施例において、分割モジュール６０１は、画素に応じてターゲット画像を所定サイズの画像ブロックに分割できる。所定サイズとは、ターゲット画像を分割して得られた画像ブロックがモザイク画像生成用の画像素材と同一の画素サイズを有してもよい。

本実施例において、抽出モジュール６０２は、分割モジュール６０１により分割された画像ブロックから画像ブロックの特徴ベクトルを抽出できる。画像ブロックの特徴ベクトルは、画像ブロックの１つまたは複数の特徴（例えば、色特徴等）を特徴付けるためのベクトル、例えば複数の特徴点の色値で構成されるベクトルであってもよい。

本実施例において、ベクトルテーブル取得モジュール６０３は、ローカルまたは遠隔サーバからデフォルトまたは選択された素材ライブラリに対応する特徴ベクトルテーブルを取得できる。その中で、特徴ベクトルテーブルは、対応する素材ライブラリにおける各画像素材の素材特徴ベクトルを記憶するために用いられる。素材特徴ベクトルは、画像素材の１つまたは複数の特徴（例えば、色特徴等）を特徴付けるためのベクトル、例えば複数の特徴点の色値で構成されるベクトルであってもよい。当業者にとって理解できるように、マッチングしやすくするために、各画像素材の素材特徴ベクトルが上記画像ブロックの特徴ベクトルと同一の抽出方式および表示方法を有してもよい。

本実施例において、位置取得モジュール６０４は、抽出モジュール６０２により取得された各画像ブロックの特徴ベクトルと、ベクトルテーブル取得モジュール６０３により取得された特徴ベクトルテーブルにおける素材特徴ベクトルに対してベクトルマッチングを行い、マッチングする素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置を取得する。必要に応じて、位置取得モジュール６０４がベクトルマッチングを行う時に、ベクトルテーブルに記憶される素材特徴ベクトルの順に応じてマッチングしてもよく、特徴ベクトルテーブルのインデックス構造（例えば、ツリー型のインデックス構造）で提供される検索順序に応じてマッチングしてもよく、また、その他の順序に応じてマッチングしてもよい。本発明はこれを限定しない。

本実施例において、画像素材と素材特徴ベクトルとの対応関係により、アドレス取得モジュール６０５は上記記憶位置に基づいて対応する画像素材の記憶アドレスを取得することができる。画像素材の記憶アドレスは画像素材の素材ライブラリにおける記憶番号または実アドレスであってもよい。

本実施例において、生成モジュール６０６は、まずアドレス取得モジュール６０５により得られた各記憶アドレスに基づいて対応する画像素材を取得し、次に取得された画像素材で対応の画像ブロックを置換することによりモザイク画像を生成する。

本実施例の代替実施形態において、位置取得モジュール６０４は、さらに、特徴ベクトルテーブルのインデックス構造を取得するように構成されるインデックス構造取得ユニット（図示せず）と、各画像ブロックの特徴ベクトルに対して、インデックス構造に応じて特徴ベクトルテーブルからマッチングされた素材特徴ベクトルを検索するように構成される検索ユニット（図示せず）と、インデックス構造からマッチングされた各素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置を取得するように構成される記憶位置取得ユニット（図示せず）とを備える。その中で、インデックス構造は、各素材特徴ベクトルを検索する際に、検索順序、および素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を提供するために用いられる。

本実施例の代替実施形態において、アドレス取得モジュール６０５は、画像素材の素材ライブラリの記憶ファイルにおける記憶アドレスと画像素材に対応する素材特徴ベクトルの特徴ベクトルテーブルにおけるマッピング関係を取得するように構成されるマッピング関係取得ユニット（図示せず）と、当該マッピング関係により、上記記憶位置に基づいて対応する画像素材の素材ライブラリの記憶ファイルにおける記憶アドレスを取得するように構成される記憶アドレス取得ユニット（図示せず）とを備える。

本実施例の代替実施形態において、生成モジュール６０６は、上記記憶ファイルを読み取るように構成される読み取りユニット（図示せず）と、各記憶アドレスに基づき、当該記憶ファイルからそれぞれ対応する画像素材を取得するように構成される素材取得ユニット（図示せず）と、取得された各画像素材でターゲット画像において対応する各画像ブロックを置換してモザイク画像を生成するように構成される置換ユニット（図示せず）とを備える。

本実施例の代替実施形態において、モザイク画像の生成装置６００は、スクリーニングモジュール（図示せず）をさらに備え、スクリーニングモジュール（図示せず）は、画像を取得するように構成される画像取得ユニット（図示せず）と、前記画像の画素サイズが所定の画素サイズ範囲内にあるか否かを判断するように構成される画素サイズ判断ユニット（図示せず）と、前記画像の画素サイズが所定の画素サイズ範囲内にない場合、画像の画素サイズをターゲット画像とするように所定の画素サイズ範囲内に調整するように構成される画素サイズ調整ユニットとを備えてもよい。

本実施例の代替実施形態において、モザイク画像の生成装置６００は、画像素材生成モジュール（図示せず）をさらに備え、当該画像素材生成モジュールは、元画像を取得するように構成される元画像取得ユニット（図示せず）と、元画像を画像素材とするように所定サイズに変更するように構成される画像変更ユニット（図示せず）とを備えてもよい。その中で、上記変更は、画像領域選択、画素圧縮等の少なくとも１つを含むが、それらに限定されない。必要に応じて、元画像がストリートビュー画像（例えば、パノラマ画像におけるストリートビュー画像）である場合、当該ストリートビュー画像は、魚眼画像を含む画像である可能性がある。当該ストリートビュー画像に対する直接圧縮は、画像の細部損失またはエッジ歪みをもたらすおそれがある。この場合、画像素材生成モジュールは、元画像をボールモデルにマッピングしてから平面に逆投影するように構成される画像変換ユニット（図示せず）と、平面に逆投影された元画像を画像素材とするために所定のサイズに変更するように構成される変換画像変更ユニット（図示せず）とを備えてもよい。

また、モザイク画像の生成装置６００が、例えば、プロセッサ、メモリなどのいくつか他の公知の構造をさらに備えてもよく、本発明の実施例を曖昧にすることを回避するために、これらの公知の構造を図６に示さなかったことを、当業者は理解することができる。

本発明の実施例に記載されたモジュールまたはユニットは、ソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記載されたモジュールまたはユニットは、プロセッサに設定されてもよく、例えば、「分割モジュール、抽出モジュール、ベクトルテーブル取得モジュール、位置取得モジュール、アドレス取得モジュールおよび生成モジュールを備えるプロセッサ」として記載されてもよい。その中でも、これらのモジュールの名称は、ある場合において当該モジュールその自体を限定するものではなく、例えば、分割モジュールは、「ターゲット画像を複数の所定サイズの画像ブロックに分割するために構成されるモジュール」として記載されてもよい。

図７は、本発明の実施例に係るコンピュータシステムの構造模式図である。

以下、本発明の実施例を実現するための機器に適用されるコンピュータシステム７００を示す構造模式図である図７を参照する。

図７に示すように、コンピュータシステム７００は、読み出し専用メモリ（ＲＯＭ）７０２に記憶されているプログラムまたは記憶部７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたプログラムに基づいて様々な適当な動作および処理を実行することができる中央処理装置（ＣＰＵ）７０１を備える。ＲＯＭ ７０２に記憶されたプログラムまたは記憶部７０８からＲＡＭ ７０３にロードされたプログラムがＣＰＵ ７０１により実行された場合、ＣＰＵ ７０１は、本発明の前記実施形態に係るモザイク画像の生成方法を実行する。ＲＡＭ ７０３には、システム７００の操作に必要な様々なプログラムおよびデータがさらに記憶されている。ＣＰＵ ７０１、ＲＯＭ ７０２およびＲＡＭ ７０３は、バス７０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続されている。

キーボード、マウスなどを含む入力部７０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、およびスピーカなどを含む出力部７０７、ハードディスクなどを含む記憶部７０８、およびＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部７０９は、Ｉ／Ｏインターフェース７０５に接続されている。通信部７０９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ７１０は、必要に応じてＩ／Ｏインターフェース７０５に接続される。リムーバブルメディア７１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ７１０に取り付けられ、したがって、ドライバ６１０から読み出されたコンピュータプログラムが必要に応じて記憶部７０８にインストールされる。

特に、本発明の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部７０９を介してネットワークからダウンロードされてインストールされてもよく、および／またはリムーバブルメディア７１１からインストールされてもよい。

図面におけるフローチャートおよびブロック図は、本発明の各実施例に係るシステム、方法により実現可能なアーキテクチャ、機能および操作を示す。ここで、フローチャートまたはブロック図における各枠は、１つのモジュール、プログラムセグメント、またはコードの一部を代表してもよく、前記モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を達成するための１つ以上の実行可能な命令を含む。また、いくつかの代替実施態様として、枠に示された機能は、図面に示された順番で実行されなくてもよい。例えば、連続して示された２つの枠は、関連する機能に応じて、実際にほぼ並行に実行されてもよく、逆の順番で実行されてもよい。また、ブロック図および／またはフローチャートにおける各枠と、ブロック図および／またはフローチャートにおける枠の組合せは、規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、あるいは、専用ハードウェアとコンピュータの命令との組合せで実行されてもよい。

一方、本発明は、コンピュータ可読記憶媒体をさらに提供し、当該コンピュータ可読記憶媒体は、上記実施例の前記装置に含まれるコンピュータ可読記憶媒体であってもよく、独立に存在して端末に組み立てられていないコンピュータ可読記憶媒体であってもよい。前記コンピュータ可読記憶媒体は、１つ以上のプログラムを記憶し、前記プログラムは、１つ以上のプロセッサにより本発明に記載されたモザイク画像の生成方法を実行することに用いられる。

以上の記載は、本発明の好ましい実施例、および使用された技術的原理の説明に過ぎない。本発明に係る特許請求の範囲が、上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術案も含むべきであることを、当業者は理解すべきである。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴（これらに限定されない）とを互いに置き換えてなる技術案が挙げられる。

いくつかの実施例において、前記画像素材と前記素材特徴ベクトルとの対応関係により、前記記憶位置に基づいて対応する画像素材の記憶アドレスを取得する前記ステップは、前記画像素材の前記素材ライブラリの記憶ファイルにおける記憶アドレスと前記画像素材に対応する素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置とのマッピング関係を取得するステップと、前記マッピング関係により、前記記憶位置に基づいて対応する画像素材の前記素材ライブラリの記憶ファイルにおける記憶アドレスを取得するステップとを含む。

いくつかの実施例において、前記アドレス取得モジュールは、前記画像素材の前記素材ライブラリの記憶ファイルにおける記憶アドレスと前記画像素材に対応する素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置とのマッピング関係を取得するように構成されるマッピング関係取得ユニットと、前記マッピング関係により、前記記憶位置に基づいて対応する画像素材の前記素材ライブラリの記憶ファイルにおける記憶アドレスを取得するように構成される記憶アドレス取得ユニットとを、さらに備える。

本実施例のいくつかの実施形態において、電子機器または遠隔サーバは、まず画像素材の素材ライブラリの記憶ファイルにおける記憶アドレスと画像素材に対応する素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置とのマッピング関係を取得し、次に上記マッピング関係により、記憶位置に基づいて対応する画像素材の素材ライブラリの記憶ファイルにおける記憶アドレスを取得する。その中で、上記マッピング関係は、電子機器または遠隔サーバのメモリに予め記憶されてもよい。上記記憶ファイルは、素材ライブラリにおけるすべての画像素材の電子機器または遠隔サーバのメモリにおける存在形態である。必要に応じて、記憶ファイルは、画像の圧縮フォーマット（例えば、ｊｐｇフォーマット等）を含んでもよく、画素点の色値のバイナリフォーマット等であってもよく、本発明はこれを限定しない。例として、記憶ファイルは画像素材の各画素点のＲ、Ｇ、Ｂの３つの色チャネルにおける数値で構成されるバイナリファイルであってもよい。この場合、当該バイナリファイルを取得すると、画像素材の各画素点のＲ、Ｇ、Ｂの３つの色チャネルにおける数値に基づいて画像素材を表示できる。

本実施例の代替実施形態において、アドレス取得モジュール６０５は、画像素材の素材ライブラリの記憶ファイルにおける記憶アドレスと画像素材に対応する素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置とのマッピング関係を取得するように構成されるマッピング関係取得ユニット（図示せず）と、当該マッピング関係により、上記記憶位置に基づいて対応する画像素材の素材ライブラリの記憶ファイルにおける記憶アドレスを取得するように構成される記憶アドレス取得ユニット（図示せず）とを備える。

Claims (19)

1. ターゲット画像を複数の所定サイズの画像ブロックに分割するステップと、
   各画像ブロックから画像ブロックの特徴ベクトルを抽出するステップと、
   素材ライブラリに対応する、前記素材ライブラリにおける各画像素材の素材特徴ベクトルを記憶するための特徴ベクトルテーブルを取得するステップと、
   各画像ブロックの特徴ベクトルに対して、マッチングされた素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を取得するステップと、
   前記画像素材と前記素材特徴ベクトルとの対応関係により、前記記憶位置に基づいて対応する画像素材の記憶アドレスを取得するステップと、
   各記憶アドレスに基づいて対応する画像素材を取得し且つモザイク画像を生成するステップとを含むことを特徴とする
   モザイク画像の生成方法。
2. 前記各画像ブロックの特徴ベクトルに対して、マッチングされた素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を取得するステップは、
   各素材特徴ベクトルを検索する際に検索順序、および素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を提供するための、前記特徴ベクトルテーブルのインデックス構造を取得するステップと、
   各画像ブロックの特徴ベクトルに対して、前記インデックス構造に応じて前記特徴ベクトルテーブルからマッチングされた素材特徴ベクトルを検索するステップと、
   前記インデックス構造からマッチングされた各素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を取得するステップとを含むことを特徴とする
   請求項１に記載の方法。
3. 前記インデックス構造の生成は、
   前記特徴ベクトルテーブルを各素材特徴ベクトルの近傍関係に応じて分割し、且つツリー構造を生成するステップと、
   各素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置で前記ツリー構造において対応する各素材特徴ベクトルを置換して前記特徴ベクトルテーブルのインデックス構造を生成するステップと、を含むことを特徴とする
   請求項２に記載の方法。
4. 前記画像素材と前記素材特徴ベクトルとの対応関係により、前記記憶位置に基づいて対応する画像素材の記憶アドレスを取得する前記ステップは、
   前記画像素材の前記素材ライブラリの記憶ファイルにおける記憶アドレスと、前記画像素材に対応する素材特徴ベクトルの特徴ベクトルテーブルにおける記憶位置とのマッピング関係を取得するステップと、
   前記マッピング関係により、前記記憶位置に基づいて対応する画像素材の前記素材ライブラリの記憶ファイルにおける記憶アドレスを取得するステップとを含むことを特徴とする
   請求項１に記載の方法。
5. 前記各記憶アドレスに基づいて対応する画像素材を取得し且つモザイク画像を生成する前記ステップは、
   前記記憶ファイルを読み取るステップと、
   各記憶アドレスに基づき、前記記憶ファイルから対応する画像素材をそれぞれ取得するステップと、
   取得された各画像素材で前記ターゲット画像において対応する各画像ブロックを置換してモザイク画像を生成するステップとを含むことを特徴とする
   請求項４に記載の方法。
6. 前記ターゲット画像を複数の所定サイズの画像ブロックに分割する前記ステップの前に、
   画像を取得するステップと、
   前記画像の画素サイズが所定の画素サイズ範囲内にあるか否かを判断するステップと、
   前記画像の画素サイズが所定の画素サイズ範囲内にない場合、前記画像の画素サイズを、ターゲット画像とするように所定の画素サイズ範囲内に調整するステップとをさらに含むことを特徴とする
   請求項１〜５のいずれか１項に記載の方法。
7. 元画像を取得するステップと、
   前記元画像を、画像素材とするように所定サイズの画像に変更するステップとをさらに含み、
   前記変更は、画像領域選択、画素圧縮の中の少なくとも１つを含むことを特徴とする
   請求項１〜５のいずれか１項に記載の方法。
8. 前記元画像を、画像素材とするように所定サイズの画像に変更する前記ステップは、
   前記元画像をボールモデルにマッピングしてから平面に逆投影するステップと、
   平面に逆投影された元画像を、画像素材とするように所定サイズの画像に変更するステップとをさらに含むことを特徴とする
   請求項７に記載の方法。
9. ユーザが素材ライブラリを選択するために、画像素材を複数の素材ライブラリに分類して記憶するステップをさらに含むことを特徴とする
   請求項７に記載の方法。
10. ターゲット画像を複数の所定サイズの画像ブロックに分割するように構成される分割モジュールと、
    各画像ブロックから画像ブロックの特徴ベクトルを抽出するように構成される抽出モジュールと、
    素材ライブラリに対応する、前記素材ライブラリにおける各画像素材の素材特徴ベクトルを記憶するための特徴ベクトルテーブルを取得するように構成されるベクトルテーブル取得モジュールと、
    各画像ブロックの特徴ベクトルに対して、マッチングされた素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を取得するように構成される位置取得モジュールと、
    前記画像素材と前記素材特徴ベクトルとの対応関係により、前記記憶位置に基づいて対応する画像素材の記憶アドレスを取得するように構成されるアドレス取得モジュールと、
    各記憶アドレスに基づいて対応する画像素材を取得し且つモザイク画像を生成するように構成される生成モジュールとを備えることを特徴とする
    モザイク画像の生成装置。
11. 前記位置取得モジュールは、
    各素材特徴ベクトルを検索する際に検索順序、および素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を提供するための、前記特徴ベクトルテーブルのインデックス構造を取得するように構成されるインデックス構造取得ユニットと、
    各画像ブロックの特徴ベクトルに対して、前記インデックス構造に応じて前記特徴ベクトルテーブルからマッチングされた素材特徴ベクトルを検索するように構成される検索ユニットと、
    前記インデックス構造からマッチングされた各素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置を取得するように構成される記憶位置取得ユニットとをさらに備えることを特徴とする
    請求項１に記載の装置。
12. 前記位置取得モジュールは、
    前記特徴ベクトルテーブルを各素材特徴ベクトルの近傍関係に応じて分割し、且つツリー構造を生成し、
    各素材特徴ベクトルの前記特徴ベクトルテーブルにおける記憶位置で前記ツリー構造において対応する各素材特徴ベクトルを置換して前記特徴ベクトルテーブルのインデックス構造を生成するように構成されるインデックス構造生成ユニットをさらに備えることを特徴とする
    請求項１１に記載の装置。
13. 前記アドレス取得モジュールは、
    前記画像素材の前記素材ライブラリの記憶ファイルにおける記憶アドレスと、前記画像素材に対応する素材特徴ベクトルの特徴ベクトルテーブルにおけるマッピング関係を取得するように構成されるマッピング関係取得ユニットと、
    前記マッピング関係により、前記記憶位置に基づいて対応する画像素材の前記素材ライブラリの記憶ファイルにおける記憶アドレスを取得するように構成される記憶アドレス取得ユニットとをさらに備えることを特徴とする
    請求項１０に記載の装置。
14. 前記生成モジュールは、
    前記記憶ファイルを読み取るように構成される読み取りユニットと、
    各記憶アドレスに基づき、前記記憶ファイルから対応する画像素材をそれぞれ取得するように構成される素材取得ユニットと、
    取得された各画像素材で前記ターゲット画像において対応する各画像ブロックを置換してモザイク画像を生成するように構成される置換ユニットとをさらに備えることを特徴とする
    請求項１３に記載の装置。
15. 画像を取得するように構成される画像取得ユニットと、
    前記画像の画素サイズが所定の画素サイズ範囲内にあるか否かを判断するように構成される画素サイズ判断ユニットと、
    前記画像の画素サイズが所定の画素サイズ範囲内にない場合、前記画像の画素サイズを、ターゲット画像とするように所定の画素サイズ範囲内に調整するように構成される画素サイズ調整ユニットとを備えるスクリーニングモジュールをさらに備えることを特徴とする
    請求項１０〜１４のいずれか１項に記載の装置。
16. 元画像を取得するように構成される元画像取得ユニットと、
    前記元画像を、画像素材とするように所定サイズに変更するように構成される画像変更ユニットとを備える画像素材生成モジュールをさらに備え、
    前記変更は、画像領域選択、画素圧縮の中の少なくとも１つを含むことを特徴とする
    請求項１０〜１４のいずれか１項に記載の装置。
17. 画像素材生成モジュールは、
    前記元画像をボールモデルにマッピングしてから平面に逆投影するように構成される画像変換ユニットと、
    平面に逆投影された元画像を、画像素材とするように所定サイズに変更するように構成される変換画像変更ユニットとをさらに備えることを特徴とする
    請求項１６に記載の装置。
18. プロセッサと、
    メモリとを備え、
    前記メモリにおいて、前記プロセッサによって実行可能なコンピュータ可読命令が記憶され、前記コンピュータ可読命令が実行されると、前記プロセッサが請求項１〜９のいずれか１項に記載の方法を実行する
    機器。
19. プロセッサによって実行可能なコンピュータ可読命令が記憶され、前記コンピュータ可読命令がプロセッサに実行されると、前記プロセッサが請求項１〜９のいずれか１項に記載の方法を実行する
    不揮発性コンピュータ記憶媒体。