JP2019200782A - グリフを生成する方法並びに生成されたグリフに基づきデータの視覚的表現を作成する方法、プログラム及びコンピュータ装置 - Google Patents

Abstract

【課題】容易にグリフを生成する方法並びにデータの視覚的表現を作成するための方法、プログラム及びコンピュータ装置を提供する。【解決手段】データの視覚的表現を作成するための方法は、グリフによって表されるユーザ入力を受信するステップ、受信したユーザ入力に基づいて抽出されたベクトルに基づいて、ニューラルネットワークによってグリフを生成するステップ、生成されたグリフの態様を、視覚的に表現されるデータの属性とリンクするステップ、及び生成されたグリフを使用して作成されたデータの視覚的表現を表示して、データのリンクされた態様を表すステップを含むことができる。【選択図】図１

Description

本開示は、グリフを生成する方法並びに生成された固有のグリフ（ｇｌｙｐｈ）又はアイコンを使用するデータ表現に関し、より具体的には、初期ユーザ入力に基づいて機械によって生成されたグリフ又はアイコンを使用して、データの視覚的表現を自動的に作成する方法、プログラム及びコンピュータ装置に関する。

グリフ又はアイコンは、データのデジタル表示において、データや考えの表現に使用されることが増加している。例えば、データ内のメッセージを視覚的かつ表現的に伝達するために一般的に使用される情報画像チャート（ｉｎｆｏｇｒａｐｈｉｃ ｃｈａｒｔ）では、グリフ又はアイコンを使用することができる。情報画像（インフォグラフィック）におけるグリフ又はアイコンはインフォグラフィックスの不可欠な要素であり、インフォグラフィックスは簡潔な情報を伝えて魅力的なデザインを提供するために必要となることが多く、より高いレベルのプロ精神をもたらすことができる。グリフ又はアイコンは、メッセージや概念を表現するためにメッセージングや通信プラットフォームでも一般的に使用される。例えば、絵文字のグリフ又はアイコンは、最小限の言葉で、又は全く言葉を使用せず簡潔に感情や考えを表現するためにたびたび使用される。

RADFORD, A. et al., "Unsupervised Representation Learning With Deep Convolutional General Adversarial Networks", November 19, 2015, pp.1-15. HA, D., et al., "A Neural Representation of Sketch Drawings", April 16, 2017, pp. 1-20. HAROZ, S., et al., "ISOTYPE Visualization-Working Memory, Performance, and Engagement with Pictographs", In Proceeding of the 33rd Annual ACM Conference on Human Factors in Computing Systems, CHI'15, Seoul, Republic of Korea, April 18-23, 2015 (10 pages). KIM, N. W., et al., "Data-Driven Guides: Supporting Expressive Design for Information Graphics. IEEE Transactions on Visualization and Computer Graphics Forum, 2017 (10 pages). SATYANARAYAN A., et al., "Lyra: An Interactive Visualization Design Environment". Computer Graphics Form, Volume 33 (2014), Number 3 (10 pages). SETLUR, V., et al., "Automatic Generation of Semantic Icon Encodings for Visualizations". Session: Designing and Understanding Visualizations, CHI' 2014, One of a CHInd, April 26-May 1, 2014, Toronto, ON, Canada, pp. 541-550. GOODFELLOW, I. J., et al., "Generative Adversarial Nets", (NIPS 2014), pp. 1-9.

様々な考えや概念を正確に把握するために、これらのグリフ又はアイコンはかなりの編集努力を必要とすることがある。編集作業を軽減するために、デザイナーがインフォグラフィックスやメッセージングアプリケーションに加えるための変更されたグリフ又はアイコンを作成するのを支援するための関連技術のオーサリング（ａｕｔｈｏｒｉｎｇ）ツールが開発されている。しかしながら、関連技術ツールの多くでは、ユーザはグリフを最初から作成することを要求され、これはアマチュアユーザの能力を超えている可能性がある。他の関連技術ツールは、単に既存のデータベース内の関連するグリフを検索するためのものであり、新鮮味がないと認識されたり、著作権違反の問題が生じる可能性がある。本出願の例示的実施形態は、これらの欠点に対処することができる。本開示の技術は、このような欠点に対処するため、容易にグリフを生成する方法並びにデータの視覚的表現を作成する方法、プログラム及びコンピュータ装置を提供する。

本出願の態様は、データの視覚的表現を作成する方法に関連し得る。この方法は、グリフによって表されるユーザ入力を受信するステップ、受信されたユーザ入力に基づいて抽出されたベクトルに基づいて、ニューラルネットワークによってグリフを生成するステップ、生成されたグリフの態様を、視覚的に表現されるデータの属性とリンクするステップ、及び生成されたグリフを使用して作成されたデータの視覚的表現を表示して、データのリンクされた態様を表すステップを含むことができる。

上記の方法において、グリフを生成するステップは、表されるデータの属性におけるバリエーションのタイプを検出するステップと、受信されたユーザ入力と、表されるデータの検出されたバリエーションとに基づいて、生成されるグリフの態様の１つのバリエーションを含む複数のグリフを生成するステップと、を含み、生成されたグリフの態様を属性とリンクするステップは、複数のグリフの各々を、表されるデータの属性におけるバリエーションの１つに関連付けるステップをさらに含み、データの視覚的表現を表示するステップは、複数のグリフを含むチャートを提供するステップを含む。

上記の方法において、チャートを提供するステップは、チャートタイプを指定するユーザからチャートパラメータを受信するステップと、受信されたチャートパラメータによって指定されたチャートタイプに対応するチャートタイプを有するチャートを、複数のグリフに重ねるステップであって、チャートは、表されるデータの別の属性に関連付けられるステップと、を含む。

上記の方法において、チャートを提供するステップは、ニューラルネットワークによって、データの別の属性における別のタイプのバリエーションの検出に基づいてチャートタイプを指定するチャートパラメータを決定するステップと、決定されたチャートパラメータによって指定されたチャートタイプに対応するチャートタイプを有するチャートを、複数のグリフに重ねるステップであって、チャートは、表されるデータの別の属性に関連付けられるステップと、を含む。

上記の方法において、受信されたユーザ入力から抽出されたベクトルに基づいてグリフを生成するステップは、第１のニューラルネットワークによって、抽出されたベクトルをランダムに生成されたベクトルと結合させて有望なグリフを生成するステップと、第２のニューラルネットワークによって、生成された有望なグリフを、受信されたユーザ入力に基づいて選択された１又は複数の格納された画像と比較するステップと、第２のニューラルネットワークが有望なグリフを１又は複数の選択された画像から区別できないことを示す比較に基づいて、データの属性にリンクする有望なグリフを選択するステップと、有望なグリフが１又は複数の選択された画像とは異なるとする第２のニューラルネットワークの判定に基づいて、第１のニューラルネットワークによって別の有望なグリフを生成するステップと、を含む。

上記の方法において、第１のニューラルネットワークは、訓練データに提供された既存のグリフと高い類似性を有する有望なグリフを生成するように訓練されており、第２のニューラルネットワークは、類似性判定モデルを生成するために、類似する又は類似しないものとしてタグ付けされたグリフと他の画像との複数の対で訓練されている。

上記の方法は、単語、短い記述、ユーザ生成されたスケッチ、及びユーザ生成されたストローク、のうちの１又は複数を含むユーザ入力を受信するように構成されたユーザインタフェースを、ディスプレイ上に提供するステップをさらに含む。

上記の方法は、追加のユーザ入力を受信するステップと、追加のユーザ入力に基づいて生成されたグリフを、ニューラルネットワークによって更新するステップと、をさらに含み、追加のユーザ入力は、更新されたユーザ生成されたスケッチ、及び追加のユーザ生成されたストローク、のうちの１又は複数を含む。

上記の方法において、グリフを生成するステップは、ニューラルネットワークによって、生成されたグリフを、著作権保護の対象であることが知られている１又は複数の格納されたグリフと比較するステップと、生成されたグリフと、著作権保護の対象であることが知られている１又は複数の格納されたグリフとの間の類似性が閾値を超えないことを示す比較に基づいて、データの属性にリンクする有望なグリフを選択するステップと、生成されたグリフと、著作権保護の対象であることが知られている１又は複数の格納されたグリフとの間の類似性が閾値を超えることを示す比較に基づいて、ニューラルネットワークによって別の有望なグリフを生成するステップと、をさらに含む。

本出願の追加の態様は、データの視覚的表現を作成する方法をコンピュータに実行させるプログラムを記憶した非一時的なコンピュータ可読媒体に関するものとしてもよい。この方法は、グリフによって表されるユーザ入力を受信すること、受信したユーザ入力に基づいて抽出されたベクトルに基づいて、ニューラルネットワークによってグリフを生成すること、生成されたグリフの態様を、視覚的に表現されるデータの属性とリンクすること、及び生成されたグリフを使用して作成されたデータの視覚的表現を表示して、データのリンクされた態様を表すことを含むことができる。

本出願の追加の態様は、コンピュータに、データの視覚的表現を作成する手順を実行させるためのプログラムであって、その手順は、グリフによって表されるユーザ入力を受信する手順と、受信されたユーザ入力に基づいて抽出されたベクトルに基づいて、ニューラルネットワークによってグリフを生成する手順と、生成されたグリフの態様を、視覚的に表現されるデータの属性とリンクする手順と、生成されたグリフを使用して作成されたデータの視覚的表現を表示して、データのリンクされた態様を表す手順と、を含む。

上記のプログラムにおいて、グリフを生成する手順は、表されるデータの属性におけるバリエーションのタイプを検出する手順と、受信されたユーザ入力と、表されるデータの検出されたバリエーションとに基づいて、生成されるグリフの態様の１つのバリエーションを含む複数のグリフを生成する手順と、を含み、生成されたグリフの態様を属性とリンクする手順は、複数のグリフの各々を、表されるデータの属性におけるバリエーションの１つに関連付ける手順をさらに含み、データの視覚的表現を表示する手順は、複数のグリフを含むチャートを提供する手順を含む。

上記のプログラムにおいて、チャートを提供する手順は、チャートタイプを指定するユーザからチャートパラメータを受信する手順と、受信されたチャートパラメータによって指定されたチャートタイプに対応するチャートタイプを有するチャートを、複数のグリフに重ねる手順であって、チャートは、表されるデータの別の属性に関連付けられる手順と、を含む。

上記のプログラムにおいて、チャートを提供する手順は、ニューラルネットワークによって、データの別の属性における別のタイプのバリエーションの検出に基づいてチャートタイプを指定するチャートパラメータを決定する手順と、決定されたチャートパラメータによって指定されたチャートタイプに対応するチャートタイプを有するチャートを、複数のグリフに重ねる手順であって、チャートは、表されるデータの別の属性に関連付けられる手順と、を含む。

上記のプログラムにおいて、受信されたユーザ入力から抽出されたベクトルに基づいてグリフを生成する手順は、第１のニューラルネットワークによって、抽出されたベクトルをランダムに生成されたベクトルと結合させて有望なグリフを生成する手順と、第２のニューラルネットワークによって、生成された有望なグリフを、受信されたユーザ入力に基づいて選択された１又は複数の格納された画像と比較する手順と、第２のニューラルネットワークが有望なグリフを１又は複数の選択された画像から区別できないことを示す比較に基づいて、データの属性にリンクする有望なグリフを選択する手順と、有望なグリフが１又は複数の選択された画像とは異なるとする第２のニューラルネットワークの判定に基づいて、第１のニューラルネットワークによって別の有望なグリフを生成する手順と、を含む。

上記のプログラムにおいて、第１のニューラルネットワークは、訓練データに提供された既存のグリフと高い類似性を有する有望なグリフを生成するように訓練されており、第２のニューラルネットワークは、類似性判定モデルを生成するために、類似又は類似しないものとしてタグ付けされたグリフと他の画像との複数の対で訓練されている。

上記のプログラムは、単語、短い記述、ユーザ生成されたスケッチ、及びユーザ生成されたストローク、のうちの１又は複数を含むユーザ入力を受信するように構成されたユーザインタフェースを、ディスプレイ上に提供する手順をさらに含む。

上記のプログラムは、追加のユーザ入力を受信する手順と、追加のユーザ入力に基づいて生成されたグリフを、ニューラルネットワークによって更新する手順と、をさらに含み、追加のユーザ入力は、更新されたユーザ生成されたスケッチ、及び追加のユーザ生成されたストロークのうちの１又は複数を含む。

上記のプログラムにおいて、グリフを生成する手順は、ニューラルネットワークによって、生成されたグリフを、著作権保護の対象であることが知られている１又は複数の格納されたグリフと比較する手順と、生成されたグリフと、著作権保護の対象であることが知られている１又は複数の格納されたグリフとの間の類似性が閾値を超えないことを示す比較に基づいて、データの属性にリンクする有望なグリフを選択する手順と、生成されたグリフと、著作権保護の対象であることが知られている１又は複数の格納されたグリフとの間の類似性が閾値を超えることを示す比較に基づいて、ニューラルネットワークによって別の有望なグリフを生成する手順と、をさらに含む。

本出願のさらなる態様は、グリフを生成する方法に関する。この方法は、ディスプレイ上にユーザインタフェースを提供するステップであって、ユーザインタフェースは、グリフによって表されるユーザ入力を受信するように構成され、ユーザ入力は、単語、短い記述、ユーザ生成されたスケッチ及びユーザ生成されたストロークのうちの１又は複数を含むステップ、受信されたユーザ入力に基づいて抽出されたベクトルに基づいて、ニューラルネットワークによって有望なグリフを生成するステップ、及び生成された有望なグリフを選択用に表示するステップ、を含んでもよい。

上記の方法において、受信されたユーザ入力に基づいて抽出されたベクトルに基づいて有望なグリフを生成するステップは、第１のニューラルネットワークによって、抽出されたベクトルをランダムに生成されたベクトルと結合させて有望なグリフを生成するステップと、第２のニューラルネットワークによって、生成された有望なグリフを、受信されたユーザ入力に基づいて選択された１又は複数の格納された画像と比較するステップと、第２のニューラルネットワークが有望なグリフを１又は複数の選択された画像から区別できないことを示す比較に基づいて、データの属性にリンクする有望なグリフを選択するステップと、有望なグリフが１又は複数の選択された画像とは異なると判定する第２のニューラルネットワークの判定に基づいて、第１のニューラルネットワークによって別の有望なグリフを生成するステップと、を含む。

本願のさらに別の態様は、データの視覚的表現を作成するように構成されたコンピュータ装置に関する。コンピュータ装置は、グリフによって表されるユーザ入力を受信する手段、受信したユーザ入力に基づいて抽出されたベクトルに基づいて、ニューラルネットワークによってグリフを生成する手段、生成されたグリフの態様を、視覚的に表現されるデータの属性とリンクする手段、及び生成されたグリフを使用して作成されたデータの視覚的表現を表示して、データのリンクされた態様を表す手段を含むことができる。

本出願のさらに別の態様は、グリフを生成するように構成されたコンピュータ装置に関する。コンピュータ装置は、ディスプレイ上にユーザインタフェースを提供する手段であって、ユーザインタフェースは、グリフによって表されるユーザ入力を受信するように構成され、ユーザ入力は、単語、短い記述、ユーザ生成されたスケッチ及びユーザ生成されたストロークのうちの１又は複数を含む手段、受信されたユーザ入力に基づいて抽出されたベクトルに基づいて、ニューラルネットワークによって有望なグリフを生成する手段、及び生成された有望なグリフを選択用に表示する手段を含む。

本出願の例示的実施形態によるインフォグラフィック用のグリフ又はアイコンを生成するためのプロセスのフローチャートである。 本出願の例示的実施形態によるインフォグラフィック用のグリフ又はアイコンを生成するための別のプロセスのフローチャートである。 本出願の例示的実施形態によるシステムを制御するために使用されてもよいユーザインタフェース（ＵＩ）である。 本出願の例示的実施形態によるグリフ又はアイコンを生成するためのプロセスのフローチャートである。 本出願の例示的実施形態による図４に示すグリフ生成プロセスの概略図である。 本出願の例示的実施形態によって実験的に作成された例示的グリフタイプの生成された画像のグリッドである。 本出願の幾つかの例示的実施形態において使用するのに適した例示的コンピュータ装置を有する例示的コンピューティング環境を示す図である。

以下の詳細な説明は、本出願の図面及び例示的実施形態のさらなる詳細を提供する。明確化のために図面間の冗長要素の参照番号及び説明は省略している。明細書全体にわたって使用されている用語は、例として提供されており、限定を意図するものではない。例えば、「自動」という用語の使用は、本出願を実施する当業者の所望の実施に応じて、実施の特定の態様に対するユーザ制御又はオペレータ制御を含む完全自動又は半自動の実施を含んでもよい。さらに、「第１」、「第２」、「第３」等などの逐次的な用語は、単にラベル付け目的のために説明及び請求項において使用されてもよく、記載された順番で起こる動作又は品物を参照するように限定されるべきではない。動作又は品物は、本出願の範囲から逸脱することなく、異なる順番に順序付けられてもよいし、並列又は動的に実行されてもよい。

上述したように、インフォグラフィックスの注釈又はメッセージングプラットフォームでの使用のためにグリフ（アイコン）を得ることは煩雑なことがある。例えば、ユーザはそれらを作成できない可能性があり、検索によって特定されたグリフは、著作権の問題及び同じスタイルのセットを識別する困難さをもたらす可能性がある。本出願の例示的実施形態は、ニューラルネットワークを用いて対話的にグリフオーサリングを作成、変更及び案内する際にユーザを支援するシステム及び方法を含むことができる。このシステムは、著作権で保護されていないグリフのバリエーションを提供するグリフ画像生成装置と、以下に詳細に説明するグリフの作成を支援するためのインタフェースとを含むことができる。

より広い範囲のユーザにサービスを提供するために、例示的な実施形態は、ユーザが所望のグリフを作成するために初期化及び編集するための様々な候補のグリフ画像を示すグリフ画像生成装置を用いることができる。既存のデータベースで関連するグリフを検索する場合と比較して、生成されたグリフは固有で新しく、著作権の問題を回避することができる。さらに、幾つかの例示的実施形態では、生成されたグリフは既知の著作権保護されたアイコン又はグリフと比較されてもよく、検出された類似性が閾値を超えると、生成されたグリフは拒否されてもよく、後に生成されるグリフにおいて相違点を大きくするために生成モデルは更新されてもよい。

さらに、グリフ画像生成装置は、ユーザの画像及びテキストの編集に基づいてグリフ画像を自動的に再生成することによって、ユーザのフィードバックを対話型プロセスに統合することができるため、より高度なカスタマイズを提供してもよい。システムによって作成された生成されたグリフは、かなりの変化を示す可能性があり、これは、インフォグラフィックスで使用するための創造的なデザインをブレーンストーミングで検討するための有効な参考になる可能性がある。

さらに、関連するシステムでは、人間の図面のようなスケッチを生成するために一連のストローク（ｓｔｒｏｋｅｓ）を学習することができるかもしれないが、例示的な例示的実施形態によるＤＣＧＡＮ（深層畳み込み（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ）敵対的生成ネットワーク）ジェネレータは、ストローク又は描画シーケンス訓練情報で訓練する必要はない。

本出願では、「画像」及び「図面」という用語は、写真、ビデオ、３次元又は３６０度の画像記録、図面、絵画、スケッチ、コンピュータ生成画像、又は現実世界における品物、イベント、又は出来事を生成、取得、又は表してもよいその他の視覚的表現のうちの１又は複数を説明するのに区別なく使用されてもよい。「画像」及び「図面」は、磁気記憶装置、光学記憶装置、ソリッドステート記憶装置、有機記憶装置、又は当業者には明らかであろうその他の記憶装置を含むがこれらに限定されないコンピュータ可読媒体上のデータファイル又は他のデータ構造として格納されてもよい。

同様に、用語「グリフ」、「アイコン」、又は「図面」は、当業者には明らかであろう単語、句、対象、場所、人物、又は物のグラフィック概念表現を説明するのに区別なく使用されてもよい。さらに、「グリフ」、「アイコン」、又は「図面」は、磁気記憶装置、光学記憶装置、固体記憶装置、有機記憶装置、又は当業者には明らかであろうその他の記憶装置を含むがこれらに限定されないコンピュータ可読媒体上のデータファイル又は他のデータ構造として格納されてもよい。さらに、コンピュータ可読媒体は、ローカル記憶装置、クラウドベースの記憶装置、遠隔にあるサーバ、又は当業者には明らかであろうその他の記憶装置を含んでもよい。

図１は、本出願の例示的実施形態によるインフォグラフィック用のグリフ又はアイコンを生成するためのプロセス１００のフローチャートである。プロセス１００は、以下に説明する図７に示す例示的なコンピューティング環境７００の例示的なコンピューティング装置７０５などのコンピューティング環境内のコンピューティング装置によって実行することができる。コンピューティング装置は、コンピュータ装置とも称する。プロセス１００の要素は特定の順番で例示することができるが、例示的実施形態は図示される特定の順番に限定されない。例示的実施形態は、当業者には明らかであるように、異なる順番に順序付けられている動作、又は本出願の範囲から逸脱することなく、並列又は動的に実行されてもよい動作を含むことができる。

図１に示すように、生成されたグリフによって表すべきユーザ入力は、１０５においてシステムによって受信される。幾つかの例示的実施形態では、ユーザ入力は、「りんご」などの短いテキスト記述１１０を入力すること、又はスケッチ若しくは数ストローク１１５を描くこと、又はその両方を含むことができる。ユーザ入力は、後述する図３に示すＵＩ３００などのユーザインタフェース（ＵＩ）を使用してユーザによって提供されてもよい。１２０において、システムは、ユーザ入力（例えば、短いテキスト記述１１０及びスケッチ又は数ストローク１１５）を受け取り、提供されるテキスト記述１１０及び／又はスケッチ／ストローク１１５に基づいて、深層学習又は機械プロセスを使用して、ある範囲のグリフ１２５を生成する。幾つかの例示的実施形態では、これらのグリフ１２５は、ユーザによって所望によりさらに編集されてもよく、システムは、それに応じて新しいセットのグリフを生成するために１０５及び１２０を繰り返すことができる。

さらに、幾つかの例示的実施形態では、表されるべきデータ１３５を、１２０におけるグリフ生成に影響を与えるために、所望により使用してもよい。例えば、分散又は変動性などのデータ１３５のある属性（ａｔｔｒｉｂｕｔｅｓ）は、生成された異なるタイプのグリフの数、又は生成された異なるグリフ間のバリエーションの程度に影響を与え得る。グリフ生成の追加の態様（ａｓｐｅｃｔｓ）については、以下の図４のサブプロセス４００に関して、より詳細に後述する。

グリフ生成１２０と並行して、１４０で、グリフの描画特性をデータ１３５の属性にリンクし、データセット１３５内の各エントリセットに対するグリフの外観を調整するために、ユーザ入力１０５を使用することができる。例えば、完成したインフォグラフィックにおいてリンクされるデータの属性（例えば値、範囲、カテゴリなど）及び描画特性（例えば、ストローク／線の色、塗りつぶしの不透明度、グリフのタイプ、塗りつぶしの色、塗りつぶしのパターン、ストローク／線の幅、ストローク／線のパターンなど）を指定するために、図３のＵＩ３００などのＵＩを使用してもよい。

さらに、グリフ生成１２０及び属性リンク１４０と並行して、ユーザ入力１０５及びデータ１３５は、インフォグラフィックを生成するために使用されるチャートレイアウトパラメータ１３０を指定するために、所望により使用されてもよい。例えば、行データセットを視覚化する異なるチャートレイアウトを選択し、生成されたグリフを基本チャートレイアウトにさらに加えるために、図３のＵＩ３００などのＵＩを使用することができる。

グリフ生成１２０、属性リンク１４０、及び所望によりチャートレイアウトパラメータ１３０によって生成されたグリフ１２５は、インフォグラフィックを生成するために１４５で使用されてもよい。その後、ユーザは注釈を追加してチャート上で再編集を実行し、生成されたグリフによって増強された最終的な魅力的なインフォグラフィックを生成することができる。生成されたインフォグラフィックは、表示、格納、印刷、ソーシャルメディアへの掲示、又は当業者に明らかであり得る任意の方法で使用することができる。プロセス１００は、インフォグラフィックが１４５で生成された後に終了することができる。

図２は、本出願の例示的実施形態によるインフォグラフィック用のグリフ又はアイコンを生成するための別のプロセス２００のフローチャートである。プロセス２００の幾つかの態様は、図１に関して上述したプロセス１００と同様であってもよく、そのような重複する説明はここでは省略される場合がある。プロセス２００は、以下に説明する図７に示す例示的なコンピューティング環境７００の例示的なコンピューティング装置７０５などのコンピューティング環境内のコンピューティング装置によって実行することができる。プロセス２００の要素は特定の順番で例示することができるが、例示的実施形態は図示される特定の順番に限定されない。例示的実施形態は、当業者には明らかであるように、異なる順番に順序付けられている動作、又は本出願の範囲から逸脱することなく、並列又は動的に実行されてもよい動作を含むことができる。

図２に示すように、生成されたグリフによって表すべきユーザ入力は、２０５においてシステムによって受信される。幾つかの例示的実施形態では、ユーザ入力は、「りんご」などの短いテキスト記述２１０を入力すること、又はスケッチ若しくは数ストローク２１５を描くこと、又はその両方を含むことができる。ユーザ入力は、後述する図３に示すＵＩ３００などのユーザインタフェース（ＵＩ）を使用してユーザによって提供されてもよい。２２０において、システムは、ユーザ入力（例えば、短いテキスト記述１１０及びスケッチ又は数ストローク１１５）を受け取り、提供されるテキスト記述２１０及び／又はスケッチ／ストローク２１５に基づいて、ある範囲のグリフ２２５を生成するために、深層学習又は機械プロセスを使用することができる。幾つかの例示的実施形態では、これらのグリフ２２５は、ユーザによって所望によりさらに編集されてもよく、システムは、それに応じて新しいセットのグリフを生成するために２０５及び２２０を繰り返すことができる。

さらに、幾つかの例示的実施形態では、表されるべきデータ２３５は、２２０におけるグリフ生成に影響を与えるために所望により使用してもよい。例えば、分散又は変動性などのデータ２３５の特定の属性は、生成された異なるタイプのグリフの数、又は生成された異なるグリフ間のバリエーションの程度に影響を与え得る。グリフ生成の追加の態様については、以下の図４のサブプロセス４００に関して、より詳細に後述する。

グリフ生成２２０の後、生成されたグリフ２２５は、ユーザ入力２０５及びデータ２３５と組み合わせて、インフォグラフィックを生成するために使用されるチャートレイアウトパラメータ２３０を指定するために使用されてもよい。例えば、行データセットを視覚化する異なるチャートレイアウトを選択し、生成されたグリフを基本チャートレイアウトにさらに加えるために、図３のＵＩ３００などのＵＩを使用することができる。

さらに、チャートレイアウトパラメータが２３０で指定された後、２４０で、生成されたグリフ２２５の描画特性をデータ２３５の属性にリンクし、データセット２３５内の各セット又はエントリに対するグリフの外観を調整するために、ユーザ入力２０５を使用してもよい。例えば、完成したインフォグラフィックにおいてリンクされるデータの属性（例えば値、範囲、カテゴリなど）及び描画特性（例えば、ストローク／線の色、塗りつぶしの不透明度、グリフのタイプ、塗りつぶしの色、塗りつぶしのパターン、ストローク／線の幅、ストローク／線のパターンなど）を指定するために、図３のＵＩ３００などのＵＩを使用してもよい。

その後、２４５で、インフォグラフィックを生成するために、属性リンク２４０、グリフ２２５、リンクされた属性及びチャートレイアウトパラメータを使用することができる。その後、ユーザは注釈を追加してチャート上で再編集を実行し、生成されたグリフによって増強された最終的な魅力的なインフォグラフィックを生成することができる。生成されたインフォグラフィックは、表示、格納、印刷、ソーシャルメディアへの掲示、又は当業者に明らかであり得る任意の方法で使用することができる。プロセス２００は、２４５でインフォグラフィックが生成された後に終了することができる。

図３は、本出願の例示的実施形態によるシステムを制御するために使用されてもよいユーザインタフェース（ＵＩ）３００を示す。ＵＩ３００は、コンピュータモニタ、ＴＶ、モバイル装置のタッチ画面ディスプレイ、ラップトップディスプレイ画面、又は当業者には明らかであろう他の任意のディスプレイ装置を含むが、これに限定されないディスプレイ装置上に表示することができる。図示のように、ＵＩ３００は、主キャンバス３０５、グリフオーサリングパネル３１０、データバインディングパネル３１５、及びチャートレイアウトパネル３２０を含む４つの主パネルを含む。

グリフオーサリングパネル３１０上で、ユーザは、パネルの左側にある３つのボタン３２８ａ〜３２８ｃを使用して、対象を記述するテキスト（例えば、「ＴＶ」）を入力するか、又はその対象のクイックスケッチを描画することができる。幾つかの例示的実施形態では、グリフオーサリングパネル３１０は、ユーザがグリフオーサリングパネル３１０に直接描画することを可能にするタッチ画面ディスプレイとして実装されてもよく、又はユーザのストロークを捕捉して認識させることを可能にする電子スケッチパネル又は他の装置などのユーザ入力装置から入力を受信するように構成されてもよい。システムは、グリフオーサリングパネル３１０の推奨セクション３３０に示されている、ユーザ入力に基づいて、バリエーションを有するグリフのリストを生成することができる。

ユーザは、その推奨セクション３３０からグリフを選択して、ボタン３２８ａ及び３２８ｂを使用してスケッチを改良するためにストロークを適用することができ、幾つかの例示的実施形態では、ストロークを追加又は削除することができる。新しい入力に基づいて、システムは、グリフの新しいリストを生成することができ、推奨セクション３３０を更新することができる。これにより、グリフをオーサリングする反復的かつ対話型プロセスを形成することができる。幾つかの例示的実施形態では、ＵＩ３００はまた、おおよそ一貫したグリフを生成するために、ユーザが様々なグリフのレベルを調整することを可能にするスライダ３６０を含んでもよい。例えば、ユーザは、僅かな差しかないデータを表すために複数の類似のグリフを生成したい場合があってもよく、あるいはユーザは、大きく変化するデータを表すために複数の大きく変化するグリフを生成したい場合があってもよい。

さらに、幾つかの例示的実施形態では、ＵＩ３００はまた、パネルの右側の履歴セクション３３５に表示される生成されたグリフの閲覧履歴を含むことができ、これによりユーザは前に戻って以前に作成したグリフを選択することができる。これは、ユーザ用のカスタマイズされた動的グリフライブラリとして機能することができる。

グリフオーサリングパネル３１０は、特に、優れた芸術的スキルのない一般的な視聴者のために、グリフのキュレーション及びオーサリングでユーザを容易にし、又は支援することができる。例えば、ユーザが実際に描画が得意ではない場合、単語（例えば、図３の「ＴＶ」）を入力するだけでよく、ユーザが何らかの制御をしたいとは思うが、自信がない場合は、最初のストロークを描くことができる。どちらの場合も、プロのような図面を作成する障壁を低くするために、システムは様々なグリフを提示する。また、ユーザは満足していない場合、生成された結果をいつでも編集することができる。幾つかの例示的な実装では、グリフオーサリングパネル３１０は、別個のＵＩとして提供されてもよく、図３に示されるＵＩ３００などのインフォグラフィック生成ＵＩとは独立していてもよい。例えば、グリフオーサリングパネル３１０は、メッセージング又は通信プラットフォームの一部として、あるいはカスタムグリフ又はアイコンのオーサリング又は作成を必要とするその他のプラットフォームとして実装されてもよい。

ＵＩ３００に戻って、データバインディングパネル３１５は、初めにロードされる生データセットから、どの描画特性３５０（例えば、塗りつぶし色、ストローク幅など）を符号化すべきか、又はどのデータ属性３４０にリンクすべきかをユーザが選択できるようにしてもよい。例えば、ユーザは、異なる収入範囲を示すようにグリフの塗りつぶし色を設定することを希望してもよい。接続された描画特性とデータ属性は、データバインディングパネル３１５の上部（楕円３６５によって強調されている）に表示される。小さなデータ表３４５は、データセット及びその属性のプレビューを提供することができる。データバインディングパネル３１５はまた、利用可能な描画特性３５５（例えば、データ属性とまだバインドされていない描画特性）のリストも示す。データバインディングパネル３１５は、ユーザが単純なドラッグ＆ドロップ対話でデータバインディングを作成することを可能にすることができる（例えば、データ表内の属性ラベルを利用可能な描画特性にドラッグすること、又はその逆も成り立つ）。

チャートレイアウトパネル３２０を使用すると、ユーザは、線チャート３７０ｂ、棒チャート３７０ａ、円チャート３７０ｃ、又は当業者には明らかであり得るその他のチャートタイプなどのデータを、１つの一般的なチャートタイプを容易に選択して提示することができる。チャートレイアウトパネル３２０は、スプレッドシートアプリケーション又はプログラムと同様に、主キャンバス３０５上のデータによって駆動される基本チャートを表示することができる。ユーザはグリフをチャート要素に添付して、グラフィックスの表現力及び魅力を高めることができる。例えば、図３において、ユーザは、棒チャートレイアウト３７０ａを選択でき、３つの異なるタイプの「ＴＶ」グリフ３２７ａ、３２７ｂ、３７２ｃを、主キャンバス内のチャート３２５内の異なる棒３２６ａ、３２６ｂ、３２６ｃに取り付けることができる。棒チャートレイアウトによって最初に生成される１つの空の棒３２６ｄは、別の「ＴＶ」グリフを追加するために残される。

さらに、一般的な描画ツールの基本的な編集機能はまた、幾つかの例示的実施形態に組み込むことができる。したがって、ユーザは、チャート上でテキスト注釈を作成し、チャートタイトルを追加し、サイズを調整し、他のチャート編集操作を実行することができる。

図４は、本出願の例示的実施形態によるグリフ又はアイコンを生成するためのプロセス４００のフローチャートである。プロセス４００は、上述の図１及び図２に示すプロセス１００又はプロセス２００などのプロセスを使用して、インフォグラフィックを生成する一部として実行されてもよい。プロセス４００はまた、インフォグラフィック生成プロセスとは独立して実行されてもよい。例えば、プロセス４００は、スプレッドシート又はデータ操作プログラム、プレゼンテーション開発プログラム、メッセージング若しくは通信プラットフォームの一部として、又はソーシャルメディア製品の一部として、又は当業者には明らかであり得るその他のアプリケーションの一部として実行され得る。

プロセス４００は、以下に説明する図７に示す例示的なコンピューティング環境７００の例示的なコンピューティング装置７０５などのコンピューティング環境内のコンピューティング装置によって実行することができる。プロセス４００の要素は特定の順番で例示することができるが、例示的実施形態は図示される特定の順番に限定されない。例示的実施形態は、当業者には明らかであるように、異なる順番に順序付けられている動作、又は本出願の範囲から逸脱することなく、並列又は動的に実行されてもよい動作を含むことができる。

幾つかの例示的実施形態では、プロセス４００は、図５に示すＧＡＮＳ５１５及び５２０などの敵対的生成ネットワーク（ＧＡＮ）の使用を含んでもよい。説明のために、プロセス４００の説明は、以下により詳細に説明する図５の概略図５００の要素を参照することができる。

プロセス４００において、グリフ又はアイコンが基づくべき態様を定義するユーザ入力が４０５で受信される。ステップ４０５は、上述のプロセス１００及び２００に関して上述したステップ１０５及び２０５と類似していてもよい。幾つかの例示的実施形態では、ユーザ入力は、単語又は短いテキスト記述（例えば、「りんご」）、簡単なスケッチ、又はＵＩを介して提供される簡単なストロークであってもよい。

ユーザ入力が受信された後、４１０で受信したユーザ入力に基づいて、事前コンテキストベクトル（ｃｏｎｔｅｘｔ ｖｅｃｔｏｒ）（例えば、以下に説明する図５に示す状態ベクトル５１０）を生成することができる。幾つかの例示的実施形態では、事前コンテキストベクトルは、受信された単語又はテキスト記述に関連付けられた１又は複数の既知のグラフィカル表現から生成又は抽出されてもよい。他の例示的実施形態では、事前コンテキストベクトルは、ユーザ入力によって提供される単なるスケッチ又は複数のストロークから生成又は抽出することができる。

事前コンテキストベクトルが生成されると、事前コンテキストベクトルは、４１５で第１のニューラルネットワーク（第１のＮＮ）によってランダムに生成されたベクトル（例えば、後述の図５に示されるランダムベクトル５０５）と結合されてもよい。幾つかの例示的実施形態では、第１のニューラルネットワークは、既存のグリフから区別できないように試みられる有望なグリフ（例えば、既存のグリフと高い類似性を有する有望なグリフ）を生成するために、既存のグリフを使用して訓練されたジェネレータニューラルネットワークと考えられてもよい（例えば、図５のジェネレータＮＮ５１５）。幾つかの例示的実施形態では、可変スライダ（例えば、ＵＩ３００のスライダ３６０）は、生成された有望なグリフと事前コンテキストベクトルとの間の可変性を制御するために、結合の間、ランダムに生成されたベクトル及び事前コンテキストベクトルに適用される重み係数を制御してもよい。ランダムベクトルをより強く重み付けすることにより、より可変の有望なグリフを生成することができる。

有望なグリフが第１のニューラルネットワークによって生成された後、有望なグリフは、４２０で受信されたユーザ入力に基づいて選択された１又は複数の既存の画像、図面、グリフ、又はアイコンと比較する仕事を課された第２のニューラルネットワーク（第２のＮＮ）に提供される。幾つかの例示的実施形態では、第２のニューラルネットワークは、類似又は類似しないものとしてタグ付けされたグリフ又はアイコンと他の画像又は図面で訓練されてもよい。４２５で、第２のニューラルネットワークが有望なグリフを、１又は複数の既存の画像、図面、グリフ、又はアイコンから区別できるか否かの判定が行われる。第２ニューラルネットワークが有望なグリフを１又は複数の既存の画像、図面、グリフ又はアイコンから区別できる場合（４２５でＹｅｓ）、プロセス４００は４１５に戻ってもよく、第１のニューラルネットワークはステップ４１５を繰り返して新しい有望なグリフを生成してもよい。

逆に、第２のニューラルネットワークが有望なグリフを１又は複数の既存の画像、図面、グリフ又はアイコンから区別できない場合（４２５でＮｏ）、プロセス４００はステップ４３０に進み、有望なグリフを選択用にユーザに提示してもよい。有望なグリフがユーザに提出されると、プロセス４００は、幾つかの例示的実施形態で終了することができる。他の例示的実施形態では、プロセス４００は、４１０に戻って、受信したユーザ入力に基づいて新しい事前コンテキストベクトルを生成することができ、プロセス４００は、追加の有望なグリフを生成するために繰り返されてもよい。

さらに、幾つかの例示的実施形態では、生成されたグリフはディスクリミネータ（ｄｉｓｃｒｉｍｉｎａｔｏｒ）ニューラルネットワーク５２０（第２のＮＮ）によって、又は別のニューラルネットワークによって、既知の著作権保護されたアイコン又はグリフと比較されてもよく、検出された類似性が閾値を超えると、生成されたグリフは拒否されてもよく、後に生成されたグリフにおいて相違点を大きくするためにジェネレータモデルは更新されてもよい。閾値は、ユーザ、管理者、サービスプロバイダによって定義されてもよく、システムによって動的に決定されてもよい。

図５は、本出願の例示的実施形態による図４に関して上述したグリフ生成プロセスの概略図５００である。上述のように、グリフ生成プロセスは、２つ以上の敵対的生成ネットワーク（ＧＡＮ）５１５，５２０を使用することができる。図５に示すこれらのＧＡＮは、ゼロサム（ｚｅｒｏ−ｓｕｍ）ゲームフレームワーク内で互いに競合する２つのニューラルネットワークによって生成される機械学習方法のクラスであり、一方はジェネレータ５１５として、他方はディスクリミネータ５２０として実装される。ジェネレータネットワーク５１５は、ディスクリミネータネットワーク５２０が既存の画像、図面、又はグリフを区別できない現実的なグリフ又はアイコン５２５を生成するように訓練されてもよい。逆に、ディスクリミネータネットワーク５２０は、ジェネレータネットワークによって生成された偽のグリフを、訓練データ内の既存の画像、図面、又はグリフから区別するように訓練されてもよい。

複雑なテクスチャを有するグリフを生成するために、ネットワーク５１５，５２０のネットワークアーキテクチャは、複数のレイヤに拡張され、ストライデッドコンヴォリューション（ｓｔｒｉｄｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）、すなわち、ディープコンヴォリューション敵対的生成ネットワーク（ＤＣＧＡＮ）に置き換えられてもよい。上述したように、ＧＡＮは、生成されたグリフの独自性を保持するためのランダムベクトル５０５と、生成されたグリフと指定されたコンテキストとの整列を強制するための以前のコンテキスト状態ベクトル５１０（例えばテキスト又は視覚的情報）とを組み合わせることによって開始することができる。

本発明の例示的実施形態は、図５に示されたＧＡＮ５１５，５２０、又は図４に示されたプロセス４００に限定されず、当業者には明らかであり得る受信されたユーザ入力に基づいてグリフ又はアイコンを生成するための他のニューラルネットワークアーキテクチャ及びプロセスは、本出願の例示的実施形態で使用することができる。

図６は、本出願の例示的実施形態によって実験的に生成された６つのグリフタイプ例（すなわち、スプーン６０５、キノコ６１５、ラップトップ６３０、ＴＶ６１０、りんご６２０、手６２５）の生成画像のグリッド６００である。グリッドを生成するために、各グリフタイプの２２，０００個の２８ｘ２８訓練画像を使用して、すべてのグリフタイプの統一モデルを学習した。生成されたグリフ画像のグリッドは、ユーザにより多くの選択肢を提供するかなりのバリエーションを示す可能性がある。しかしながら、生成されたグリフ画像は、訓練データのスタイルに十分似ているため、マッチングスタイルを有するグリフのセットを形成することができる。

幾つかの例示的実施形態では、スタイルはデータ駆動型であり、したがって、異なるスタイルの訓練データ（例えば、水彩画、フォトリアリスティックなスケッチ、落書き、棒人間など）を使用することによって変更することができる。さらに、幾つかの例示的実施形態では、グリフ生成システムとのユーザの対話（例えば、前の選択、前の修正、前の注釈）は、追加の訓練データ（例えば、「再訓練」又は「補足訓練」）として、システムにフィードバックされて、モデルを特定のユーザ又はユーザのグループにカスタマイズする。例えば、ユーザ又は使用グループが選択した、又は手動修正又は注釈によって導入されたグリフの共通点又は共通態様を検出することによって、システムは、検出された共通点又は共通態様を有する追加のグリフを生成しようと試みてもよい。

実験結果における生成された画像は、人間によって描かれたグリフ画像と視覚的に類似しているが、システムによって最小限のユーザ入力のみで機械生成される。

例示的コンピューティング環境

図７は、幾つかの例示的実施形態において使用するのに適した例示的コンピュータ装置７０５を有する例示的コンピューティング環境７００を示す。コンピューティング環境７００内のコンピューティング装置７０５は、１又は複数の処理ユニット、コア、又はプロセッサ７１０、メモリ７１５（例えば、ＲＡＭ、ＲＯＭなど）、内部記憶装置７２０（例えば、磁気、光学、固体記憶装置、及び／又は有機）、及び／又はＩ／Ｏインタフェース７２５を含むことができ、これらのうちの任意のものは、情報を伝達するために通信機構又はバス７３０上で結合してもよく、又はコンピューティング装置７０５に埋め込まれてもよい。

コンピューティング装置７０５は、入力／インタフェース７３５及び出力装置／インタフェース７４０に通信可能に結合できる。入力／インタフェース７３５及び出力装置／インタフェース７４０の一方又は両方は、有線インタフェース又は無線インタフェースであってもよく、取り外し可能であってもよい。入力／インタフェース７３５は、入力を提供するために使用できる任意の装置、部品、センサ、又はインタフェース、物理又は仮想を含んでもよい（例えば、ボタン、タッチ画面インタフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサ、光学式リーダなど）。

出力装置／インタフェース７４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでもよい。幾つかの例示的実施形態では、入力／インタフェース７３５（例えばユーザインタフェース）及び出力装置／インタフェース７４０は、コンピューティング装置７０５に埋め込まれるか、又は物理的に結合され得る。他の例示的実施形態では、他のコンピューティング装置は、コンピューティング装置７０５のための入力／インタフェース７３５及び出力装置／インタフェース７４０として機能するか、又はその機能を提供してもよい。これらの要素は、ユーザがＡＲ環境と対話することを可能にするように、周知のＡＲハードウェア入力を含むことができるが、これに限定されない。

コンピューティング装置７０５の例には、機動性が高い装置（例えば、スマートフォン、車両及び他のマシンの装置、人間及び動物が携行する装置など）、モバイル装置（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、携帯用テレビ、ラジオなど）、並びに、携帯用に設計されていない装置（例えば、デスクトップコンピュータ、サーバ装置、他のコンピュータ、情報キオスク、１又は複数のプロセッサが埋め込まれた及び／又は結合されたテレビ、ラジオなど）が含まれてもよいが、これに限定されない。

コンピューティング装置７０５は、同じ構成又は異なる構成の１又は複数のコンピューティング装置を含む、任意の数のネットワーク部品、装置、及びシステムと通信するために、外部記憶装置７４５及びネットワーク７５０に通信可能に結合することができる（例えば、Ｉ／Ｏインタフェース７２５を介して） 。コンピューティング装置７０５又は任意の接続されたコンピューティング装置は、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、又は別のラベルとして機能し、サービスを提供し、参照されることができる。

Ｉ／Ｏインタフェース７２５は、コンピューティング環境７００内の少なくともすべての接続された部品、装置、及び／又はネットワークとの間で情報を伝達するために、任意の通信又はＩ／Ｏのプロトコル又は規格（例えば、イーサネット（登録商標）、８０２．１１ｘｓ、ユニバーサルシステムバス、ＷｉＭＡＸ（登録商標）、モデム、セルラーネットワークプロトコルなど）を使用する有線インタフェース及び／又は無線インタフェースを含むことができるが、これに限定されない。ネットワーク７５０は、任意のネットワーク又はネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であってもよい。

コンピューティング装置７０５は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能媒体又はコンピュータ可読媒体を使用して使用及び／又は通信できる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスク及びテープ）、光学媒体（例えば、ＣＤ−ＲＯＭ、デジタルビデオディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、固体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、固体記憶装置）、及び他の不揮発性記憶装置又はメモリを含む。

コンピューティング装置７０５は、幾つかの例示的コンピューティング環境において、技法、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実装するために使用できる。コンピュータ実行可能命令は、一時的媒体から取得され、非一時的媒体に記憶され、非一時的媒体から取得され得る。実行可能命令は、任意のプログラミング言語、スクリプティング言語、及び機械語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）のうちの１又は複数から作られてもよい。

プロセッサ７１０は、ネイティブ環境又は仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行できる。論理ユニット７５５、アプリケーションプログラミングインタフェース（ＡＰＩ）ユニット７６０、入力ユニット７６５、出力ユニット７７０、グリフ生成ユニット７７５、態様リンクユニット７８０、チャートタイプ判定ユニット７８５、視覚的表現作成ユニット７９０及び異なるユニットが互いに、ＯＳと、及び他のアプリケーション（図示せず）と通信するためのユニット間通信メカニズム７９５を含む１又は複数のアプリケーションを配備できる。

例えば、グリフ生成ユニット７７５、態様リンクユニット７８０、チャートタイプ判定ユニット７８５、視覚的表現作成ユニット７９０は、図１、図２及び図４に示す１又は複数の処理を実装してもよい。説明されたユニット及び要素は、設計、機能、構成、又は実装において変更可能であり、提供される説明に限定されない。

幾つかの例示的実施形態では、情報又は実行命令がＡＰＩユニット７６０によって受信されると、それは、１又は複数の他のユニット（例えば、グリフ生成ユニット７７５、態様リンクユニット７８０、チャートタイプ判定ユニット７８５、視覚的表現作成ユニット７９０）に通信されてもよい。例えば、グリフ生成ユニット７７５は、受信したユーザ入力に基づいてグリフを生成し、グリフを態様リンクユニット７８０に提供することができる。さらに、態様リンクユニット７８０は、受信したグリフの１又は複数の態様を、視覚的表現で表示されるデータの属性にリンクすることができる。また、チャートタイプ判定ユニット７８５は、受信したユーザ入力に基づく判定や、表示するデータの追加属性に基づいて、表示するチャートのタイプを決定してもよい。決定されたチャートタイプに基づいて、視覚的表現作成ユニットは、判定されたチャートタイプと、表示されるデータの属性にリンクされた生成されたグリフとに基づいて、チャート又は他の視覚的表現を作成することができる。

幾つかの例では、論理ユニット７５５は、ユニット間の情報の流れを制御し、上記の幾つかの例示的実施形態におけるＡＰＩユニット７６０、入力ユニット７６５、グリフ生成ユニット７７５、態様リンクユニット７８０、チャートタイプ判定ユニット７８５、及び視覚的表現作成ユニット７９０によって提供されるサービスを指示するように構成してもよい。例えば、１又は複数のプロセス又は実装のフローは、論理ユニット７５５によって単独で、又はＡＰＩユニット７６０と連携して制御してもよい。

幾つかの例示的実施形態が示され、説明されているが、これらの例示的実施形態は、本明細書に記載される主題をこの分野に精通した人々に伝えるために提供される。本明細書に記載された主題は、記載された例示的実施形態に限定されることなく、様々な形態で実施されてもよいことを理解されたい。本明細書に記載された主題は、具体的に定義又は記載された事項なしに、又は記載されていない他の又は異なる要素又は事項を使用して実施できる。この分野に精通した者は、添付の特許請求の範囲及びその均等物で定義された本明細書に記載された主題から逸脱することなく、これらの例示的実施形態に対して変更を行うことができることを理解するであろう。

Claims (22)

1. データの視覚的表現を作成する方法であって、
   グリフによって表されるユーザ入力を受信するステップと、
   前記受信されたユーザ入力に基づいて抽出されたベクトルに基づいて、ニューラルネットワークによって前記グリフを生成するステップと、
   前記生成されたグリフの態様を、視覚的に表現される前記データの属性とリンクするステップと、
   前記生成されたグリフを使用して作成された前記データの前記視覚的表現を表示して、前記データのリンクされた態様を表すステップと、
   を含む、方法。
2. 前記グリフを生成するステップは、
   表される前記データの前記属性におけるバリエーションのタイプを検出するステップと、
   前記受信されたユーザ入力と、表される前記データの検出された前記バリエーションとに基づいて、生成されるグリフの前記態様の１つのバリエーションを含む複数のグリフを生成するステップと、を含み、
   前記生成されたグリフの前記態様を前記属性とリンクするステップは、
   前記複数のグリフの各々を、表される前記データの前記属性における前記バリエーションの１つに関連付けるステップをさらに含み、
   前記データの前記視覚的表現を表示するステップは、
   前記複数のグリフを含むチャートを提供するステップを含む、請求項１に記載の方法。
3. 前記チャートを提供するステップは、
   チャートタイプを指定するユーザからチャートパラメータを受信するステップと、
   前記受信されたチャートパラメータによって指定された前記チャートタイプに対応するチャートタイプを有するチャートを、前記複数のグリフに重ねるステップであって、前記チャートは、表される前記データの別の属性に関連付けられるステップと、
   を含む、請求項２に記載の方法。
4. 前記チャートを提供するステップは、
   前記ニューラルネットワークによって、前記データの別の属性における別のタイプのバリエーションの検出に基づいてチャートタイプを指定するチャートパラメータを決定するステップと、
   前記決定されたチャートパラメータによって指定された前記チャートタイプに対応するチャートタイプを有するチャートを、前記複数のグリフに重ねるステップであって、前記チャートは、表される前記データの前記別の属性に関連付けられるステップと、
   を含む、請求項２に記載の方法。
5. 前記受信されたユーザ入力から抽出された前記ベクトルに基づいて前記グリフを生成するステップは、
   第１のニューラルネットワークによって、抽出された前記ベクトルをランダムに生成されたベクトルと結合させて有望なグリフを生成するステップと、
   第２のニューラルネットワークによって、生成された前記有望なグリフを、前記受信されたユーザ入力に基づいて選択された１又は複数の格納された画像と比較するステップと、
   前記第２のニューラルネットワークが前記有望なグリフを前記１又は複数の選択された画像から区別できないことを示す前記比較に基づいて、前記データの前記属性にリンクする前記有望なグリフを選択するステップと、
   前記有望なグリフが前記１又は複数の選択された画像とは異なるとする前記第２のニューラルネットワークの判定に基づいて、前記第１のニューラルネットワークによって別の有望なグリフを生成するステップと、
   を含む、請求項１に記載の方法。
6. 前記第１のニューラルネットワークは、訓練データに提供された既存のグリフと高い類似性を有する有望なグリフを生成するように訓練されており、
   前記第２のニューラルネットワークは、類似性判定モデルを生成するために、類似する又は類似しないものとしてタグ付けされたグリフと他の画像との複数の対で訓練されている、請求項５に記載の方法。
7. 単語、
   短い記述、
   ユーザ生成されたスケッチ、及び
   ユーザ生成されたストローク、のうちの１又は複数を含む前記ユーザ入力を受信するように構成されたユーザインタフェースを、ディスプレイ上に提供するステップをさらに含む、請求項１に記載の方法。
8. 追加のユーザ入力を受信するステップと、
   前記追加のユーザ入力に基づいて前記生成されたグリフを、前記ニューラルネットワークによって更新するステップと、
   をさらに含み、
   前記追加のユーザ入力は、
   更新されたユーザ生成されたスケッチ、及び
   追加のユーザ生成されたストローク、のうちの１又は複数を含む、請求項７に記載の方法。
9. 前記グリフを生成するステップは、
   前記ニューラルネットワークによって、前記生成されたグリフを、著作権保護の対象であることが知られている１又は複数の格納されたグリフと比較するステップと、
   前記生成されたグリフと、著作権保護の対象であることが知られている前記１又は複数の格納されたグリフとの間の類似性が閾値を超えないことを示す比較に基づいて、前記データの前記属性にリンクする有望なグリフを選択するステップと、
   前記生成されたグリフと、著作権保護の対象であることが知られている前記１又は複数の格納されたグリフとの間の類似性が前記閾値を超えることを示す前記比較に基づいて、前記ニューラルネットワークによって別の有望なグリフを生成するステップと、
   をさらに含む、請求項１に記載の方法。
10. コンピュータに、データの視覚的表現を作成する手順を実行させるためのプログラムであって、
    前記手順は、
    グリフによって表されるユーザ入力を受信する手順と、
    前記受信されたユーザ入力に基づいて抽出されたベクトルに基づいて、ニューラルネットワークによって前記グリフを生成する手順と、
    前記生成されたグリフの態様を、視覚的に表現される前記データの属性とリンクする手順と、
    前記生成されたグリフを使用して作成された前記データの前記視覚的表現を表示して、前記データのリンクされた態様を表す手順と、
    を含む、プログラム。
11. 前記グリフを生成する手順は、
    表される前記データの前記属性におけるバリエーションのタイプを検出する手順と、
    前記受信されたユーザ入力と、表される前記データの検出された前記バリエーションとに基づいて、生成されるグリフの前記態様の１つのバリエーションを含む複数のグリフを生成する手順と、を含み、
    前記生成されたグリフの前記態様を前記属性とリンクする手順は、
    前記複数のグリフの各々を、表される前記データの前記属性における前記バリエーションの１つに関連付ける手順をさらに含み、
    前記データの前記視覚的表現を表示する手順は、
    前記複数のグリフを含むチャートを提供する手順を含む、請求項１０に記載のプログラム。
12. 前記チャートを提供する手順は、
    チャートタイプを指定するユーザからチャートパラメータを受信する手順と、
    前記受信されたチャートパラメータによって指定された前記チャートタイプに対応するチャートタイプを有するチャートを、前記複数のグリフに重ねる手順であって、前記チャートは、表される前記データの別の属性に関連付けられる手順と、
    を含む、請求項１１に記載のプログラム。
13. 前記チャートを提供する手順は、
    前記ニューラルネットワークによって、前記データの別の属性における別のタイプのバリエーションの検出に基づいてチャートタイプを指定するチャートパラメータを決定する手順と、
    前記決定されたチャートパラメータによって指定された前記チャートタイプに対応するチャートタイプを有するチャートを、前記複数のグリフに重ねる手順であって、前記チャートは、表される前記データの前記別の属性に関連付けられる手順と、
    を含む、請求項１１に記載のプログラム。
14. 前記受信されたユーザ入力から抽出された前記ベクトルに基づいて前記グリフを生成する手順は、
    第１のニューラルネットワークによって、抽出された前記ベクトルをランダムに生成されたベクトルと結合させて有望なグリフを生成する手順と、
    第２のニューラルネットワークによって、生成された前記有望なグリフを、前記受信されたユーザ入力に基づいて選択された１又は複数の格納された画像と比較する手順と、
    前記第２のニューラルネットワークが前記有望なグリフを前記１又は複数の選択された画像から区別できないことを示す前記比較に基づいて、前記データの前記属性にリンクする前記有望なグリフを選択する手順と、
    前記有望なグリフが前記１又は複数の選択された画像とは異なるとする前記第２のニューラルネットワークの判定に基づいて、前記第１のニューラルネットワークによって別の有望なグリフを生成する手順と、
    を含む、請求項１０に記載のプログラム。
15. 前記第１のニューラルネットワークは、訓練データに提供された既存のグリフと高い類似性を有する有望なグリフを生成するように訓練されており、
    前記第２のニューラルネットワークは、類似性判定モデルを生成するために、類似又は類似しないものとしてタグ付けされたグリフと他の画像との複数の対で訓練されている、請求項１４に記載のプログラム。
16. 単語、
    短い記述、
    ユーザ生成されたスケッチ、及び
    ユーザ生成されたストローク、のうちの１又は複数を含む前記ユーザ入力を受信するように構成されたユーザインタフェースを、ディスプレイ上に提供する手順をさらに含む、請求項１０に記載のプログラム。
17. 追加のユーザ入力を受信する手順と、
    前記追加のユーザ入力に基づいて前記生成されたグリフを、前記ニューラルネットワークによって更新する手順と、
    をさらに含み、
    前記追加のユーザ入力は、
    更新されたユーザ生成されたスケッチ、及び
    追加のユーザ生成されたストロークのうちの１又は複数を含む、請求項１６に記載のプログラム。
18. 前記グリフを生成する手順は、
    前記ニューラルネットワークによって、前記生成されたグリフを、著作権保護の対象であることが知られている１又は複数の格納されたグリフと比較する手順と、
    前記生成されたグリフと、著作権保護の対象であることが知られている前記１又は複数の格納されたグリフとの間の類似性が閾値を超えないことを示す前記比較に基づいて、前記データの前記属性にリンクする有望なグリフを選択する手順と、
    前記生成されたグリフと、著作権保護の対象であることが知られている前記１又は複数の格納されたグリフとの間の類似性が前記閾値を超えることを示す前記比較に基づいて、前記ニューラルネットワークによって別の有望なグリフを生成する手順と、
    をさらに含む、請求項１０に記載のプログラム。
19. グリフを生成する方法であって、
    ディスプレイ上にユーザインタフェースを提供するステップであって、前記ユーザインタフェースは、グリフによって表されるユーザ入力を受信するように構成され、前記ユーザ入力が、
    単語、
    短い記述、
    ユーザ生成されたスケッチ、及び
    ユーザ生成されたストローク、のうちの１又は複数を含むステップと、
    前記受信されたユーザ入力に基づいて抽出されたベクトルに基づいて、ニューラルネットワークによって有望なグリフを生成するステップと、
    前記生成された有望なグリフを選択用に表示するステップと、
    を含む、方法。
20. 前記受信されたユーザ入力に基づいて抽出された前記ベクトルに基づいて前記有望なグリフを生成するステップは、
    第１のニューラルネットワークによって、抽出された前記ベクトルをランダムに生成されたベクトルと結合させて前記有望なグリフを生成するステップと、
    第２のニューラルネットワークによって、生成された前記有望なグリフを、前記受信されたユーザ入力に基づいて選択された１又は複数の格納された画像と比較するステップと、
    前記第２のニューラルネットワークが前記有望なグリフを前記１又は複数の選択された画像から区別できないことを示す前記比較に基づいて、データの属性にリンクする前記有望なグリフを選択するステップと、
    前記有望なグリフが前記１又は複数の選択された画像とは異なるとする前記第２のニューラルネットワークの判定に基づいて、前記第１のニューラルネットワークによって別の有望なグリフを生成するステップと、
    を含む、請求項１９に記載の方法。
21. データの視覚的表現を作成するように構成されたコンピュータ装置であって、
    グリフによって表されるユーザ入力を受信する手段、
    受信した前記ユーザ入力に基づいて抽出されたベクトルに基づいて、ニューラルネットワークによってグリフを生成する手段、
    生成された前記グリフの態様を、視覚的に表現されるデータの属性とリンクする手段、及び
    生成された前記グリフを使用して作成された前記データの視覚的表現を表示して、前記データのリンクされた前記態様を表す手段、
    を含むコンピュータ装置。
22. グリフを生成するように構成されたコンピュータ装置であって、
    ディスプレイ上にユーザインタフェースを提供する手段であって、前記ユーザインタフェースは、前記グリフによって表されるユーザ入力を受信するように構成され、前記ユーザ入力は、単語、短い記述、ユーザ生成されたスケッチ及びユーザ生成されたストロークのうちの１又は複数を含む手段、
    受信された前記ユーザ入力に基づいて抽出されたベクトルに基づいて、ニューラルネットワークによって有望な前記グリフを生成する手段、及び
    生成された前記有望なグリフを選択用に表示する手段、
    を含むコンピュータ装置。