JP2022154872A - アノマリ検知方法、検知装置、及びコンピュータプログラム - Google Patents

Abstract

【課題】ゲームのアノマリに関するコメントを２４時間３６５日態勢で検知することが可能なアノマリ検知方法、検知装置、及びコンピュータプログラムを提供する。【解決手段】アノマリ検知方法は、ゲームアプリケーションに関して投稿されたデータを収集し、データが入力された場合に、前記データが前記ゲームアプリケーションのアノマリに関するデータを出力するように学習済みのモデルに、収集したデータを入力し、前記モデルから出力されるデータに基づき、収集されたデータの内、アノマリに関するデータであると判断されたデータを記憶する。【選択図】図１

Description

本発明は、所定のゲームのアノマリに関するコメントを検知するアノマリ検知方法、検知装置、及びコンピュータプログラムに関する。

ビデオゲームにおけるシナリオ、アクション、グラフィック、及びＢＧＭ等の要素は、データ量が増加し、複雑になり、選択肢が多岐に亘るようになってきている。特許文献１には、オープンワールドをベースとしたゲームのテストプロセスを人間に任せる場合には、かなりの人月を要することに触れられている。

特開２０２０－１０８７３３号公報

オンラインゲームでは、アップデート及びイベント追加が適宜実施されることが多い。例えば、このようなアップデートやイベント追加時にそのゲームにおいて停止やバグ等のアノマリが起こることがあり、上記ゲームの運営者はこれらアノマリに迅速に対応しないと、該ゲームに対する不評が広まり、該ゲームからのユーザ離れに繋がってしまう恐れがある。このようなアノマリは上記アップデートやイベント追加時やその近傍のタイミング以外でも起こり得るものであり、アノマリに関する事象が起こってしまった場合、なるべく早く運営側が、上記アノマリが起こったことを認識することが求められている。

本発明は、所定のＷｅｂサイト（例えば、電子掲示板やＳｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ（ＳＮＳ）等）において所定のゲームのアノマリに関するコメントを２４時間３６５日体勢で検知することが可能なアノマリ検知方法、検知装置、及びコンピュータプログラムを提供することを目的とする。

本開示の一実施形態のアノマリ検知方法は、ゲームアプリケーションに関して投稿されたデータを収集し、データが入力された場合に、前記データが前記ゲームアプリケーションのアノマリに関するデータを出力するように学習済みのモデルに、収集したデータを入力し、前記モデルから出力されるデータに基づき、収集されたデータの内、アノマリに関するデータであると判断されたデータを記憶する。

本開示の一実施形態の検知装置は、ゲームアプリケーションに関して投稿されたデータを収集する収集部と、データが入力された場合に、前記データに対して前記ゲームアプリケーションのアノマリに関するデータを出力するように学習済みのモデルを記憶する第１記憶部と、収集したデータを前記モデルに入力し、前記モデルから出力されるデータに基づき、収集されたデータの内、アノマリに関するデータであると判断されたデータを記憶する第２記憶部とを備える。

本開示の一実施形態のコンピュータプログラムは、コンピュータに、ゲームアプリケーションに関して投稿されたデータを収集し、データが入力された場合に、前記データが前記ゲームアプリケーションのアノマリに関するデータを出力するように学習済みのモデルに、収集したデータを入力し、前記モデルから出力されるデータに基づき、収集されたデータの内、アノマリに関するデータであると判断されたデータを記憶する処理を実行させる。

本開示のアノマリ検知方法、検知装置、及びコンピュータプログラムでは、検知対象のゲームアプリケーションに関してゲームユーザから投稿されたデータが自動的に収集され、学習済みモデルを利用して、アノマリに関するデータである可能性が高いデータが記憶される。

ユーザから投稿されるデータは、テキストデータ、画像データ、音声データ、又は動画像データである。データは、テキストデータ、画像データ、音声データ、及び動画像データの２つ以上の組み合わせであってもよい。

本開示の一実施形態のアノマリ検知方法は、前記モデルは、データが入力された場合に、前記データが前記ゲームアプリケーションのアノマリに関するデータである可能性に対応するスコアを出力するように学習され、前記スコアに基づき、入力したデータがアノマリに関するデータであるか否かを判断する。

本開示のアノマリ検知方法では、記憶されたデータには、学習済みモデルを利用して、アノマリに関する分類のデータが対応付けられる。分類は例えば「バグ」、「停止」、「クラッシュ」等である。

本開示のアノマリ検知方法では、データの収集は定期的に実行されてもよい。周期が終了する都度、周期別にアノマリに関するデータであるか否かの判断、及び分類が実行されてもよい。周期は、可変として設定を受け付けてもよい。

本開示の一実施形態のアノマリ検知方法は、記憶されたアノマリに関するデータの一覧を含むレポートを作成し、レポートの作成を外部へ通知する。

本開示のアノマリ検知方法では、レポートを作成し、オペレータが操作するコンピュータからレポートの閲覧を可能とする。レポートとして閲覧できることにより、対処までのスピードを上げることが可能である。

本開示の一実施形態のアノマリ検知方法は、前記レポートには、各データへアクセスするためのリンクが含まれている。

本開示のアノマリ検知方法では、作成されるレポートを介して、オペレータは、ゲームユーザから投稿されたデータ（一次情報）にあたることが可能である。

本開示によれば、所定のＷｅｂサイトにおいて所定のゲームのアノマリに関するコメントを２４時間３６５日体勢で検知することが可能となる。

本開示のアノマリ検知システムの概要図である。 アノマリ検知システムの各装置の構成を示すブロック図である。 検知装置によるデータ収集及び抽出処理手順の一例を示すフローチャートである。 検知装置によるデータ分類処理手順の一例を示すフローチャートである。 検知装置によるレポート作成処理手順の一例を示すフローチャートである。 クライアント装置における表示例を示す図である。 レポート表示画面の内容例を示す図である。

本発明をその実施の形態を示す図面を参照して具体的に説明する。
本発明は、所望のコメントをユーザが投稿し閲覧できるＷｅｂサイト（電子掲示板やＳＮＳ等）に投稿されている多数のコメントから、所定のゲームのアノマリに関するコメントを抽出するものである。
本明細書において、「アノマリ」とは、所定のゲームについて運営上早急に対処しなければならない事象であって、エラー、不具合、バグ、ゲームの停止、ゲームの強制終了等といったゲームの少なくとも一部の要素に対する異常に関するものである。よって、例えば所定のゲームのアノマリに関するコメントは、該所定のゲームにおいてエラーやバグが生じていることを示すコメントやそれらを注意喚起するコメント等である。

図１は、本開示のアノマリ検知システム１００の概要図である。本実施形態に係るアノマリ検知システム１００は、スマートフォン又はタブレット端末をハードウェアとする所謂モバイルゲームと呼ばれるアプリケーションにおけるアノマリに関するコメントを検知する。ゲームを実行するハードウェアはモバイル機器に限らず、家庭用ゲーム機やアーケードゲーム機のような所謂ゲームコンソールや、パーソナルコンピュータであっても良い。検知対象は、モバイルゲームアプリケーションやゲームソフトウエア（以下、ゲームアプリという）に限らず、スマートフォン又はタブレット端末等の情報処理装置を主なハードウェアとして利用するアプリケーションを含む。

アノマリ検知システム１００は、検知装置１と、検知対象のゲームアプリの製作者が使用するクライアント装置２とを含む。検知装置１は、所謂インターネットと接続可能なネットワークに接続されている。検知装置１はシステム内又はシステム外のネットワークＮに接続されているサーバ装置を介して、クライアント装置２との間でデータを送受信する。

検知装置１は、インターネット経由で、検知対象のゲームアプリに関するデータをクローリングによって収集する。検知装置１は、収集したデータを分類し、分類毎にレポートを出力する。検知装置１は、クローリングを２４時間漏れなく実行し続け、記憶部１１に記憶する。なお、クローリングについては、所定の時間帯のみに行うように設定しても良い。検知装置１は、逐次記憶されたデータに対して自動的に分類処理を実行する。検知装置１は、分類処理の結果からレポートを作成し、通知する。本作成や通知のタイミングは所望に応じて設定することができる（例えば、１時間毎等）。

従前では、検知対象のゲームアプリについて、担当スタッフが検知対象のゲームアプリに関するＳＮＳ、ブログ等における投稿テキストを収集し、レポートとしてまとめて関係者に共有していた。これら作業は人手であるためにコストや手間に鑑みると２４時間における投稿テキスト全てを収集することは困難であった。よって、上記収集やレポート作成等は、所定の時間帯毎に行うことになる。この場合、収集に係る時間帯以外の時間に投稿されたテキストは検知対象外となって漏れに繋がったり、次の収集に係る時間帯での収集となってタイムラグが大きくなったりすることがあった。しかも、投稿テキストからアノマリに関するものを抽出することは、ゲームアプリのユーザが多い程に困難になることもある。すなわち、ゲームアプリのユーザが多いほど、該ゲームアプリのファンによるイラスト、写真、感想（単なる批判や、面白いといったコメント）の投稿も大量になり、これらはアノマリ検知対象外であるから抽出外としなければならない。

図１に示す本開示のアノマリ検知システム１００では、検知装置１は自動的に、検索対象のＷｅｂサイトからクローリングを続け、記憶する。検知装置１は、クローリングによって収集されたデータを、期間を区切りながら順次分類する。これにより、収集されるデータから漏れる投稿データの数を低減させることができる。

分類されたデータに、例えば同じ内容（趣旨）のテキスト、音声、及び動画が含まれる場合、いずれかを代表的なデータとし（名寄せ）、その代表的なデータに同じ内容のデータの件数を付加したものでまとめられるとよい。

検知装置１は、クローリングによって収集したデータの抽出と、抽出した後のデータの分類とを、学習済みのモデルによって実行してもよい。予めこれまで手動で抽出してきたデータ、分類してきたデータによって教師あり学習を実施済のモデルを用いるとよい。

検知装置１は、分類されたデータからレポートを作成し、記憶すると共にサーバ装置へアップロードし、クライアント装置へ通知する。レポートは、分類されたデータの羅列であってもよいし、図表化されてもよい。通知方法は、サーバ装置が実現する機能であるデータ共有、メッセージ交換、又は電子メールをよるものでよい。

クライアント装置２でのレポート表示では、直感的に分かりやすく、且つ漏れなく表示されることが望まれる。表計算ソフトにまとめたものが逐次データ共有アプリケーションにその都度保存されてもよい。まとめられたレポートには、各投稿テキストへの直接的リンクが含まれることが望ましい。

このようなアノマリ検知システム１００を実現するための各装置の構成及び処理内容について詳細を説明する。図２は、アノマリ検知システム１００の各装置の構成を示すブロック図である。検知装置１は、処理部１０、記憶部１１及び通信部１２を備える。

検知装置１は、以下の説明においては１台のサーバコンピュータによって構成されるものとして説明するが、複数台のサーバコンピュータをネットワークで通信接続して分散処理させる態様であってもよい。検知装置１は、公衆ネットワークを介して情報処理装置から通信接続が可能なクラウド型のサーバであってもよいし、仮想的又は実体的なプライベートネットワークを介して各クライアント装置２と通信接続するオンプレミス型のサーバであってもよい。

処理部１０は、ＣＰＵ（Central Processing Unit ）及び／又はＧＰＵ（Graphics Processing Unit）を用いたプロセッサである。処理部１０は、記憶部１１に記憶されている検知プログラム１Ｐに基づき、対象のゲームアプリに関するデータを収集し、抽出及び分類を実行する。

記憶部１１は、例えばハードディスク、ＳＳＤ（Solid State Drive）等の不揮発性メモリを用いる。記憶部１１は、処理部１０が参照するデータを記憶する。記憶部１１は、検知プログラム１Ｐを記憶する。記憶部１１は、抽出に用いる学習済みの抽出モデル１１Ｍと、分類に用いる学習済みの分類モデル１２Ｍを記憶する。検知プログラム１Ｐは、記録媒体９に記憶してある検知プログラム９Ｐを処理部１０が読み出して記憶部１１に複製したものであってもよい。抽出モデル１１Ｍ又は分類モデル１２Ｍについても、記録媒体９に記憶してある抽出モデル９１Ｍ又は分類モデル９２Ｍを処理部１０が読み出して記憶部１１に複製したものであってもよい。

記憶部１１は、後述する処理によって抽出され分類されたアノマリに関するデータを記憶する。このアノマリに関するデータを記憶する記憶部１１は、フラッシュメモリ等の外部記憶媒体であって、検知装置１から取り出し可能であってもよい。

通信部１２は、ネットワークＮを介したデータ通信を実現する。通信部１２は具体的には、例えばネットワークカードである。処理部１０は、通信部１２によってインターネット上のデータにアクセスし、クローリングを実行する。

クライアント装置２は、例えばラップトップ型パーソナルコンピュータである。クライアント装置２は、デスクトップ型パーソナルコンピュータでもよいし、タブレット端末や、所謂スマートフォンであってもよい。

クライアント装置２は、処理部２０、記憶部２１、通信部２２、表示部２３及び操作部２４を備える。処理部２０は、ＣＰＵ及び／又はＧＰＵを用いたプロセッサである。処理部２０は、記憶部２１に記憶されているクライアントプログラム２Ｐに基づき、サーバ装置を介して検知装置１から取得するレポートを表示部２３に表示させる。

記憶部２１は、例えばハードディスク、フラッシュメモリ、ＳＳＤ等の不揮発性メモリを用いる。記憶部２１は、処理部２０が参照するデータを記憶する。記憶部２１は、クライアントプログラム２Ｐを記憶する。

通信部２２は、ネットワークＮを介したデータ通信を実現する。通信部２２は具体的には、例えばネットワークカードである。処理部２０は、通信部２２によってサーバ装置を介して検知装置１からデータを取得できる。

表示部２３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイである。表示部２３は、記憶部２１に記憶されているデータに基づく情報、又は検知装置１から提供されるデータを含む画面を表示する。表示部２３は、タッチパネル内蔵型ディスプレイであってもよい。

操作部２４は、処理部２０との間で入出力が可能なキーボード及びポインティングデバイス等のユーザインタフェースである。操作部２４は、音声入力部であってもよい。操作部２４は、表示部２３に内蔵されたタッチパネルであってもよい。操作部２４は、物理ボタンであってもよい。

図３は、検知装置１によるデータ収集及び抽出処理手順の一例を示すフローチャートである。検知装置１は、以下に示す処理を、所定のタイミングで繰り返し実行する。所定のタイミングは周期的に到来してもよいし、所定の条件を満たすことによって到来してもよい。

処理部１０は、ネットワークＮを介して検知対象として設定されたＷｅｂサイト（所定のコミュニティサイト、掲示板サイト、ＳＮＳ、又は投稿サイト等）にアクセスし、検知対象のゲームアプリに関して対象期間に投稿されたデータ（テキスト、音声、画像又は動画）を取得する（ステップＳ１０１）。対象期間は、今回のタイミングの到来時点から遡って前回のタイミングの到来時点までの期間である。

対象期間の設定は、オペレータからクライアント装置２によって設定可能としても良い。これにより、ユーザが投稿してから製作者に伝達されるまでの時間を短縮でき、アノマリ検知の即時性が実現される。期間限定のイベントや、大型アップデート直後など、製作者側でアノマリの頻度の高まりを予想できる場合、この期間の区切りを変更して検知の頻度を高めることも可能である。

ステップＳ１０１において処理部１０は、所定のコミュニティサイトであればそのゲームアプリに関する「グループ」毎にアクセスする。処理部１０は、掲示板サイトであれば所謂「板」、「ジャンル」、「スレッド」、又は「トピック」毎にアクセスする。処理部１０は、ＳＮＳ又は投稿サイトであれば、そのゲームの名前のハッシュタグ、ゲームに登場するキャラクタ名等のキーワードを用いて抽出したデータを取得する。処理部１０は、対象のゲームアプリに関する全データをクローリングしてもよいし、ステップＳ１０１の時点で、予め指定されているキーワードを基にデータを選別して取得してもよい。

処理部１０は、取得したデータからデータを選択し（ステップＳ１０２）、抽出モデル１１Ｍに与える（ステップＳ１０３）。

ステップＳ１０３において処理部１０は、選択したデータをテキストにして形態素解析してから単語リスト（ベクトル）として抽出モデル１１Ｍへ与えるとよい。データが音声である場合、処理部１０は音声認識を実行してから形態素解析を実行するとよい。データが画像である場合、処理部１０は、画像に含まれる文字を文字認識するか、又はメタデータをテキスト化してから形態素解析を実行するとよい。動画である場合、処理部１０は画像に含まれる文字の文字認識及び音声の音声認識の両方を実行してもよい。

処理部１０は、抽出モデル１１Ｍからのスコアに基づいてバグ、不具合等のアノマリに関するデータであるか否かを判断する（ステップＳ１０４）。

ステップＳ１０４において処理部１０は、抽出モデル１１Ｍから、入力された単語リストの単語夫々に対するアノマリに関するデータである可能性の高さに対応するスコアを取得する。抽出モデル１１ＭはNeural Networkを用いる。例えば、ＴｅｘｔＣＮＮ（Convolutional Neural Network）を用いたモデルである。時系列要素を加味して学習するＲＮＮ（Recurrent Neural Network）、再帰型ニューラルネットワーク（LSTM：Long short-term memory／ GRU：Gated Recurrent Unit）等を用いてもよい。抽出モデル１１Ｍは、これまでの人手による抽出実績によって予め学習されていてもよいし、新たに作成される教師データによって学習されてもよい。抽出モデル１１Ｍは例えば、「バグ」、「不具合」、「クラッシュ」、「問題」、「止まる」、「おかしい」等の単語に対してアノマリである高い可能性を与えて学習されるとよい。処理部１０は、単語夫々について抽出モデル１１Ｍから得られたスコアを総計し、データ全体に対するアノマリに関するデータか否かのスコアを算出する。アノマリに関するデータであるか否かの抽出モデル１１Ｍはこれに限らず、テキストの解析に関する公知の方法を用いてよい。ステップＳ１０３及びＳ１０４において処理部１０は、ネガティブ（又はポジティブ）なデータである可能性の高さに対応するスコアを出力する抽出モデル１１Ｍを用いてネガティブなデータであるか否かを判断してもよい。

処理部１０は、アノマリに関するデータであると判断された場合（Ｓ１０４：ＹＥＳ）、そのデータを記憶部１１に記憶し（ステップＳ１０５）、処理をステップＳ１０６へ進める。アノマリに関するデータでないと判断された場合（Ｓ１０４：ＮＯ）、処理部１０は処理をステップＳ１０６へ進める。

ステップＳ１０５において処理部１０は、ステップＳ１０３で形態素解析したデータの単語リストを記憶してもよい。ステップＳ１０５において処理部１０は、取得したデータの元データ（サイト、投稿）に直接的にアクセスできるリンクデータを対応付けて記憶するとよい。

処理部１０は、ステップＳ１０１で取得したデータ全てについて抽出モデルに与える処理を完了したか否かを判断し（ステップＳ１０６）、完了したと判断された場合（Ｓ１０６：ＮＯ）、処理をステップＳ１０２へ戻す。

取得したデータ全てについて抽出モデルに与えたと判断された場合（Ｓ１０６：ＹＥＳ）、処理部１０は、処理を終了する。

処理部１０は、図３のフローチャートに示した処理手順を、所定のサイト別に実行してもよい。図３のフローチャートに示した処理手順により、対象のゲームアプリのアノマリに関するデータを抽出した結果が記憶部１１に記憶される。

図４は、検知装置１によるデータ分類処理手順の一例を示すフローチャートである。検知装置１は、以下に示す処理を、検知装置１のデータ収集及び抽出処理の終了後直ちに実行するとよい。以下の処理の実施タイミングと図３のデータ収集及び抽出処理の実施タイミングとはそれぞれ独立していてもよく、並行して実行されてもよい。

処理部１０は、記憶部１１に検知対象のゲームについてアノマリに関する抽出済みのデータを読み出す（ステップＳ２０１）。

処理部１０は、読み出したデータを、分類モデル１２Ｍに与える（ステップＳ２０２）。ステップＳ２０２において処理部１０は、読み出したデータをテキストにして形態素解析してから分類モデルへ与えるとよい。形態素解析済みの単語リストが記憶されている場合、その単語リストを与えるとよい。分類モデル１２Ｍは、これまでの人手による分類実績によって予め学習されているとよい。分類は例えば、「バグ」、「不具合」、「停止・クラッシュ」、及び「改善要望」等である。処理部１０は、分類モデル１２Ｍから、入力された単語リストの単語夫々に対して予め設定されている分類のいずれに属する可能性が高いかを示すスコアを取得する。分類モデル１２Ｍは、テキストの分類の公知の方法を採用できる。分類モデル１２Ｍは、分類と共に、深刻度の高さに対応するスコアを出力するように学習されてもよい。

処理部１０は、分類モデル１２Ｍからのスコアに基づいて与えたデータの分類を示す分類データを、読み出したデータに対応付けて記憶部１１に記憶する（ステップＳ２０３）。処理部１０は、取得したスコアに基づいてデータ全体に対する分類がいずれに属するかを判定する。

処理部１０は、未分類のデータが記憶部１１に残っているか否かを判断する（ステップＳ２０４）。処理部１０は、残っていると判断された場合（Ｓ２０４：ＹＥＳ）、処理をステップＳ２０１へ戻し、未分類のデータを読み出して処理を続行する。

ステップ２０４で残っていないと判断された場合（Ｓ２０４：ＮＯ）、処理部１０は、分類処理を終了する。

図４のフローチャートに示した処理手順によって、所定のサイトやＳＮＳから、アノマリに関するデータである可能性が高いとして抽出されたデータが分類される。記憶部１１に、分類されたデータ（テキスト、音声、画像又は動画）が分類データと対応付けて記憶される。これらのデータを、分類データと共にクライアント装置２から読み出して表示できることで、製作者が不具合、バグ等をより迅速に把握できる。分類されたデータ夫々に、分類データと共に、そのデータの元データにアクセスするためのリンクが対応付けられて記憶されている。これにより、記憶部１１に記憶されているそれらのデータをクライアント装置２が読み出し、検知対象のゲームアプリのユーザが投稿した一次情報を、オペレータが確認することも容易である。

図５は、検知装置１によるレポート作成処理手順の一例を示すフローチャートである。検知装置１は、以下に示す処理を、検知装置１のデータ分類処理の終了後直ちに実行するとよい。以下の処理の実施タイミングと、図３のデータ収集及びデータ抽出処理の実施タイミングと、図４のデータ分類処理の実施タイミングとはそれぞれ独立していてもよく、並行して実行されてもよい。

処理部１０は、記憶部１１に分類データが対応付けられた分類済のデータを、分類毎に読み出す（ステップＳ３０１）。ステップＳ３０１において処理部１０は、単語リスト又は元のデータ（テキスト、音声、画像又は動画）を読み出す。音声、画像又は動画である場合、処理部１０は、それらをテキスト化したものを読み出してもよい。

処理部１０は、分類毎のデータ数を計数し（ステップＳ３０２）、データ数を分類データ及び時間情報と対応付けて記憶する（ステップＳ３０３）。処理部１０は、分類毎に、重複するデータをまとめる（ステップＳ３０４）。ステップＳ３０４は必須ではない。ステップＳ３０４において処理部１０は、分類別に１つのデータを選択し、同一分類の他のデータについて選択したデータと内容が重複するか否か、即ちテキストが重複するかを１つずつ判断する。重複度が所定の度合い以上である場合、選択したデータに対する重複数を加算する。選択したデータとそのデータの重複数を、データの識別データと対応付けて記憶する。処理部１０は、データの選択を繰り返して重複するデータをまとめる。

処理部１０は、分類毎のデータ数、時間情報、選択されたデータのテキスト及びその重複数の一覧を記述したドキュメントデータをレポートとして作成する（ステップＳ３０５）。ステップＳ３０５において処理部１０は、表計算データ、文書データ、電子メール、又は特定のＨＴＭＬデータを作成する。レポートの作成のステップは、検知装置１に表示部を備えて、記憶部１１から分類毎にデータを読み出して例えば表計算ソフトで一覧表示させるステップ、一覧表示されたデータをソートするステップ等をＲＰＡ（Robotic Process Automation）によって自動化して実現してもよい。

処理部１０は、レポートを作成したことをクライアント装置２へ通知し（ステップＳ３０６）、処理を終了する。

ステップＳ３０６において処理部１０は、レポートへのリンクを含むメッセージ、メール等によって通知する。通知対象は、予め設定されているとよい。例えば、分類毎に通知すべきオペレータのオペレータ識別データが記憶されていてもよい。オペレータ識別データは、メールアドレス、データ共有アプリケーション又はメッセージアプリケーションにおけるアカウントでもよい。オペレータ識別データは、データ共有アプリケーションにおけるコミュニティＩＤ、又はチームＩＤであってもよい。

レポートの通知は、抽出され分類済のデータが記憶された外部記憶媒体の送達であってもよい。例えば、可搬型のフラッシュメモリに逐一記憶されてもよい。

図５のレポート作成処理は必須ではない。図４のフローチャートに示した分類処理の手順の段階で、全データへの分類が終了したと判断された場合に（Ｓ２０４：ＮＯ）、検知装置１の処理部１０は、クライアント装置２へステップＳ３０６の通知をしてもよい。

図３から図５のフローチャートに示した処理手順によるアノマリ検知を、具体例を挙げて説明する。アノマリ検知システム１００は、特定のゲームアプリにおけるアノマリに関するコメント検知を実行する。特定のゲームアプリの製作者は、例えばこのゲームアプリに関するコミュニティサイトのアドレスを予め検知装置１の記憶部１１に記憶させておく。特定のゲームアプリのコミュニティサイトは、ゲーム攻略サイトにおけるゲーム毎のメッセージ投稿サイト、掲示板である。これらの投稿サイト、掲示板が、イベントや攻略テーマ別に分別されていてもよい。製作者は、掲示板サイトの特定の「板」、「ジャンル」を指定するＵＲＬを指定し、記憶部１１に記憶させておいてもよい。「板」及び「ジャンル」の指定に限らず、検索キーワードであってもよい。製作者は、ＳＮＳにおける検索キーワードを指定し、記憶部１１に記憶させておいてもよい。検知装置１はサーバ機能を有し、クライアント装置２からこれらの指定を受け付け、記憶してもよい。検索キーワードを指定する場合、ユーザが利用する略語等を併せて指定する必要がある。

以下に説明する具体例では、ゲームアプリの略称が「ＡＢＣ」であって、「これバグだとおもう」という画像データを添付した書き込みが投稿されていることが想定する。また、具体例では、「フリーズしてしまった」、「表示が変」等の書き込みがコミュニティサイトに投稿されていることを想定する。

検知装置１の処理部１０は、記憶されているアドレス、ＵＲＬ、検索キーワードを用いてデータを取得する（Ｓ１０１）。処理部１０は例えば、コミュニティサイト「ＡＢＣ」の攻略のためのサイトの内の指定されたアドレスにアクセスし、書き込まれたテキストを取得する。処理部１０は、テキストと共に画像データがアップロードされている場合はその画像データとを取得する。このとき処理部１０は、書き込みの時間が対象期間に含まれるものに絞って取得する。コミュニティサイトに対して処理部１０は、指定されたサイトの対象期間に書き込まれたデータをふるいに掛けずに取得する。処理部１０は、検索キーワードで検索せずにデータを取得することによって、検索から漏れるデータをできるだけ低減することができる。処理部１０は例えば、ＳＮＳから「ＡＢＣ」を検索キーワードとしてユーザから投稿されたデータを取得してもよい。

上述したように、検知装置１によるデータ取得の周期は、オペレータによってクライアント装置２から設定可能とするとよい。周期が所定の初期値よりも短く設定された場合、ユーザによる投稿から分類完了までの時間を短縮することができる。ゲームアプリケーションのイベント、更新等が予定されていない、ハードウェアのＯＳ更新がない等、アノマリの発生の可能性が低い期間は、周期を所定の初期値よりも長く設定するという運用が可能である。

処理部１０は、取得したデータを形態素解析して得られた単語リストを抽出モデル１１Ｍへ与える（Ｓ１０３）。抽出モデル１１Ｍは例えば上述したように、単語リストに含まれる単語毎にアノマリに関する書込み、コメントである可能性の高さを示すスコアを出力する。処理部１０は、単語リストに含まれる単語毎のスコアを総計してデータ全体がアノマリに関する可能性の高さを示すスコアを算出する。このとき「バグ」、「不具合」、「クラッシュ」、「障害」等の特定の単語に重みを付与し、これらの単語が含まれる書込み、コメントについては高確率にアノマリに関するデータであると判断できるとよい。抽出モデル１１Ｍ自体が、これらの単語に対する重みを大きく付与して学習されていてもよい。単語リストに含まれる単語数でスコアを除算し、総計ではなくアノマリに関するデータであると判断されやすい単語の出現確率といった数値としてスコアが算出されてもよい。

処理部１０は、データ全体に対して算出されたスコアが所定値以上であるか否かによって、アノマリに関するデータであるか否かを判断する（Ｓ１０４）。具体例の「これバグだとおもう」という画像データを添付した書き込みがコミュニティサイトに投稿されている場合、形態素解析では「これ／バグ／だ／と／おもう」と分析される。「これ」「だ」「と」等の助詞の単語に対してスコアは算出されず、「バグ」の名詞の単語に対してアノマリに関する可能性の高さを示すスコアが算出される。「バグ」については大きな重みが付与されることで、このスコアの算出結果によって処理部１０は、「これバグだとおもう」という書き込みのテキスト及び添付の画像データは、アノマリに関するデータであると判断する。

添付された画像データに対して処理部１０は、抽出モデル１１Ｍへ与える前段階にて、文字認識を実行してもよい。画像データはゲーム画面又はゲーム画面を再現したイラストである可能性がある。ゲーム画面である場合、処理部１０は、文字認識の結果、ゲーム画面に含まれる敵及び味方キャラクタ名、台詞、ステータスの数値、状態、特殊効果のためのスキル名、選択された技の名前等をテキスト化し、データの関連データとすることができる。書き込みに添付されているデータが画像データではなく、動画像データ、又は音声データであっても、処理部１０は同様に、テキスト化し、関連データとすることができる。

処理部１０は、添付されたデータをテキスト化した関連データについてもステップＳ１０３で抽出モデル１１Ｍへ与えてもよい。しかしながら、書き込みのテキストと同様のレベルで取扱うと、ネガティブな台詞に基づいてアノマリに関するデータであると認識する可能性がある。抽出モデル１１Ｍへは画像認識の結果のテキストを与えず、画像認識によって得られた関連データは、後の分類時に使用するとよい。

処理部１０は、アノマリに関するデータであると判断した対象のデータを記憶する（Ｓ１０５）。ステップＳ１０５について上述したしたように処理部１０は、取得した「これバグだとおもう」という書き込みのテキスト、テキストに添付された画像データ、及び単語リストを記憶する。処理部１０は、「これバグだとおもう」というテキスト及び添付された画像データを含む書き込み自体へアクセスするためのＵＲＬを共に記憶するとよい。直接的にアクセスするためのＵＲＬではなく、キャッシュデータとして記憶してもよい。画像データが添付されている場合、処理部１０は、画像データから認識されたテキストを記憶してもよい。上述したように、分類時に使用するためである。

処理部１０は、分類処理にて、記憶部１１に記憶された「これバグだとおもう」というテキストを含むデータを読み出す。処理部１０は、元のテキスト又は画像認識若しくは音声認識で得られたテキストを読み出してもよい。形態素解析後の単語リストが記憶されている場合、処理部１０はこれを読み出すとよい。

処理部１０は、読み出したデータの形態素解析後の単語リストを分類モデル１２Ｍに与え（Ｓ２０２）、分類モデル１２Ｍから得られる単語毎の各分類に対するスコアに基づき、分類を決定する。「これ／バグ／だ／と／おもう」のデータを分類モデル１２Ｍへ与えた場合、処理部１０は、「バグ」という単語に対して「バグ」の分類である可能性が高いスコアが取得できる。その他の「これ／だ／と／おもう」の単語に対しては汎用的な単語であるためにスコアが算出されない可能性がある。処理部１０は、「バグ」以外の分類に対するスコアを取得できず、「これ／バグ／だ／と／おもう」のデータに対して「バグ」の分類を示す分類データ（識別番号）を対応付けて記憶する。なお分類処理は、分類モデル１２Ｍを使用する処理に限らなくてもよい。

ステップＳ２０２において処理部１０は、「バグ」の大分類に対し、データに対応付けられている添付の画像データから得られたキャラクタ名、台詞等の関連データによってより詳細に分類してもよい。

分類処理の結果、記憶部１１には期間毎に、抽出されたデータと、データの分類を示す分類データとが蓄積される。

具体例では処理部１０は、レポートを作成する。処理部１０は、分類済のデータを分類毎に読み出し（Ｓ３０１）、まとめる（Ｓ３０４）。処理部１０は、「これバグだとおもう」という書き込み、「バグってない？」、「バグだわ」、「バグを発見」、「バグが発生している」といった書き込みはまとめられるとよい。処理部１０は、「バグ」の分類データが対応付けられているデータの内、特定の単語、例えば「バグ」が共通し、且つ、「バグ」の単語以外の単語が汎用的な単語である場合に、重複度合いが高いと判断してもよい。処理部１０は、特定の単語以外の単語、「発見」「思う」が相互に類似関係にあるか否かを、類語辞書、共起辞書等を用いて判断し、類似関係にある場合には重複度合いを高めるように処理してもよい。処理部１０はその他、公知の言語処理を用いて文意の重複を判断してもよい。

処理部１０は、ステップＳ３０２の計数、及び／又は、まとめた結果をレポートとして作成する（Ｓ３０５）。具体例では、処理部１０は、レポートを表計算データ及び文書データの両方で作成する。処理部１０は、各行に抽出された分類済のデータのテキスト及びそのデータへアクセスするためのリンクデータを、分類別に記述するレポートを表計算データで作成する。ここでいう表計算データとは、表計算アプリケーションで閲覧可能な形式のデータを意味する。処理部１０は、レポートを、分類毎に、まとめられたデータのテキスト及び重複数を記述した文書データで作成する。文書データは、リンクデータ等を含まなくてもよい。文書データには、まとめられたデータの代表的なデータの書き込みテキスト及び画像データが複数含まれるとよい。

処理部１０は、作成したレポートを、ファイル共有アプリケーションへアップロードする。処理部１０は、ファイル共有アプリケーションにおけるそのレポート（表計算データ、文書データ等）へのリンクデータを含むメッセージを、メッセージアプリケーションにおける開発者のチームＩＤに対して送信することによって通知する。クライアント装置２では、メッセージアプリケーションを介して通知を受信できる。処理部１０は、分類毎に、通知先のオペレータを識別する識別データを変更してもよい。処理部１０は、開発者であるオペレータの識別データには、各データへのリンクを含む表計算データへのリンクを含むメッセージを送信し、企画者であるオペレータの識別データには、文書データへのリンクを含むメッセージを送信してもよい。チームＩＤ、コミュニティＩＤを分別して通知してもよい。

具体例におけるクライアント装置２での表示例を、図面を参照して説明する。図６は、クライアント装置２における表示例を示す図である。図６は、メッセージアプリケーションのホーム画面２３０を示す。図６は、製作者の内の、開発者のオペレータがそのアカウントでログインした場合のホーム画面２３０の表示例を示す。開発者であるオペレータのアカウントでメッセージアプリケーションを起動させた場合、図６に示すように、ホーム画面２３０には、アカウントが参加しているプロジェクト毎の、チーム又はテーマ等のリストエリア２３１と、リスト中から選択されたチーム又はテーマにおけるメッセージの表示エリア２３２とが含まれる。

リストエリア２３１に含まれている、「ＡＢＣ」というプロジェクトにおける「アノマリレポート」というチーム（テーマ）に対し、通知が１通届いていることがアイコン２３３で示されている。

表示エリア２３２には、選択されたチーム又はテーマにおける他のオペレータとのメッセージの内容が表示される。図６の表示例では、検知装置１から「アノマリレポート」がアップロードされている旨のメッセージ内容が表示されている。表示エリア２３２には、レポートへのリンクを示すアイコン２３４が表示されている。アイコン２３４が操作部２４によって選択された場合、アイコン２３４に対応付けられているデータ共有アプリケーション内のレポートへのアドレスに基づいて、レポート表示画面が表示部２３に表示される。

図７は、レポート表示画面２３５の内容例を示す図である。レポート表示画面２３５は、データ共有アプリケーション内で起動する表計算アプリケーションによって表形式でレポートを表示する。図７の例では、分類毎にデータのテキストの一覧が示されている。テキストの隣のセルに示される数は、同じ趣旨のデータの数、即ち重複数である。重複数に対して操作部２４で操作をした場合に、全てのデータの一覧が展開されてもよい。

図７の例では「バグ」、「停止」の分類が表示されている。「バグ」の分類に対応付けて、「これバグだとおもう」という書き込みのデータ、及び同趣旨の重複数が表示されている。図７の例では「これバグだと思う」と同趣旨の「バグを発見」、「バグが発生している」等の書き込みのテキストが行に分けて表示されている。同趣旨のデータに対応する各行には、各データを直接的確認するためのリンク、各データに対応付けて記憶された関連データのテキストが含まれている。

「バグ」の分類にはその他、「表示が変」という書き込みのデータ、及び、重複数が表示されている。「表示が変」と同趣旨のデータとして「表示がバグってる」という書き込みのデータが表示されている。

「停止」の分類には、「フリーズしてしまった」という書き込みのデータ、及び重複数が表示されている。

図７の例では分類毎に、重複数の多い順にデータをソートして表示している。同趣旨の書き込みが多いほど、他よりも早くオペレータが確認でき、アノマリ発生からの時間差をより短くすることができる。分類についても、検知件数が多い分類をより上位に表示するようにしてもよい。判定される深刻度の高さでソートして表示されてもよい。

このようにして、オペレータは、検知装置１によって自動的に、もれなくクローリングされたデータを、まとめて確認することができる。分類別に表示されることにより、オペレータは、対処すべき内容をまとめて確認できる。アノマリを早急に対応することが、スマートフォンをハードウェアとするゲームアプリのアクティブユーザの離脱を防ぐために有効である。特定とはいえ、検知対象のゲームアプリに関するサイトへの書き込みを全て確認することは大きなコストを要するが、検知装置１によって自動的に収集、抽出、分類されたデータをレポートとして確認することで人手及び時間的なコストの削減ができる。自動的に２４時間３６５日クローリングが可能であるから、アノマリによる訴求力低下のリスクを低減することができる。

レポートは、図７に示したように重複数が共に表示されることで、アノマリの認知件数の多さを他と比較して把握することができる。各データには、その元の書き込み、投稿テキストへアクセスするためのリンクが対応付けられていることで、オペレータが一次情報を確認し、前後の情報からアノマリの要因をより早く推定し、より早く対処、手配することが可能になる。

図７に示したようなアノマリに関するデータ（コメント）として検知されたデータに対し、オペレータがアノマリでないものを指摘して検知装置１へフィードバックしてもよい。検知装置１は、アノマリでないが抽出モデル１１Ｍによってアノマリに関するデータであると判断されたデータを用いて、抽出モデル１１Ｍを再学習してもよい。

図６に示したメッセージアプリケーション、又は図７に示したデータ共有アプリケーションを介して、検知装置１へ、クローリングの対象とすべき特定のコミュニティサイト、板、ジャンル、検索キーワード等の指定、周期の指定、が実行できてもよい。例えば検知装置１は、データ共有アプリケーションに検知装置１に与えられたアカウントで接続し、記憶してある設定ファイルを参照し、設定ファイルに含まれる検索キーワード等を読み込んで記憶部１１に記憶して使用する。

上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

１００ アノマリ検知システム
１ 検知装置
１０ 処理部
１１ 記憶部
１Ｐ 検知プログラム
２ クライアント装置
２０ 処理部
２３ 表示部
２４ 操作部
２Ｐ クライアントプログラム

Claims (7)

1. ゲームアプリケーションに関して投稿されたデータを収集し、
   データが入力された場合に、前記データが前記ゲームアプリケーションのアノマリに関するデータを出力するように学習済みのモデルに、収集したデータを入力し、
   前記モデルから出力されるデータに基づき、収集されたデータの内、アノマリに関するデータであると判断されたデータを記憶する
   アノマリ検知方法。
2. 前記モデルは、データが入力された場合に、前記データが前記ゲームアプリケーションのアノマリに関するデータである可能性に対応するスコアを出力するように学習され、
   前記スコアに基づき、入力したデータがアノマリに関するデータであるか否かを判断する
   請求項１に記載のアノマリ検知方法。
3. 前記モデルは、データが入力された場合に、前記データに関する前記ゲームアプリケーションのアノマリの分類を判別するように学習され、
   前記アノマリに関するデータに、前記モデルに基づいて判別された分類を示すデータを対応付けて記憶する
   請求項１又は２に記載のアノマリ検知方法。
4. 前記ゲームアプリケーションに関して投稿されたデータを定期的に収集し、
   収集したデータを周期別に、周期が終了する都度前記モデルへ入力する
   請求項１から請求項３のいずれか１項に記載のアノマリ検知方法。
5. 記憶されたアノマリに関するデータの一覧を含むレポートを作成し、
   レポートの作成を外部へ通知する
   請求項１から請求項４のいずれか１項に記載のアノマリ検知方法。
6. ゲームアプリケーションに関して投稿されたデータを収集する収集部と、
   データが入力された場合に、前記データに対して前記ゲームアプリケーションのアノマリに関するデータを出力するように学習済みのモデルを記憶する第１記憶部と、
   収集したデータを前記モデルに入力し、前記モデルから出力されるデータに基づき、収集されたデータの内、アノマリに関するデータであると判断されたデータを記憶する第２記憶部と
   を備える検知装置。
7. コンピュータに、
   ゲームアプリケーションに関して投稿されたデータを収集し、
   データが入力された場合に、前記データが前記ゲームアプリケーションのアノマリに関するデータを出力するように学習済みのモデルに、収集したデータを入力し、
   前記モデルから出力されるデータに基づき、収集されたデータの内、アノマリに関するデータであると判断されたデータを記憶する
   処理を実行させるコンピュータプログラム。

Images