JP2019096977A - 可視化方法、可視化装置及び可視化プログラム - Google Patents

可視化方法、可視化装置及び可視化プログラム Download PDF

Info

Publication number
JP2019096977A
JP2019096977A JP2017223351A JP2017223351A JP2019096977A JP 2019096977 A JP2019096977 A JP 2019096977A JP 2017223351 A JP2017223351 A JP 2017223351A JP 2017223351 A JP2017223351 A JP 2017223351A JP 2019096977 A JP2019096977 A JP 2019096977A
Authority
JP
Japan
Prior art keywords
vectors
data
storage unit
visualization
coder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017223351A
Other languages
English (en)
Other versions
JP7062923B2 (ja
Inventor
裕平 梅田
Yuhei Umeda
裕平 梅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017223351A priority Critical patent/JP7062923B2/ja
Priority to US16/175,006 priority patent/US10692256B2/en
Publication of JP2019096977A publication Critical patent/JP2019096977A/ja
Application granted granted Critical
Publication of JP7062923B2 publication Critical patent/JP7062923B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】多次元尺度構成法においては、入力される時系列データが変わると、同一のデータであったとしても位置関係が変わる。従って、新たに取得したデータと既に取得したデータとの関係を継続的に把握することは困難である。データ間の関係を容易に把握可能な態様で可視化する技術を提供する。【解決手段】本可視化方法は、複数の入力データからそれぞれ生成された複数のベクトルから、複数のベクトル間の位置関係が維持される次元圧縮により複数の変換ベクトルを生成し、複数の変換ベクトルをプロットする処理を含む。【選択図】図10

Description

本発明は、データの可視化技術に関する。
時系列で取得されたデータ(以下、時系列データと呼ぶ)を基に異常を検知することが行われている。例えば或る方法においては、正常状態時のデータから抽出した特徴量(例えば統計量)と、対象のデータから抽出した特徴量との比較に基づき異常が発生したか否か判定される。
但し、上記方法により異常が発生したか否かの判定を行うことはできるものの、発生した異常の原因と過去の異常の原因とが同じであるか等の判定を行うことはできない。例えば、図1に示すような時系列データが取得されたとする。図1において、横軸の値は時間を表し、縦軸の値は特定の項目の値を表す。図1においては、異常状態11と異常状態12とが発生しており、異常状態11および異常状態12以外の部分は正常状態である。図1の例の場合、上記方法を利用すれば異常状態11と異常状態12とが発生したことを検知することは可能である。しかし、異常状態11の原因と異常状態12の原因とが異なる(すなわち、異常状態11の種類と異常状態12の種類とが異なる)か否かということを判定することはできない。
一方、時系列データ等のデータ間の関係を把握する際に利用される技術として、多次元空間にデータをマッピングする可視化技術である多次元尺度構成法(MultiDimensional Scaling)が知られている。
特開2011−34208号公報
多次元尺度構成法によれば、或る種類の異常と別の種類の異常とが区別可能な態様で可視化される可能性がある。しかし、多次元尺度構成法においては、新しいデータの追加により再計算が行われると、データ間の位置関係が、新しいデータが追加されていない時の計算結果に基づく位置関係とは変わる。
図2は、多次元尺度構成法について説明する図である。図2(b)及び図2(c)において点23は図2(a)における基準データに対応する点であり、図2(b)において点23以外の点は枠21に含まれる時系列データに対応し、図2(c)において点23以外の点は枠22に含まれる時系列データに対応する。
このように、多次元尺度構成法においては、入力される時系列データが変わると、同一のデータであったとしても位置関係が変わる。従って、新たに取得したデータと既に取得したデータとの関係を継続的に把握することは困難である。
本発明の目的は、1つの側面では、データ間の関係を容易に把握可能な態様で可視化する技術を提供することである。
一態様に係る可視化方法は、複数の入力データからそれぞれ生成された複数のベクトルから、複数のベクトル間の位置関係が維持される次元圧縮により複数の変換ベクトルを生成し、複数の変換ベクトルをプロットする処理を含む。
1つの側面では、データ間の関係を容易に把握可能な態様で可視化できる。
図1は、時系列データの一例を示す図である。 図2は、多次元尺度構成法について説明するための図である。 図3は、第1の実施の形態における可視化装置の機能ブロック図である。 図4は、第1の実施の形態における第1生成部が実行する処理の処理フローを示す図である。 図5は、サンプルデータセットとデータセットとの関係を示す図である。 図6は、サンプルデータセットとデータセットとの関係を示す図である。 図7は、複数のサンプルデータセット間の距離を成分とする行列の一例を示す図である。 図8は、自己符号化器の一例を示す図である。 図9は、自己符号化器におけるエンコードが実行される部分を示す図である。 図10は、第2生成部及び出力部が実行する処理の処理フローを示す図である。 図11は、対象ベクトルの一例を示す図である。 図12は、表示データに基づく表示の一例を示す図である。 図13は、第2の実施の形態における第1生成部が実行する処理の処理フローを示す図である。 図14は、第3の実施の形態における可視化装置の機能ブロック図である。 図15は、第3の実施の形態における第1生成部が実行する処理の処理フローを示す図である。 図16は、自己符号化器のパラメータの算出方法について説明するための図である。 図17は、自己符号化器のパラメータの算出方法について説明するための図である。 図18は、自己符号化器のパラメータの算出方法について説明するための図である。 図19は、第3の実施の形態における表示の一例を示す図である。 図20は、第4の実施の形態における第1生成部が実行する処理の処理フローを示す図である。 図21は、既知の状態の数が3である場合におけるニューラルネットワークの一例を示す図である。 図22は、コンピュータの機能ブロック図である。
[実施の形態1]
図3は、第1の実施の形態における可視化装置1の機能ブロック図である。第1の実施の形態における可視化装置1は、受信部101と、第1生成部103と、第2生成部105と、出力部107と、データ格納部111と、サンプルデータ格納部113と、第1距離データ格納部115と、第2距離データ格納部117と、パラメータ格納部119と、結果格納部121とを含む。
受信部101、第1生成部103、第2生成部105及び出力部107は、例えば、図22におけるメモリ2501に格納されたプログラムが図22におけるCPU(Central Processing Unit)2503により実行されることで実現される。データ格納部111、サンプルデータ格納部113、第1距離データ格納部115、第2距離データ格納部117、パラメータ格納部119及び結果格納部121は、例えば、メモリ2501又は図22におけるHDD(Hard Disk Drive)2505に設けられる。
受信部101は、入力された又は他の装置(例えばジャイロセンサ等)から受信された時系列データをデータ格納部111に格納する。時系列データは、例えば、生体データ(心拍数、脳波、脈拍或いは体温などの時系列データ)、センサにより計測されたデータ(ジャイロセンサ、加速度センサ或いは地磁気センサなどの時系列データ)、金融データ(金利、物価、国際収支或いは株価などの時系列データ)、自然環境のデータ(気温、湿度或いは二酸化炭素濃度などの時系列データ)、又は社会データ(労働統計或いは人口統計などのデータ)等である。
第1生成部103は、データ格納部111に格納されているデータに基づき処理を実行し、処理結果をサンプルデータ格納部113に格納する。また、第1生成部103は、サンプルデータ格納部113に格納されているデータに基づき処理を実行し、処理結果を第1距離データ格納部115に格納する。また、第1生成部103は、第1距離データ格納部115に格納されているデータに基づき処理を実行し、処理結果をパラメータ格納部119に格納する。
第2生成部105は、データ格納部111に格納されているデータ及びサンプルデータ格納部113に格納されているデータに基づき処理を実行し、処理結果を第2距離データ格納部117に格納する。また、第2生成部105は、第1距離データ格納部115に格納されているデータ、第2距離データ格納部117に格納されているデータ及びパラメータ格納部119に格納されているデータに基づき処理を実行し、処理結果を結果格納部121に格納する。
出力部107は、結果格納部121に格納されているデータに基づき表示データを生成し、生成された表示データを出力する処理(例えば、表示装置に表示する処理)を実行する。
次に、図4乃至図12を用いて、第1の実施の形態における可視化装置1が実行する処理について説明する。
図4は、第1の実施の形態における第1生成部103が実行する処理の処理フローを示す図である。
まず、第1生成部103は、正常状態時の時系列データをデータ格納部111から読み出す(図4:ステップS1)。時系列データには正常状態時の部分と異常状態時の部分とが含まれるので、第1生成部103は、ユーザから正常状態時の部分(例えば期間)の指定を受け付け、指定された部分の時系列データを読み出す。指定される部分の数は複数であってもよい。
第1生成部103は、ステップS1において読み出された時系列データから、バラツキが大きくなるように複数のサンプルデータセットを取得し(ステップS3)、取得された複数のサンプルデータセットをサンプルデータ格納部113に格納する。サンプルデータセットは、例えば、所定長の長さを持つ時系列データである。
複数のサンプルデータセットを取得する理由は、データセットを表現する指標値が1つだとデータセットの特徴の違いが結果に表れにくいためである。図5は、1つのサンプルデータセットと複数のデータセットとの関係を示す図である。図5における点51はサンプルデータセットを表す点であり、その他の点は対象のデータセットである。図5の例のように、サンプルデータセットの数が1つである場合、サンプルデータセットからの距離(例えばユークリッド距離)を指標値とすると、たとえ3つのデータセットの特徴が違っていたとしても同じ特徴を有するものと判定される可能性がある。一方、図6に示すように、サンプルデータセットを表す点61乃至63が存在する場合、複数の距離を指標値として各データセットを表現することができるので、3つのデータセットの特徴の違いを検知できる可能性がある。
また、複数のサンプルデータセットのバラツキを大きくすることも、各データセットの特徴の違いが結果に表れやすくなることに寄与する。バラツキが大きくなるように複数のサンプルデータセットを取得する方法は、例えば、以下のような方法である。具体的には、第1生成部103は、全サンプルデータセット間の距離を算出し、距離が最大であるサンプルデータセットの組合せを特定する。第1生成部103は、その組合せに含まれる2つのサンプルデータセットの各々について、他のサンプルデータセットとの距離を降順に並び替えて最初から順に探索する。第1生成部103は、一方のサンプルデータセットからの距離が現れ且つもう一方のサンプルデータセットからの距離も現れたタイミングが最初のサンプルデータセットを特定する。続いて、第1生成部103は、特定されたサンプルデータセットと上記2つのサンプルデータセットとを含む3つのサンプルデータセットについて、同様の処理を実行する。さらに、第1生成部103は、サンプルデータセットの数が予め定められた数に達するまで同様の処理を実行する。
図4の説明に戻り、第1生成部103は、ステップS3において取得された複数のサンプルデータセットをサンプルデータ格納部113から読み出す。そして、第1生成部103は、複数のサンプルデータセット間の距離を成分とする行列を生成し(ステップS5)、生成された行列を第1距離データ格納部115に格納する。例えばサンプルデータセットの数が4である場合には、図7に示すような4行4列の行列が生成される。正方形の図形は行列の成分を表す。行列の対角成分の値は、同じサンプルデータセット間の距離を表すので、0である。
第1生成部103は、第1距離データ格納部115に格納された行列を入力として自己符号化器のパラメータを算出する(ステップS7)。自己符号化器のパラメータは、例えば、自己符号化器におけるエンコードの重み及びバイアスと、自己符号化器におけるデコードの重み及びバイアスとを含む。ステップS7においては、自己符号化器の入力xと出力yとの誤差が最小になるようにパラメータが算出される。例えば図7に示したように行列が4行4列の行列であって、且つ圧縮後の次元が2である場合、図8に示すような自己符号化器のパラメータが算出される。
第1生成部103は、自己符号化器におけるエンコードのパラメータをパラメータ格納部119に保存する(ステップS9)。そして処理は終了する。図8に示した自己符号化器の場合、図9に示した枠91で囲まれた部分においてエンコードが行われるので、枠91で囲まれた部分についてのパラメータが保存される。
以上のように、自己符号化器におけるエンコード(すなわち次元圧縮)のパラメータを保存しておけば、後でそのパラメータを用いて同様の次元圧縮を行うことができるようになる。これにより、複数の点の位置関係を維持することができるようになる。
図10は、第2生成部105及び出力部107が実行する処理の処理フローを示す図である。本処理は、第1生成部103が処理を実行した後に実行される。また、実際には複数回実行され複数の対象ベクトルが可視化されるが、説明を簡単にするため、以下では1つの対象ベクトルを処理する例について説明する。
第2生成部105は、データ格納部111に格納されている時系列データから対象のデータセット(例えば、新たに取得された時系列データの一部)を取得する(図10:ステップS11)。対象のデータセットは、ユーザから指定されたデータセットであってもよい。
第2生成部105は、サンプルデータ格納部113に格納されている複数のサンプルデータセットを読み出す。そして、第2生成部105は、読み出された複数のサンプルデータセットの各々と対象のデータセットとの距離を算出する(ステップS13)。例えばサンプルデータセットの数が4である場合、4つの距離が算出される。
第2生成部105は、ステップS13において算出された距離を成分とする対象ベクトルを生成し(ステップS15)、生成された対象ベクトルを第2距離データ格納部117に格納する。例えばサンプルデータセットの数が4である場合、図11に示すような列ベクトルが生成される。図11において、正方形の図形は対象ベクトルの成分を表す。
第2生成部105は、パラメータ格納部119から、自己符号化器における次元圧縮のパラメータを読み出す(ステップS17)。
第2生成部105は、ステップS17において読み出されたパラメータに基づき、第2距離データ格納部117に格納された対象ベクトルの次元圧縮を実行し(ステップS19)、次元圧縮により生成されたベクトルを結果格納部121に格納する。例えば、対象ベクトルが図11に示したような列ベクトルであり且つ図9の枠91で示した次元圧縮が行われる場合、対象ベクトルは2次元のベクトルに変換される。
第2生成部105は、ステップS17において読み出されたパラメータに基づき、第1距離データ格納部115に格納された行列に含まれる各列ベクトルの次元圧縮を実行し、次元圧縮により生成されたベクトルを結果格納部121に格納する。そして、出力部107は、結果格納部121に格納された、対象ベクトルに対する次元圧縮の結果と第1距離データ格納部115に格納された行列に含まれる各列ベクトルに対する次元圧縮の結果とを含む表示データを生成し、生成された表示データを出力する(ステップS21)。そして処理は終了する。
以上のように、データを取得して次元圧縮をする度に変換則(すなわち、次元圧縮のパラメータ)を生成するのではなく、予め生成された変換則を使用すれば、プロットされた複数のベクトルの位置関係は維持されるようになる。これにより、データセット間の関係を容易に把握することができるようになる。
図12は、表示データに基づく表示の一例を示す図である。図12の例は、次元圧縮により生成されたベクトルが2次元ベクトルである場合の例である。図12において、横軸の値は1次元目の値を表し、縦軸の値は2次元目の値を表す。枠1201に囲まれた点は図1における異常状態11に対応し、枠1202に囲まれた点は図1における異常状態12に対応し、枠1203に囲まれた点は図1において異常状態11及び異常状態12以外の部分(すなわち正常状態)に対応する。枠1203に囲まれた点のうちハッチングされた点はサンプルデータセットに対応する。
本実施の形態によれば、図12に示すように、異常状態11に対応するベクトルと異常状態12に対応するベクトルとが別々の領域に表示されるので、異常状態11と異常状態12とは異なる種類の異常であることを把握することができる。また、正常状態に対応するベクトルは、異常状態11に対応するベクトルがプロットされた領域及び異常状態12に対応するベクトルがプロットされた領域のいずれとも異なる領域に表示される。従って、第1の実施の形態によれば、ユーザはデータセット間の関係を容易に把握することができるようになる。
また、図12に示した状態の分布に対して新たに点が追加されたとしても、多次元尺度構成法を使用した場合とは異なり、既にプロットされた点の位置関係は変わらない。よって、新たな点に対応するデータセットと既にプロットされた点に対応するデータセットとの関係をリアルタイムで容易に把握可能である。
[実施の形態2]
第1の実施の形態においては次元圧縮の変換則が自己符号化器のパラメータであるが、自己符号化器のパラメータ以外を次元圧縮の変換則としてもよい。他の変換則を使用する例として、以下では、主成分分析の主成分ベクトルの情報を使用する方法について説明する。
図13は、第2の実施の形態における第1生成部103が実行する処理の処理フローを示す図である。
まず、第1生成部103は、正常状態時の時系列データをデータ格納部111から読み出す(図13:ステップS31)。時系列データには正常状態時の部分と異常状態時の部分とが含まれるので、第1生成部103は、ユーザから正常状態時の部分(例えば期間)の指定を受け付け、指定された部分の時系列データを読み出す。指定される部分の数は複数であってもよい。
第1生成部103は、ステップS31において読み出された時系列データから、バラツキが大きくなるように複数のサンプルデータセットを取得し(ステップS33)、取得された複数のサンプルデータセットをサンプルデータ格納部113に格納する。サンプルデータセットは、例えば、所定長の長さを持つ時系列データである。
第1生成部103は、ステップS33において取得された複数のサンプルデータセットをサンプルデータ格納部113から読み出す。そして、第1生成部103は、複数のサンプルデータセット間の距離を成分とする行列を生成し(ステップS35)、生成された行列を第1距離データ格納部115に格納する。
第1生成部103は、第1距離データ格納部115に格納された行列を入力として主成分分析を実行する(ステップS37)。主成分分析の結果は、例えば、固有値、寄与率及び主成分負荷量等の情報を含む。
第1生成部103は、ステップS37における主成分分析の結果に含まれる、主成分ベクトルの情報(例えば主成分負荷量等の情報)をパラメータ格納部119に保存する(ステップS39)。そして処理は終了する。
以上のように、主成分ベクトルの情報を保存しておけば、後でその情報を用いて同様の次元圧縮を行うことができるようになる。
[実施の形態3]
正常状態の種類の数が2以上である場合がある。このような場合、一般的な異常検知方法を適用すると、異常スコアが2つの正常状態のスコアの中間値になることがあり、識別が困難である。そこで、以下では、2つ以上の正常状態が有る場合に実行する処理について説明する。
図14は、第3の実施の形態における可視化装置1の機能ブロック図である。第3の実施の形態における可視化装置1は、受信部101と、第1生成部103と、第2生成部105と、出力部107と、データ格納部111と、第1サンプルデータ格納部131と、第2サンプルデータ格納部133と、第1距離データ格納部115と、第2距離データ格納部117と、パラメータ格納部119と、結果格納部121とを含む。
受信部101、第1生成部103、第2生成部105及び出力部107は、例えば、メモリ2501に格納されたプログラムがCPU2503により実行されることで実現される。データ格納部111、第1サンプルデータ格納部131、第2サンプルデータ格納部133、第1距離データ格納部115、第2距離データ格納部117、パラメータ格納部119及び結果格納部121は、例えば、メモリ2501又はHDD2505に設けられる。
受信部101は、入力された又は他の装置(例えばジャイロセンサ等)から受信した時系列データをデータ格納部111に格納する。
第1生成部103は、データ格納部111に格納されているデータに基づき処理を実行し、処理結果を第1サンプルデータ格納部131及び第2サンプルデータ格納部133に格納する。また、第1生成部103は、第1サンプルデータ格納部131に格納されているデータ及び第2サンプルデータ格納部133に格納されているデータに基づき処理を実行し、処理結果を第1距離データ格納部115に格納する。また、第1生成部103は、第1距離データ格納部115に格納されているデータに基づき処理を実行し、処理結果をパラメータ格納部119に格納する。
第2生成部105は、データ格納部111に格納されているデータ、第1サンプルデータ格納部131に格納されているデータ及び第2サンプルデータ格納部133に格納されているデータに基づき処理を実行し、処理結果を第2距離データ格納部117に格納する。また、第2生成部105は、第1距離データ格納部115に格納されているデータ、第2距離データ格納部117に格納されているデータ及びパラメータ格納部119に格納されているデータに基づき処理を実行し、処理結果を結果格納部121に格納する。
出力部107は、結果格納部121に格納されているデータに基づき表示データを生成し、生成した表示データを出力する処理(例えば、表示装置に表示する処理)を実行する。
図15は、第3の実施の形態における第1生成部103が実行する処理の処理フローを示す図である。ここでは、2種類の正常状態が存在するとする。
まず、第1生成部103は、2つの正常状態のうち第1の正常状態時の時系列データをデータ格納部111から読み出す。そして、第1生成部103は、読み出された時系列データから、バラツキが大きくなるように複数のサンプルデータセットを取得し(図15:ステップS41)、取得された複数のサンプルデータセットを第1サンプルデータ格納部131に格納する。ステップS41において、第1生成部103は、ユーザから第1の正常状態時である部分(例えば期間)の指定を受け付け、指定された部分の時系列データを読み出す。指定される部分の数は複数であってもよい。
第1生成部103は、2つの正常状態のうち第2の正常状態時の時系列データをデータ格納部111から読み出す。そして、第1生成部103は、読み出された時系列データから、バラツキが大きくなるように複数のサンプルデータセットを取得し(ステップS43)、取得された複数のサンプルデータセットを第2サンプルデータ格納部133に格納する。ステップS43において、第1生成部103は、ユーザから第2の正常状態時である部分(例えば期間)の指定を受け付け、指定された部分の時系列データを読み出す。指定される部分の数は複数であってもよい。
第1生成部103は、ステップS41及びS43において取得された複数のサンプルデータセットを第1サンプルデータ格納部131及び第2サンプルデータ格納部133から読み出す。そして、第1生成部103は、複数のサンプルデータセット間の距離を成分とする行列を生成し(ステップS45)、生成された行列を第1距離データ格納部115に格納する。
第1生成部103は、自己符号化器の入力xと出力yとの誤差、状態の分類に関するラベルとの誤差、及び表示サイズの差についての目的関数を最小化する最適化問題を解くことで、自己符号化器のパラメータを算出する(ステップS47)。入力xは、第1距離データ格納部115に格納された行列である。
図16乃至図18を用いて、自己符号化器のパラメータを算出する方法について説明する。
図16は、自己符号化器の入力xと出力yとの誤差について説明するための図である。図16には、入力xに対してyを出力する自己符号化器が示されており、自己符号化器におけるエンコードのパラメータがW1であり、自己符号化器におけるデコードのパラメータがW2である。図16において、y=W21xが成立する。第3の実施の形態においては、入力xと出力yとの誤差(例えば、(y−x)2)がより小さくなるように自己符号化器のパラメータが算出される。
図17は、状態の分類に関するラベルとの誤差について説明するための図である。図17には、入力xに対して、zを出力するニューラルネットワークが示されており、ニューラルネットワークの前半部の次元圧縮は自己符号化器におけるエンコードと同じである。ニューラルネットワークの後半部においては行列Vを用いて線形変換が行われる。図17において、Z=VW1xが成立する。入力xが、生成された行列に含まれる列ベクトルのうち第1の正常状態時のサンプルデータセットに対応する列ベクトルである場合と、生成された行列に含まれる列ベクトルのうち第2の正常状態時のサンプルデータセットに対応する列ベクトルである場合とで、異なるラベルtが対応付けられる。例えば、前者の場合にはラベルtは(1,0)であり、後者の場合にはラベルtは(0,1)である。第3の実施の形態においては、ニューラルネットワークの出力zとラベルtとの誤差(例えば、(z−t)2)がより小さくなるように自己符号化器のパラメータが算出される。
図18は、表示サイズの差について説明するための図である。図18には、図16に示した自己符号化器におけるエンコーダの部分が示されている。第1の正常状態時のサンプルデータセットに対応する列ベクトルx(1)の出力がp(1)であり、第2の正常状態時のサンプルデータセットに対応する列ベクトルx(2)の出力がp(2)である。第3の実施の形態においては、p(1)に含まれるベクトルの間の距離のうち最大の距離(以下、D1と呼ぶ)と、p(2)に含まれるベクトル間の距離のうち最大の距離(以下、D2と呼ぶ)との誤差(例えば、(D1−D22)がより小さくなるように自己符号化器のパラメータが算出される。これにより、第1の正常状態時に対応する点の分布のサイズと第2の正常状態時に対応する点の分布のサイズとの差を小さくすることができるので、データセット間の関係を把握しにくくなることを抑止できる。
従って、ステップS47における最適化問題は、例えば、f=a1*(y−x)2+a2*(z−t)2+a3*(D1−D22で表され、fを最小化するように自己符号化器のパラメータが算出される。なお、a1、a2及びa3は、予め設定された重みである。
第1生成部103は、ステップS47において算出されたパラメータのうち自己符号化器におけるエンコード(すなわち次元圧縮)のパラメータをパラメータ格納部119に保存する(ステップS49)。そして処理は終了する。
図19は、第3の実施の形態における表示の一例を示す図である。図19の例は、次元圧縮により生成されたベクトルが2次元ベクトルである場合の例である。図19において、横軸は1次元目の値を示す軸であり、縦軸は2次元目の値を示す軸である。枠1901に囲まれた点は第1の正常状態時のデータセットに対応し、枠1902に囲まれた点は第2の正常状態時のデータセットに対応する。枠1901及び枠1902に囲まれた点のうちハッチングされた点はサンプルデータセットに対応する。
図19の表示例においては、図12の表示例と比べ、枠1901に囲まれた領域のサイズと枠1902に囲まれた領域のサイズとの差が小さいので、ユーザはデータセット間の関係を視認しやすい。また、枠1901に囲まれておらず且つ枠1902に囲まれていない点が出現していることから、ユーザは異常状態が発生したことを確認することができる。
[実施の形態4]
異常状態の数が2以上であるが、2つ以上の異常状態のうち1つの異常状態が既知である場合がある。以下では、今後起こる異常状態が既知の異常状態と未知の異常状態とのいずれであるかを判定できるようにする方法について説明する。
図20は、第4の実施の形態における第1生成部103が実行する処理の処理フローを示す図である。
まず、第1生成部103は、正常状態時の時系列データをデータ格納部111から読み出す。そして、第1生成部103は、読み出された時系列データから、バラツキが大きくなるように複数のサンプルデータセットを取得し(図20:ステップS51)、取得された複数のサンプルデータセットを第1サンプルデータ格納部131に格納する。ステップS51において、第1生成部103は、ユーザから正常状態時である部分(例えば期間)の指定を受け付け、指定された部分の時系列データを読み出す。指定される部分の数は複数であってもよい。
第1生成部103は、第1の異常状態時の時系列データをデータ格納部111から読み出す。そして、第1生成部103は、読み出された時系列データから、バラツキが大きくなるように複数のサンプルデータセットを取得し(ステップS53)、取得された複数のサンプルデータセットを第2サンプルデータ格納部133に格納する。ステップS53において、第1生成部103は、ユーザから第1の異常状態時である部分(例えば期間)の指定を受け付け、指定された部分の時系列データを読み出す。指定される部分の数は複数であってもよい。
第1生成部103は、ステップS51及びS53において取得された複数のサンプルデータセットを第1サンプルデータ格納部131及び第2サンプルデータ格納部133から読み出す。そして、第1生成部103は、複数のサンプルデータセット間の距離を成分とする行列を生成し(ステップS55)、生成された行列を第1距離データ格納部115に格納する。
第1生成部103は、自己符号化器の入力xと出力yとの誤差、状態の分類に関するラベルとの誤差、及び表示サイズの差についての目的関数を最小化する最適化問題を解くことで、自己符号化器のパラメータを算出する(ステップS57)。入力xは、第1距離データ格納部115に格納された行列である。第4の実施の形態においては、正常状態に対応付けられるラベルと、第1の異常状態に対応付けられるラベルとが使用される。
第1生成部103は、ステップS57において算出されたパラメータのうち自己符号化器におけるエンコード(すなわち次元圧縮)のパラメータをパラメータ格納部119に保存する(ステップS59)。そして処理は終了する。
以上のような処理を実行すれば、新たに発生した異常が既知の異常と同じであるか否かを容易に把握可能なように可視化を行うことができるようになる。
[実施の形態5]
第3及び第4の実施の形態においては既知の状態の数が2であるが、既知の状態の数は3以上であってもよい。例えば既知の状態の数が3である場合、図21に示すようなニューラルネットワークが使用される。図21に示すニューラルネットワークは、入力xに対してzを出力するネットワークであり、出力層のユニットの数は3である。3つの状態に対しては、例えば、(1,0,0)、(0,1,0)及び(0,0,1)がラベルとして割り当てられる。同様に、出力層のユニットの数を増やすことで、既知の状態の数が4以上である場合であっても適切な可視化を行うことができる。
以上本発明の一実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上で説明した可視化装置1の機能ブロック構成は実際のプログラムモジュール構成に一致しない場合もある。
また、処理フローにおいても、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。
また、上で述べた例においては2次元平面上にプロットされた点が表示されるが、3次元空間上にプロットされた点が表示されてもよい。
なお、上で述べた可視化装置1は、コンピュータ装置であって、図22に示すように、メモリ2501とCPU2503とHDD2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
以上述べた本発明の実施の形態をまとめると、以下のようになる。
本実施の形態の第1の態様に係る可視化方法は、(A)複数の入力データからそれぞれ生成された複数のベクトルから、複数のベクトル間の位置関係が維持される次元圧縮により複数の変換ベクトルを生成し、(B)複数の変換ベクトルをプロットする処理を含む。
複数のベクトル間の位置関係が変わることなく維持されるので、プロットを確認したユーザは、入力データ間の関係を容易に把握することができる。
また、本可視化方法は、(C)複数の入力データそれぞれから、当該入力データと複数の基準データとの間の距離を成分とするベクトルを生成する処理をさらに含んでもよい。
複数の基準データを利用することで、特徴が異なる入力データ同士が類似の入力データであるとみなされてしまうことを抑制できる。
また、次元圧縮は、データ格納部に格納され且つ予め算出された変換則を用いて行われてもよい。
予め算出された変換則を用いて次元圧縮を行えば、次元圧縮の度に複数のベクトル間の位置関係が変わってしまうことを抑止できる。
また、本可視化方法は、(D)複数の基準データから生成された複数のベクトルを入力とする自己符号化器のパラメータを算出し、(E)自己符号化器のパラメータのうち符号化のパラメータを含む変換則を、データ格納部に格納する処理をさらに含んでもよい。
次元圧縮として自己符号化器における符号化を実行できるようになる。
また、本可視化方法は、(F)複数の基準データから生成された複数のベクトルに対する主成分分析を実行し、(G)主成分分析の結果に含まれる変換則を、データ格納部に格納する処理をさらに含んでもよい。
次元圧縮に主成分分析の変換則(例えば主成分ベクトルの情報)を利用できるようになる。
また、自己符号化器のパラメータを算出する処理において、(d1)自己符号化器の入力と出力との差と、複数の状態の分類に関するラベル情報と、複数の基準データから生成された複数のベクトルがプロットされる領域のサイズの情報とに基づく目的関数を最小化する最適化問題を解くことで、自己符号化器のパラメータを算出してもよい。
総合的に適切な可視化を行えるようになる。
また、複数の状態は、少なくとも2つの正常状態を含んでもよい。
少なくとも2つの正常状態との関係を把握できるようになる。
また、複数の状態は、少なくとも1つの正常状態と少なくとも1つの異常状態とを含んでもよい。
少なくとも1つの正常状態及び少なくとも1つの異常状態との関係を把握できるようになる。
また、複数の基準データは、当該複数の基準データ間の距離の合計についての条件を満たしてもよい。
データの特徴の違いが可視化結果に反映されやすくなる。
本実施の形態の第2の態様に係る可視化装置は、(H)複数の入力データからそれぞれ生成された複数のベクトルから、複数のベクトル間の位置関係が維持される次元圧縮により複数の変換ベクトルを生成する変換部(実施の形態における第2生成部105は上記変換部の一例である)と、(I)複数の変換ベクトルをプロットする出力部(実施の形態における出力部107は上記出力部の一例である)とを有してもよい。
なお、上記方法による処理をコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、CD−ROM、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
コンピュータに、
複数の入力データからそれぞれ生成された複数のベクトルから、前記複数のベクトル間の位置関係が維持される次元圧縮により複数の変換ベクトルを生成し、
前記複数の変換ベクトルをプロットする、
処理を実行させる可視化プログラム。
(付記2)
前記コンピュータに
前記複数の入力データそれぞれから、当該入力データと複数の基準データとの間の距離を成分とするベクトルを生成する、
処理をさらに実行させる付記1記載の可視化プログラム。
(付記3)
前記次元圧縮は、データ格納部に格納され且つ予め算出された変換則を用いて行われる、
付記2記載の可視化プログラム。
(付記4)
前記コンピュータに、
前記複数の基準データから生成された複数のベクトルを入力とする自己符号化器のパラメータを算出し、
前記自己符号化器のパラメータのうち符号化のパラメータを含む変換則を、前記データ格納部に格納する、
処理をさらに実行させる付記3記載の可視化プログラム。
(付記5)
前記コンピュータに、
前記複数の基準データから生成された複数のベクトルに対する主成分分析を実行し、
前記主成分分析の結果に含まれる変換則を、前記データ格納部に格納する、
処理をさらに実行させる付記3記載の可視化プログラム。
(付記6)
前記自己符号化器のパラメータを算出する処理において、
前記自己符号化器の入力と出力との差と、複数の状態の分類に関するラベル情報と、前記複数の基準データから生成された前記複数のベクトルがプロットされる領域のサイズの情報とに基づく目的関数を最小化する最適化問題を解くことで、前記自己符号化器のパラメータを算出する、
処理をさらに実行させる付記4記載の可視化プログラム。
(付記7)
前記複数の状態は、少なくとも2つの正常状態を含む、
付記6記載の可視化プログラム。
(付記8)
前記複数の状態は、少なくとも1つの正常状態と少なくとも1つの異常状態とを含む、
付記6記載の可視化プログラム。
(付記9)
前記複数の基準データは、当該複数の基準データ間の距離の合計についての条件を満たす、
付記2記載の可視化プログラム。
(付記10)
コンピュータが、
複数の入力データからそれぞれ生成された複数のベクトルから、前記複数のベクトル間の位置関係が維持される次元圧縮により複数の変換ベクトルを生成し、
前記複数の変換ベクトルをプロットする、
処理を実行する可視化方法。
(付記11)
複数の入力データからそれぞれ生成された複数のベクトルから、前記複数のベクトル間の位置関係が維持される次元圧縮により複数の変換ベクトルを生成する変換部と、
前記複数の変換ベクトルをプロットする出力部と、
を有する可視化装置。
1 可視化装置 101 受信部
103 第1生成部 105 第2生成部
107 出力部 111 データ格納部
113 サンプルデータ格納部 115 第1距離データ格納部
117 第2距離データ格納部 119 パラメータ格納部
121 結果格納部 131 第1サンプルデータ格納部
133 第2サンプルデータ格納部

Claims (10)

  1. コンピュータに、
    複数の入力データからそれぞれ生成された複数のベクトルから、前記複数のベクトル間の位置関係が維持される次元圧縮により複数の変換ベクトルを生成し、
    前記複数の変換ベクトルをプロットする、
    処理を実行させる可視化プログラム。
  2. 前記コンピュータに
    前記複数の入力データそれぞれから、当該入力データと複数の基準データとの間の距離を成分とするベクトルを生成する、
    処理をさらに実行させる請求項1記載の可視化プログラム。
  3. 前記次元圧縮は、データ格納部に格納され且つ予め算出された変換則を用いて行われる、
    請求項2記載の可視化プログラム。
  4. 前記コンピュータに、
    前記複数の基準データから生成された複数のベクトルを入力とする自己符号化器のパラメータを算出し、
    前記自己符号化器のパラメータのうち符号化のパラメータを含む変換則を、前記データ格納部に格納する、
    処理をさらに実行させる請求項3記載の可視化プログラム。
  5. 前記コンピュータに、
    前記複数の基準データから生成された複数のベクトルに対する主成分分析を実行し、
    前記主成分分析の結果に含まれる変換則を、前記データ格納部に格納する、
    処理をさらに実行させる請求項3記載の可視化プログラム。
  6. 前記自己符号化器のパラメータを算出する処理において、
    前記自己符号化器の入力と出力との差と、複数の状態の分類に関するラベル情報と、前記複数の基準データから生成された前記複数のベクトルがプロットされる領域のサイズの情報とに基づく目的関数を最小化する最適化問題を解くことで、前記自己符号化器のパラメータを算出する、
    処理をさらに実行させる請求項4記載の可視化プログラム。
  7. 前記複数の状態は、少なくとも2つの正常状態を含む、
    請求項6記載の可視化プログラム。
  8. 前記複数の状態は、少なくとも1つの正常状態と少なくとも1つの異常状態とを含む、
    請求項6記載の可視化プログラム。
  9. コンピュータが、
    複数の入力データからそれぞれ生成された複数のベクトルから、前記複数のベクトル間の位置関係が維持される次元圧縮により複数の変換ベクトルを生成し、
    前記複数の変換ベクトルをプロットする、
    処理を実行する可視化方法。
  10. 複数の入力データからそれぞれ生成された複数のベクトルから、前記複数のベクトル間の位置関係が維持される次元圧縮により複数の変換ベクトルを生成する変換部と、
    前記複数の変換ベクトルをプロットする出力部と、
    を有する可視化装置。
JP2017223351A 2017-11-21 2017-11-21 可視化方法、可視化装置及び可視化プログラム Active JP7062923B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017223351A JP7062923B2 (ja) 2017-11-21 2017-11-21 可視化方法、可視化装置及び可視化プログラム
US16/175,006 US10692256B2 (en) 2017-11-21 2018-10-30 Visualization method, visualization device, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017223351A JP7062923B2 (ja) 2017-11-21 2017-11-21 可視化方法、可視化装置及び可視化プログラム

Publications (2)

Publication Number Publication Date
JP2019096977A true JP2019096977A (ja) 2019-06-20
JP7062923B2 JP7062923B2 (ja) 2022-05-09

Family

ID=66534014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017223351A Active JP7062923B2 (ja) 2017-11-21 2017-11-21 可視化方法、可視化装置及び可視化プログラム

Country Status (2)

Country Link
US (1) US10692256B2 (ja)
JP (1) JP7062923B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090842A1 (ja) * 2019-11-08 2021-05-14 Dmg森精機株式会社 工作機械および表示装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006258535A (ja) * 2005-03-16 2006-09-28 Omron Corp 検査装置および検査方法
JP2007017264A (ja) * 2005-07-07 2007-01-25 Sharp Corp 画像処理アルゴリズム評価方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびにプログラム記録媒体
JP2011070635A (ja) * 2009-08-28 2011-04-07 Hitachi Ltd 設備状態監視方法およびその装置
JP2014106713A (ja) * 2012-11-27 2014-06-09 Univ Of Tsukuba プログラム、方法、及び情報処理装置
JP2015185034A (ja) * 2014-03-25 2015-10-22 キヤノン株式会社 画像認識装置、画像認識方法およびプログラム
JP2016045861A (ja) * 2014-08-26 2016-04-04 株式会社豊田中央研究所 異常診断装置及びプログラム
WO2016080341A1 (ja) * 2014-11-17 2016-05-26 国立研究開発法人産業技術総合研究所 脳波による類似度の評価方法、評価装置、評価システム及びプログラム
JP2017097718A (ja) * 2015-11-26 2017-06-01 株式会社リコー 識別処理装置、識別システム、識別処理方法、およびプログラム
JP2017122603A (ja) * 2016-01-05 2017-07-13 哲朗 高山 潰瘍性大腸炎の診断及び/又は予後予測のためのマッピング方法
JP2017157138A (ja) * 2016-03-04 2017-09-07 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030193491A1 (en) * 2002-04-15 2003-10-16 Cambridge University Technical Services Limited Method of and apparatus for driving a display device
US20060002614A1 (en) * 2004-06-30 2006-01-05 Alliances Artquest International Inc. Raster-to-vector conversion process and apparatus
JP2007279887A (ja) 2006-04-04 2007-10-25 Nippon Telegr & Teleph Corp <Ntt> 特異パターン検出システム、モデル学習装置、特異パターン検出装置、特異パターン検出方法、及び、コンピュータプログラム
JP5468837B2 (ja) 2009-07-30 2014-04-09 株式会社日立製作所 異常検出方法、装置、及びプログラム
GB201012519D0 (en) 2010-07-26 2010-09-08 Ucl Business Plc Method and system for anomaly detection in data sets
JP4824837B1 (ja) * 2011-05-26 2011-11-30 株式会社クリエイティブ・ブレインズ 市場評価の調査装置および調査方法
JP6271953B2 (ja) * 2013-11-05 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
US9754371B2 (en) * 2014-07-31 2017-09-05 California Institute Of Technology Multi modality brain mapping system (MBMS) using artificial intelligence and pattern recognition
US10163003B2 (en) * 2016-12-28 2018-12-25 Adobe Systems Incorporated Recognizing combinations of body shape, pose, and clothing in three-dimensional input images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006258535A (ja) * 2005-03-16 2006-09-28 Omron Corp 検査装置および検査方法
JP2007017264A (ja) * 2005-07-07 2007-01-25 Sharp Corp 画像処理アルゴリズム評価方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびにプログラム記録媒体
JP2011070635A (ja) * 2009-08-28 2011-04-07 Hitachi Ltd 設備状態監視方法およびその装置
JP2014106713A (ja) * 2012-11-27 2014-06-09 Univ Of Tsukuba プログラム、方法、及び情報処理装置
JP2015185034A (ja) * 2014-03-25 2015-10-22 キヤノン株式会社 画像認識装置、画像認識方法およびプログラム
JP2016045861A (ja) * 2014-08-26 2016-04-04 株式会社豊田中央研究所 異常診断装置及びプログラム
WO2016080341A1 (ja) * 2014-11-17 2016-05-26 国立研究開発法人産業技術総合研究所 脳波による類似度の評価方法、評価装置、評価システム及びプログラム
JP2017097718A (ja) * 2015-11-26 2017-06-01 株式会社リコー 識別処理装置、識別システム、識別処理方法、およびプログラム
JP2017122603A (ja) * 2016-01-05 2017-07-13 哲朗 高山 潰瘍性大腸炎の診断及び/又は予後予測のためのマッピング方法
JP2017157138A (ja) * 2016-03-04 2017-09-07 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
越水 直人: "t-SNE を用いた次元圧縮方法のご紹介", ALBERT OFFICIAL BLOG, JPN6021037580, 5 December 2015 (2015-12-05), ISSN: 0004607026 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090842A1 (ja) * 2019-11-08 2021-05-14 Dmg森精機株式会社 工作機械および表示装置
JP2021076465A (ja) * 2019-11-08 2021-05-20 Dmg森精機株式会社 工作機械および表示装置

Also Published As

Publication number Publication date
US20190156530A1 (en) 2019-05-23
US10692256B2 (en) 2020-06-23
JP7062923B2 (ja) 2022-05-09

Similar Documents

Publication Publication Date Title
JP6243080B1 (ja) プリプロセッサおよび異常予兆診断システム
US10318874B1 (en) Selecting forecasting models for time series using state space representations
JP7061536B2 (ja) 最適化装置、シミュレーションシステム及び最適化方法
US10496730B2 (en) Factor analysis device, factor analysis method, and factor analysis program
Toloo et al. A powerful discriminative approach for selecting the most efficient unit in DEA
JP5765336B2 (ja) 障害分析装置、障害分析方法およびプログラム
US8595155B2 (en) Kernel regression system, method, and program
JP6299759B2 (ja) 予測関数作成装置、予測関数作成方法、及びプログラム
JP2017194341A (ja) 異常診断方法、異常診断装置、及び異常診断プログラム
CN111811694B (zh) 一种温度校准方法、装置、设备及存储介质
US11216534B2 (en) Apparatus, system, and method of covariance estimation based on data missing rate for information processing
US20200341454A1 (en) Factor analysis method, factor analysis device, and factor analysis program
WO2019235614A1 (ja) 関係性分析装置、関係性分析方法および記録媒体
US20220036223A1 (en) Processing apparatus, processing method, and non-transitory storage medium
JPWO2008111349A1 (ja) 生存分析システム、生存分析方法および生存分析用プログラム
JP7069581B2 (ja) 分析方法、分析装置及び分析プログラム
CN114207729A (zh) 材料特性预测系统以及材料特性预测方法
JP2019105871A (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
WO2019235603A1 (ja) 関係性分析装置、関係性分析方法および記録媒体
JP7062923B2 (ja) 可視化方法、可視化装置及び可視化プログラム
US20130121558A1 (en) Point Selection in Bundle Adjustment
Kurbalija et al. Matching Observed with Empirical Reality–What you see is what you get?
JP6531820B2 (ja) 推定器可視化システム
JP2019016194A (ja) 状態識別方法、状態識別装置及び状態識別プログラム
WO2015163322A1 (ja) データ分析装置、データ分析方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220404

R150 Certificate of patent or registration of utility model

Ref document number: 7062923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150