JP2019087102A - データ作成装置、試験システム、データ作成方法、及びプログラム - Google Patents

データ作成装置、試験システム、データ作成方法、及びプログラム Download PDF

Info

Publication number
JP2019087102A
JP2019087102A JP2017215746A JP2017215746A JP2019087102A JP 2019087102 A JP2019087102 A JP 2019087102A JP 2017215746 A JP2017215746 A JP 2017215746A JP 2017215746 A JP2017215746 A JP 2017215746A JP 2019087102 A JP2019087102 A JP 2019087102A
Authority
JP
Japan
Prior art keywords
data
signal
template
rule
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017215746A
Other languages
English (en)
Other versions
JP6915868B2 (ja
Inventor
博毅 大山
Hirotake Oyama
博毅 大山
耕一 秋場
Koichi Akiba
耕一 秋場
昌彦 米持
Masahiko Yonemochi
昌彦 米持
鈴木 武志
Takeshi Suzuki
武志 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
NEC Communication Systems Ltd
Original Assignee
NEC Corp
NEC Communication Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, NEC Communication Systems Ltd filed Critical NEC Corp
Priority to JP2017215746A priority Critical patent/JP6915868B2/ja
Priority to PCT/JP2018/041326 priority patent/WO2019093368A1/ja
Priority to US16/762,409 priority patent/US20200301824A1/en
Publication of JP2019087102A publication Critical patent/JP2019087102A/ja
Application granted granted Critical
Publication of JP6915868B2 publication Critical patent/JP6915868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3676Test management for coverage analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • G06N5/025Extracting rules from data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/046Forward inferencing; Production systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】任意の通信環境を流れる信号から、ユーザの意図に応じたデータを容易に作成することのできるデータ作成装置、試験システム、データ作成方法、及びプログラムを提供する。【解決手段】データ作成装置1000は、1又は2以上の第1の規則1011をテンプレート1012として格納する記憶部1010と、対象通信環境から信号データを取得するデータ収集部1020と、テンプレートを利用して信号データに対する加工方法を決定するデータ解析部1030と、加工方法に基づいて信号データを加工し、加工データを作成するデータ加工部1040とを備える。【選択図】図1

Description

本発明は、データ作成装置、試験システム、データ作成方法、及びプログラムに関する。
試験者、又は、試験を実施する装置は、通信システムの試験を行う際、試験データを作成することが必要になる。例えば、試験者が、ソフトウェアの仕様書、設計書に基づいて、信号及び情報を、手動で作成する場合がある。具体的には、試験者は、ソフトウェアの仕様書、設計書に基づいて、条件分岐、変数の取り得る範囲(例えば、最大値、最小値等)に関する信号、パラメータを、手動で作成する場合がある。
特許文献1においては、アプリケーション層の所定のプロトコル種別、パケットの所定の送受信元アドレス、パケットの所定の送信先アドレスを満たす信号を、運用中の通信機器が送受信する信号の中から抽出する技術が記載されている。
特許文献2においては、クライアント端末が送信したデータが、正常状態のデータであるか否かを判定し、正常状態のデータを、試験データとして作成する技術が記載されている。
特開2006−352290号公報 特開2009−026020号公報
なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明の観点からなされたものである。
試験者等は、通信システムの試験を行う際、信号を定義するための情報については、代表的な情報を使用して、試験データを作成する場合がある。その場合、試験者等は、付随的な情報(以下、オプション情報とも呼ぶ)を省略して、試験データを作成する場合がある。
試験者等が、代表的な情報を使用し、オプション情報を省略して試験データを作成し、通信システムを試験したとする。そのような試験データを用いて通信システムが試験された場合、実際に、通信システムを運用すると、試験されていない信号(想定外の信号)を受信する等、運用上の問題が発生するおそれがある。
そこで、試験者等は、実際の運用環境に即した試験データを利用して、通信システムを試験することが望まれる。しかし、試験対象の情報が増加するほど、人的リソース(時間、技量)が増加する。
特許文献1に記載された技術においては、抽出された信号は、試験者が意図しないデータを含む可能性がある。そのため、特許文献1に記載された技術を利用して、試験が実施された場合、試験者の意図とは異なる試験が実施される可能性がある。
特許文献2に記載された技術においては、クライアント端末が送信する正常状態のデータを、試験データとして作成する。そのため、特許文献2に記載された技術においては、作成された試験データは、試験者が意図しないデータを含む可能性がある。そのため、特許文献2に記載された試験データを利用して、試験が実施された場合、試験者の意図とは異なる試験が実施される可能性がある。
そこで、本発明は、任意の通信環境を流れる信号から、ユーザの意図に応じたデータを容易に作成することに貢献するデータ作成装置、試験システム、データ作成方法、及びプログラムを提供することを目的とする。
本発明の第1の視点によれば、データ作成装置が提供される。前記データ作成装置は、 1又は2以上の第1の規則を、テンプレートとして格納する、記憶部を備える。
さらに、前記データ作成装置は、対象通信環境から信号データを取得する、データ収集部を備える。
さらに、前記データ作成装置は、前記テンプレートを利用して、前記信号データに対する加工方法を決定する、データ解析部を備える。
さらに、前記データ作成装置は、前記加工方法に基づいて、前記信号データを加工し、加工データを作成する、データ加工部を備える。
本発明の第2の視点によれば、試験システムが提供される。前記試験システムは、信号データを出力する対象装置を含む、対象通信環境と、前記対象通信環境と接続する、データ作成装置と、を含んで構成される。
前記データ作成装置は、1又は2以上の第1の規則を、テンプレートとして格納する、記憶部を備える。
さらに、前記データ作成装置は、前記対象通信環境から前記信号データを取得する、データ収集部を備える。
さらに、前記データ作成装置は、前記テンプレートを利用して、前記信号データに対する加工方法を決定する、データ解析部を備える。
さらに、前記データ作成装置は、前記加工方法に基づいて、前記信号データを加工し、加工データを作成する、データ加工部を備える。
本発明の第3の視点によれば、データ作成方法が提供される。前記データ作成方法は、1又は2以上の第1の規則を、テンプレートとして格納する工程を含む。
さらに、前記データ作成方法は、対象通信環境から信号データを取得する工程を含む。
さらに、前記データ作成方法は、前記テンプレートを利用して、前記信号データに対する加工方法を決定する工程を含む。
さらに、前記データ作成方法は、前記加工方法に基づいて、前記信号データを加工し、加工データを作成する工程を含む。
なお、本方法は、対象通信環境から信号データを取得するデータ作成装置という、特定の機械に結び付けられている。
本発明の第4の視点によれば、プログラムが提供される。前記プログラムは、1又は2以上の第1の規則を、テンプレートとして格納する処理を、データ作成装置を制御するコンピュータに実行させる。
さらに、前記プログラムは、対象通信環境から信号データを取得する処理を、前記コンピュータに実行させる。
さらに、前記プログラムは、前記テンプレートを利用して、前記信号データに対する加工方法を決定する処理を、前記コンピュータに実行させる。
さらに、前記プログラムは、前記加工方法に基づいて、前記信号データを加工し、加工データを作成する処理を、前記コンピュータに実行させる。
なお、本プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
本発明の各視点によれば、任意の通信環境を流れる信号から、ユーザの意図に応じたデータを容易に作成することに貢献するデータ作成装置、試験システム、データ作成方法、及びプログラムが提供される。
一実施形態の概要を説明するための図である。 第1の実施形態に係るデータ作成装置100の内部構成の一例を示すブロック図である。 シーケンスパターンテンプレート111の一例を示す図である。 第1の実施形態に係るデータ作成装置100の動作の一例を示すフローチャートである。 第1の実施形態に係るデータ作成装置100の動作の一例を示すフローチャートである。 テキスト化した信号シーケンスの一例を示す図である。 テキスト化した信号シーケンスの一例を示す図である。
初めに、図1を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各ブロック図のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。
上述の通り、任意の通信環境を流れる信号から、ユーザの意図に応じたデータを容易に作成することに貢献するデータ作成装置が望まれる。
そこで、一例として、図1に示すデータ作成装置1000を提供する。データ作成装置1000は、記憶部1010と、データ収集部1020と、データ解析部1030と、データ加工部1040とを備える。
記憶部1010は、1又は2以上の第1の規則1011を、テンプレート1012として格納する。データ収集部1020は、対象通信環境から信号データを取得する。データ解析部1030は、テンプレート1012を利用して、データ収集部1020が取得した信号データに対する加工方法を決定する。データ加工部1040は、データ解析部1030が決定した加工方法に基づいて、信号データを加工し、加工データを作成する。
例えば、データ作成装置1000は、試験者が作成した任意の規則(即ち、第1の規則1011)を、テンプレート1012として予め保持するとする。さらに、データ作成装置1000は、通信システムにおける、実際の運用環境(即ち、対象通信環境)から、信号データを取得するとする。その場合、データ作成装置1000は、通信システムにおける、実際の運用環境を流れる信号データを、ユーザが決定した任意の規則に基づいて加工する。その結果、データ作成装置1000は、実際の運用環境に即した試験データであって、試験者の意図に応じた試験データを作成できる。
従って、データ作成装置1000は、任意の通信環境を流れる信号から、ユーザの意図に応じたデータを容易に作成することに貢献する。
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。なお、以下の説明では、上記のテンプレートを、シーケンスパターンテンプレートと呼ぶ。
図2は、本実施形態に係るデータ作成装置100の内部構成の一例を示すブロック図である。データ作成装置100は、記憶部110と、テンプレート管理部120と、データ収集部130と、データ解析部140と、データ加工部150と、シナリオ作成部160とを含んで構成される。なお、図2は、本実施形態に係るデータ作成装置100に関係するモジュールを主に記載する。データ作成装置100は、図示しないハードウェア、ソフトウェアを含んで構成されてもよいことは勿論である。
データ作成装置100は、対象の装置、システムに応じたデータを作成する情報処理装置(コンピュータ)である。データ作成装置100は、CPU(Central Processing Unit)、メモリ、NIC(Network Interface Card)等を含んで構成される。
なお、以下の説明では、データ作成装置100が、上記の加工データを試験に使用するためのデータとして使用する場合を例示して説明する。また、以下の説明では、データ作成装置100が作成する加工データを、試験データと呼ぶ。ただし、これは、本実施形態に係るデータ作成装置100が、試験に使用するためにデータを作成することに限定する趣旨ではない。データ作成装置100が作成したデータを、適宜、目的、環境等に応じて、利用してもよいことは勿論である。
データ作成装置100は、対象通信環境200と接続する。対象通信環境は、信号データを出力する装置を含む。例えば、対象通信環境200は、商用に運用される通信システム等であってもよい。また、対象通信環境200においては、試験対象の装置、及び/又は試験対象のシステムの提供側が意図しない信号が発生してもよい。
記憶部110は、1又は2以上の第1の規則を、シーケンスパターンテンプレート111として格納する。さらに、記憶部110は、マッチングテーブル112(第2の規則)を格納する。なお、記憶部110が、本書で説明する各種データを格納してもよいことは勿論である。記憶部110は、磁気ディスク装置や光ディスク装置、半導体メモリ等によって実現される。
シーケンスパターンテンプレート111は、抽出対象である信号シーケンスを特定するための情報である。シーケンスパターンテンプレート111は、信号シーケンスを特定するための条件に関する情報を含んでもよい。正規表現、OR条件等を含んでもよい。以下の説明では、信号シーケンスを特定するための条件を、抽出条件とも呼ぶ。シーケンスパターンテンプレート111の詳細については後述する。
マッチングテーブル112は、第1の規則とは異なる第2の規則を含んで構成される。具体的には、マッチングテーブル112は、試験データに対応するサービス種別等を特定する情報を、第2の規則として含んで構成される。
テンプレート管理部120は、1又は2以上の第1の規則を取得し、取得した第1の規則を、シーケンスパターンテンプレート111として、記憶部110に格納する。
例えば、テンプレート管理部120は、ユーザの操作に基づいて、第1の規則を取得してもよい。また、例えば、テンプレート管理部120は、第1の規則を記載したファイルを取得し、当該ファイルを、シーケンスパターンテンプレート111として記憶部110に格納してもよい。なお、これは、シーケンスパターンテンプレート111を取得する手段の一例であり、シーケンスパターンテンプレート111の取得方法を限定する趣旨ではない。
同様に、テンプレート管理部120は、1又は2以上の第2の規則を取得し、取得した第2の規則を、マッチングテーブル112として、記憶部110に格納する。
例えば、テンプレート管理部120は、ユーザの操作に基づいて、第2の規則を取得してもよい。また、例えば、テンプレート管理部120は、第2の規則を記載したファイルを取得し、当該ファイルを、マッチングテーブル112として記憶部110に格納してもよい。なお、これは、マッチングテーブル112を取得する手段の一例であり、マッチングテーブル112の取得方法を限定する趣旨ではない。
データ収集部130は、通信セッションに関わる信号シーケンスを含む信号データと、通信内容を特定する管理情報とを、対象通信環境200から取得する。例えば、データ収集部130は、対象通信環境200において流れるパケットデータを、信号データとして取得する。
例えば、データ収集部130は、所定の条件に基づいて、通信セッションに関わる信号シーケンスを含む信号データと、通信内容を特定する管理情報とを、対象通信環境200から取得してもよい。例えば、データ収集部130は、所定の時間間隔で、通信セッションに関わる信号シーケンスと、通信内容を特定する管理情報とを、対象通信環境200から取得してもよい。データ収集部130が、対象通信環境200から信号データ及び管理情報を取得する方法は、上記に限定されず、適宜、適切な方法を用いて、対象通信環境200から信号データ及び管理情報を取得するものとする。
ここで、信号シーケンスの通信プロトコルは、SIP(Session Initiation Protocol)、SIP−T(SIP for Telephones)、ISUP(ISDN (Integrated Services Digital Network) User Part)、INAP(Intelligent Network Application Protocol)等であってもよい。なお、これは、信号シーケンスの通信プロトコルの一例に過ぎず、本実施形態に係るデータ作成装置100における、信号シーケンスの通信プロトコルを限定する趣旨ではない。
また、通信内容を特定する管理情報は、サービス種別、課金データ等の情報を含んでもよい。例えば、データ収集部130は、通信内容を特定する管理情報として、CDR(Call Data Record)バイナリを、対象通信環境200から取得してもよい。なお、以下の説明では、データ収集部130が、通信内容を特定する管理情報として、CDRバイナリを、対象通信環境200から取得する場合を例示して説明する。つまり、データ収集部130は、信号データと、CDRバイナリとを、対象通信環境200から取得する。ただし、これは、本実施形態に係るデータ収集部130がCDRバイナリを取得することに限定する趣旨ではない。
データ解析部140は、シーケンスパターンテンプレート111を利用して、データ収集部130が取得した信号データに対する加工方法を決定する。具体的には、データ解析部140は、データ収集部130が取得した信号データを、シーケンスパターンテンプレート111等を利用して解析する。そして、データ解析部140は、信号データの加工方法(信号データの編集方法)を決定する。
より具体的には、データ解析部140は、データ収集部130が取得した信号データから、抽出条件を満たす信号シーケンスを抽出する。そして、データ解析部140は、抽出した信号シーケンスを解析する。そして、データ解析部140は、解析結果に基づいて、抽出した信号データの加工方法を決定する。
以下、データ解析部140についてさらに詳細に説明する。なお、以下の説明において、シーケンスパターンテンプレート111とは、データ解析部140が選択した、シーケンスパターンテンプレート111を意味するものとする。
データ解析部140は、記憶部110を参照し、使用するシーケンスパターンテンプレート111を選択する。データ解析部140は、選択したシーケンスパターンテンプレート111内の第1の規則を満たす、信号シーケンスを、信号データから抽出する。そして、データ解析部140は、抽出した信号シーケンスに基づいて、第1のデータパターン(以下、試験データパターンと呼ぶ)を作成する。そして、データ解析部140は、試験データパターンを利用して、信号データの加工方法を決定する。また、データ解析部140は、信号データから、第1の規則を満たさない信号シーケンスを破棄する。
より具体的には、データ解析部140は、第1の規則を満たす信号シーケンスを、信号データから抽出する。そして、データ解析部140は、抽出した信号シーケンスから、第3のデータパターン(以下、信号情報パターンと呼ぶ)を抽出する。そして、データ解析部140は、抽出した信号情報パターンを利用して、試験データパターンを作成する。
具体的には、データ解析部140は、信号データに含まれる管理情報に基づいて、通信セッションの種別に関する第4のデータパターン(以下、管理情報パターンと呼ぶ)を作成する。そして、データ解析部140は、選択したシーケンスパターンテンプレート111内の第1の規則を満たす、信号シーケンスと、信号情報パターンと、管理情報パターンとに基づいて、試験データパターンを作成する。
次に、データ解析部140は、試験データパターンにマッチングテーブル112を適用し、第2のデータパターン(以下、導出テンプレートパターンと呼ぶ)を作成する。
例えば、マッチングテーブル112が、試験データに対応するCDRを、第2の規則として含んで構成されるとする。その場合、データ解析部140は、同一の信号シーケンスであっても、CDRに応じて、異なる導出テンプレートパターンを決定できる。そのため、データ解析部140は、同一の信号シーケンスであっても、異なる導出テンプレートパターンを作成できる。
次に、シーケンスパターンテンプレート111について、図3を参照しながら、具体例を例示して説明する。ただし、以下の説明は、シーケンスパターンテンプレート111を、以下に例示する第1の規則に限定する趣旨ではない。また、シーケンスパターンテンプレート111は、以下に例示する規則(第1の規則)を組み合わせて構成されてもよいことは勿論である。
なお、以下の説明において、信号データが音声通話に対応する信号データである場合を例示して説明する。また、以下の説明では、音声通話において、発信側の端末を、発信側端末と呼ぶ。また、以下の説明では、音声通話において、着信側の端末を着信側端末と呼ぶ。ただし、これは、本実施形態に係る信号データが、音声データに対応する信号データである場合に限定する趣旨ではない。
例えば、シーケンスパターンテンプレート111は、信号データの送信元、信号データの送信先に応じて、異なる第1の規則を含んで構成されてもよい。その場合、データ解析部140は、信号データの送信元、信号データの送信先等に応じて、第1の規則を決定する。
例えば、図3(a)は、発信側端末(即ち、信号データの送信元)に対応する第1の規則(rule_a1、rule_a2、rule_a3)を示すものとする。また、図3(b)は、着信側端末(即ち、信号データの送信先)に対応する第2の規則(rule_b1、rule_b2、rule_b3)を示すものとする。
データ収集部130が取得した信号データが、発信側端末に対応する信号データである場合、データ解析部140は、取得した信号データに、図3(a)に示す第1の規則(rule_a1、rule_a2、rule_a3)を適用する。
一方、データ収集部130が取得した信号データが、着信側端末に対応する信号データである場合、データ解析部140は、取得した信号データに、図3(b)に示す第1の規則(rule_b1、rule_b2、rule_b3)を適用する。
また、シーケンスパターンテンプレート111は、信号シーケンスが送信される順序、又は受信される順序を、第1の規則として含んで構成されてもよい。その場合、データ解析部140は、データ収集部130が取得した信号データのうち、第1の規則において定義される順序を満たす信号シーケンスを特定する。
第1の規則rule_a1は、発信側端末に関して、“sINVITE”、“r183(INVITE)”、“sPRACK”、“r200(INVITE)”、“sACK”、“sBYE”、“rBYE(200)”の順の信号シーケンスを示す規則である。一方、第1の規則rule_b1は、着信側端末に関して、“rINVITE”、“s183(INVITE)”、“rPRACK”、“s200(INVITE)”、“rACK”、“rBYE”、“sBYE(200)”の順の信号シーケンスを示す規則である。
例えば、データ解析部140が、発信側端末に対応する信号データに関して、第1の規則rule_a1を適用するとする。その場合、当該信号データに含まれる、信号シーケンスが、第1の規則rule_a1に示す順序を満たすか否かを、データ解析部140は、判断する。
同様に、データ解析部140が、着信側端末に対応する信号データに関して、第1の規則rule_b1を適用するとする。その場合、当該信号データに含まれる、信号シーケンスが、第1の規則rule_b1に示す順序を満たすか否かを、データ解析部140は、判断する。
また、シーケンスパターンテンプレート111は、OR条件を、第1の規則として含んで構成されてもよい。
例えば、図3(a)に示す第1の規則rule_a2は、発信側端末に関して、信号シーケンスが、“r180”又は“r183”のいずれかに対応する信号を含んでもよいことを示す規則である。同様に、図3(b)に示す第1の規則rule_b2は、着信側端末に関して、信号シーケンスが、“s180”又は“s183”のいずれかに対応すればよいことを示す規則である。
例えば、データ解析部140が、発信側端末に対応する信号データに関して、第1の規則rule_a1及びrule_a2を適用するとする。その場合、データ解析部140は、rule_a1のうち、“r183(INVITE)”又は“r180(INVITE)”を許容する。
同様に、データ解析部140が、着信側端末に対応する信号データに関して、第1の規則rule_b1及びrule_b2を適用するとする。その場合、データ解析部140は、rule_b1のうち、“s183(INVITE)”又は“s180(INVIETE)”を許容する。
また、シーケンスパターンテンプレート111は、正規表現を、第1の規則として含んでもよい。
例えば、図3(a)に示す第1の規則rule_a3は、発信側端末に関して、信号シーケンスが、“r180”に対応する信号を繰り返してもよいことを示す規則である。同様に、図3(b)に示す第1の規則rule_b3は、着信側端末に関して、信号データが、“s180”に対応する信号シーケンスを繰り返してもよいことを示す規則である。
例えば、データ解析部140が、発信側端末に対応する信号データに関して、第1の規則rule_a2、rule_a3を適用するとする。その場合、データ解析部140は、信号データが“r180”に対応する信号シーケンス、又は“r183”に対応する信号シーケンスを繰り返すことを許容する。
同様に、データ解析部140が、着信側端末に対応する信号データに関して、第1の規則rule_b2、rule_b3を適用するとする。その場合、データ解析部140は、信号データが“s180”に対応する信号シーケンス、又は“s183”に対応する信号シーケンスを繰り返すことを許容する。
データ加工部150は、データ解析部140が決定した加工方法に基づいて、データ収集部130が取得した信号データを加工(編集)する。そして、データ加工部150は、データ収集部130が取得した信号データから、試験データを作成する。
具体的には、データ加工部150は、導出テンプレートパターンを利用して、信号データを加工し、加工データ(試験データ)を作成する。
シナリオ作成部160は、データ加工部150が作成した試験データと、データ解析部140が決定した加工方法とに基づいて、試験シナリオを作成する。
テンプレート管理部120、データ収集部130、データ解析部140、データ加工部150、シナリオ作成部160は、データ作成装置100が備えるCPU(図示せず)に実行させるプログラムとして実現してもよい。または、テンプレート管理部120、データ収集部130、データ解析部140、データ加工部150、シナリオ作成部160は、夫々、異なるハードウェアを用いて実現してもよく、その詳細は問わない。
次に、データ作成装置100の動作について詳細に説明する。
図4、図5は、データ作成装置100の動作の一例を示すフローチャートである。まず、図4を参照しながら、データ作成装置100の動作について詳細に説明する。
ステップS1において、データ収集部130は、信号データと、CDRバイナリとを、対象通信環境200から取得する。例えば、信号データが、音声通話に対応する信号データである場合、CDRバイナリは、通話時刻、発着番号等に関する情報を含んで構成されてもよい。
ステップS2において、データ解析部140は、信号データから通信セッションの先頭の信号データを抽出し、抽出した信号を、Callリストとしてリスト化する。
ステップS3において、データ解析部140は、Callリスト内の通信セッションに関連するCDR情報を、CDRバイナリから検索し、検索したCDR情報をテキスト化する。
ステップS4において、データ解析部140は、テキスト化したCDR情報から、通信セッションの種別に関する情報のパターンを抽出し、管理情報パターンとして保存する。管理情報パターンは、例えば、通信サービスの種別等を含んでもよい。
ステップS5において、データ解析部140は、通信セッションに関わる信号データを、Callリストから順に検索し、通信セッションに関わる信号データをテキスト化する。例えば、データ解析部140は、通信セッションの先頭の信号に含まれる情報に基づいて、通信セッションに関わる信号データを抽出してもよい。例えば、通信セッションの先頭の信号に含まれる情報は、SIP Call−ID(Identifier)、INAP相関ID等を含んでもよい。
ステップS6において、データ解析部140は、テキスト化した通信セッションに関わる信号データに基づいて、通信セッションの信号シーケンスを解析する。
通信セッションの信号シーケンスがシーケンスパターンテンプレート111を満たす場合、データ解析部140は、当該信号シーケンスに対応するシーケンスパターン番号を保存する(ステップS7)。
第1の規則が、正規表現、OR条件等を含む場合、データ解析部140は、通信セッションの信号シーケンスが、所定の正規表現、OR条件等を満たすか否かを判断してもよい。その場合、データ解析部140は、所定の正規表現、OR条件等を満たす信号シーケンスに対応する、シーケンスパターン番号を保存する。
一方、通信セッションの信号シーケンスがシーケンスパターンテンプレート111を満たさない場合、データ解析部140は、テキスト化した通信セッションに関わる信号データから、当該信号シーケンスを破棄する(ステップS8)。
ここで、図3、図6を参照しながら、通信セッションの信号シーケンスに、シーケンスパターンテンプレート111を適用する処理の一例を示す。図6は、シーケンスパターン番号“seq029”に対応する、テキスト化した信号シーケンスであるものとする。図6に示すsip_org_sequenceは、発信側端末に対応する、通信セッションの信号シーケンスを示す。一方、図6に示すsip_trm_sequenceは、着信側端末に対応する、通信セッションの信号シーケンスを示す。
データ解析部140は、sip_org_sequenceに、図3(a)に示すrule_a1、rule_a2を適用するとする。その場合、データ解析部140は、sip_org_sequenceが、rule_a1、rule_a2を満たすと判断する。
また、データ解析部140は、sip_trm_sequenceに、図3(b)に示すrule_b1、rule_b2を適用するとする。その場合、データ解析部140は、sip_trm_sequenceが、rule_b1、rule_b2を満たすと判断する。
よって、通信セッションの信号シーケンスがシーケンスパターンテンプレート111を満たすので、データ解析部140は、当該信号シーケンスに対応するシーケンスパターン番号“seq029”を保存する。
次に、図3、図7を参照しながら、通信セッションの信号シーケンスに、シーケンスパターンテンプレート111を適用する処理の他の一例を示す。図7は、シーケンスパターン番号“seq020”に対応する、テキスト化した信号シーケンスであるものとする。図7に示すsip_org_sequence_1は、発信側端末に対応する、通信セッションの信号シーケンスを示す。一方、図7に示すsip_trm_sequence_1は、着信側端末に対応する、通信セッションの信号シーケンスを示す。
データ解析部140は、sip_org_sequence_1に、図3(a)に示すrule_a1、rule_a2を適用するとする。その場合、データ解析部140は、sip_org_sequence_1が、rule_a1、rule_a2を満たすと判断する。ここで、sip_org_sequence_1のうち、“rUPDATE”、“s200(UPDATE)”は、rule_a1、rule_a2を満たさない。そのため、データ解析部140は、sip_org_sequence_1から、“rUPDATE”及び“s200(UPDATE)”を破棄する。
また、データ解析部140は、図7に示すsip_trm_sequence_1に、図3(b)に示すrule_b1、rule_b2を適用するとする。その場合、データ解析部140は、図7に示すsip_trm_sequence_1が、図3(b)に示すrule_b1、rule_b2を満たすと判断する。ここで、sip_trm_sequence_1のうち、“sUPDATE”及び“r200(UPDATE)”は、rule_b1、rule_b2を満たさない。そのため、データ解析部140は、sip_trm_sequence_1から、“sUPDATE”及び“r200(UPDATE)”を破棄する。
そして、データ解析部140は、シーケンスパターン番号“seq020”を保存する。
なお、以下の説明においては、説明の便宜上、「シーケンスパターンテンプレート111を満たす信号データ」とは、シーケンスパターンテンプレート111を満たす、テキスト化した通信セッションに関わる信号データを意味するものとする。
通信セッションの信号シーケンスがシーケンスパターンテンプレート111を満たさない場合、当該信号シーケンスは、異常なシーケンスである可能性がある。ここで、異常なシーケンスとは、不完了な信号シーケンスを含む。不完了な信号シーケンスとは、通信が正常に完了しない信号を意味する。例えば、不完了な信号シーケンスは、応答がない信号シーケンス等を含む。
異常なシーケンスは、試験データとして不適切である。そこで、データ作成装置100は、対象通信環境200から取得した信号データから、異常なシーケンスを破棄する。その結果、データ作成装置100は、無駄な試験を回避することに貢献する。さらに、データ作成装置100は、無駄な試験を回避することで、試験時間を削減することに貢献する。
ステップS9において、データ解析部140は、シーケンスパターンテンプレート111を満たす信号データから、通信セッションに関する情報のパターンを、信号情報パターンとして抽出する。具体的には、データ解析部140は、シーケンスパターンテンプレート111を満たす、テキスト化した信号データから、信号情報パターンを抽出する。例えば、データ解析部140は、シーケンスパターンテンプレート111を満たす、テキスト化した信号データから、ISUP IAM(Initial Address Message)信号のオプションパラメータパターンを、信号情報パターンとして抽出する。
ステップS10において、データ加工部150は、管理情報パターンと、シーケンスパターンテンプレート111を満たす信号データと、信号情報パターンとに基づいて、試験データパターンを作成する。
ステップS11において、新たに作成した試験データパターンが、他の試験データパターンと重複する場合、データ加工部150は、新たに作成した試験データパターンを破棄する。
データ作成装置100は、重複する試験データパターンを破棄することで、試験時間を削減することに貢献する。
ステップS12において、データ加工部150は、作成した試験データパターンのうち、マッチングテーブル112を満たす試験データパターンを、導出テンプレートパターンとして抽出する。
ステップS13において、データ加工部150は、CDR情報と、シーケンスパターンテンプレート111を満たす信号データとを、導出テンプレートパターンを利用して加工して、試験データを作成する。具体的には、データ加工部150は、テキスト化したCDR情報と、シーケンスパターンテンプレート111を満たす信号データとを、導出テンプレートパターンを利用して加工して、試験データを作成する。
ステップS14において、シナリオ作成部160は、CDR情報と、シーケンスパターンテンプレート111を満たす信号データと、導出テンプレートパターンとに基づいて、試験シナリオを作成する。具体的には、シナリオ作成部160は、テキスト化したCDR情報と、シーケンスパターンテンプレート111を満たす信号データと、導出テンプレートパターンとに基づいて、試験シナリオを作成する。
[変形例1]
本実施形態に係るデータ作成装置100の変形例1として、データ作成装置100は、通信内容を特定可能な情報を含む、アプリケーションログを、CDRバイナリに替えて、管理情報として、対象通信環境200から取得してもよい。
以上のように、本実施形態に係るデータ作成装置100は、対象通信環境200を流れる信号データを取得する。そして、本実施形態に係るデータ作成装置100は、ユーザが作成した規則を利用して、取得した信号データを加工する。従って、本実施形態に係るデータ作成装置100は、任意の通信環境(対象通信環境200)を流れる信号から、ユーザの意図に応じたデータを容易に作成することに貢献する。
また、本実施形態に係るデータ作成装置100は、適宜、任意の規則(第1の規則及び第2の規則)を変更しても良い。そして、本実施形態に係るデータ作成装置100は、変更された規則(第1の規則及び第2の規則)を利用して、通信環境を流れる信号データから、規則を満たす加工データを作成する。従って、本実施形態に係るデータ作成装置100は、試験者が必要なデータを、適宜、容易に作成することに貢献する。
また、本実施形態に係るデータ作成装置100は、シーケンスパターンテンプレート111が正規表現、OR条件等を含んで構成されることで、対象通信環境200から取得した信号データを、基本シーケンスに落とし込むことができる。それにより、データ作成装置100は、不要な信号データを容易に破棄できる。そのため、本実施形態に係るデータ作成装置100が試験時間を削減すること、試験の安定性を向上すること、試験時間を予測することに貢献する。
また、本実施形態に係るデータ作成装置100は、シーケンスパターンテンプレート111、及びCDRを利用して、試験データを作成する。そのため、本実施形態に係るデータ作成装置100は、作成した試験データに含まれる、信号シーケンスの種別等を容易に特定することに貢献する。
また、本実施形態に係るデータ作成装置100は、シーケンスパターンテンプレート111、及びCDRを利用して、試験シナリオを作成する。そのため、本実施形態に係るデータ作成装置100は、作成した試験シナリオに含まれる、信号シーケンスの種別等を容易に特定することに貢献する。
よって、本実施形態に係るデータ作成装置100は、試験項目を集約すること、試験対象の範囲を限定すること、試験結果を集計することに貢献する。
上述の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)上記第1の視点に係るデータ作成装置の通りである。
(付記2)1又は2以上の前記第1の規則を取得し、取得した前記第1の規則を、前記テンプレートとして、前記記憶部に格納する、テンプレート管理部を備える、付記1に記載のデータ作成装置。
(付記3)前記テンプレート管理部は、ユーザの操作に基づいて、前記第1の規則を取得する、付記2に記載のデータ作成装置。
(付記4)前記テンプレート管理部は、前記第1の規則を記載したファイルを取得し、前記ファイルを前記テンプレートとして前記記憶部に格納する、付記2又は3に記載のデータ作成装置。
(付記5)前記加工データと、前記加工方法とに基づいて、試験シナリオを作成する、シナリオ作成部を備える、付記1乃至4のいずれか一に記載のデータ作成装置。
(付記6)前記データ収集部は、通信セッションに関わる信号シーケンスを含む前記信号データと、通信内容を特定する管理情報とを、前記対象通信環境から取得する、付記1乃至5のいずれか一に記載のデータ作成装置。
(付記7)前記データ解析部は、前記信号データから、前記第1の規則を満たさない前記信号シーケンスを破棄する、付記6に記載のデータ作成装置。
(付記8)前記データ解析部は、前記第1の規則を満たす前記信号シーケンスを、前記信号データから抽出し、抽出した前記信号シーケンスに基づいて、第1のデータパターンを作成し、前記第1のデータパターンを利用して、前記加工方法を決定する、付記6又は7に記載のデータ作成装置。
(付記9)前記記憶部は、前記第1の規則と異なる第2の規則をさらに格納し、前記データ解析部は、前記第1のデータパターンに前記第2の規則を適用し、第2のデータパターンを作成し、前記データ加工部は、前記第2のデータパターンを利用して、前記信号データを加工し、前記加工データを作成する、付記8に記載のデータ作成装置。
(付記10)前記データ解析部は、前記第1の規則を満たす前記信号シーケンスを、前記信号データから抽出し、抽出した前記信号シーケンスから、第3のデータパターンを抽出し、前記第3のデータパターンを利用して、前記第1のデータパターンを作成する、付記8又は9に記載のデータ作成装置。
(付記11)前記データ解析部は、前記管理情報に基づいて、通信セッションの種別に関する第4のデータパターンを作成し、前記第1の規則を満たす前記信号シーケンスと、前記第3のデータパターンと、前記第4のデータパターンとに基づいて、前記第1のデータパターンを作成する、付記10に記載のデータ作成装置。
(付記12)上記第2の視点に係る試験システムの通りである。
(付記13)1又は2以上の前記第1の規則を取得し、取得した前記第1の規則を、前記テンプレートとして、前記記憶部に格納する、テンプレート管理部を備える、付記12に記載の試験システム。
(付記14)前記加工データと、前記加工方法とに基づいて、試験シナリオを作成する、シナリオ作成部を備える、付記12又は13に記載の試験システム。
(付記15)前記データ収集部は、通信セッションに関わる信号シーケンスを含む前記信号データと、通信内容を特定する管理情報とを、前記対象通信環境から取得する、付記12乃至14のいずれか一に記載の試験システム。
(付記16)上記第3の視点に係るデータ作成方法の通りである。
(付記17)1又は2以上の前記第1の規則を取得し、取得した前記第1の規則を、前記テンプレートとして保存する工程を含む、付記16に記載のデータ作成方法。
(付記18)前記加工データと、前記加工方法とに基づいて、試験シナリオを作成する工程を含む、付記16又は17に記載のデータ作成方法。
(付記19)通信セッションに関わる信号シーケンスを含む前記信号データと、通信内容を特定する管理情報とを、前記対象通信環境から取得する工程を含む、付記16乃至18のいずれか一に記載のデータ作成方法。
(付記20)上記第4の視点に係るプログラムの通りである。
(付記21)1又は2以上の前記第1の規則を取得し、取得した前記第1の規則を、前記テンプレートとして保存する処理を、前記コンピュータに実行させる付記20に記載のプログラム。
(付記22)前記加工データと、前記加工方法とに基づいて、試験シナリオを作成する処理を、前記コンピュータに実行させる、付記20又は21に記載のプログラム。
(付記23)通信セッションに関わる信号シーケンスを含む前記信号データと、通信内容を特定する管理情報とを、前記対象通信環境から取得する処理を、前記コンピュータに実行させる、付記21又は22に記載のプログラム。
なお、上記の付記12、16、20に示す形態は、付記1に示す形態と同様に、付記3、4、7乃至11に示す形態に展開することが可能である。
なお、上記の特許文献の開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
100、1000 データ作成装置
110、1010 記憶部
111 シーケンスパターンテンプレート
112 マッチングテーブル
120 テンプレート管理部
130、1020 データ収集部
140、1030 データ解析部
150、1040 データ加工部
160 シナリオ作成部
200 対象通信環境
1011 第1の規則
1012 テンプレート

Claims (10)

  1. 1又は2以上の第1の規則を、テンプレートとして格納する、記憶部と、
    対象通信環境から信号データを取得する、データ収集部と、
    前記テンプレートを利用して、前記信号データに対する加工方法を決定する、データ解析部と、
    前記加工方法に基づいて、前記信号データを加工し、加工データを作成する、データ加工部と、
    を備えるデータ作成装置。
  2. 1又は2以上の前記第1の規則を取得し、取得した前記第1の規則を、前記テンプレートとして、前記記憶部に格納する、テンプレート管理部を備える、請求項1に記載のデータ作成装置。
  3. 前記加工データと、前記加工方法とに基づいて、試験シナリオを作成する、シナリオ作成部を備える、請求項1又は2に記載のデータ作成装置。
  4. 前記データ収集部は、通信セッションに関わる信号シーケンスを含む前記信号データと、通信内容を特定する管理情報とを、前記対象通信環境から取得する、請求項1乃至3のいずれか一に記載のデータ作成装置。
  5. 前記データ解析部は、前記信号データから、前記第1の規則を満たさない前記信号シーケンスを破棄する、請求項4に記載のデータ作成装置。
  6. 前記データ解析部は、前記第1の規則を満たす前記信号シーケンスを、前記信号データから抽出し、抽出した前記信号シーケンスに基づいて、第1のデータパターンを作成し、前記第1のデータパターンを利用して、前記加工方法を決定する、請求項4又は5に記載のデータ作成装置。
  7. 信号データを出力する装置を含む、対象通信環境と、
    前記対象通信環境と接続する、データ作成装置と、
    を含んで構成され、
    前記データ作成装置は、
    1又は2以上の第1の規則を、テンプレートとして格納する、記憶部と、
    前記対象通信環境から前記信号データを取得する、データ収集部と、
    前記テンプレートを利用して、前記信号データに対する加工方法を決定する、データ解析部と、
    前記加工方法に基づいて、前記信号データを加工し、加工データを作成する、データ加工部と、
    を備える試験システム。
  8. 1又は2以上の前記第1の規則を取得し、取得した前記第1の規則を、前記テンプレートとして、前記記憶部に格納する、テンプレート管理部を備える、請求項7に記載の試験システム。
  9. 1又は2以上の第1の規則を、テンプレートとして格納する工程と、
    対象通信環境から信号データを取得する工程と
    前記テンプレートを利用して、前記信号データに対する加工方法を決定する工程と、
    前記加工方法に基づいて、前記信号データを加工し、加工データを作成する工程と、
    を含むデータ作成方法。
  10. 1又は2以上の第1の規則を、テンプレートとして格納する処理と、
    対象通信環境から信号データを取得する処理と
    前記テンプレートを利用して、前記信号データに対する加工方法を決定する処理と、
    前記加工方法に基づいて、前記信号データを加工し、加工データを作成する処理と、
    をデータ作成装置を制御するコンピュータに実行させるプログラム。
JP2017215746A 2017-11-08 2017-11-08 データ作成装置、試験システム、データ作成方法、及びプログラム Active JP6915868B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017215746A JP6915868B2 (ja) 2017-11-08 2017-11-08 データ作成装置、試験システム、データ作成方法、及びプログラム
PCT/JP2018/041326 WO2019093368A1 (ja) 2017-11-08 2018-11-07 データ作成装置、試験システム、データ作成方法、及びプログラム
US16/762,409 US20200301824A1 (en) 2017-11-08 2018-11-07 Data creation apparatus, testing system, data creation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017215746A JP6915868B2 (ja) 2017-11-08 2017-11-08 データ作成装置、試験システム、データ作成方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019087102A true JP2019087102A (ja) 2019-06-06
JP6915868B2 JP6915868B2 (ja) 2021-08-04

Family

ID=66438892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017215746A Active JP6915868B2 (ja) 2017-11-08 2017-11-08 データ作成装置、試験システム、データ作成方法、及びプログラム

Country Status (3)

Country Link
US (1) US20200301824A1 (ja)
JP (1) JP6915868B2 (ja)
WO (1) WO2019093368A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113016017B (zh) * 2019-10-21 2022-12-06 株式会社日立系统 知识信息提取系统及知识信息提取方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006352290A (ja) * 2005-06-14 2006-12-28 Nec Commun Syst Ltd シナリオ作成装置、試験システム、シナリオ作成方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212385A (ja) * 1996-02-02 1997-08-15 Mitsubishi Electric Corp 並列プログラムデバッグ装置
JP5391811B2 (ja) * 2009-04-28 2014-01-15 日本電気株式会社 パケット解析装置、方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006352290A (ja) * 2005-06-14 2006-12-28 Nec Commun Syst Ltd シナリオ作成装置、試験システム、シナリオ作成方法及びプログラム

Also Published As

Publication number Publication date
US20200301824A1 (en) 2020-09-24
WO2019093368A1 (ja) 2019-05-16
JP6915868B2 (ja) 2021-08-04

Similar Documents

Publication Publication Date Title
CN107436844B (zh) 一种接口用例合集的生成方法及装置
US9632899B2 (en) Method for analyzing request logs in advance to acquire path information for identifying problematic part during operation
CN105244041B (zh) 歌曲试唱的评价方法及装置
CN108733698B (zh) 一种日志消息的处理方法及后台服务系统
CN112154420A (zh) 自动智能云服务测试工具
JP2018537921A (ja) Skypeの異なる機能の通信フローに基づく識別方法及び装置
CN110213284A (zh) Ssh服务器弱口令漏洞的检测方法、系统及相关装置
CN111159464B (zh) 一种音频片段的检测方法及相关设备
US20070143471A1 (en) Methods, systems and computer program products for evaluating suitability of a network for packetized communications
WO2019093368A1 (ja) データ作成装置、試験システム、データ作成方法、及びプログラム
CN108989267A (zh) 基于sip的灰度发布方法、系统、设备和存储介质
JP2014035595A (ja) 通信システムの試験装置、通信システムの試験用プログラム及び通信システムの試験方法
CN109981386B (zh) 网络质量的测试方法、测试服务器和测试系统
CN107451063B (zh) 一种脚本测试方法及装置
Kamoun et al. Goal-Oriented Feature Interaction Detection in the Intelligent Network Model.
CN107423041B (zh) 用于实现应用程序编程接口配置和调用的方法和设备
CN113704123B (zh) 接口测试方法、装置、设备以及存储介质
CN114449569B (zh) 用户流量使用量处理方法、网络设备及业务处理系统
CN111884932B (zh) 一种链路确定方法、装置、设备和计算机可读存储介质
CN113114519B (zh) 一种网络质量的探测方法及装置
CN113014443A (zh) 一种cdn资源是否命中缓存的测试方法及其系统
CN107579868B (zh) 一种网元失效影响业务检测的方法和装置
CN110717063B (zh) 对ip电话录音文件进行校验与选择存档的方法、系统
JP6034988B1 (ja) 発信対象情報生成方法
CN105245401B (zh) 一种ip多媒体子系统ims的检测方法和设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210708

R150 Certificate of patent or registration of utility model

Ref document number: 6915868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150