JP2018077697A - 検証システムおよび検証方法 - Google Patents

検証システムおよび検証方法 Download PDF

Info

Publication number
JP2018077697A
JP2018077697A JP2016219477A JP2016219477A JP2018077697A JP 2018077697 A JP2018077697 A JP 2018077697A JP 2016219477 A JP2016219477 A JP 2016219477A JP 2016219477 A JP2016219477 A JP 2016219477A JP 2018077697 A JP2018077697 A JP 2018077697A
Authority
JP
Japan
Prior art keywords
verification
function
information
information processing
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016219477A
Other languages
English (en)
Other versions
JP6659521B2 (ja
Inventor
拓郎 森
Takuro Mori
拓郎 森
智之 明神
Tomoyuki Myojin
智之 明神
秀人 小川
Hideto Ogawa
秀人 小川
雄一郎 中川
Yuichiro Nakagawa
雄一郎 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016219477A priority Critical patent/JP6659521B2/ja
Priority to EP17198379.4A priority patent/EP3321808B1/en
Publication of JP2018077697A publication Critical patent/JP2018077697A/ja
Application granted granted Critical
Publication of JP6659521B2 publication Critical patent/JP6659521B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2205Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
    • G06F11/2236Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested to test CPU or processors
    • G06F11/2242Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested to test CPU or processors in multi-processor systems, e.g. one processor becoming the test master
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3457Performance evaluation by simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3604Software analysis for verifying properties of programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)

Abstract

【課題】システムの検証コストを削減しつつ、品質を確保する。【解決手段】検証センタと、ネットワークを介して検証センタに接続される複数の機能管理システムと、を有し、複数の情報処理システムの機能を検証する検証システムであって、各機能管理システムは、各機能管理システムに対応する各情報処理システムの機能と、機能において設定可能なパラメータ値の範囲と、設定可能なパラメータ値の範囲のうち設定された場合の機能が検証済みのパラメータ値の範囲と、実際に設定されているパラメータ値と、を対応付ける機能管理情報を保持し、実際に設定されているパラメータ値が検証済みの範囲外の値に変更される場合、当該変更の前に、変更後の値を含む範囲のパラメータ値が設定された場合の機能の検証要求を検証センタに送信し、検証センタは、検証要求に基づいて検証を実行してその結果を検証要求の送信元の前記機能管理システムに送信する。【選択図】図1A

Description

本発明は、情報処理システムの機能を検証するシステムに関する。
近年の計算機システムの構成は、モバイル端末及びIoTの隆盛に伴う端末数の増大によってその流動性を増しており、製品出荷後にソフトウェア及びシステム構成が連続的に変化する場合がある。
一般的な製品開発におけるテスト工程では、出荷前にシステムの様々なバリエーションを想定してテストを実施する。変化するシステムでは、バリエーションが膨大となるため、想定範囲全てに対する網羅的なテストは実施コストの観点から現実的ではない。また、出荷後に起こり得る変更を全て予測することが現実的に不可能なシステムでは、出荷後の追加のテストを想定した開発が必要となる。
そこで妥協点として、代表的なシステム構成及び機能の組み合わせを定義し、そのシステムに対するテストが採用される。ソフトウェアのアップデートを行う際には、前述の代表的なテストと同様の内容を基本として、同様の結果が得られるか確認するテストを実施する。
特許文献1には、ソフトウェアの依存関係情報から、あるソフトウェアの機能が更新された際の追加テスト範囲を抽出する手法が記載されている。これによって、更新時のテスト範囲を絞り込むことができる。
特許文献2には、パッチ適用時にテストコードを実施してパッチの有効性を確認する手法が記載されている。これによって、アップデート対象端末の装置環境に依存する問題を抽出できる。
特許第4732864号公報 特開2005−327274号公報
既存技術におけるテスト手法では、システム納品後の構成変更及び機器のアップデートなどによって、システム構成が代表的ではない状態となった場合に、システムに実装されたソフトウェア又はハードウェアに含まれる、テスト未実施のシーケンスが実行される場合がある。このシーケンスに存在する欠陥はシステム出荷後に顕現するため、手戻りコストや、納品スケジュールに与えるインパクトが大きい。この解決のためには、連続的に変化する可能性があるシステムに対して、初期のテストコスト増大を抑えつつ、システム構成変更に対応したテスト手法を提供する必要がある。
本発明の代表的形態を示すと次のとおりである。
検証センタと、ネットワークを介して前記検証センタに接続される複数の機能管理システムと、を有し、複数の情報処理システムの機能を検証する検証システムであって、前記検証センタは、第1プロセッサと、前記第1プロセッサがアクセスする第1記憶装置と、を有し、前記各機能管理システムは、第2プロセッサと、前記第2プロセッサがアクセスする第2記憶装置と、を有し、前記第2記憶装置は、前記各機能管理システムに対応する前記各情報処理システムの機能と、前記機能において設定可能なパラメータ値の範囲と、前記設定可能なパラメータ値の範囲のうち設定された場合の前記機能が検証済みのパラメータ値の範囲と、実際に設定されているパラメータ値と、を対応付ける機能管理情報を保持し、前記第2プロセッサは、前記実際に設定されているパラメータ値が前記検証済みの範囲外の値に変更される場合、当該変更の前に、変更後の値を含む範囲のパラメータ値が設定された場合の前記機能の検証要求を前記検証センタに送信し、前記第1プロセッサは、前記検証要求に基づいて検証を実行してその結果を前記検証要求の送信元の前記機能管理システムに送信することを特徴とする。
本発明の代表的形態によれば、情報処理システムは、利用される機能の必要最低限なテストを抽出し、利用される環境の構成情報に基づいて検証を行う。これによって、検証に費やすコストの削減と、検証の品質確保の両立が期待できる。上記した以外の課題、構成、及び効果は、以下の実施形態の説明によって明らかにされる。
本発明の実施例の機能管理システムおよび検証センタを含む検証システム全体の機能構成例を示すブロック図である。 本発明の実施例の機能管理システムのハードウェア構成例を示すブロック図である。 本発明の実施例の検証センタの機能構成例を示すブロック図である。 本発明の実施例の検証センタのハードウェア構成例を示すブロック図である。 本発明の実施例のシステム構成情報の例を示す説明図である。 本発明の実施例の機能管理情報の例を示す説明図である。 本発明の実施例の検証範囲情報の例を示す説明図である。 本発明の実施例の検証結果情報の例を示す説明図である。 本発明の実施例の機能管理情報の別の例を示す説明図である。 本発明の実施例の機能管理システムが実行する検証要求処理およびそれに応じて検証センタが実行する検証結果送信処理の例を示すフローチャートである。 本発明の実施例の情報処理システムの出荷前から運用時までの処理の例を示すフローチャートである。 本発明の実施例の機能管理システムの画面である機能管理コンソールの第1の例を示す説明図である。 本発明の実施例の機能管理システムの画面である機能管理コンソールの第2の例を示す説明図である。 本発明の実施例の検証センタが検証要求情報を受信せずに検証結果情報を送信するセンタ発機能情報送信処理の例を示すフローチャートである。
以下、図面に基づいて、本発明の実施の形態を説明する。
本実施形態に係る機能管理システム101(図1A等参照)は、一台以上の計算機を有する情報処理システムと関連付けられ、装置情報103を受け付け、装置情報処理部104による解析を行ってシステム構成情報105を作成する。
また、機能管理システム101は、検証範囲情報106を受け付け、機能管理部107は、機能管理情報108と、システム構成情報105とに基づき、検証の必要性を判断する。検証が必要な場合は、検証要求部109が、検証センタ201に対する該当機能の検証要求情報110を送信する。検証結果情報受信部111は、該当機能の検証に関する検証結果情報112を得て、機能管理情報108を更新する。
本実施形態によれば、情報処理システム102のユーザ(例えば情報処理システムの管理者)が機能の利用を開始する前に、該当機能の利用可不可について検証センタ201が判定を行うため、問題のある構成及び機能の利用を防ぐことができる。
図1A〜図12を用いて本発明の実施例を説明する。
図1Aは、本発明の実施例の機能管理システム101および検証センタ201を含む検証システム100全体の機能構成例を示すブロック図である。検証センタの詳細な構成例は、図2A等を参照して後述する。
情報処理システム102は、例えば、複数の計算機を含んでおり、それらの計算機等の装置は通信ネットワークを介して双方向に通信可能に接続されている。図1では、第1計算機113および第2計算機114を示すが、これに限らず、情報処理システム102は3つ以上の計算機を含んでもよいし、1つの計算機のみを含んでもよい。
機能管理システム101は、例えば、一台の計算機によって構成されており、通信ネットワーク116を介して双方向に通信可能に検証センタ201と接続されている。図1では、情報処理システム102と機能管理システム101とが一対一に対応しているが、これに限らず、多対一又は一対多に対応するように構成されもよい。例えば、検証システム100が複数の機能管理システム101と一つの検証センタ201とによって構成され、複数の機能管理システム101の各々に複数の情報処理システム102の各々が対応し、複数の機能管理システム101が通信ネットワーク116を介して一つの検証センタ201と接続されてもよい。その場合、一つの検証センタ201が、複数の機能管理システム101からの要求に従って、複数の情報処理システム102の機能を検証する。あるいは、機能管理システム101と検証センタ201とが一体化していてもよい。
検証センタ201は、例えば、複数の計算機を含んでおり、情報処理システム102を検証するための検証実施システム208(図2A等参照)を含む。検証実施システム208は、一つ以上の検証用計算機211、一つ以上の検証用装置212およびそれらの組み合わせによって構成されるが、これらは実際の装置であってもよいし、仮想化技術またはシミュレータによる仮想的な装置であってもよい。
検証センタ201が複数存在する場合は、効率的な検証を実施するために、それらが相互に保持する情報をやり取りしてもよい。
<機能管理システム>
図1Aの機能管理システム101の例は、情報処理システム102の装置に関する情報を、装置情報103として受け付け、装置情報処理部104がそれを解析した後にシステム構成情報105を生成する。装置情報103は、機能管理システム101のユーザインタフェース115によって手作業で入力されてもよいし、情報処理システム102に係る情報から作成するなどによって取得されてもよい。
機能管理システム101は、情報処理システム102の機能の変更要求に関する情報を検証範囲情報106として受け付け、機能管理部107が機能変更要求情報と機能管理情報108とを照らし合わせ、該当機能を利用するためには検証が必要か否かを判定し、必要である場合、検証センタ201に対して該当機能に対する検証要求情報110を送信する。検証要求情報110には、システム構成情報105および検証範囲情報106が含まれる。
図1Aは、本発明の実施例の機能管理システム101のハードウェア構成例を示すブロック図である。
機能管理システム101は、ネットワークインタフェース121、メモリ122、CPU(Central Processing Unit)123および記憶装置124を有する。ネットワークインタフェース121は、通信ネットワーク116に接続され、情報処理システム102及び検証センタ201等との間でデータの通信を行う。メモリ122は、CPU123が実行するプログラム及びCPU123によって参照されるデータ等を格納するいわゆる主記憶装置である。CPU123は、メモリ122に格納されたプログラムを実行することによって種々の機能を実現するプロセッサである。記憶装置124は、CPU123が実行するプログラム及びCPU123によって参照されるデータ等を格納する、例えばハードディスクドライブ等のいわゆる補助記憶装置である。
例えば、装置情報処理部104、機能管理部107、検証要求部109及び検証結果情報受信部111の機能を実現するためのプログラムが記憶装置124に格納され、必要に応じてメモリ122にコピーされCPU123によって実行されてもよい。すなわち、これらの各部が実行する処理は、実際にはCPU123によって実行される。同様に、装置情報103、システム構成情報105、検証範囲情報106、機能管理情報108、検証要求情報110及び検証結果情報112がメモリ122及び記憶装置124のいずれか又は両方に格納されてもよい。
機能管理システム101は、さらに、ユーザインタフェース115を有する。ユーザインタフェース115は、例えば、ユーザからのデータの入力を受け付けるキーボード及びマウス等の入力装置と、ユーザに対してデータを出力する画像表示装置等の出力装置とを含み、CPU123がメモリ122に格納された入出力のためのプログラムを実行してそれらの入力装置及び出力装置を制御することによって実現される。
<検証センタ>
図2Aは、本発明の実施例の検証センタ201の機能構成例を示すブロック図である。
検証センタ201は、各情報処理システム102について、そのシステム構成情報202と検証結果情報203を関連付けて保持する。
検証センタ201は機能管理システム101からの検証要求情報110を受け付けて、検証要求情報受信部204がそれを処理する。
検証要求情報受信部204は、検証要求情報110に含まれるシステム構成情報105が既に保持しているシステム構成情報202と異なる場合には更新処理を行い、受信したシステム構成情報105をシステム構成情報202として保持する。
検証実施判定部205は、検証要求情報110と、システム構成情報202と、検証結果情報203とに基づいて、追加の検証なく該当機能が利用可能かを判定し、利用可能である場合には応答する旨を追加送信先抽出部206に通知する。検証が未済である(つまり追加の検証が必要である)場合には、検証実施部207が、検証実施システム208を利用して検証処理を行い、その結果を追加送信先抽出部206に通知する。追加送信先抽出部206は、必要な通知先を抽出し、検証結果情報送信部209は、システム構成情報202と、検証結果情報203とから情報を選別し、機能管理システム101に検証結果情報を送信する。さらに、検証センタ201は、ユーザからのデータの入力処理及びユーザへのデータの出力処理を行うユーザインタフェース210を有してもよい。
図2Bは、本発明の実施例の検証センタ201のハードウェア構成例を示すブロック図である。
検証センタ201は、一つ以上の検証装置220を有する。各検証装置220は、ネットワークインタフェース221、メモリ222、CPU223および記憶装置224を有する。ネットワークインタフェース221は、通信ネットワーク116に接続され、機能管理システム101等との間でデータの通信を行う。メモリ222は、CPU223が実行するプログラム及びCPU223によって参照されるデータ等を格納するいわゆる主記憶装置である。CPU223は、メモリ222に格納されたプログラムを実行することによって種々の機能を実現するプロセッサである。記憶装置224は、CPU223が実行するプログラム及びCPU123によって参照されるデータ等を格納する、例えばハードディスクドライブ等のいわゆる補助記憶装置である。
例えば、検証要求情報受信部204、検証実施判定部205、検証実施部207、追加送信先抽出部206及び検証結果情報送信部209の機能を実現するためのプログラムが記憶装置224に格納され、必要に応じてメモリ222にコピーされCPU223によって実行されてもよい。すなわち、これらの各部が実行する処理は、実際にはCPU223によって実行される。同様に、検証要求情報110、検証結果情報112、システム構成情報202及び検証結果情報203がメモリ122及び記憶装置124のいずれか又は両方に格納されてもよい。
検証センタ201は、さらに、ユーザインタフェース210を有してもよい。ユーザインタフェース210は、例えば、ユーザからのデータの入力を受け付けるキーボード及びマウス等の入力装置と、ユーザに対してデータを出力する画像表示装置等の出力装置とを含み、CPU223がメモリ222に格納された入出力のためのプログラムを実行してそれらの入力装置及び出力装置を制御することによって実現される。
<システム構成情報>
図3は、本発明の実施例のシステム構成情報105の例を示す説明図である。
システム構成情報105は、例えば、情報処理システム102を構成する要素の項目を識別する要素名301およびその項目の内容を示す要素情報302で構成される。システム構成情報105には、情報処理システム102を構成するソフトウェアおよびハードウェアの情報のみならず、例えば、情報処理システム102の納品先に関する情報(例えば顧客名)、機能管理システム101に関する情報(例えば機能管理システム101のIPアドレス)、システムを構成する要素の物理的状態に関する情報、及び、電気的または機械的な情報などを含んでもよい。
具体的には、例えば情報処理システム102が何らかの装置を制御する計算機システムである場合、検証される機能は、情報処理システム102が当該装置を制御する機能である。この場合、システム構成情報105は、制御される装置のハードウェア及びソフトウェアの構成に関する情報並びにその装置を制御するための計算機システムのハードウェア及びソフトウェアの構成に関する情報等を含んでもよい。装置のハードウェアの構成に関する情報としては、例えば、使用される装置の種類、数、定格値、設置位置、その装置内で使用されている機器(例えばセンサ等)の品種等が挙げられる。また、装置及び計算機システムのソフトウェアの構成に関する情報としては、例えばプログラム名及びバージョン番号等が挙げられる。
<機能管理情報>
図4は、本発明の実施例の機能管理情報108の例を示す説明図である。
機能管理情報108は、例えば、各機能を識別する機能の名称401、該当情報処理システムにおける各機能の利用状態402、各機能の設定値(すなわち各機能を利用する際に設定されるパラメータ値)の設定可能範囲403、該当情報処理システムにおける各機能の設定値の設定可能範囲のうち、検証済みの範囲を示す検証済設定範囲404、および、各機能の現在の設定値405を含む。ここで、検証済みの範囲とは、検証の対象の情報処理システム102においてその値が設定されたときに機能が利用できることが検証された値の範囲である。
利用状態402の値としては、例えば、現在機能を利用中であることを示す「利用中」、機能を停止していることを示す「停止中」、機能を有効化するための検証要求を未実施であることを示す「検証未実施」、検証センタに検証要求を送信し応答待ち状態であることを示す「検証要求中」、および、機能が何らかの理由で利用できないことを示す「利用不可」がある。例えば利用状態402が「検証未実施」である機能の、これから有効化しようとする設定値の範囲を指定した検証要求が行われた場合、それによって当該機能の利用状態402は「検証要求中」に更新され、その検証が終了すると「停止中」に更新され、検証済設定範囲404に当該検証が終了した設定値の範囲が登録される。さらに、当該機能の当該設定値の範囲の利用が開始されると、利用状態402「利用中」に更新され、設定値405が実際に設定されている値に更新される。
設定可能範囲403は、機能によって、設定値を持たない場合と、1個以上の設定値を持つ場合とがある。設定値としては、整数、浮動少数、真偽値およびその他のあらゆる種類の値およびその組み合わせが利用可能である。
<機能有効化要求情報>
図5は、本発明の実施例の検証範囲情報106の例を示す説明図である。
検証範囲情報106は、例えば、これから有効化しようとする機能を識別する機能の名称501と、機能の設定値の設定範囲を示す検証範囲502と、を含む。ただし、検証範囲情報106が機能の名称501および検証範囲502の組を一つも含まない場合があってもよい。そのような検証範囲情報106は、例えば、新たな設定範囲を要求せず、検証センタ201側の更新状態を確認することを要求する場合に利用できる。
<機能有効化応答情報>
図6は、本発明の実施例の検証結果情報112の例を示す説明図である。
検証結果情報112は、例えば、有効化する機能を識別する名称を示す有効化機能601と、設定値の設定可能範囲602と、検証が完了した設定値の設定範囲を示す検証済設定範囲603と、を含む。ただし、検証結果情報112が有効化機能601、設定可能範囲602および検証済設定範囲603の組を一つも含まない場合があってもよい。そのような検証結果情報112は、検証センタ201における検証処理の結果、検証済設定範囲603が変化しなかった場合などに作成される。
検証結果情報112は、検証を要求した設定値の範囲より狭い設定可能範囲602を含む場合がある。これは検証対象の計算機システムに依存する何らかの原因によって設定可能範囲に制限が存在することを示している。
検証結果情報112は、要求した設定値の範囲を超える検証済設定範囲603を含む場合、及び、要求した機能以外の機能の検証済設定範囲603を含む場合がある。これは検証センタ201によって要求の範囲を超えて検証された結果であり、機能管理システム101によって受け付けられる。
<更新後機能管理情報>
図7は、本発明の実施例の機能管理情報108の別の例を示す説明図である。
具体的には、図7は、図4の機能管理情報108を持つ機能管理システム101が、図5の検証要求情報110を送信し、検証の結果である図6の検証結果情報112を検証結果情報受信部111で受信して、その検証結果情報112に基づいて更新された機能管理情報108の例を示す。検証結果情報112に基づいて検証済み設定範囲が更新されたため、機能Cの利用状態が停止中すなわち利用可能な状態となっている(フィールド701)。
<検証要求処理>
図8は、本発明の実施例の機能管理システム101が実行する検証要求処理およびそれに応じて検証センタ201が実行する検証結果送信処理の例を示すフローチャートである。
機能管理システム101は、検証要求部109が検証センタ201へ検証要求情報110を送信(801)した後、応答待ち状態となる(802)。例えば、情報処理システム102の機能の設定値が変更される前に、変更後の設定値を含む設定値の範囲が検証範囲情報106として機能管理システム101に入力された場合、機能管理部107は、機能管理情報108を参照して、当該設定値の範囲が検証済みかどうかを判定し、少なくとも一部の範囲が未検証である場合、検証要求部109がその未検証の範囲を対象とする検証要求情報110を送信してもよい。
検証センタ201では、検証要求情報受信部204が検証要求情報110を受信すると、検証実施判定部205がシステム構成情報202および検証結果情報203を参照し、対象の情報処理システム102の構成において該当機能の検証が必要かどうか判定する(803)。具体的には、検証実施判定部205は、検証結果情報203を参照して、検証要求情報110によって検証を要求された情報処理システム102の、検証を要求された機能の、検証を要求された設定範囲の検証がまだ行われていない場合、該当機能の検証が必要であると判定する。検証が必要な場合は、検証実施部207が検証実施システム208を用いた検証を実施する(804)。
具体的には、検証実施部207は、検証要求情報110に含まれるシステム構成情報105に基づいて、検証の対象の情報処理システム102と同等の構成を有する検証用計算機211の実機及び検証の対象の装置と同等の構成を有する検証用装置212の実機を用いて、検証要求情報110によって指定された範囲の設定値が設定された場合の機能を検証してもよい。これによって、正確な検証が可能になる。あるいは、検証実施部207がシステム構成情報105に基づいて検証の対象の情報処理システム102及び検証の対象の装置をシミュレートすることによって検証してもよい。これによって、低コストで迅速な検証が可能になる。
検証が終了すると、検証実施部207は、検証の結果が反映されるように検証結果情報203を更新する(805)。その後、検証済みかどうかにかかわらず、検証結果情報送信部209が検証要求情報110の送信元である機能管理システム101に検証結果情報112を送信して(806)、検証センタ201の処理を完了する。
例えば、これまでに複数の機能管理システム101からの検証要求情報110に応じて行われた全ての検証の結果が検証結果情報203に蓄積され、そのうち、今回の検証要求情報110に対して行われた検証の結果が検証結果情報112として当該検証要求情報110の送信元の機能管理システム101に送信されてもよい。このとき、当該検証要求情報110の送信元の機能管理システム101からの過去の検証要求に応じて行われた全ての検証結果が検証結果情報112として送信されてもよい。
さらに、後述するように、検証センタ201は、検証の対象となった情報処理システム102と同等の構成を有する情報処理システム102を管理する機能管理システム101にも検証結果情報112を送信してもよい。
機能管理システム101は、検証結果情報受信部111が検証結果情報112を受信すると処理を再開し、機能管理情報108を更新して(807)、機能管理システム101の処理を終了する。例えば、図4に示す機能管理情報108を保持する機能管理システム101が、図5に示すように機能CのパラメータであるC速度の設定値として10から30を指定する検証要求を送信し、その結果、図6に示すように10から20の範囲で検証に成功した場合、図7に示すように、機能Cの検証済設定範囲404がC速度の10から20の範囲に更新される。
<試験・納品・運用工程>
図9は、本発明の実施例の情報処理システム102の出荷前から運用時までの処理の例を示すフローチャートである。
具体的には、図9は、情報処理システム102の出荷前、納品時および運用の工程において、機能管理システム101および検証センタ201を利用する処理の流れの例を示す。
出荷前工程では、検証センタ201が、納品する情報処理システム102の構成および納品先で初期に利用する当該情報処理システム102の機能のみ検証を行い、初期の検証結果情報を作成する(901)。この検証は、検証センタ201の検証実施システム208のみならず、他の計算機環境を利用してよい。
情報処理システム102が納品され(902)、納品先の実際の構成がステップ901の検証工程時に検証された構成と異なるなど、納品時の追加検証が必要な場合には(903)、検証センタ201が、まだ検証していない構成又は設定範囲等を対象として、図8に示した検証要求処理(904)を行う。
情報処理システム102の運用が開始されてから(905)、ユーザからの検証要求、ソフトウェアのアップデート、および情報処理システムの構成変更など、情報処理システム102に変化が発生した場合には、機能管理システム101が、システム構成情報105の更新および検証範囲情報106の作成などの必要な前処理(906)の後に、図8に示した検証要求処理を行い、それに応じて検証センタ201によって検証された機能のみ利用可能とする(907)。
以上の処理によれば、情報処理システムの機能の利用範囲が拡張されるときに、過去の検証結果及び情報処理システムの構成情報等に応じて必要な検証が抽出され、実行される。これによって、情報処理システムの出荷時には、その時点で必要最小限の検証を行えば十分であるため、検証に費やすコストの削減と、検証の品質確保の両立が期待できる。
<機能管理コンソール1>
図10は、本発明の実施例の機能管理システム101の画面である機能管理コンソールの第1の例を示す説明図である。
機能管理コンソールは、機能管理システム101のユーザインタフェース115によって表示される。具体的には、機能管理コンソールには、各機能の現在の状態、現在の設定値、設定可能な設定値の範囲及び検証済みの設定値の範囲等が表示される。これらの情報は、図4及び図7に示す機能管理情報108に基づく。ユーザは、それらの機能のいずれかを選択して、選択した機能の状態の変更および設定値の変更等を指示することができる。図10を参照して、現在の状態が「利用中」、「停止中」および「利用不可」の機能を選択した場合について説明する。一方、現在の状態が「検証未実施」および「検証要求中」の機能を選択した場合については、図11を参照して後述する。
例えば、図10の例のように、利用中の機能1001を選択した場合は、その機能について、設定値1002の入力を伴う設定値変更1003および機能の停止1004を指示することが可能であり、また、情報処理システム102の構成が変更された場合の構成更新1005を指示することが可能である。設定値変更1003が指示され、それによって設定値の範囲が拡大された場合には、その拡大された範囲について、図8に示す処理が実行される。一方、停止中の機能を選択した場合は、利用中の機能を選択した場合と異なり、その停止中の機能について、利用開始1006を指示することができるが、機能停止1004を指示することはできない。また、利用不可の機能を選択した場合は、その利用不可の機能について、構成更新1005のみ指示することができる。
<機能管理コンソール2>
図11は、本発明の実施例の機能管理システム101の画面である機能管理コンソールの第2の例を示す説明図である。
図11に示す機能管理コンソールにおいて、例えば、検証未実施の機能1101を選択し、その機能の検証済み範囲が設定可能な範囲よりも狭い場合には、検証範囲1102を指定した検証要求1106を指示することが可能である。この場合は、検証範囲1102で指定された範囲を対象として、図8に示す処理が実行される。また、検証要求中の機能1103を選択した場合は、その機能の中断1104を指示することが可能である。また、いずれの場合も、情報処理システム102の構成が変更された場合の更新通知1105を指示することが可能である。
なお、上記の図10および図11を参照して説明した各機能に関する指示は、ユーザがユーザインタフェース115に含まれる入力装置を使用して、機能管理コンソールに表示された設定値変更1003、機能停止1004、構成更新1005、利用開始1006、検証中断1104および検証要求1106等のボタンを操作することによって行われてもよい。このとき、選択された機能の状態に応じて、選択できない指示に対応するボタンは、例えばいわゆるグレーアウト(図10等では取り消し線)のような操作できない状態となってもよい。例えば図10には利用中の機能が選択された場合に設定値変更1003、機能停止1004および構成更新1005を指示することはできるが、その他の指示(例えば利用開始1006)はできないことを示している。
上記のような機能管理コンソールを参照し、操作することによって、ユーザは、情報処理システム102の状態を容易に把握し、必要な処理を指示することが可能になる。
<自動機能管理>
なお、情報処理システム102の機能の利用および停止などの操作は、管理者が手動で行ってもよいし、機能管理システム101から得られた情報に基づいて、情報処理システム102が自動で行ってもよい。具体的には、例えば、機能管理システム101からの検証要求情報110に基づいて、検証センタ201が検証未実施のある機能のある設定範囲の検証を実行し、それが終了したことを示す検証結果情報112を送信すると、機能管理システム101が、機能管理コンソールを介して当該機能の状態が停止中であることを表示し、管理者がそれを参照して手動で情報処理システム102の当該機能の利用を開始してもよい。あるいは、情報処理システム102が通信ネットワーク116に接続され、機能管理システム101が通信ネットワーク116を介して情報処理システム102に当該機能の検証が終了したことを示す情報を送信し、情報処理システム102がその情報を受信すると自動的に当該機能の利用を開始してもよい。
<タイマ制御>
また、機能管理システム101は、検証センタ201へ検証要求情報110を送信する際にタイムアウト値を設定してもよい。機能管理システム101は、指定時間内に検証結果情報112を受信しない場合には、検証失敗と見なす(802)。これによって、例えば機能の不具合によって検証の処理自体が停止したような場合にも、検証失敗の応答を返すことができる。その後、該当機能を利用するかどうかは、情報処理システム102のユーザが判断してよい。
<センタ発機能情報送信処理>
また、検証センタ201は、機能管理システム101から検証要求情報110を受信せずとも、自発的に検証を行い、検証結果情報112を送信してもよい。
図12は、本発明の実施例の検証センタ201が検証要求情報110を受信せずに検証結果情報112を送信するセンタ発機能情報送信処理の例を示すフローチャートである。
センタ発機能情報送信処理では、検証センタ201が、システム構成情報202および検証結果情報203から、送信対象となる機能の抽出(1201)と、送信対象の機能管理システム101の抽出(1202)を行い、各送信先機能管理システム101に対して検証結果情報112を送信する(1203)。
<ブロードキャスト>
図12に示したセンタ発検証結果送信処理を用いる場合の第1の例を説明する。例えば、検証センタ201は、いずれかの機能管理システム101によって管理される情報処理システム102の機能に関する検証処理を行った際、当該検証処理の対象である情報処理システム102の装置構成と同様の装置構成を有する情報処理システム102が他にも存在する場合には、それらの情報処理システム102の全てに対応する機能管理システム101に対して検証結果情報112を送信する(1203)。
検証センタ201は、情報処理システム102及びそれによって制御される装置の構成が同じかどうかを、それぞれの情報処理システム102のシステム構成情報202を比較することで判断してもよいし、判断用関数を利用して判断してもよい。例えば、検証センタ201は、二つの情報処理システム102のシステム構成情報202が完全に同一である場合だけでなく、完全に同一でなくとも所定の条件が満たされる場合にはそれらが同等であると判定してもよい。
なお、検証センタ201は、機能管理システム101からの検証要求情報110に基づいて検証を実行した場合にも、上記と同様に複数の機能管理システム101に検証結果情報112を送信することができる。例えば、検証センタ201は、システム構成情報202を参照して、当該検証要求情報110の送信元の機能管理システム101が管理する情報処理システム102等と同等の構成を有する他の情報処理システム102等を検索し、検索された当該他の情報処理システムを管理する機能管理システム101に検証結果情報112を送信してもよい(806)。
上記のようにある情報処理システム102に関する検証結果を他の同等の構成を有する情報処理システム102に流用することによって検証のための計算量を削減することが可能になる。
<先回り検証>
図12に示したセンタ発検証結果送信処理を用いる場合の第2の例として、先回り検証がある。例えば、検証センタ201の計算機資源に余裕がある場合など、所定の条件に基づいて検証処理を実行可能であると判定された場合に、検証センタ201は、機能管理システム101からの検証要求情報110が送信されていない場合でも、検証実施システム208を用いて、まだ検証されていない設定値の範囲に関して、機能の検証処理を行う。その結果、これまで検証されていなかった設定値が利用可能となった場合には、検証センタ201は、該当機能を利用している情報処理システム102に対応する機能管理システム101に対して検証結果情報112を送信する。このようにまだ要求されていない検証を予め行っておくことによって、それが要求されたときに迅速に応答することが可能になる。
<機能の緊急停止>
図12に示したセンタ発検証結果送信処理を用いる場合の第3の例として、機能の緊急停止がある。例えば、検証処理の失敗によって発覚した不具合、または、その他新たに発覚した不具合などによって、特定の機能の利用を停止する必要がある場合には、検証センタ201は、該当機能を有する情報処理システム102に対応する機能管理システム101に対して検証結果情報112を送信する。具体的には、例えば、システム構成情報202が、各情報処理システム102が有する機能を示す情報を含み、追加送信先抽出部206がシステム構成情報202を参照して検証に失敗した機能を有する情報処理システム102を抽出し、抽出した情報処理システム102に対応する機能管理システム101に検証結果情報112を送信してもよい。これによって、不具合が発生する可能性がある機能を、実際に不具合が発生する前に停止することが可能になる。
<検証処理の優先制御>
検証センタ201は、複数の検証要求情報110を受け付けた際に、それらの検証を、受け付けた時刻の順序で処理してもよいが、その代わりに、機能および計算機システムに応じた優先制御を行ってもよい。優先制御の判断基準として、検証要求情報110、システム構成情報202、検証結果情報203、および、その他検証センタ201が有する様々な情報の組み合わせを用いることが可能である。例えば、情報処理システム102またはそれによって制御される装置の構成が特定の条件を満たす場合に優先的に検証を実行する(804)という判断を行ってもよい。あるいは、システム構成情報202が図3に示すように顧客情報を含む場合に、顧客によって優先度を決定してもよい。これによって、検証の重要性、緊急性等に応じて適切な順序で検証を行うことが可能になる。
さらに、検証センタ201は、システム構成情報202、検証結果情報203、および、その他検証センタ201が有する様々な情報の組み合わせに基づいて、ステップ804の検証を行う環境を決定してもよい。例えば、検証センタ201は、システム構成情報202および検証結果情報203等に基づいて、これから行う検証の重要度を判定し、重要度が高い検証は、実機の検証用計算機211及び実機の検証用装置212を用いて行い、それ以外の検証はシミュレーションによって行うように決定してもよい。あるいは、検証センタ201は、システム構成情報202等に基づいて、実機の検証用計算機211等を用いた検証が可能である場合にはそれを行い、可能でない場合にはシミュレーションによる検証を行うように決定してもよい。あるいは、検証センタ201は、システム構成情報202および検証結果情報203等に基づいて緊急度が高いと判定された検証を、より短時間で検証が終了することが見込まれる環境(例えば複数の検証用計算機211のうち高性能のもの、または高性能のハードウェアを利用したシミュレーション等)で行うように決定してもよい。これによって、検証の重要性、緊急性等に応じて適切な環境で検証を行うことが可能になる。
<エビデンス>
検証センタ201は、自身が保持する情報および各種履歴情報を解析および加工して、対象情報処理システム102に関して、実施した検証の量および質に関する情報を出力できる。
<ログの収集と利用>
機能管理システム101は、例えば検証要求時など、あらかじめ定めた時刻または契機に則り、情報処理システム102に関する履歴情報その他様々な情報を検証センタ201に送信できる。検証センタ201は得た情報を、検証実施システム208の構築および検証処理の優先制御など検証センタ201の様々な処理に反映できる。
<情報処理システムの検証への利用>
情報処理システム102を検証実施システム208として利用してもよい。また、情報処理システム102と検証実施システム208を組み合わせた環境を構築し、それを用いて検証処理を行ってもよい。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、SSD(Solid State Drive)等の記憶デバイス、または、ICカード、SDカード、DVD等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
100 検証システム
101 機能管理システム
102 情報処理システム
105、202 システム構成情報
108 機能管理情報
110 検証要求情報
112 検証結果情報
115、210 ユーザインタフェース
116 ネットワーク
121、221 ネットワークインタフェース
122、222 メモリ
123、223 CPU
124、224 記憶装置
201 検証センタ

Claims (14)

  1. 検証センタと、ネットワークを介して前記検証センタに接続される複数の機能管理システムと、を有し、複数の情報処理システムの機能を検証する検証システムであって、
    前記検証センタは、第1プロセッサと、前記第1プロセッサがアクセスする第1記憶装置と、を有し、
    前記各機能管理システムは、第2プロセッサと、前記第2プロセッサがアクセスする第2記憶装置と、を有し、
    前記第2記憶装置は、前記各機能管理システムに対応する前記各情報処理システムの機能と、前記機能において設定可能なパラメータ値の範囲と、前記設定可能なパラメータ値の範囲のうち設定された場合の前記機能が検証済みのパラメータ値の範囲と、実際に設定されているパラメータ値と、を対応付ける機能管理情報を保持し、
    前記第2プロセッサは、前記実際に設定されているパラメータ値が前記検証済みの範囲外の値に変更される場合、当該変更の前に、変更後の値を含む範囲のパラメータ値が設定された場合の前記機能の検証要求を前記検証センタに送信し、
    前記第1プロセッサは、前記検証要求に基づいて検証を実行してその結果を前記検証要求の送信元の前記機能管理システムに送信することを特徴とする検証システム。
  2. 請求項1に記載の検証システムであって、
    前記情報処理システムは、所定の装置の制御システムであり、
    前記機能は、前記情報処理システムが前記装置を制御する機能であり、
    前記第2記憶装置は、さらに、前記情報処理システム及び前記装置の構成を示すシステム構成情報を保持し、
    前記第2プロセッサは、前記システム構成情報を前記検証要求に含めて送信し、
    前記第1プロセッサは、前記システム構成情報に基づいて、前記情報処理システムに前記変更後の値を含む範囲のパラメータ値が設定された場合の前記装置を制御する機能の検証を実行することを特徴とする検証システム。
  3. 請求項2に記載の検証システムであって、
    前記検証センタは、前記情報処理システムと同等の構成を有する検証用計算機、及び、前記検証用計算機によって制御され、前記装置と同等の構成を有する検証用装置をさらに有し、
    前記第1プロセッサは、前記検証用計算機及び前記検証用装置を用いて、前記機能の検証を実行することを特徴とする検証システム。
  4. 請求項3に記載の検証システムであって、
    前記第1プロセッサは、前記システム構成情報及び過去の検証の結果の少なくとも一方に基づいて、前記検証用計算機及び前記検証用装置を用いた検証及び前記第1プロセッサが実行するシミュレーションによる検証のいずれかを選択し、前記選択した検証を実行することを特徴とする検証システム。
  5. 請求項2に記載の検証システムであって、
    前記第1プロセッサは、前記システム構成情報に基づいて、前記情報処理システム及び前記装置のシミュレーションを実行することによって、前記機能の検証を実行することを特徴とする検証システム。
  6. 請求項2に記載の検証システムであって、
    前記第1記憶装置は、前記各機能管理システムに対応する前記各情報処理システムに関する前記システム構成情報を保持し、
    前記第1プロセッサは、いずれかの前記情報処理システムの機能に関する検証を実行してその結果を前記検証の対象である情報処理システムに対応する前記機能管理システムに送信する際に、前記システム構成情報に基づいて、前記検証の対象である情報処理システムの構成と他の情報処理システムの構成とが同等であると判定した場合、前記検証を実行した結果を当該他の情報処理システムに対応する前記機能管理システムにも送信することを特徴とする検証システム。
  7. 請求項2に記載の検証システムであって、
    前記第1プロセッサは、
    前記検証要求を受信したか否かに関わらず、所定の条件に基づいて実行可能と判定される場合に、前記システム構成情報に基づいて、いずれかの前記情報処理システムのまだ検証されていないパラメータ値の範囲の前記機能の検証を実行し、その結果を前記機能を利用する前記情報処理システムに対応する前記機能管理システムに送信することを特徴とする検証システム。
  8. 請求項2に記載の検証システムであって、
    前記第1記憶装置は、前記各機能管理システムに対応する前記各情報処理システムに関する前記システム構成情報を保持し、
    前記システム構成情報は、前記各情報処理システムが有する機能を示す情報を含み、
    前記第1プロセッサは、前記機能の検証に失敗した場合、前記システム構成情報に基づいて、前記機能を有する前記情報処理システムに対応する前記機能管理システムに前記検証の結果を送信することを特徴とする検証システム。
  9. 請求項2に記載の検証システムであって、
    前記第1プロセッサは、前記複数の機能管理システムから前記検証要求を受信すると、前記システム構成情報及び過去の検証の結果の少なくとも一方に基づいて、前記複数の機能管理システムから受信した前記検証要求の優先順位を決定し、決定した優先順位の高い順に、前記検証要求に基づく検証を実行することを特徴とする検証システム。
  10. 請求項1に記載の検証システムであって、
    前記第2プロセッサは、前記検証要求を送信した後、所定の時間内に前記検証センタから検証の結果を受信しなかった場合、前記検証要求に基づく検証が失敗したと判定することを特徴とする検証システム。
  11. 請求項1に記載の検証システムであって、
    前記各機能管理システムは、前記機能管理情報の内容を表示し、検証の対象の機能及びパラメータ値の範囲を選択する情報の入力を受け付ける入出力インタフェースをさらに有し、
    前記第2プロセッサは、前記入出力インタフェースに入力された情報に基づいて、前記検証の要求を生成することを特徴とする検証システム。
  12. プロセッサと、前記プロセッサがアクセスする記憶装置と、を有し、情報処理システムの機能を検証する検証システムであって、
    前記記憶装置は、前記情報処理システムの機能と、前記機能において設定可能なパラメータ値の範囲と、前記設定可能なパラメータ値の範囲のうち設定された場合の前記機能が検証済みのパラメータ値の範囲と、実際に設定されているパラメータ値と、を対応付ける機能管理情報を保持し、
    前記プロセッサは、
    前記実際に設定されているパラメータ値が前記検証済みの範囲外の値に変更される場合、当該変更の前に、変更後の値を含む範囲のパラメータ値が設定された場合の前記機能の検証を実行し、
    実行した前記検証の結果を出力することを特徴とする検証システム。
  13. 請求項12に記載の検証システムであって、
    前記情報処理システムは、所定の装置の制御システムであり、
    前記機能は、前記情報処理システムが前記装置を制御する機能であり、
    前記記憶装置は、さらに、前記情報処理システム及び前記装置の構成を示すシステム構成情報を保持し、
    前記プロセッサは、前記システム構成情報に基づいて、前記情報処理システムに前記変更後の値を含む範囲のパラメータ値が設定された場合の前記装置を制御する機能の検証を実行することを特徴とする検証システム。
  14. プロセッサと、前記プロセッサがアクセスする記憶装置と、を有する検証システムが情報処理システムの機能を検証するために実行する検証方法であって、
    前記記憶装置は、前記情報処理システムの機能と、前記機能において設定可能なパラメータ値の範囲と、前記設定可能なパラメータ値の範囲のうち設定された場合の前記機能が検証済みのパラメータ値の範囲と、実際に設定されているパラメータ値と、を対応付ける機能管理情報を保持し、
    前記検証方法は、
    前記実際に設定されているパラメータ値が前記検証済みの範囲外の値に変更される場合、当該変更の前に、前記プロセッサが、変更後の値を含む範囲のパラメータ値が設定された場合の前記機能の検証を実行する手順と、
    前記プロセッサが、実行した前記検証の結果を出力する手順と、を含むことを特徴とする検証方法。
JP2016219477A 2016-11-10 2016-11-10 検証システムおよび検証方法 Expired - Fee Related JP6659521B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016219477A JP6659521B2 (ja) 2016-11-10 2016-11-10 検証システムおよび検証方法
EP17198379.4A EP3321808B1 (en) 2016-11-10 2017-10-25 Verification system and verification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016219477A JP6659521B2 (ja) 2016-11-10 2016-11-10 検証システムおよび検証方法

Publications (2)

Publication Number Publication Date
JP2018077697A true JP2018077697A (ja) 2018-05-17
JP6659521B2 JP6659521B2 (ja) 2020-03-04

Family

ID=60186096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016219477A Expired - Fee Related JP6659521B2 (ja) 2016-11-10 2016-11-10 検証システムおよび検証方法

Country Status (2)

Country Link
EP (1) EP3321808B1 (ja)
JP (1) JP6659521B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7439488B2 (ja) 2019-12-12 2024-02-28 コニカミノルタ株式会社 画像処理システム、画像処理装置、プログラム、制御管理システムおよび装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114089691B (zh) * 2021-11-24 2023-11-07 歌尔股份有限公司 机加工信息交互验证方法、电子设备及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002869A (en) * 1997-02-26 1999-12-14 Novell, Inc. System and method for automatically testing software programs
JP3779665B2 (ja) * 2002-09-25 2006-05-31 富士通株式会社 テスト支援プログラム
US7890946B2 (en) 2004-05-11 2011-02-15 Microsoft Corporation Efficient patching
JP4732864B2 (ja) 2005-11-15 2011-07-27 株式会社リコー プログラム配布サーバ、プログラム配布方法、及び、プログラム配布プログラムとその記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7439488B2 (ja) 2019-12-12 2024-02-28 コニカミノルタ株式会社 画像処理システム、画像処理装置、プログラム、制御管理システムおよび装置

Also Published As

Publication number Publication date
JP6659521B2 (ja) 2020-03-04
EP3321808A1 (en) 2018-05-16
EP3321808B1 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
US9386079B2 (en) Method and system of virtual desktop infrastructure deployment studio
JP5401922B2 (ja) 仮想システム制御プログラム、方法及び装置
US9665469B2 (en) System and method of runtime downloading of debug code and diagnostics tools in an already deployed baseboard management controller (BMC) devices
US9292423B1 (en) Monitoring applications for compatibility issues
US9122793B2 (en) Distributed debugging of an application in a distributed computing environment
US10402216B1 (en) Live support integration in a virtual machine based development environment
CN107203465B (zh) 系统接口测试方法及装置
CN109901985B (zh) 分布式测试装置及方法、存储介质和电子设备
US20200110631A1 (en) Virtual machine deployment method and omm virtual machine
WO2019167421A1 (ja) シミュレーター、シミュレーション装置、および、シミュレーション方法
CN112527252A (zh) 小程序管理方法及装置、小程序平台、电子设备、介质
US10705895B2 (en) Device based automated tool integration for lifecycle management platform
JP6659521B2 (ja) 検証システムおよび検証方法
US9953293B2 (en) Method for controlling changes of replication directions in a multi-site disaster recovery environment for high available application
US10917458B2 (en) Message broker configuration
WO2014196366A1 (en) Information processing device, information processing method, and program
US11818000B2 (en) Continuous delivery of management configurations
JP7102783B2 (ja) システム管理装置、システム管理方法、およびプログラム
JP2011248616A (ja) サーバシステム、及び、仮想サーバの移行方式を選択する方法
US11847046B1 (en) Application functionality testing, resiliency testing, chaos testing, and performance testing in a single platform
US9722946B1 (en) Apparatus and method for a script execution control environment
JP6920501B1 (ja) 情報処理システム、プログラム、及び情報処理方法
JP2018067057A (ja) 制御プログラムの検証装置及びプログラム
JP2023145128A (ja) 開発環境構築システム、開発環境構築方法およびプログラム
CN112286552A (zh) 一种任务创建方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200206

R150 Certificate of patent or registration of utility model

Ref document number: 6659521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees