JP2022185831A - ソフトウェアテスト支援システム及びソフトウェアテスト支援方法 - Google Patents

Abstract

【課題】エラー解析作業を補助する。【解決手段】ソフトウェアテスト支援システムであって、電子制御装置へ信号を入力する電気信号発生器と、テスト対象ソフトウェアを実行し、テスト実行中の動作ログをメモリに保存する電子制御装置と、前記電子制御装置のメモリに一時的に保存されたログデータを時系列で保存する記憶装置と、 前記記憶装置に保存されたログデータを表示する結果表示装置とを備え、前記テスト対象ソフトウェアは、当該テスト対象ソフトウェアの動作を検証するテストを実行するテストプログラムを含み、前記電子制御装置は、テスト実行中のテスト対象ソフトウェアの動作ログ、及びソフトウェアテスト項目のエラーフラグを前記記憶装置に保存し、前記結果表示装置は、前記エラーフラグを参照して、前記記憶装置に保存されたログデータからソフトウェアテスト項目のエラー発生時のログデータを抽出して表示する。【選択図】図１

Description

本発明は、ソフトウェアのテストを支援する技術に関する。

今日、ソフトウェアの品質確保が課題となっている。特に、車載ソフトウェアの品質を確保する上で、ソフトウェア動作時にセンサから取得する値や演算結果などのパラメータが期待通りの値であるかを時系列のデータで取得して検証するソフトウェアテストが実施される。

ソフトウェアテストにおいて、動作結果の検証に必要となるパラメータをソフトウェア動作中の時系列データとしてログに保存する。この時系列ログデータにおいて、パラメータが期待される値や挙動と異なるなどのエラーが発生した場合、エラーが発生した時刻付近のパラメータの時系列ログデータを解析して、パラメータが期待される値や挙動とどのように異なるのか、いつ挙動が異なるようになったのか、という事象について調査して原因を特定することがある。

本技術分野の背景技術として、以下の先行技術がある。特許文献１（特開２０１７－７６１５８号公報）には、車載制御装置の筐体中に一体となって構成され、通常時は、検証対象のソフトウェアを実行するＣＰＵがバスにより接続された周辺装置を通じて該ソフトウェアの動作情報を動作ログとして該記憶装置に書き込み、該記憶装置に蓄積された情報を外部に転送するときは、前記ＣＰＵとは無関係な独立バスを経由して無線通信手段により転送を行うことを特徴とする動作ログ処理装置が記載されている（請求項１参照）。

特開２０１７－７６１５８号公報

特許文献１に記載された技術によって、ソフトウェアテスト実行中の動作データのログを保存し、エラー発生時のログデータを確認することでエラー原因を特定できる。しかし、車載ソフトウェアには数多くのパラメータが存在し、ソフトウェアテスト開始から終了までの全てのパラメータを時系列ログデータとして取得すると、ログデータ量は膨大となる。その中から、エラーが発生したソフトウェアテスト項目に関係するパラメータを抽出し、エラー原因の特定は大変手間がかかる作業である。

本発明は、時系列ログデータからエラーの原因特定に有効なデータを自動的に抽出して、エラー解析作業を補助することを目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、ソフトウェアテスト支援システムであって、電子制御装置へ信号を入力する電気信号発生器と、テスト対象ソフトウェアを実行し、テスト実行中の動作ログをメモリに保存する電子制御装置と、前記電子制御装置のメモリに一時的に保存されたログデータを時系列で保存する記憶装置と、 前記記憶装置に保存されたログデータを表示する結果表示装置とを備え、前記テスト対象ソフトウェアは、当該テスト対象ソフトウェアの動作を検証するテストを実行するテストプログラムを含み、前記電子制御装置は、テスト実行中のテスト対象ソフトウェアの動作ログ、及びソフトウェアテスト項目のエラーフラグを前記記憶装置に保存し、前記結果表示装置は、前記エラーフラグを参照して、前記記憶装置に保存されたログデータからソフトウェアテスト項目のエラー発生時のログデータを抽出して表示することを特徴とする。

本発明の一態様によれば、エラー原因特定作業を効率化できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

実施例１のソフトウェアテスト支援システムの構成を示す図である。 実施例１の外部メモリへ保存される時系列ログデータの構成例を示す図である。 実施例１の表示ルール保存部に保存される表示ルールデータの構成例を示す図である。 実施例１の表示部が表示する表示画面の例を示す図である。 実施例１の表示部が表示する表示画面の例を示す図である。 実施例２のソフトウェアテスト支援システムの構成を示す図である。 実施例２の過去の類似エラーデータ表示例を示す図である。

本発明の実施例について図面を参照して説明する。
＜実施例１＞
図１は、本発明の実施例１のソフトウェアテスト支援システムの構成を示す図である。

図１に示すように、実施例１のソフトウェアテスト支援システムは、電気信号発生器１００と、電子制御装置１１０と、外部記憶装置１２０と、表示装置１３０とから構成される。

電気信号発生器１００は、ソフトウェアテストに必要な電気信号を発生させる装置であり、シミュレータでも実際の車両でもよい。

電子制御装置１１０は、例えばエンジン制御コントロールユニットであり、時系列ログデータを一時的に保存するためのメモリ１１３、時系列ログデータを外部記憶装置１２０へ送信する送信部１１４を有する。電子制御装置１１０には、ソフトウェアの動作を検証するためのテストプログラム１１１が組み込まれたテスト対象ソフトウェア１１２が書き込まれている。

外部記憶装置１２０は、電子制御装置１１０から時系列ログデータを受信するための受信部１２１と、データを保存するための外部メモリ１２２とを有する。外部メモリ１２２は、半導体素子（例えば、ＲＡＭやフラッシュメモリ）で構成されても、磁気ディスクドライブ（ＨＤＤ）で構成されてもよい。

結果表示装置１３０は、時系列ログデータを解析して、表示するべきデータを特定するデータ解析部１３１と、そのデータを表示する表示部１３２とを有する。

結果表示装置１３０は、例えばディスプレイに接続されたパソコンやノートパソコンであり、データ解析部１３１と、表示部１３２と、表示ルール保存部１３３とを有する。データ解析部１３１は、結果表示装置１３０に搭載された、専用に作成されたプログラムやソフトウェアでもよく、データ解析用に提供される市販のソフトウェアでもよい。表示部１３２は、パソコンの画面でよい。表示ルール保存部１３３は、パラメータ、期待値、期待される動作、表示する際の表示範囲などの情報が各ソフトウェアテスト項目に関連付けられた表示ルールデータを格納する。

車載ソフトウェアのソフトウェアテストでは、例えば、エンジン制御コントロールユニットにおいて変数に格納された値や関数の戻り値など（以下、パラメータと表記する）がエンジン回転に応じて期待通りに更新されているか等、期待される値の範囲内であるかを判定する。

本実施例のソフトウェアテストでは、電子制御装置１１０が、電気信号発生器１００からのエンジン回転数、ＣＡＮ／ＬＩＮ／ＳＥＮＴなどのセンサの入力信号を受け取り、テスト対象ソフトウェア１１２内部で各種演算を実行する。そして、テスト対象ソフトウェア１１２に付加されたテストプログラム１１１が、演算結果が予め期待する結果と異なる異常状態になるかを判定する。

テストプログラム１１１では、特定のソフトウェアテスト項目のソフトウェアテストを実行したときの、テスト対象ソフトウェア１１２の処理において、前述した異常状態が発生するかを自動的に判定し、異常が発生すればエラーフラグを立てる。また、テストプログラム１１１は、ソフトウェアテストの実行中、現在時刻又は時間変化を表すタイマ値と共に、各パラメータや各テスト項目のエラーフラグの情報を周期的に取得し、時系列データとして電子制御装置１１０に搭載されているメモリ１１３に一時的に保存する。その後、テストプログラム１１１は、メモリ１１３に一時的に保存したデータを送信部１１４から送信し、外部記憶装置１２０の受信部１２１で受信し、外部メモリ１２２へ順次追記して、時系列ログデータを保存する。

電子制御装置１１０の送信部１１４と外部記憶装置１２０の受信部１２１間でのデータ受け渡しは、ＣＡＮによる通信、又は無線通信等などを使用できる。

ソフトウェアテストの終了後、外部記憶装置１２０に保存された時系列ログデータを結果表示装置１３０のデータ解析部１３１に読み込ませる。読み込ませる手段としては、無線又は有線による通信によって直接時系列ログデータを送信してもよいし、外部記憶装置１２０からテキスト形式のファイルを出力して、出力ファイルを読み込ませてもよい。

データ解析部１３１は、異常が検出されエラーフラグが設定されているソフトウェアテスト項目を時系列ログデータから特定し、表示ルール保存部１３３に保存されている表示ルールデータの中から、対応するソフトウェアテスト項目の表示ルール情報を読み取って、必要なデータを抽出する。抽出されたデータは表示部１３２にて表示される。

図２は、外部メモリ１２２へ保存される時系列ログデータの構成例を示す図である。

図２に示す時系列ログデータ２００は、外部記憶装置１２０の外部メモリ１２２に保存されており、現在時刻やタイマ値などの時間データ２０１と、ソフトウェアテストで実行される各テスト項目のエラーフラグ２０２と、各テスト項目に関連するパラメータ２０３とが対応付けられたエントリの時系列データを含む。

パラメータ２０３は、電気信号発生器１００からの入力信号の値、及びテスト対象ソフトウェア１１２の操作時の変数値や関数の戻り値などの出力パラメータ（例えば、アクチュエータの動作制御値）を表す。

図３は、表示ルール保存部１３３に保存される表示ルールデータの構成例を示す図である。

図３に示す表示ルールデータ３００は、結果表示装置１３０の表示ルール保存部１３３に保存されており、テスト項目３０１、当該テスト項目に関連するパラメータである関連パラメータ３０２、当該テスト項目で期待される値や動作を示す期待値３０３、表示する際の表示範囲３０４、及び表示方法３０５などの情報を関連付けて構成される。

期待値３０３は、ソフトウェアの動作結果が予め定めた期待値に沿った結果であるか、期待値に沿わない結果であるか、つまり正常か異常かを判定するために、定数、数値範囲、時間や他のパラメータの値によって決まる数式など、ソフトウェアテスト項目に応じたデータが記載される。表示範囲３０４は、パラメータを出力するセンサやパラメータの種別によって挙動が異なることから、適切な表示範囲を定めておくとよい。例えば、エラーフラグが変化する直前から元に戻るまでのデータのようにエラーフラグを基準とした範囲や、エラーフラグの変化点（エラーフラグの立ち上がり、立ち下がり）を起点とした前後の一定時間のデータのように処理時間を基準とした範囲がある。関連パラメータ３０２、期待値３０３、表示範囲３０４、表示方法３０５などの表示ルールはテスト項目に応じて変更するとよい。

図４、図５は、表示部１３２が表示する表示画面の例を示す図である。

図４に示す表示画面例４００は、エラーが発生したソフトウェアテスト項目が関連する時間データ２０１、エラーフラグ２０２、関連パラメータ３０２の期待値４０１及び表示ログデータ４０２を表示ルールデータ３００に記載の表示範囲３０４に則って表示する。例えば、複数のソフトウェアテスト項目を同時に実施し、一纏まりの時系列ログデータを取得する場合、テスト項目（１）でエラーが発生した場合のデータ表示処理を説明する。

まず、データ解析部１３１が、外部メモリ１２２に保存された時系列ログデータ２００においてエラーフラグが設定されているソフトウェアテスト項目（１）を検出する。

表示ルールデータ３００のテスト項目（１）の欄から、関係する関連パラメータ３０２（パラメータ（１）及びパラメータ（２））とその表示範囲３０４の情報を取得し、パラメータ（１）及びパラメータ（２）の各データに対する期待値４０１と表示ログデータ４０２を指定された表示範囲で表示する。表示画面例４００では、エラーフラグが変化する直前から元に戻るまでの範囲のデータを表示している。エラー発生時点のデータは、表示態様を変える（例えば、異なる色）等の識別性が向上するように表示するとよい。

図５に示す表示画面例５００は、エラーが発生したソフトウェアテスト項目が関連する時間データ２０１、エラーフラグ２０２、時系列ログデータと期待値との偏差５０１を表示する。例えば、センサから取得したアナログ値を評価するテスト項目では、期待値は許容誤差を含む一定の範囲となることがあり、時系列ログデータが期待値の範囲を超えるエラーが発生した時は、時系列ログデータと期待値との偏差の情報において、同程度の偏差が継続して発生している、偏差が徐々に大きくなっているなどの傾向の調査が必要となる。このため、表示画面例５００では、偏差５０１を表示する。表示画面例５００でも、エラー発生時点のデータは、表示態様を変える（例えば、異なる色）等の識別性が向上するように表示するとよい。

＜実施例２＞
図６は、本発明の実施例２のソフトウェアテスト支援システムの構成を示す図である。

実施例２では、結果表示装置１０３にデータベース保存部６０１を設けた。実施例２では、主に実施例１との相違点を説明し、実施例１と同じ構成及び処理には同じ符号を付し、それらの説明は省略する。

データベース保存部６０１は、ソフトウェアテストの実施において発生したエラーの情報及び時系列ログデータを蓄積して、データベースを構築する。データベース保存部６０１は、結果表示装置１０３の内部に設けなくても、例えば外部記憶装置１２０など、結果表示装置１０３の外部に設けてもよい。データベース保存部６０１は、ソフトウェアテストを実施した日時、テスト対象ソフトウェア１１２のバージョンなどのテストに関する情報、エラーフラグの変化のパターンや時系列ログデータと期待値との偏差などのエラー内容に関する情報、及び取得した時系列ログデータなどを蓄積する。

結果表示装置１３０は、ソフトウェアテストを実施してエラーが発生した際に、エラーに関する情報を用いてデータベース保存部６０１を検索し、過去のエラーデータの中から類似のエラーが過去に発生していないかを判定する。同一テスト項目における過去に発生した類似エラーの情報が見つかれば、類似エラーのデータをデータ解析部１３１に入力し、表示部１３２が表示する。これによって、類似エラーが発生した際のエラー原因の調査にかかる手間を大きく低減でき、類似エラーの発生頻度を把握できる。

図７は、過去の類似エラーデータ表示例７００を示す図である。

エラーが発生したテスト項目において、過去に発生したエラーの類似データとして、テストに関する情報（例えば、日時やバージョン）であるテスト情報７０１、エラー内容に関する情報（例えば、過去のエラーで技術者が記録したエラー内容）であるエラーデータ７０２、及び過去のエラー発生時の時系列のログデータ７０３を表示する。

以上に説明したように、本発明の実施例によると、電子制御装置１１０は、テスト実行中のテスト対象ソフトウェア１１２の動作ログ、及びソフトウェアテスト項目のエラーフラグをメモリ１１３に保存し、結果表示装置１３０は、エラーフラグを参照して、外部記憶装置１２０に保存された時系列ログデータからソフトウェアテスト項目のエラー発生時のログデータを抽出して表示するので、ソフトウェアテストで取得した時系列ログデータにおいて、特定のソフトウェアテストの実施項目に関係するパラメータの全ての時系列ログデータからエラーの原因特定に有効なデータを自動的に抽出して表示でき、エラー解析作業を補助し、エラー原因特定作業を効率化できる。

また、ログデータは、変数に格納された値及び関数の戻り値の少なくとも一つを含む出力パラメータを含み、前記電気信号発生器から入力される信号を含むので、エラー解析に有用な入出力データをセットで表示できる。

また、結果表示装置１３０は、エラーフラグが設定されていない正常状態から、エラーフラグが設定されている異常状態への変化前後の時系列のログデータを抽出して表示する、又は、エラーフラグが設定されている異常状態から、エラーフラグが設定されていない正常状態への変化前後の時系列のログデータを抽出して表示するので、解析に有効なエラーフラグの変化前後のデータを自動的に表示でき、エラー原因特定作業を効率化できる。

また、結果表示装置１３０は、ソフトウェアテスト項目ごとに定められた範囲のログデータを抽出し、ソフトウェアテスト項目ごとに定められた方法でログデータを表示するので、様々なテストに対応できる。

また、結果表示装置１３０は、エラーフラグの変化前後のログデータを他のログデータと異なる態様で表示するので、変化点の識別性を向上でき、エラー原因特定作業を効率化できる。

また、結果表示装置１３０は、ログデータと共に、テスト対象ソフトウェア１１２の出力パラメータの期待値からの偏差を表示するので、解析に有効な偏差のずれを表示でき、エラー原因特定作業を効率化できる。

また、結果表示装置１３０は、今回発生したエラーと類似するエラーの情報をデータベース保存部６０１から取得し、取得した類似するエラーの情報及び抽出されたログデータを表示するので、ソフトウェアテスト項目や時系列ログデータの状況に応じて、エラー原因調査がより容易となる過去のエラーデータを表示し、エラー原因特定作業を効率化できる。また、エラーが出やすい傾向が分かる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

１００：電気信号発生器、１１０：電子制御装置、１１１：テストプログラム、１１２：テスト対象ソフトウェア、１１３：メモリ、１１４：送信部、１２０：外部記憶装置、１２１：受信部、１２２：外部メモリ、１３０：結果表示装置、１３１：データ解析部、１３２：表示部、１３３：表示ルール保存部、２００：外部メモリに保存された時系列ログデータ、２０１：時間データ、２０２：各テスト項目のエラーフラグ、２０３：パラメータ、３００：表示ルールデータ、３０１：テスト項目、３０２：各テスト項目に関連するパラメータ、３０３：期待値データ、３０４：表示範囲、３０５：表示方法、４００：表示画面例（ａ）、４０１：各データに対する期待値、４０２：表示ログデータ、５００：表示画面例（ｂ）、５０１：期待値と時系列ログデータとの偏差、６０１：データベース保存部、７００：類似エラーデータ表示例、７０１：テストに関する情報、７０２：エラーの内容に関する情報、７０３：過去のエラー発生時の時系列ログデータ

Claims (10)

1. ソフトウェアテスト支援システムであって、
   電子制御装置へ信号を入力する電気信号発生器と、
   テスト対象ソフトウェアを実行し、テスト実行中の動作ログをメモリに保存する電子制御装置と、
   前記電子制御装置のメモリに一時的に保存されたログデータを時系列で保存する記憶装置と、
   前記記憶装置に保存されたログデータを表示する結果表示装置とを備え、
   前記テスト対象ソフトウェアは、当該テスト対象ソフトウェアの動作を検証するテストを実行するテストプログラムを含み、
   前記電子制御装置は、テスト実行中のテスト対象ソフトウェアの動作ログ、及びソフトウェアテスト項目のエラーフラグを前記記憶装置に保存し、
   前記結果表示装置は、前記エラーフラグを参照して、前記記憶装置に保存されたログデータからソフトウェアテスト項目のエラー発生時のログデータを抽出して表示することを特徴とするソフトウェアテスト支援システム。
2. 請求項１に記載のソフトウェアテスト支援システムであって、
   前記ログデータは、変数に格納された値及び関数の戻り値の少なくとも一つを含む出力パラメータを含むことを特徴とするソフトウェアテスト支援システム。
3. 請求項２に記載のソフトウェアテスト支援システムであって、
   前記ログデータは、前記電気信号発生器から入力される信号を含むことを特徴とするソフトウェアテスト支援システム。
4. 請求項１に記載のソフトウェアテスト支援システムであって、
   前記結果表示装置は、前記エラーフラグが設定されていない正常状態から、前記エラーフラグが設定されている異常状態への変化前後の所定期間のログデータを抽出して表示することを特徴とするソフトウェアテスト支援システム。
5. 請求項１に記載のソフトウェアテスト支援システムであって、
   前記結果表示装置は、前記エラーフラグが設定されている異常状態から、前記エラーフラグが設定されていない正常状態への変化前後の所定期間のログデータを抽出して表示することを特徴とするソフトウェアテスト支援システム。
6. 請求項１に記載のソフトウェアテスト支援システムであって、
   前記結果表示装置は、
   ソフトウェアテスト項目ごとに定められた範囲のログデータを抽出し、
   ソフトウェアテスト項目ごとに定められた方法でログデータを表示することを特徴とするソフトウェアテスト支援システム。
7. 請求項１に記載のソフトウェアテスト支援システムであって、
   前記結果表示装置は、前記エラーフラグの変化前後の所定期間のログデータを他のログデータと異なる態様で表示することを特徴とするソフトウェアテスト支援システム。
8. 請求項１に記載のソフトウェアテスト支援システムであって、
   前記結果表示装置は、前記ログデータと共に、前記テスト対象ソフトウェアの出力パラメータの期待値からの偏差を表示することを特徴とするソフトウェアテスト支援システム。
9. 請求項１に記載のソフトウェアテスト支援システムであって、
   過去に発生したエラーの情報を蓄積するデータ保存部を備え、
   前記結果表示装置は、
   今回発生したエラーと類似するエラーの情報を前記データ保存部から取得し、
   前記取得した類似するエラーの情報及び前記抽出されたログデータを表示することを特徴とするソフトウェアテスト支援システム。
10. ソフトウェアテスト支援システムが実行するソフトウェアテスト支援方法であって、
    前記ソフトウェアテスト支援システムは、電子制御装置へ信号を入力する電気信号発生器と、テスト対象ソフトウェアを実行し、テスト実行中の動作ログを記憶装置に保存する電子制御装置と、前記電子制御装置のメモリに一時的に保存されたログデータを時系列で保存する記憶装置と、 前記記憶装置に保存されたログデータを表示する結果表示装置とを有し、
    前記テスト対象ソフトウェアは、当該テスト対象ソフトウェアの動作を検証するテストを実行するテストプログラムを含み、
    前記ソフトウェアテスト支援方法は、
    前記電子制御装置が、テスト実行中のテスト対象ソフトウェアの動作ログ、及びソフトウェアテスト項目のエラーフラグを前記記憶装置に保存し、
    前記結果表示装置が、前記エラーフラグを参照して、前記記憶装置に保存されたログデータからソフトウェアテスト項目のエラー発生時のログデータを抽出して表示することを特徴とするソフトウェアテスト支援方法。

Images