JP2022000970A - 画像処理装置、画像処理システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】所望の映像を素早く表示させることができる画像処理装置、画像処理システム、画像処理方法およびプログラムを提供する。【解決手段】差分演算部３０８は、フレーム取得部３０７により取得されたフレームを受け取り、対象フレームの分析領域と、比較対象となるフレームの分析領域との画素値についての差分を、フレームの特徴量として演算する。そして、グラフ生成部３０９は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、差分値のグラフである差分グラフを生成し、グラフ表示部に表示させる。【選択図】図３

Description

本発明は、画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。

近年、ビデオカメラ等の撮像装置により録画して得られた映像データを分析して、目的物の検出、または、映像上の物体の動きもしくは異常の検出または分析等を行う画像処理システムの発展が著しい。このような画像処理システムとして、過去の映像データにおいて、表示される映像を複数のブロックに分割し、映像データを構成するフレーム同士について、対応するブロックの画素についての差分を演算し、差分が所定の閾値を超えた場合に動きがあったものとして検出信号を生成するシステムが提案されている（特許文献１参照）。

しかしながら、特許文献１に記載された技術は、映像データを構成するフレームの画素についての差分についてグラフを表示するものではないので、例えば、差分が閾値を超えた時刻の特定、およびその前後の状態を把握することができないという問題点があった。また、演算した差分のいずれかが所定の閾値を超えたことを検出できても、差分が閾値を超えた時刻を特定することができないので、その時刻またはその時刻前後の映像箇所を探索するのが困難であるという問題点もあった。

本発明は、上記に鑑みてなされたものであって、所望の映像を素早く表示させることができる画像処理装置、画像処理システム、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、表示手段と、撮像手段により撮像された映像データを前記表示手段に再生表示させる再生手段と、前記映像データに含まれるフレームごとに画素値の特徴量を演算する演算手段と、前記演算手段により演算された前記特徴量によって、該特徴量を時系列に表すグラフを生成して前記表示手段に表示させる生成手段と、前記表示手段により表示された前記グラフの表示領域のいずれかの部分を指定し、前記部分に対応する前記フレームを、前記再生手段により前記表示手段に表示させるフレーム指定手段と、を備えたことを特徴とする。

本発明によれば、所望の映像を素早く表示させることができる。

図１は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。 図２は、実施の形態の情報処理装置のハードウェア構成の一例を示す図である。 図３は、実施の形態の情報処理装置の機能ブロックの構成の一例を示す図である。 図４は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において映像データが表示される例を示す図である。 図５は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において映像表示部に分析領域を指定する例を示す図である。 図６は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において差分グラフが表示される例を示す図である。 図７は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において差分グラフに基づく所望の時刻の映像データを表示させる例を示す図である。 図８は、実施の形態の画像処理システムにおいて差分グラフを表示させる画像処理動作の一例を示すフローチャートである。

以下に、図面を参照しながら、本発明に係る画像処理装置、画像処理システム、画像処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

（画像処理システムの全体構成）
図１は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態の画像処理システム１の全体構成について説明する。

図１に示すように、本実施の形態の画像処理システム１は、撮像装置２ａ〜２ｄと、情報処理装置３と、ネットワーク４と、を含む。

撮像装置２ａ〜２ｄは、被写体からの光を電気信号に変換することによって被写体を撮像（撮影）し、複数のフレーム（画像データ）で構成（例えば、１０［ＦＰＳ］）された動画である映像データを生成するビデオカメラである。例えば、撮像装置２ａ〜２ｄは、製品を生産する生産設備等を撮像し、予期しない動きを検出かつ分析するための映像データを生成する。

なお、撮像装置２ａ〜２ｄを区別なく呼称する場合、または総称する場合、単に「撮像装置２」というものとする。また、図１では、画像処理システム１は、４台の撮像装置２を含む構成となっているが、これに限定されるものではなく、他の台数の撮像装置２を含む構成であってもよい。

情報処理装置３は、撮像装置２によって撮像された映像データに対して画像処理を実行する画像処理装置として機能するＰＣまたワークステーション等である。情報処理装置３による映像データに対する画像処理については、後述する。

ネットワーク４は、撮像装置２ａ〜２ｄと、情報処理装置３とを接続するための、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）規格のネットワークである。この場合、ネットワーク４では、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のプロトコルによりデータ通信が行われる。また、この場合、撮像装置２ａ〜２ｄおよび情報処理装置３は、ＴＣＰ／ＩＰのプロトコルにより通信するためのＭＡＣアドレスを有し、かつプライベートＩＰアドレス等のＩＰアドレスが割り当てられている。また、ネットワーク４の具体的な構成は、例えば、複数のポートを有するスイッチングハブに撮像装置２ａ〜２ｄおよび情報処理装置３それぞれがＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルによって接続されたスター配線形式である。

なお、撮像装置２ａ〜２ｄにより撮像された映像データは、必ずしも、情報処理装置３に記憶される必要はない。例えば、ネットワーク４にデータベースサーバが接続され、撮像装置２ａ〜２ｄにより撮像された映像データは、ネットワーク４を介してデータベースサーバに蓄積されるものとしてもよい。この場合、情報処理装置３は、データベースサーバから目的とする映像データを取得し、取得した映像データに対して画像処理を実行するものとすればよい。

また、図１に示すネットワーク４は、ＴＣＰ／ＩＰにより通信される例であるが、これに限定されるものではなく、例えば、情報処理装置３側にＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）端子またはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートを複数有し、複数の撮像装置２がそれぞれＶＧＡケーブルまたはＵＳＢケーブルで情報処理装置３に接続された形態等であってもよい。

（情報処理装置のハードウェア構成）
図２は、実施の形態の情報処理装置のハードウェア構成の一例を示す図である。図２を参照しながら、本実施の形態の情報処理装置３のハードウェア構成について説明する。

図２に示すように、情報処理装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、外部記憶装置１０４と、ディスプレイ１０５と、ネットワークＩ／Ｆ１０６と、キーボード１０７と、マウス１０８と、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１０９と、を備えている。

ＣＰＵ１０１は、情報処理装置３全体の動作を制御する装置である。ＲＯＭ１０２は、情報処理装置３用のプログラムを記憶している不揮発性記憶装置である。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される揮発性記憶装置である。

外部記憶装置１０４は、撮像装置２により撮像された映像データ、および設定情報等の各種データを記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。

ディスプレイ１０５は、カーソル、メニュー、ウィンドウ、文字もしくは画像等の各種情報、または情報処理装置３による画像処理を実行するアプリケーションの画面を表示する表示装置である。ディスプレイ１０５は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。なお、ディスプレイ１０５は、例えば、情報処理装置３の本体に対して、ＶＧＡケーブルまたはＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル等によって接続されたり、または、Ｅｔｈｅｒｎｅｔケーブルによって接続される。

ネットワークＩ／Ｆ１０６は、ネットワーク４に接続してデータ通信するためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。具体的には、情報処理装置３は、撮像装置２から、ネットワーク４およびネットワークＩ／Ｆ１０６を介して、映像データを取得する。

キーボード１０７は、文字、数字、各種指示の選択、カーソルの移動、および設定情報の選択等を行う入力装置である。マウス１０８は、各種指示の選択および実行、処理対象の選択、カーソルの移動、ならびに設定情報の選択等を行うための入力装置である。

ＤＶＤドライブ１０９は、着脱自在な記憶媒体の一例としてのＤＶＤ１１０に対するデータの読み出し、書き込みおよび削除を制御する装置である。

上述のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、ディスプレイ１０５、ネットワークＩ／Ｆ１０６、キーボード１０７、マウス１０８およびＤＶＤドライブ１０９は、アドレスバスおよびデータバス等のバス１１１によって互いに通信可能に接続されている。なお、ディスプレイ１０５が、Ｅｔｈｅｒｎｅｔケーブルによって接続される場合には、ネットワークＩ／Ｆ１０６に接続されることになり、この場合、ＴＣＰ／ＩＰ等のプロトコルによりデータ通信が行われる。

（情報処理装置のブロック構成）
図３は、実施の形態の情報処理装置の機能ブロックの構成の一例を示す図である。図３を参照しながら、情報処理装置３のブロック構成について説明する。

図３に示すように、情報処理装置３は、映像受信部３０１と、記憶部３０２と、入力装置３０３（フレーム指定手段、入力手段、表示操作手段）と、設定部３０４と、再生部３０５（再生手段）と、領域指定部３０６（領域指定手段）と、フレーム取得部３０７（取得手段）と、差分演算部３０８（演算手段の一例）と、グラフ生成部３０９（生成手段）と、補助情報生成部３１０（閾値算出手段の一例）と、表示制御部３１１と、表示装置３１２（表示手段）と、を備えている。

映像受信部３０１は、ネットワーク４を介して、撮像装置２とデータ通信を行い、撮像装置２から映像データを受信する機能部である。映像受信部３０１は、受信した映像データを記憶部３０２に記憶させる。映像受信部３０１は、図２に示すネットワークＩ／Ｆ１０６によって実現される。なお、図３においては、説明を簡略化するため、ネットワーク４の図示を省略して説明する。

記憶部３０２は、映像受信部３０１により受信された映像データ、および各種設定情報等を記憶する記憶装置である。記憶部３０２は、映像受信部３０１により受信された映像データが、どの撮像装置２により生成された映像データであるかを識別して記憶する。記憶部３０２は、例えば、図２に示す外部記憶装置１０４によって実現される。

入力装置３０３は、情報処理装置３が実行する画像処理のために操作入力を行うための装置である。入力装置３０３は、図２に示すキーボード１０７およびマウス１０８によって実現される。

設定部３０４は、ユーザにより操作される入力装置３０３からの操作信号に従って、設定情報を設定して記憶部３０２に記憶させる機能部である。また、設定部３０４は、設定した設定情報のうち、表示する必要がある情報を、記憶部３０２から表示制御部３１１に送り、表示制御部３１１に対して設定情報を表示装置３１２に表示させる。設定部３０４は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。

再生部３０５は、ユーザにより操作される入力装置３０３からの操作信号に従って、記憶部３０２から取得した映像データを表示制御部３１１に送り、表示制御部３１１に対して映像データを表示装置３１２に再生表示させる機能部である。再生部３０５は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。

領域指定部３０６は、ユーザにより操作される入力装置３０３からの操作信号に従って、表示装置３１２における映像データの表示領域（図４で後述する映像表示部４０１）において分析対象となる分析領域を指定する機能部である。領域指定部３０６は、指定した分析領域の情報を、記憶部３０２に記憶させる。ここで、分析とは、映像データのフレームから、差分等のフレームの特徴量を演算してグラフ化する画像処理を示すものとする。また、分析領域の情報とは、例えば、映像データの表示領域における分析領域の位置を示す座標、および分析領域の形状等の情報である。領域指定部３０６は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。

フレーム取得部３０７は、ユーザにより操作される入力装置３０３からの操作信号（具体的には、後述する分析開始ボタン４１０を押下した場合の操作信号）に従って、再生部３０５により再生されている映像データのうち、分析対象となる所定期間（分析時間）のフレームを取得する機能部である。具体的には、フレーム取得部３０７は、再生部３０５により再生されている映像データの日付・時刻情報を再生部３０５から受け取り、その日付・時刻から所定期間前までのフレームを取得する。フレーム取得部３０７は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。

差分演算部３０８は、フレーム取得部３０７により取得されたフレームを受け取り、かつ、記憶部３０２に記憶された分析領域の情報を受け取り、対象フレームの分析領域と、比較対象となるフレームの分析領域との画素値についての差分を、フレームの特徴量として演算する機能部である。フレームの特徴量としての差分の演算方法としては、例えば、２つのフレームの分析領域における画素値を比較し、画素値が異なる画素の数の合計を差分として算出する。また、フレームがグレースケールの画像である場合、画素値は輝度値と一致するので、２つのフレームの分析領域における輝度値を比較し、輝度値が異なる画素の数の合計を差分として算出してもよい。また、フレームがＲＧＢの画素値で構成された画像である場合、Ｒ（赤）、Ｇ（緑）またはＢ（青）のいずれかの画素値を比較して、上述と同様に、画素値が異なる画素の数の合計を差分として算出してもよい。また、フレームがＬ＊ａ＊ｂ＊表色系の画素値で構成された画像である場合、Ｌ＊成分、ａ＊成分およびｂ＊成分をそれぞれ正規化した後、√（（Ｌ１−Ｌ２）^２＋（ａ１−ａ２）^２＋（ｂ１−ｂ２）^２）のように３点のユークリッド距離による色差を差分として算出してもよい。差分演算部３０８は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。

また、差分演算部３０８は、フレーム取得部３０７により取得された各フレーム（対象フレーム）に対して、対象フレームの直前のフレームもしくは所定時間前のフレーム、または、特定の固定フレームを、差分を演算する比較対象となるフレーム（基準フレーム）とする。

なお、差分演算部３０８は、上述のように２つのフレームの分析領域における画素値についての差分を算出するものとしたが、これに限定されるものではない。すなわち、差分演算部３０８は、フレームがＲＧＢの画素値で構成された画像である場合、フレーム取得部３０７により取得された各フレームについて、分析領域のＲ、ＧまたはＢのうちいずれかの画素値の合計を、そのフレームの特徴量として算出するものとしてもよい。

グラフ生成部３０９は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、差分値を時系列に表すグラフを生成する機能部である。グラフ生成部３０９は、生成した差分値のグラフ情報を表示制御部３１１に送り、表示制御部３１１に対して差分値のグラフを表示装置３１２における表示領域（図４で後述するグラフ表示部４０２）に表示させる。グラフ生成部３０９は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。

なお、グラフ生成部３０９は、差分演算部３０８により演算されたすべての差分の情報から、差分値のグラフを生成することに限定されるものではない。すなわち、グラフ生成部３０９は、所定のサンプリング幅に含まれるフレーム（例えば、フレームレートが１０［ＦＰＳ］のフレームの場合、１秒分のフレーム、すなわち１０個のフレーム）ごとに対応する差分の情報からグラフを生成するものとしてもよい。ここで、所定のサンプリング幅（例えば、上述のように１秒）に含まれるフレームごとに対応する差分は、例えば、そのサンプリング幅に含まれるフレームに対して、それぞれ差分演算部３０８により演算された差分のうち、最大となる差分をサンプリングしたものとする。また、グラフ生成部３０９が生成する差分のグラフとして、差分演算部３０８により演算されたすべての差分の情報から生成するか、上述のように、所定のサンプリング幅に含まれるフレームごとにサンプリングした最大の差分の情報から生成するかを、設定部３０４により選択設定できるものとしてもよい。

補助情報生成部３１０は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、最大の差分を検出して、最大の差分を示す補助線を生成する機能部である。また、補助情報生成部３１０は、最大の差分の所定割合（例えば、８０％）の値を閾値として求め、閾値を示す補助線を生成する。そして、補助情報生成部３１０は、生成した最大の差分を示す補助線、および閾値を示す補助線の情報を表示制御部３１１に送り、表示制御部３１１に対して、双方の補助線を表示装置３１２における表示領域（図４で後述するグラフ表示部４０２）に表示させる。補助情報生成部３１０は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。なお、補助情報生成部３１０による上述の補助線の生成および表示は、必須のものではなく、表示させないものとしてもよい。

表示制御部３１１は、表示装置３１２の表示動作を制御する機能部である。具体的には、表示制御部３１１は、設定部３０４により設定された設定情報、再生部３０５により取得された映像データ、グラフ生成部３０９により生成された差分値のグラフ、および補助情報生成部３１０により生成された補助線等を、表示装置３１２に表示させる。表示制御部３１１は、図２に示すＣＰＵ１０１により実行されるプログラム（ドライバ等）により実現される。

表示装置３１２は、表示制御部３１１の制御に従って各種データを表示する装置である。表示装置３１２は、本実施の形態では特に、図２に示すＣＰＵ１０１により実行されるプログラム（アプリケーション）により、後述する図４等に示すアプリケーション画面４００を表示する。表示装置３１２は、図２に示すディスプレイ１０５によって実現される。

なお、領域指定部３０６が、映像データの表示領域において指定できる分析領域は、１つであることに限定されるものではなく、複数指定することを可能としてもよい。この場合、差分演算部３０８による差分の演算、およびグラフ生成部３０９によるグラフの作成の対象となる分析領域は、入力装置３０３により選択可能とすればよい。これによって、映像データの表示領域において、動きの発生を確認したい箇所が複数ある場合においても、それぞれ分析領域を指定でき、かつそれぞれ分析を行うことができるので、分析作業の効率性が高まる。

また、図３に示した設定部３０４、再生部３０５、領域指定部３０６、フレーム取得部３０７、差分演算部３０８、グラフ生成部３０９、補助情報生成部３１０および表示制御部３１１の一部または全部は、ソフトウェアであるプログラムではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路によって実現されてもよい。

また、設定部３０４、再生部３０５、領域指定部３０６、フレーム取得部３０７、差分演算部３０８、グラフ生成部３０９、補助情報生成部３１０および表示制御部３１１は、機能を概念的に示したものであって、このような構成に限定されるものではない。

また、以降の説明の簡略化のため、表示制御部３１１が、受け取ったデータを表示装置３１２に表示させるという表現を、単に、そのデータを表示制御部３１１に送った機能部が、表示装置３１２（または、表示装置３１２が表示する画面）に表示させると表現するものとする。例えば、再生部３０５が、映像データを表示制御部３１１に送り、表示制御部３１１に対して映像データを表示装置３１２に再生表示させる場合、単に、再生部３０５が、映像データを表示装置３１２に再生表示させると表現するものとする。

（フレームの差分のグラフを表示するアプリケーション画面）
図４は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において映像データが表示される例を示す図である。図５は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において映像表示部に分析領域を指定する例を示す図である。図６は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において差分グラフが表示される例を示す図である。図７は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において差分グラフに基づく所望の時刻の映像データを表示させる例を示す図である。図４〜７を参照しながら、アプリケーション画面４００上の動作、およびフレームの差分のグラフを表示する動作等について説明する。

ＣＰＵ１０１により実行されるプログラム（アプリケーション）により、図４に示すアプリケーション画面４００が表示装置３１２に表示される。アプリケーション画面４００は、分析対象となる映像データ、および、分析結果である差分等の特徴量のグラフ等を表示する画面である。アプリケーション画面４００は、図４等に示すように、映像表示部４０１と、カメラ選択部４０１ａと、グラフ表示部４０２と、再生ボタン４０３ａと、一時停止ボタン４０３ｂと、早送りボタン４０３ｃと、早戻しボタン４０３ｄと、停止ボタン４０３ｅと、マーキングボタン４０３ｆと、シークバー４０４と、スライダー４０５と、映像拡大ボタン４０６ａと、映像縮小ボタン４０６ｂと、スパン拡大ボタン４０７ａと、スパン縮小ボタン４０７ｂと、時刻表示部４０８と、分析時間設定部４０９と、分析開始ボタン４１０と、分析停止ボタン４１１と、を含む。

映像表示部４０１は、再生部３０５によって、ユーザにより操作される入力装置３０３からの操作信号に従って記憶部３０２から取得された映像データが再生表示される表示部である。カメラ選択部４０１ａは、ユーザが分析を所望する撮像装置２ａ〜２ｄの映像データのうちいずれの映像データを映像表示部４０１に表示させるのかを選択する操作部である。例えば、撮像装置２ａ〜２ｄによって撮像された映像データは、それぞれ「１」〜「４」に対応付けられており、図４の例では、「３」すなわち撮像装置２ｃの映像データが選択された例を示している。この場合、再生部３０５は、ユーザによる入力装置３０３の操作により、「３」のカメラ選択部４０１ａが選択操作されると、撮像装置２ｃにより撮像された映像データを表示装置３１２に表示させる。

グラフ表示部４０２は、グラフ生成部３０９によって生成された差分値のグラフが表示される表示部である。

再生ボタン４０３ａは、ユーザによる入力装置３０３の操作によって押下（マウス１０８によるクリック操作等、以下同様）されると、再生部３０５によって、映像表示部４０１に表示された映像データが再生開始されるボタンである。一時停止ボタン４０３ｂは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、映像表示部４０１に再生表示されている映像データが一時停止されるボタンである。早送りボタン４０３ｃは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、映像表示部４０１に再生表示されている映像データが早送り表示されるボタンである。早戻しボタン４０３ｄは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、映像表示部４０１に再生表示されている映像データが早戻し表示されるボタンである。停止ボタン４０３ｅは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、映像表示部４０１に再生表示されている映像データが停止されるボタンである。マーキングボタン４０３ｆは、後述するように、ユーザによる入力装置３０３の操作によって押下されると、補助情報生成部３１０によって、シークバー４０４上のスライダー４０５の直上部分にマーク表示されるボタンである。

シークバー４０４は、その上に配置されるスライダー４０５の位置により、映像表示部４０１に再生表示されている映像データがどの時間のものなのかを示す棒状の形状体である。スライダー４０５は、映像表示部４０１に再生表示されている映像データの撮像時刻（表示されているフレームが撮像された時刻）に対応したシークバー４０４上の位置にスライドする形状体かつ操作部である。逆に、スライダー４０５は、ユーザによる入力装置３０３の操作によってスライドされると、再生部３０５によって、スライダー４０５が存在するシークバー４０４上の位置に対応した撮像時刻の映像データのフレームが映像表示部４０１に表示される。

映像拡大ボタン４０６ａは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、映像表示部４０１に再生表示されている映像データが拡大表示されるボタンである。例えば、映像拡大ボタン４０６ａが押下されるごとに所定の拡大率で映像データが拡大表示される。例えば、通常の表示状態を１００％として、１２０％、１４０％、・・・のように拡大表示される。映像縮小ボタン４０６ｂは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、映像表示部４０１に再生表示されている映像データが縮小表示されるボタンである。例えば、映像縮小ボタン４０６ｂが押下されるごとに所定の縮小率で映像データが縮小表示される。例えば、通常の表示状態を１００％として、８０％、６０％、・・・のように縮小表示される。

スパン拡大ボタン４０７ａは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、シークバー４０４の表示スパンが拡大されるボタンである。スパン縮小ボタン４０７ｂは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、シークバー４０４の表示スパンが縮小されるボタンである。なお、シークバー４０４の表示スパンを拡大または縮小するのは再生部３０５である必要はなく、図示しない異なる機能部が担うものとしてもよい。

時刻表示部４０８は、再生部３０５によって、映像表示部４０１に再生表示されている映像データの撮像日付および撮像時刻が表示される表示部である。

分析時間設定部４０９は、映像表示部４０１に再生表示されている映像データのうち、どれだけの時間分のフレームを分析対象とするかを設定するラジオボタンである。分析時間設定部４０９のうちいずれかの時間（分析時間）のラジオボタンが、ユーザによる入力装置３０３の操作によって選択されると、設定部３０４によって、その選択内容が設定情報として記憶部３０２に記憶される。また、設定部３０４は、記憶部３０２に記憶された分析時間の設定情報に従って、どの分析時間が選択されているかを分析時間設定部４０９に表示する。図４の例では、分析時間として「１０分」が選択されていることが示されている。この場合、映像データのフレームレートが１０［ＦＰＳ］であるものとすると、フレーム取得部３０７は、映像表示部４０１に再生表示されている映像データのうち、１０分間分のフレーム、すなわち、６０００個のフレームを取得する。

分析開始ボタン４１０は、ユーザによる入力装置３０３の操作によって押下されると、フレーム取得部３０７による映像データからの分析時間分のフレームの取得、差分演算部３０８によるフレームの差分の演算、グラフ生成部３０９による差分値のグラフの生成、および補助情報生成部３１０による補助線の生成の動作が開始されるボタンである。分析開始ボタン４１０が押下された場合の動作については、後述する。

分析停止ボタン４１１は、ユーザによる入力装置３０３の操作によって押下されると、フレーム取得部３０７、差分演算部３０８、グラフ生成部３０９および補助情報生成部３１０の動作を停止させ、かつ、グラフ生成部３０９によって、グラフ表示部４０２に表示された差分値のグラフが消去されるボタンである。なお、分析停止ボタン４１１は、分析開始ボタン４１０が押下されることによって開始される処理の途中でも押下して機能を発揮できるものとしてもよい。

図４に示すアプリケーション画面４００は、映像表示部４０１に、再生部３０５によって記憶部３０２から取得された撮像装置２ｃの映像データが再生表示され、時刻表示部４０８に、映像表示部４０１に再生表示されている映像データの撮像日付および撮像時刻が表示されている状態を示している。また、図４に示すアプリケーション画面４００は、分析開始ボタン４１０が押下されることによる映像データのフレームの差分についての分析動作が開始されておらず、グラフ表示部４０２には、差分値のグラフが表示されていない状態を示す。

図５に示すアプリケーション画面４００は、映像データが再生表示されている映像表示部４０１において差分についての分析対象となる分析領域５０１が指定された状態を示している。具体的には、分析領域５０１は、ユーザによる入力装置３０３の操作（例えば、マウス１０８によるドラッグ操作）に従って、領域指定部３０６が、映像表示部４０１におけるフレームの差分についての分析対象として指定した領域である。領域指定部３０６は、指定した分析領域５０１の情報を、記憶部３０２に記憶させる。また、領域指定部３０６が分析領域５０１を指定する場合、映像表示部４０１に表示されている映像データは再生状態であってもよく、一時停止状態であってもよい。また、図５に示すアプリケーション画面４００は、図４と同様に、分析開始ボタン４１０が押下されることによる映像データのフレームの差分についての分析動作が開始されておらず、グラフ表示部４０２には、差分値のグラフが表示されていない状態を示している。

分析領域５０１として指定する領域としては、例えば、生産設備において部品の落下が予測され、その部品がいつ、どのように、なぜ落下するのかを解析する必要がある箇所が想定される。また、例えば、生産設備に備えられる赤色、黄色、緑色および青色のランプを有するシグナルタワーにおいて、生産設備で原因不明の特定の異常が発生した場合に青色のランプを点灯させる動作にしている場合、青色ランプの映像部分を分析領域５０１として指定することも想定される。

なお、図５に示すように、分析領域５０１は、矩形状で指定されるものとしているが、これに限定されるものではない。例えば、分析領域５０１は、多角形状で指定できるものとしてもよく、フリーハンドによる任意の形状で指定できるものとしてもよい。

図６に示すアプリケーション画面４００は、ユーザによる入力装置３０３の操作により分析開始ボタン４１０が押下されることによって、フレーム取得部３０７により映像データから分析時間分のフレームが取得され、差分演算部３０８によりフレームの分析領域５０１の差分が演算され、グラフ生成部３０９により差分値のグラフが生成されて、グラフ表示部４０２に差分値のグラフである差分グラフ６０１が表示された状態を示している。

具体的には、まず、ユーザが映像表示部４０１において映像データの再生表示中に、分析を所望する目安となるタイミングで、入力装置３０３の操作により一時停止ボタン４０３ｂを押下すると、再生部３０５は、映像表示部４０１で再生表示されている映像データを一時停止する。また、ユーザが、入力装置３０３の操作により、分析時間設定部４０９のうちいずれかの分析時間を選択すると、設定部３０４は、選択された分析時間を設定情報として設定し、記憶部３０２に記憶させる。なお、ユーザによる分析時間の設定は、このタイミングではなく、予め設定されているものとしてもよいのは言うまでもない。

次に、ユーザが入力装置３０３の操作により分析開始ボタン４１０を押下することによって、フレーム取得部３０７は、映像表示部４０１で再生表示されている映像データのうち、一時停止されている撮像時刻、すなわち、時刻表示部４０８に表示されている時刻から、設定部３０４により設定された分析時間（図６では１０分）前までのフレームを取得する。次に、差分演算部３０８は、フレーム取得部３０７により取得されたフレームを受け取り、かつ、記憶部３０２に記憶された分析領域５０１の情報を受け取り、対象フレームの分析領域５０１と、比較対象となるフレームの分析領域５０１との画素値についての差分を、フレームの特徴量として演算する。このとき、差分演算部３０８は、フレーム取得部３０７により取得された全フレームについて差分を演算する。そして、グラフ生成部３０９は、図６に示すように、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、差分値のグラフである差分グラフ６０１を生成し、グラフ表示部４０２に表示させる。なお、上述では、ユーザは、映像表示部４０１で表示されている映像データが一時停止状態において分析開始ボタン４１０を押下するものとしているが、これに限定されるものではなく、映像データが再生中に分析開始ボタン４１０を押下して分析動作を開始するものとしてもよい。この場合、フレーム取得部３０７は、分析開始ボタン４１０が押下されたタイミングにおける映像データの撮像時刻を抽出し、抽出した撮像時刻から、設定部３０４により設定された分析時間前までのフレームを取得すればよい。

また、グラフ生成部３０９は、図６に示すように、映像データから取得したフレームの最前のフレームに対応する撮像時刻を開始時刻表示部６０５に表示させ、最後のフレームに対応する撮像時刻を終了時刻表示部６０４に表示させる。

また、補助情報生成部３１０は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、最大の差分を検出して、最大の差分を示す補助線を生成する。また、補助情報生成部３１０は、最大の差分の値の所定割合の値を閾値として求め、閾値を示す補助線を生成する。そして、補助情報生成部３１０は、図６に示すように、グラフ表示部４０２に表示された差分グラフ６０１に重畳して、最大の差分を示す補助線である最大差分値線６０２を表示させ、閾値を示す補助線である閾値線６０３を表示させる。このように、図６に示すように、グラフ表示部４０２に表示された差分グラフ６０１に重畳して、最大差分値線６０２および閾値線６０３を表示させることによって、映像データの分析領域５０１において何らかの動きが発生した時間を特定しやすくなる。また、閾値線６０３の閾値は、上述のように、最大差分値線６０２の最大の差分の値の所定割合の値としているので、差分グラフ６０１のいずれかの部分は、閾値線６０３を超えることになる。したがって、差分グラフ６０１において、閾値線６０３を超えた箇所を探索することにより、分析領域５０１において何らかの動きが発生した時間を特定できる可能性が高くなる。

また、上述した分析領域５０１が生産設備において部品の落下が予測される箇所に指定された場合の例では、差分グラフ６０１、最大差分値線６０２および閾値線６０３によって、動きが発生した時間、すなわち、部品が落下した時間を特定しやすくなる。また、上述した生産設備に備えられたシグナルタワーの青色ランプの映像部分を分析領域５０１として指定した例では、差分グラフ６０１、最大差分値線６０２および閾値線６０３によって、動きが発生した時間、すなわち、青色ランプが点灯した時間を特定しやすくなる。

図７に示すアプリケーション画面４００は、グラフ表示部４０２におけるユーザによる入力装置３０３の操作、例えば、マウス１０８によってカーソル７０１が移動され、差分グラフ６０１が表示されたグラフ表示部４０２上でクリック操作がなされ、クリック操作されたときのカーソル７０１のポイントに対応する撮像時刻である指定時刻Ｔ１のフレーム（または、ポイントに対応する枚数目の映像データにおけるフレーム）が映像表示部４０１に表示される状態を示している。また、図７に示すアプリケーション画面４００は、ユーザによる入力装置３０３の操作によりスライダー４０５が移動され、指定時刻Ｔ１から１分後のフレームが映像表示部４０１に表示され、かつ、そのフレームの分析領域５０１内に落下物が映り込んでいる状態を示す。さらに、図７に示すアプリケーション画面４００は、ユーザによる入力装置３０３の操作によりマーキングボタン４０３ｆが押下されることによって、押下された時点のシークバー４０４上のスライダー４０５の直上部分にマーク８０１が表示された状態を示す。

具体的には、まず、ユーザが、入力装置３０３であるマウス１０８によってカーソル７０１を移動させ、差分グラフ６０１が表示されたグラフ表示部４０２上でクリック操作すると、再生部３０５は、ユーザによるクリック操作がなされたときのカーソル７０１のポイントに対応する撮像時刻である指定時刻Ｔ１のフレームを映像表示部４０１に表示させる。また、再生部３０５は、指定時刻Ｔ１のフレームを映像表示部４０１に表示させたときに、指定時刻Ｔ１を時刻表示部４０８に表示させる。また、再生部３０５は、指定時刻Ｔ１のフレームを映像表示部４０１に表示させたときに、スライダー４０５をシークバー４０４の真ん中、すなわち「０：００」の部分に移動させる。すなわち、シークバー４０４の「０：００」が、時刻表示部４０８に表示された指定時刻Ｔ１に対応することになる。

次に、ユーザが入力装置３０３の操作によりスライダー４０５をシークバー４０４上でスライドさせると、再生部３０５は、指定時刻Ｔ１からシークバー４０４上のスライダー４０５の位置に対応する時間を加算した時刻に対応するフレームを映像表示部４０１に表示させる。図７に示すアプリケーション画面４００では、ユーザがスライダー４０５をシークバー４０４上の「１：００」の位置にスライドさせた場合に対応するフレーム、すなわち、指定時刻Ｔ１（ここでは、「１７：５９：１１．２８」）から１分後の時刻（図７の例では「１８：００：１１．２８」）に対応するフレームが映像表示部４０１に表示された例が示されている。そして、この場合、図７に示すように、映像表示部４０１に表示されたフレームの分析領域５０１には落下物が映り込んでおり、分析領域５０１内で動きが発生したフレームが探索できたことになる。このフレームの分析領域５０１についての差分の値は大きな値であることが想定され、すなわち、このフレームは、グラフ表示部４０２の差分グラフ６０１の最大差分値線６０２に達している山部近辺に対応するフレームであることが想定できる。

また、上述した分析領域５０１が生産設備において部品の落下が予測される箇所に指定された場合の例では、差分グラフ６０１の閾値線６０３を超えた部分をクリック操作して、その時刻のフレームを映像表示部４０１に表示させ、スライダー４０５のスライド操作により当該時刻の前後の映像を確認することによって、どのように部品が落下し、なぜ落下したかの原因が特定しやすくなる。また、上述した生産設備に備えられたシグナルタワーの青色ランプの映像部分を分析領域５０１として指定した例では、同様に、差分グラフ６０１の閾値線６０３を超えた部分をクリック操作して、その時刻のフレームを映像表示部４０１に表示させ、スライダー４０５のスライド操作により当該時刻の前後の映像を確認することによって、どのような状態および環境でその異常が発生したのか解析しやすくなり、異常の発生の原因が特定しやすくなる。

また、図７に示すように、分析領域５０１において落下物が映り込んだ状態、すなわち分析領域５０１において動きが発生した状態において、ユーザが入力装置３０３の操作によりマーキングボタン４０３ｆを押下すると、補助情報生成部３１０は、シークバー４０４上のスライダー４０５の直上部分にマーク８０１を表示させる。このマーク８０１を表示させることによって、シークバー４０４上において動きが発生した時刻をマーキングしておくことができ、動きが発生した原因を解析するための手がかりとすることができる。

以上のように、差分演算部３０８は、フレーム取得部３０７により取得された分析時間分のフレームを受け取り、対象フレームと、比較対象となるフレームとの画素値についての特徴量（差分等）を演算し、グラフ生成部３０９は、差分演算部３０８により演算された特徴量の情報から、特徴量のグラフ（例えば、差分グラフ６０１）を生成して、表示装置３１２に表示させている。これによって、特徴量が大きくなる時間を特定しやすくなり、映像データにおいて何らかの動きが発生した時間を特定しやすくなる。

さらに、補助情報生成部３１０は、グラフ表示部４０２に表示された差分グラフ６０１に重畳して、最大の特徴量を示す最大値線（例えば、最大差分値線６０２）を表示させ、閾値を示す補助線である閾値線（例えば、閾値線６０３）を表示させるものとしている。これによって、差分グラフ６０１において何らかの動きが発生した時間をさらに特定しやすくなる。

また、領域指定部３０６は、映像データの表示領域（映像表示部４０１）において分析領域を指定し、差分演算部３０８は、フレーム取得部３０７により取得されたフレームに対して、対象フレームの分析領域と、比較対象となるフレームの分析領域との画素値についての特徴量として演算するものとしている。これによって、動きが発生していると思われる箇所を分析領域として指定することができるので、差分演算部３０８によって演算される特徴量について、動きが発生した場合の特徴量の変化が顕著になるので、特徴量が大きく変化する時間を特定しやすくなり、映像データにおいて何らかの動きが発生した時間をさらに特定しやすくなる。例えば、差分演算部３０８による特徴量の演算の対象をフレーム全体とした場合、映像データの表示領域全体で常時動きがあると、その全体の動きによる特徴量の変化がグラフに出ることになる。そのため、映像データの表示領域のうち、ユーザが分析を所望し、動き（例えば、物体の落下等）が発生していると思われる箇所において、当該動きが発生しても、特徴量の変化としてグラフに現れない可能性がある。一方、領域指定部３０６によって分析領域として上述の箇所が指定されることによって、分析領域内で発生する動きが、特徴量の変化としてグラフに突出して現れる可能性が高くなり、当該動きが発生する状態を把握しやすくなる。

また、特徴量のグラフが表示されたグラフ表示部４０２の領域の特定部分を入力装置３０３によって指示する操作（例えば、マウス１０８によるクリック操作）によって、再生部３０５は、指示された特定部分のフレームを映像表示部４０１に表示させるものとしている。これによって、ユーザが所望する撮像時刻のフレームを素早く表示させることができ、動きが発生した原因、またはその動きに伴う事象が発生した原因を特定しやすくすることができる。

また、上述のように、再生部３０５により、指示された特定部分に対応する撮像時刻のフレームが映像表示部４０１により表示されてから、シークバー４０４のスライダー４０５をスライドさせることにより、ユーザは、その撮像時刻を基準にして前後の映像を確認することができる。これによって、動きが発生した原因、またはその動きに伴う事象が発生した原因をさらに特定しやすくなる。

（差分グラフを表示させる画像処理動作）
図８は、実施の形態の画像処理システムにおいて差分グラフを表示させる画像処理動作の一例を示すフローチャートである。図８を参照しながら、差分グラフを表示させるまでの画像処理（分析）の動作の流れを総括的に説明する。

＜ステップＳ１１＞
再生部３０５は、記憶部３０２から取得した撮像装置２の映像データを、アプリケーション画面４００の映像表示部４０１に再生表示させる。そして、ステップＳ１２へ移行する。

＜ステップＳ１２＞
領域指定部３０６は、ユーザによる入力装置３０３の操作（例えば、ドラッグ操作）に従って、映像表示部４０１におけるフレームの差分を求めるための指定した領域である分析領域５０１を指定し、指定した分析領域５０１の情報を記憶部３０２に記憶させる。そして、ステップＳ１３へ移行する。

＜ステップＳ１３＞
フレーム取得部３０７は、ユーザによる入力装置３０３の操作により分析開始ボタン４１０が押下されることによって、映像表示部４０１で再生表示されている映像データのうち、分析開始ボタン４１０が押下されたときの映像データの撮像時刻から、設定部３０４により設定された分析時間前までのフレームを取得する。そして、ステップＳ１４へ移行する。なお、ステップＳ１４へ移行するタイミングは、必ずしも、検知領域指定部３０７によって、設定された分析時間前までのすべてのフレームが取得された後である必要はなく、フレームが取得されている途中であってもよい。

＜ステップＳ１４＞
差分演算部３０８が、フレーム取得部３０７により取得された各フレーム（対象フレーム）に対して、対象フレームの直前のフレーム、または所定時間前のフレームを比較対象となるフレームとして、画素値についての差分を演算する場合（ステップＳ１４：前フレーム）、ステップＳ１６へ移行する。一方、差分演算部３０８が、フレーム取得部３０７により取得された各フレーム（対象フレーム）に対して、特定の固定フレームを比較対象となるフレームとして、画素値についての差分を演算する場合（ステップＳ１４：特定フレーム）、ステップＳ１５へ移行する。なお、比較対象となるフレームを対象フレームの直前のフレームもしくは所定時間前のフレーム、または、特定の固定フレームとするかは、設定部３０４によって設定情報として設定されているものとしてもよい。

＜ステップＳ１５＞
差分演算部３０８は、フレーム取得部３０７により取得されたフレームを受け取り、かつ、記憶部３０２に記憶された分析領域５０１の情報を受け取り、対象フレームの分析領域５０１と、特定の固定フレームの分析領域５０１との画素値についての差分を、フレームの特徴量として演算する。このとき、差分演算部３０８は、フレーム取得部３０７により取得された全フレームについて差分を演算する。そして、ステップＳ１７へ移行する。

＜ステップＳ１６＞
差分演算部３０８は、フレーム取得部３０７により取得されたフレームを受け取り、かつ、記憶部３０２に記憶された分析領域５０１の情報を受け取り、対象フレームの分析領域５０１と、対象フレームの直前のフレーム、または所定時間前のフレームの分析領域５０１との画素値についての差分を、フレームの特徴量として演算する。このとき、差分演算部３０８は、フレーム取得部３０７により取得された全フレームについて差分を演算する。そして、ステップＳ１７へ移行する。

＜ステップＳ１７＞
補助情報生成部３１０は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、最大の差分を検出して、最大の差分を示す補助線を生成する。補助情報生成部３１０は、最大の差分の値の所定割合の値を閾値として求め、閾値を示す補助線を生成する。そして、ステップＳ１８へ移行する。

＜ステップＳ１８＞
グラフ生成部３０９が、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、すべての差分値を時系列に表すグラフを生成する場合（ステップＳ１８：Ｎｏ）、ステップＳ１９へ移行し、所定のサンプリング幅に含まれるフレームごとに対応する差分値を時系列に表すグラフを生成する場合（ステップＳ１８：Ｙｅｓ）、ステップＳ２０へ移行する。なお、すべての差分値のグラフを生成するか、所定のサンプリング幅に含まれるフレームごとに対応する差分値のグラフを生成するかは、設定部３０４によって設定情報として設定されているものとしてもよい。

＜ステップＳ１９＞
グラフ生成部３０９は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、すべての差分値を時系列に表すグラフを生成し、グラフ表示部４０２に表示させる。そして、ステップＳ２１へ移行する。

＜ステップＳ２０＞
グラフ生成部３０９は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、所定のサンプリング幅に含まれるフレームごとに対応する差分値を時系列に表すグラフを生成し、グラフ表示部４０２に表示させる。ここで、所定のサンプリング幅（例えば、上述のように１秒）に含まれるフレームごとに対応する差分は、例えば、そのサンプリング幅に含まれるフレームに対して、それぞれ差分演算部３０８により演算された差分のうち、最大となる差分をサンプリングしたものとする。なお、この場合、図７で上述したように、差分グラフが表示されたグラフ表示部４０２においてクリック操作がされた場合、カーソル７０１のポイントに対応する撮像時刻が含まれるサンプリング幅に属する最大の差分に対応するフレームの撮像時刻を、指定時刻Ｔ１とすればよい。そして、ステップＳ２１へ移行する。

＜ステップＳ２１＞
グラフ表示部４０２におけるユーザによる入力装置３０３の操作、例えば、マウス１０８によってカーソル７０１を移動させ、差分グラフ６０１が表示されたグラフ表示部４０２上でクリック操作がなされることにより、クリック操作したときのカーソル７０１のポイントに対応する撮像時刻である指定時刻Ｔ１のフレーム（または、ポイントに対応する枚数目の映像データにおけるフレーム）が映像表示部４０１に表示される。以上で、差分値のグラフを表示させ、指定時刻Ｔ１のフレームを映像表示部４０１に表示させる画像処理（分析）の動作を終了する。

また、本実施の形態の設定部３０４、再生部３０５、領域指定部３０６、フレーム取得部３０７、差分演算部３０８、グラフ生成部３０９、補助情報生成部３１０および表示制御部３１１の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、本実施の形態の情報処理装置３で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、本実施の形態の情報処理装置３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の情報処理装置３で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。本実施の形態の情報処理装置３で実行されるプログラムは、上述した設定部３０４、再生部３０５、領域指定部３０６、フレーム取得部３０７、差分演算部３０８、グラフ生成部３０９、補助情報生成部３１０および表示制御部３１１の少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述のＲＯＭからプログラムを読み出して実行することにより、上述の各部が主記憶装置上にロードされて生成されるようになっている。

１ 画像処理システム
２、２ａ〜２ｄ 撮像装置
３ 情報処理装置
４ ネットワーク
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ ディスプレイ
１０６ ネットワークＩ／Ｆ
１０７ キーボード
１０８ マウス
１０９ ＤＶＤドライブ
１１０ ＤＶＤ
１１１ バス
３０１ 映像受信部
３０２ 記憶部
３０３ 入力装置
３０４ 設定部
３０５ 再生部
３０６ 領域指定部
３０７ フレーム取得部
３０８ 差分演算部
３０９ グラフ生成部
３１０ 補助情報生成部
３１１ 表示制御部
３１２ 表示装置
４００ アプリケーション画面
４０１ 映像表示部
４０１ａ カメラ選択部
４０２ グラフ表示部
４０３ａ 再生ボタン
４０３ｂ 一時停止ボタン
４０３ｃ 早送りボタン
４０３ｄ 早戻しボタン
４０３ｅ 停止ボタン
４０３ｆ マーキングボタン
４０４ シークバー
４０５ スライダー
４０６ａ 映像拡大ボタン
４０６ｂ 映像縮小ボタン
４０７ａ スパン拡大ボタン
４０７ｂ スパン縮小ボタン
４０８ 時刻表示部
４０９ 分析時間設定部
４１０ 分析開始ボタン
４１１ 分析停止ボタン
５０１ 分析領域
６０１ 差分グラフ
６０２ 最大差分値線
６０３ 閾値線
６０４ 終了時刻表示部
６０５ 開始時刻表示部
７０１ カーソル
８０１ マーク
Ｔ１ 指定時刻

特許第４７０６５７３号公報

上述した課題を解決し、目的を達成するために、本発明は、撮像手段により撮像された映像データを表示手段に再生表示させる再生手段と、前記映像データに含まれるフレームごとに画素値の特徴量を演算する演算手段と、前記演算手段により演算された前記特徴量によって、該特徴量を時系列に表すグラフを生成して前記表示手段に表示させる生成手段と、前記表示手段により表示された前記グラフの表示領域のいずれかの部分を指定し、前記部分に対応する前記フレームを、前記再生手段により前記表示手段に表示させるフレーム指定手段と、前記表示手段により表示された前記映像データの表示領域において分析領域を指定する領域指定手段と、を備え、前記演算手段は、前記映像データに含まれる前記フレームごとに、該フレームの前記分析領域と、該フレームの直前のフレームもしくは所定時間前のフレーム、または、特定の固定フレームのうち予め設定されたフレームである基準フレームの前記分析領域とにおいて画素のユークリッド距離による色差に基づく前記特徴量を演算することを特徴とする。

Claims (16)

1. 表示手段と、
   撮像手段により撮像された映像データを前記表示手段に再生表示させる再生手段と、
   前記映像データに含まれるフレームごとに画素値の特徴量を演算する演算手段と、
   前記演算手段により演算された前記特徴量によって、該特徴量を時系列に表すグラフを生成して前記表示手段に表示させる生成手段と、
   前記表示手段により表示された前記グラフの表示領域のいずれかの部分を指定し、前記部分に対応する前記フレームを、前記再生手段により前記表示手段に表示させるフレーム指定手段と、
   を備えた画像処理装置。
2. 前記フレーム指定手段は、前記部分に対応する撮像時刻の前記フレームを、前記再生手段により前記表示手段に表示させる請求項１に記載の画像処理装置。
3. 入力手段を、さらに備え、
   前記フレーム指定手段は、前記入力手段からの操作信号に従って、前記部分を指定する請求項１または２に記載の画像処理装置。
4. 前記表示手段により表示された前記映像データの表示領域において分析領域を指定する領域指定手段を、さらに備え、
   前記演算手段は、前記映像データに含まれる前記フレームごとに前記分析領域の前記特徴量を演算する請求項１または２に記載の画像処理装置。
5. 入力手段を、さらに備え、
   前記領域指定手段は、前記入力手段からの操作信号に従って、前記分析領域を指定する請求項４に記載の画像処理装置。
6. 前記演算手段は、前記映像データに含まれる前記フレームの前記分析領域と、基準フレームの前記分析領域との画素値についての差分を前記特徴量として演算する請求項４または５に記載の画像処理装置。
7. 前記基準フレームは、前記演算手段による前記差分の演算対象となる前記フレームの直前または所定時間前のフレームである請求項６に記載の画像処理装置。
8. 前記基準フレームは、特定の固定フレームである請求項６に記載の画像処理装置。
9. 前記演算手段は、前記映像データに含まれる前記フレームの前記分析領域における所定の色に関する画素値の合計を前記特徴量として演算する請求項４または５に記載の画像処理装置。
10. 前記領域指定手段は、前記映像データの表示領域において、複数の前記分析領域を指定する請求項３〜７のいずれか一項に記載の画像処理装置。
11. 前記表示手段により表示されている前記映像データに含まれる前記フレームのうち、所定期間に含まれる前記フレームを取得する取得手段を、さらに備え、
    前記演算手段は、前記取得手段により取得された前記フレームごとに前記特徴量を演算する請求項１〜１０のいずれか一項に記載の画像処理装置。
12. 前記演算手段により演算された前記特徴量から最大値を求め、前記最大値の所定割合の値を閾値として算出し前記グラフに重畳して前記閾値の補助線を前記表示手段に表示させる閾値算出手段を、さらに備えた請求項１〜１１のいずれか一項に記載の画像処理装置。
13. 前記撮像時刻の前記フレームの前後のフレームに基づく映像を、前記再生手段により前記表示手段に表示させる表示操作手段を、さらに備えた請求項１〜１２のいずれか一項に記載の画像処理装置。
14. １以上の前記撮像手段と、
    請求項１〜１３のいずれか一項に記載された画像処理装置と、
    を備えた画像処理システム。
15. 撮像手段により撮像された映像データを表示手段に再生表示させる再生ステップと、
    前記映像データに含まれるフレームごとに画素値の特徴量を演算する演算ステップと、
    演算した前記特徴量によって、該特徴量を時系列に表すグラフを生成して前記表示手段に表示させる生成ステップと、
    前記表示手段により表示された前記グラフの表示領域のいずれかの部分を指定し、前記部分に対応する前記フレームを前記表示手段に表示させるフレーム指定ステップと、
    を有する画像処理方法。
16. コンピュータに、
    撮像手段により撮像された映像データを表示手段に再生表示させる再生処理と、
    前記映像データに含まれるフレームごとに画素値の特徴量を演算する演算処理と、
    演算した前記特徴量によって、該特徴量を時系列に表すグラフを生成して前記表示手段に表示させる生成処理と、
    前記表示手段により表示された前記グラフの表示領域のいずれかの部分を指定し、前記部分に対応する前記フレームを前記表示手段に表示させるフレーム指定処理と、
    を実行させるプログラム。

Images