JP2007243846A - 画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法 - Google Patents

Abstract

【課題】工場内の繰り返し作業の作業現場における工程分析を、画像を用いて効率的に行う。
【解決手段】デジタルディスクレコーダ３に記録した作業現場を撮像した、映像を構成する画像の中から、画像抽出部４１が画像内の指定された位置に指定されたものが撮像された画像パターンを含む画像を抽出して、その繰り返し現れる時間間隔を算出し、グループ分け部４２がその出現頻度が略同じ時間間隔ごとに時間間隔をグループ分けしてヒストグラムを作成し、画像／時間間隔取得部４３がグループの中で指定された画像及び時間間隔を取得し、表示制御部４４が取得した画像及び時間間隔をディスプレイ７に表示させる。これにより、工程の区切りを、作業現場が撮像された画像と時間間隔とともに効率よく表示することができる。
【選択図】図２

Description

本発明は、工場などでの作業工程分析に使用する映像記録を用いた画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法に関する。

従来、工場内の作業現場における作業効率向上を図るため、工程分析が行われている。ここで工程とは１つの作業を細分化したもので、例えばねじ留め作業は、ねじを摘み取る、ねじをドライバに装着する、ねじを締めるという３つの工程に細分化され、各工程の作業時間の妥当性を評価・判断することを工程分析という。特に人（作業者）が介在する製造ラインでは、作業性の良し悪しによって１つの作業を開始してから終えるまでの時間にばらつきが生じることがあるので、工程分析を行うことは作業効率を向上させるうえで非常に重要である。従来、ビデオカメラで作業者の手の動きなどの作業の様子を撮影して記録した映像を再生しながら、ストップウォッチ等により作業時間を計測し記録することを行っている。また、ビデオカメラで作業の様子を撮影して記録した映像をコンピュータ上で再生させ、マウス等でクリックすることにより工程の区切りをコンピュータへ入力し、工程の区切りの時間間隔から作業時間を算出するようにしたコンピュータ支援作業解析装置が提案されている（例えば、特許文献１参照）。

特開平６−２３１１３７号公報

しかしながら、従来の工程分析方法においては、作業の様子を長時間（たとえば１日間）にわたって撮影して記録した映像を繰り返し再生しながらストップウォッチ等により作業時間を計測し記録することは非常に手間がかかり面倒であった。また、コンピュータ支援作業解析装置においては、ストップウォッチ等を使わず、マウスクリックのみで各工程の作業時間が求められるが、工程分析に使用する記録されたすべての映像に対して、工程の区切りをコンピュータへ入力するといった人手による作業を伴うため、工程分析を短時間に効率よく行うことが困難であった。

本発明は、係る事情に鑑みてなされたものであり、画像認識技術を用いて各工程の区切りを抽出し、各工程の作業時間を、たとえ画像認識の精度が低くとも効率的に算出し、工場などの作業現場における工程分析を短時間で行えるよう、直感的に提示することができる画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法を提供することを目的とする。

上記目的は下記構成及び方法により達成される。
本発明の画像抽出分析装置は、映像記録装置に記録された、作業者が繰り返し行う作業の様子が撮像された映像から、特定の画像を抽出する画像抽出分析装置であって、前記映像記録装置に記録された映像の中から、所定の位置に指定された所定の画像パターンが存在する画像を抽出する画像抽出手段と、前記画像抽出手段で抽出された画像が繰り返し現れる時間間隔を算出して、該時間間隔を略同じ時間間隔ごとにグループ分けするグループ分け手段と、入力された選択指示に応じて、前記グループ分け手段でグループ分けされた複数のグループの中から選択指示されたグループの画像及び該画像に対応する時間間隔を取得する画像／時間間隔取得手段と、前記画像／時間間隔取得手段で取得された画像及び時間間隔を表示させる表示制御手段と、を備えたものである。

この構成によれば、記録された映像の中からユーザ指定された位置及び画像パターンの画像を抽出して繰り返し現れる画像間隔を自動的に算出して略同じ画像間隔ごとにグループ分けし、さらにグループ分けした複数のグループの中からユーザ指定されたグループの画像及び時間間隔を取得し、取得した画像及び時間間隔をディスプレイ上に表示させるので、各工程でどの作業に時間がかかっているかを画像及び時間間隔から短時間に把握することができる。またグループ分けを行うことにより、画像の抽出に失敗したものを抽出に成功したものから分別することができるため、たとえ画像認識の精度が低くとも抽出に失敗したものだけをユーザは工程の区切りの分析をすればよく、効率的に工程分析を行うことができる。

本発明の画像抽出分析装置は、映像記録装置における映像の記録を、前記画像の抽出、前記グループ分け、前記画像及び時間間隔の取得の少なくともいずれか一と並行して行う内容の映像記録指示を生成する映像記録指示生成手段と、前記映像記録指示を、前記映像記録装置へ出力する映像記録指示出力手段と、を備えたものである。

この構成によれば、映像記録装置における映像の記録と並行して画像の抽出、グループ分け、画像及び時間間隔の取得ができるので、工程分析に使用する一連の作業の撮影を完了まで待つことなく、作業現場における工程分析を、映像を記録しながら行うことができる。

本発明の画像抽出分析装置は、前記画像抽出手段は、さらに、作業の区切りを示す操作信号に応じて、前記映像の中から、該操作信号が入力された時刻の画像を抽出するものである。

この構成によれば、画像パターンの認識により工程の区切りの認識が正しくできない場合であっても、操作信号が入力された時刻を代用することにより、画像認識精度の低さを補足することができる。

本発明の画像抽出分析装置は、前記表示制御手段は、さらに、前記グループ分け手段でグループ分けされた時間間隔を、前記グループに応じた出現頻度のヒストグラムとして表示させるものである。

この構成によれば、工程の作業時間を直感的に提示することができる。

本発明の画像抽出分析システムは、作業者が繰り返し行う作業の様子を撮像する複数のカメラと、前記カメラの映像信号を映像として記録する映像記録装置と、前記映像記録装置に記録された映像の中から、所定の位置に指定された所定の画像パターンが存在する画像を抽出する画像抽出手段と、前記画像抽出手段で抽出された画像が繰り返し現れる時間間隔を算出して、該時間間隔を略同じ時間間隔ごとにグループ分けするグループ分け手段と、前記グループの選択指示を入力する選択指示入力手段と、入力された前記選択指示に応じて、前記グループ分け手段でグループ分けされた複数のグループの中から選択指示されたグループの画像及び該画像に対応する時間間隔を取得する画像／時間間隔取得手段と、前記画像／時間間隔取得手段で取得された画像及び時間間隔を表示させる表示制御手段と、前記表示制御手段の出力を表示するディスプレイと、を備えたものである。

この構成によれば、記録した映像の中からユーザ指定された位置及び画像パターンの画像を抽出して繰り返し現れる画像間隔を自動的に算出して略同じ画像間隔ごとにグループ分けし、さらにグループ分けした複数のグループの中からユーザ指定されたグループの画像及び時間間隔を取得し、取得した画像及び時間間隔をディスプレイ上に表示するので、各工程でどの作業に時間がかかっているかを画像及び時間間隔から短時間に把握することができる。またグループ分けを行うことにより、画像の抽出に失敗したものを抽出に成功したものから分別することができるため、たとえ画像認識の精度が低くとも抽出に失敗したものだけをユーザは工程の区切りの分析をすればよく、効率的に工程分析を行うことができる。

本発明の画像抽出分析方法は、映像記録装置に記録された、作業者が繰り返し行う作業の様子が撮像された映像から、特定の画像を抽出する画像抽出分析方法であって、前記映像記録装置に記録された映像の中から、所定の位置に指定された所定の画像パターンが存在する画像を抽出するステップと、抽出された画像が繰り返し現れる時間間隔を算出して、該時間間隔を略同じ時間間隔ごとにグループ分けするステップと、入力された選択指示に応じて、グループ分けされた複数のグループの中から選択指示されたグループの画像及び該画像に対応する時間間隔を取得するステップと、取得された画像及び時間間隔を表示させるステップと、を有するものである。

この方法によれば、記録された映像の中からユーザ指定された位置及び画像パターンの画像を抽出して繰り返し現れる画像間隔を自動的に算出して略同じ画像間隔ごとにグループ分けし、さらにグループ分けした複数のグループの中からユーザ指定されたグループの画像及び時間間隔を取得し、取得した画像及び時間間隔をディスプレイ上に表示させるので、各工程でどの作業に時間がかかっているかを画像及び時間間隔から短時間に把握することができる。またグループ分けを行うことにより、画像の抽出に失敗したものを抽出に成功したものから分別することができるため、たとえ画像認識の精度が低くとも抽出に失敗したものだけをユーザは工程の区切りの分析をすればよく、効率的に工程分析を行うことができる。

本発明の画像抽出分析方法は、映像記録装置における映像の記録を、前記画像の抽出、前記グループ分け、前記画像及び時間間隔の取得の少なくともいずれか一と並行して行う内容の映像記録指示を生成するものである。

この方法によれば、映像記録装置における映像の記録と並行して画像の抽出、グループ分け、画像及び時間間隔の取得ができるので、工程分析に使用する一連の作業の撮影を完了まで待つことなく、作業現場における工程分析を、映像を記録しながら行うことができる。

本発明の画像抽出分析方法は、作業の区切りを示す操作信号に応じて、前記映像の中から、該操作信号が入力された時刻の画像を抽出するステップをさらに有するものである。

この方法によれば、画像パターンの認識により工程の区切りの認識が正しくできない場合であっても、操作信号が入力された時刻を代用することにより、画像認識精度の低さを補足することができる。

本発明の画像抽出分析方法は、グループ分けされた時間間隔を、前記グループに応じた出現頻度のヒストグラムとして表示させることを特徴とするものである。

この方法によれば、工程の作業時間を直感的に提示することができる。

本発明のプログラムは、前述のいずれか方法の各ステップを、コンピュータ上で実行させるためのものである。

このプログラムによっても、上述の本発明の方法と同様の利点が得られる。

本発明の記録媒体は、上記プログラムのいずれかが記録されたものである。

この記録媒体によっても、上述の本発明のプログラムと同様の利点が得られる。

本発明によれば、記録した映像の中からユーザ指定された位置及び画像パターンの画像を抽出して繰り返し現れる画像間隔を自動的に算出して略同じ画像間隔ごとにグループ分けし、さらにグループ分けした複数のグループの中からユーザ指定されたグループの画像及び時間間隔を取得し、取得した画像及び時間間隔を工程分析のためにディスプレイ上に表示させるので、各工程の区切りを効率的に抽出し、各工程の作業時間を、たとえ画像認識の精度が低くとも効率的に算出でき、従来のように工程分析に必要な記録映像のすべてを順次的に見ることなしに「標準的な作業時間であった映像」、「作業時間が異常に長かったり短かったりした映像」、「画像認識に失敗した映像」を直感的に提示することができ、工程分析を飛躍的に効率化させることができる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像抽出分析システムの構成を示すブロック図である。図１において、本実施の形態に係る画像抽出分析システム１は、作業者による各工程が行われる場所に設置され作業の様子を撮像する複数台のカメラ２と、各カメラ２からの映像信号を記録するデジタルディスクレコーダ（映像記録装置）３と、デジタルディスクレコーダ３に記録された映像から各工程における作業分析に使用する画像を抽出し表示する画像抽出分析装置４と、画像抽出分析装置４で使用する選択指示を入力するためのキーボード５、マウス６及び、抽出分析結果を表示するためのディスプレイ７とを備えて構成される。マウス６のほか、トラックボールやジョイスティックなどのポインティングデバイスの使用も勿論可能である。

カメラ２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えており、映像信号を出力する。カメラ２にはパン及びチルトを可能とする回動機構やズーム機能が設けられている。カメラ２の外観を図９に示す。このカメラ２は、所謂ドーム型カラーカメラと呼ばれるものである。デジタルディスクレコーダ３は、記録装置としてハードディスクドライブ（図示略）を備えており、カメラ２からの映像信号を記録するとともに、記録した映像を外部へ出力する。なお、デジタルディスクレコーダ３は映像信号の記録と同時に外部へ出力することも勿論可能である。これにより、工程分析用の映像の記録と並列にユーザ指定された位置及び画像パターンの画像を抽出することができる。また、デジタルディスクレコーダ３に搭載される記録装置としては、上記ハードディスクドライブの他に光ディスクドライブ等があり、これらの使用も勿論可能である。

画像抽出分析装置４は、図示せぬＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスクドライブ、各種インタフェースを備えて構成されている。画像抽出分析装置４に内蔵されたハードディスクドライブの記録媒体にはパソコンの主要な動作を司るＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の他に、アプリケーションソフトウェアとして本発明のプログラムや画像抽出分析を行うプログラムが格納されている。また、ＯＳにはディスプレイ７の画面に表示される情報を見ながら操作を行うことができるグラフィカルユーザインタフェースが設けられている。画像抽出分析装置４の操作を行うユーザは、ユーザからの指示入力手段であるグラフィカルユーザインタフェースを利用してキーボード５やマウス６からデータ入力を行う。画像抽出分析装置４のＲＯＭには、ＣＰＵの周辺デバイスやキーボード５、マウス６等の周辺機器を制御するプログラム（所謂ＢＩＯＳ：Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍと呼ばれるプログラム）が格納されている。画像抽出分析装置４のＲＡＭはＣＰＵの命令実行動作において使用される所謂メインメモリである。画像抽出分析装置４は、ハードディスクドライブを内蔵しない組み込み型の装置や、ＣＰＵ等を使用しない専用回路で実装された装置であっても勿論可能である。

画像抽出分析装置４は、上述した画像抽出分析を行うプログラムに従ってデジタルディスクレコーダ３に記録された工程分析用の映像から画像を抽出し表示する。図２は、画像抽出分析装置４の構成を示すブロック図である。同図に示すように、画像抽出分析機能は、画像抽出部（画像抽出手段）４１と、グループ分け部（グループ分け手段）４２と、画像／時間間隔取得部（画像／時間間隔取得手段）４３と、表示制御部（表示制御手段）４４とで実現される。画像抽出部４１は、デジタルディスクレコーダ３に記録された工程分析用の映像の中からユーザがマウス６又はキーボード５を使用して指定した画像を抽出する。なお、以下の説明では、専らマウス６を使用して操作を行うものとするが、キーボード５の使用や、マウス６とキーボード５の併用も同様に可能である。グループ分け部４２は、画像抽出部４１で抽出された画像が繰り返し現れる時間間隔を算出して略同じ時間間隔ごとに工程分析のためにグループ分けしてヒストグラムを生成する。画像／時間間隔取得部４３は、グループ分け部４２で振り分けされた複数のグループの中からユーザ指定されたグループの画像及び時間間隔を求める。表示制御部４４は、工程分析のために、グループ分け部４２で生成されたヒストグラムをディスプレイ７上に表示するとともに、画像／時間間隔取得部４３で求められた画像及び時間間隔をディスプレイ７上に表示する。以下、画像抽出部４１、グループ分け部４２、画像／時間間隔取得部４３及び表示制御部４４の各部機能の詳細について説明する。

（画像抽出部４１の機能）
図３は、デジタルディスクレコーダ３に記録された映像（動画）の一部分であり、ある工程の初めの画像（ａ）と、終わりの画像（ｃ）と、その中間の最も特徴となる画像（ｂ）とを示している。時間の流れは（ａ）→（ｂ）→（ｃ）の順となる。なお、この図では３つの画像を示したが、あくまでも一例であり、その数に限定はない。ユーザは、マウス６を操作し、図３に示す工程の初めの画像（ａ）中の特徴部分を指定する。例えば図４に示すように、点線で示す矩形部分１０の画像パターンを指定する。この場合、画像パターンは瓶１１であるものとする。画像パターンが指定されることで、画像抽出部４１は、指定された画像パターンとその位置を記憶する。そして、デジタルディスクレコーダ３に記録された工程分析用の映像の中から位置及び画像パターンが一致又は略一致する画像パターンの画像を抽出する。図５は抽出した画像を示す図である。同図に示すように同一工程の作業が繰り返された数だけ画像が抽出される。

（グループ分け部４２の機能）
グループ分け部４２は、まず画像抽出部４１で抽出された画像の時間間隔を算出する。図６は、グループ分け部４２で算出された時間間隔を示す図である。同図に示すように、最初の画像から次の画像までの間隔がＴ_１（１）ｓｅｃであり、次の画像からその次の画像までの間隔がＴ_１（２）ｓｅｃである。以後同様に、Ｔ_１（３）ｓｅｃ、Ｔ_１（４）ｓｅｃ、Ｔ_１（５）ｓｅｃ…である。なお、図６において、○印は画像認識が正常に行われた画像を表し、×印は画像認識が正常に行われなかった画像を表している。このようにして時間間隔を算出した後、次に略同じ時間間隔ごとにグループ分けしてヒストグラムを生成する。生成したヒストグラムはディスプレイ７に表示される。図７に一例として１秒単位で表示したヒストグラムを示す。この表示は表示制御部４４によって行われる。図７に示すように、この例では略１０ｓｅｃ間隔のグループが最も高い頻度で現れている。一方、図７において２９ｓｅｃと３０ｓｅｃの各グループは画像認識が正常に行われなかった場合を含む異常値のグループとする。

（画像／時間間隔取得部４３の機能）
画像／時間間隔取得部４３は、グループ分け部４２で生成されたヒストグラムの中からユーザが指定したグループを選択する。この場合、ユーザがマウス６を使用して指定したグループを選択指示する。つまり、ディスプレイ７にはヒストグラムが表示されており、ユーザがその中から所望のグループの部分をマウス６でクリックすることで、画像／時間間隔取得部４３は当該グループの画像及びその画像に対応する時間を取得する。画像／時間間隔取得部４３が取得したグループの各画像は各画像で関連づけられたサムネイル形式の画像（以下、サムネイル画像という）でディスプレイ７に表示される。この表示の制御は表示制御部４４によって行われる。図８はその一例である。ユーザはこの表示を見て複数のサムネイル画像の中から所望のものを選択指示する。

（表示制御部４４の機能）
表示制御部４４は、上述したようにグループ分け部４２で生成されたヒストグラム及びヒストグラムからユーザが指定したグループの各画像のサムネイル画像をディスプレイ７上に表示するための制御を行うとともに、画像／時間間隔取得部４３で取得された画像と時間間隔をディスプレイ７上に表示するための制御を行う。図１０は、ユーザが指定した画像と時間間隔Ｔ_１を示す図である。この状態で、サムネイル画像を指定（クリック）すれば、指定されたサムネイル画像から映像（一連の画像）がディスプレイ７上に表示される。

上記の処理は、工程の初めの画像（ａ）を指定した場合であったが、この状態で別の画像を選択することも可能である。例えば図３に示す中間の画像（ｂ）を選択して、図１１に示すように点線で示す矩形部分１０の画像パターンを指定すると、上記同様に画像抽出部４１がその画像パターンとその位置を記憶する。そして、デジタルディスクレコーダ３に記録された工程分析用の映像の中から位置及び画像パターンが一致又は略一致する画像パターンの画像を抽出する。この場合、同一工程の作業が繰り返された数だけ画像が抽出される。画像パターン１０が含まれる画像が複数抽出されると、グループ分け部４２が各時間間隔を算出する。図１２は、グループ分け部４２で算出された時間間隔を示す図である。同図に示すように、最初の画像（ａ）からの間隔がＴ_２（１）ｓｅｃであり、画像（ａ）の次の画像からの間隔がＴ_２（２）ｓｅｃである。以後同様に、Ｔ_２（３）ｓｅｃ、Ｔ_２（４）ｓｅｃ、Ｔ_２（５）ｓｅｃ…である。このように差分を取ることにより、作業の開始から終了までの１サイクルの作業時間だけではなく、１サイクルの作業をさらに細分化した各工程の作業時間をも算出することができる。なお、図１２において、△印は画像認識が正常に行われた画像を表している。また、画像認識が正常に行われなかった画像は削除してある。こうすることにより、画像認識の精度が低くても標準作業時間の算出に悪影響を与えないようにしている。

時間間隔を算出した後、次に略同じ時間間隔ごとにグループ分けしてヒストグラムを生成する。生成したヒストグラムはディスプレイ７に表示される。図１３に一例として１秒単位で表示したヒストグラムを示す。この表示の制御は表示制御部４４によって行われる。図１３に示すように、この例では略３ｓｅｃ間隔のグループが最も高い頻度で現れている。そして、ユーザがヒストグラムの中から所望のものを指定することで、画像／時間間隔取得部４３がユーザによって指定されたグループを選択指示する。選択したグループの各画像はサムネイル形式でディスプレイ７に表示される。この表示の制御は表示制御部４４によって行われる。図１４はその一例である。ユーザはこの表示を見て複数のサムネイル画像の中から表示したい所望のものを選択する。これにより、図１５に示すような、サムネイル画像に対応した画像と時間間隔がディスプレイ７上に表示される。図１５には、ユーザが指定した画像と時間間隔Ｔ_１及びＴ_２を示す。

次に、図１６に示すフローチャートを参照して上記構成の画像抽出分析システム１の動作を説明する。まず各カメラ２から出力される映像信号をデジタルディスクレコーダ３に記録する（ステップＳＴ１０）。例えば１日の作業分の映像を記録するものとする。デジタルディスクレコーダ３に１日の作業分の映像信号を記録した後、作業工程解析を開始する。まず再生した映像に対して、画像抽出分析装置４内で画像パターンの指定が有るかどうか判定する（ステップＳＴ１１）。指定がなければ、それが行われるまでこの処理を繰り返す。画像パターンの指定があると、画像抽出部４１で指定された位置及び画像パターンの画像を抽出する（ステップＳＴ１２）。指定された画像パターンの画像を抽出すると、抽出した画像の画像間間隔（すなわち時間間隔）を画像抽出分析装置４内で算出する（ステップＳＴ１３）。次いで、算出した時間間隔を略同じ値ごとにグループ分け部４２でグループ分けしてヒストグラムを生成し、ディスプレイ７に表示する（ステップＳＴ１４）。ヒストグラムを表示した後、ヒストグラムの中からユーザ指定（クリック）されたグループを選択する（ステップＳＴ１５）。

次いで、指定（選択）したグループの複数の画像をサムネイル形式でディスプレイ７に表示する（ステップＳＴ１６）。そして、表示した複数のサムネイル画像からユーザ指定されたものを選択する（ステップＳＴ１７）。この場合、１つだけ指定される場合やそれ以上指定され場合など様々であるが、ここでは複数指定されたとする。そして、指定（選択）されたサムネイル画像に対応する映像を抽出する（ステップＳＴ１８）。次いで、次の画像パターンの指定があるかどうか判定し（ステップＳＴ１９）、指定がある場合はステップＳＴ１１に戻り、指定がない場合はステップＳＴ２０に移行する。ステップＳＴ２０に移行すると、抽出した映像に対応するサムネイル画像及び時間間隔をディスプレイ７に表示する（ステップＳＴ２０）。そして、抽出した映像に対応するサムネイル画像及び時間間隔を工程分析のために表示した後、その中でユーザが指定したサムネイル画像から映像（一連の画像）の表示を開始する（ステップＳＴ２１）。なお、上述した画像抽出方法は、各ステップをコンピュータが実行するプログラムであっても良い。また、このプログラムが記録媒体であっても良い。

このように本実施の形態の画像抽出分析システム１によれば、決まった場所に決まった物体（例えば瓶１１）が一定時間間隔で現れるという点に着目し、デジタルディスクレコーダ３に記録した工程分析用の映像の中からユーザ指定された位置及び画像パターンの画像を抽出して繰り返し現れる画像の時間間隔を自動的に算出し、略同じ時間間隔ごとにグループ分けしてヒストグラムを作成してその中からユーザ指定されたグループを選択することにより、従来のように記録映像を順次的に見ることなしに「標準的な作業時間であった映像」、「作業時間が異常に長かったり短かったりした映像」、「画像認識に失敗した映像」のいずれかを瞬時に且つ直感的に選別することができ、その映像における各工程の作業時間を、サムネイル画像とその時間間隔を工程分析のためにディスプレイ７に表示するので、各工程でどの作業に時間がかかっているかが、瞬時に且つ直感的に把握することができる。すなわち、作業現場における工程分析を効率的に行うことができる。

なお、本実施の形態では、各カメラ２からの映像をデジタルディスクレコーダ３に記録した後に工程分析を行うようにしたが、デジタルディスクレコーダ３における映像の記録と並列に工程分析を行うようにしても良い。このようにすることにより、工程分析が映像を記録しながらできる。

（実施の形態２）
図１７は、本発明の実施の形態２に係る画像抽出分析システムの概略構成を示すブロック図である。同図において、本実施の形態に係る画像抽出分析システム１Ａは、前述した実施の形態１に係る画像抽出分析システム１と同一の構成に加えて、作業現場に配置され工程開始時及び／又は作業終了時に操作される釦スイッチ（スイッチ手段）３０と、各釦スイッチ３０からのスイッチ信号を集線し１つの信号線で画像抽出分析装置４Ａに入力するハブ３１とを備えている。画像抽出分析画像抽出分析図１８は画像抽出分析装置４Ａの機能を示すブロック図である。同図に示すように、画像抽出分析装置４Ａは、実施の形態１の画像抽出装置４と同じ機能を有する他に、ハブ３１から画像抽出部４１Ａへの入力を備えている。

釦スイッチ３０は、画像抽出部４１Ａによる画像と当該画像の区切り時刻の抽出を補足するものであり、画像の認識を確実に行えるようにするためのものである。操作釦スイッチ３０は、工程開始時に操作された場合、画像抽出部４１Ａによる工程開始時の画像と当該画像の区切り時刻の抽出を補足するものである。また、操作釦スイッチ３０は、工程終了時に操作された場合、画像抽出部４１Ａによる工程終了時の画像と当該画像の区切り時刻の抽出を補足するものである。

図２１は、本実施の形態の画像抽出分析システム１Ａにおける釦操作による画像及び当該画像の区切り時刻の抽出を補足する処理を示すフローチャートであり、図１６の一部分であり、ステップＳＴ１２より前、ステップ１３より後ろの処理は図１６と全く同様である。同図において、釦の押下信号が検出された場合（ステップＳＴ２２）、押下された時刻を取得し、ステップＳＴ１２において画像パターンの認識に失敗し画像と当該画像の区切り時刻が抽出できなくとも、釦の押下時刻を当該画像の区切り時刻として代用し、当該時刻の画像を抽出する（ステップＳＴ２３）。

このように本実施の形態の画像抽出分析システム１Ａによれば、画像抽出分析画像抽出部４１Ａによる画像パターンの認識に失敗することがあっても、釦スイッチ３０の押下時刻を取得することにより、画像認識精度が低くともそれを補足することが可能となる。

（実施の形態３）
図２０に示すように、画像抽出分析装置４Ａは、実施の形態１の画像抽出装置４と同じ機能を有する他に、画像抽出部４１Ａで画像が抽出された際に、それが現在記録中の映像の中から抽出されたとしても、その映像は引き続き記録する指示を生成する映像記録指示生成部（映像記録指示生成手段）４６と、この映像記録指示生成部４６で生成された映像記録指示をデジタルディスクレコーダ３に出力する映像記録指示出力部（映像記録指示出力手段）４７とを備えている。デジタルディスクレコーダ３は、映像記録指示が入力されると、該指示で指定される映像を引き続き記録する。

図１９は本実施の形態の画像抽出分析システム１Ａの、映像の記録、ユーザー画像の抽出及び映像記録指示の生成とその出力処理を示すフローチャートである。まずデジタルディスクレコーダ３が映像記録モード（ステップＳＴ３０）であれば映像の記録が開始され（ステップＳＴ３２）、画像抽出部４１Ａで画像が抽出された際に、それが現在記録中の映像の中から抽出されたとしても、その映像は引き続き記録する映像記録指示を生成し（ステップＳＴ３４）、デジタルディスクレコーダ３に当該映像記録指示を出力する（ステップＳＴ３５）。

このように本実施の形態の画像抽出分析システム１Ａによれば、画像抽出部４１Ａにおいて抽出された画像が現在記録中の映像に含まれていても、当該映像は引き続き記録するので、画像の抽出等の工程分析をしながら同時に映像記録を行うことが可能となる。

なお、本発明の実施の形態における時刻は、年月日時分秒などで表される絶対時刻であってもよく、また、撮像開始時刻や当日の工場稼動開始時刻などからの経過時間を表す相対時刻であってもよい。

本発明は、工場などの作業現場における工程分析を瞬時に且つ直感的に行うことができるといった効果を有し、工場内での作業工程分析に使用される映像記録装置などへの適用が可能である。

本発明の実施の形態１に係る画像抽出分析システムの構成を示すブロック図 本発明の実施の形態１に係ると画像抽出分析装置構成を示すブロック図 本発明の実施の形態１に係る画像抽出分析システムのデジタルディスクレコーダに記録された映像の一部を示す図 本発明の実施の形態１に係る画像抽出分析システムの画像抽出分析装置がユーザ指定に従って取得した画像パターンを示す図 本発明の実施の形態１に係る画像抽出分析システムの画像抽出分析装置が図４の画像パターンを用いて記録映像から抽出した画像を示す図 本発明の実施の形態１に係る画像抽出分析システムの画像抽出分析装置が図４の画像パターンを用いて記録映像から抽出した画像の時間間隔を示す図 本発明の実施の形態１に係る画像抽出分析システムの画像抽出分析装置が図６の時間間隔を用いて生成したヒストグラムの一例を示す図 本発明の実施の形態１に係る画像抽出分析システムの画像抽出分析装置が図７のヒストグラムの画像をサムネイル形式に変換した画像を示す図 本発明の実施の形態１に係る画像抽出分析システムのカメラの外観を示す図 本発明の実施の形態１に係る画像抽出分析システムの画像抽出分析装置が図４の画像パターンを用いて工程分析を行うための表示を示す図 本発明の実施の形態１に係る画像抽出分析システムの画像抽出分析装置がユーザ指定に従って取得した他の画像パターンを示す図 本発明の実施の形態１に係る画像抽出分析システムの画像抽出分析装置が図１１の画像パターンを用いて記録映像から抽出した画像の時間間隔を示す図 本発明の実施の形態１に係る画像抽出分析システムの画像抽出分析装置が図１２の時間間隔を用いて生成したヒストグラムの一例を示す図 本発明の実施の形態１に係る画像抽出分析システムの画像抽出分析装置が図１２のヒストグラムの画像をサムネイル形式に変換した画像の一例を示す図 本発明の実施の形態１に係る画像抽出分析システムの画像抽出分析装置が図４と図１１の各画像パターンを用いて工程分析を行うための表示を示す図 本発明の実施の形態１に係る画像抽出分析システムの動作を説明するためのフローチャート 本発明の実施の形態２に係る画像抽出分析システムの構成を示すブロック図 本発明の実施の形態２に係る画像抽出分析装置の構成を示すブロック図 本発明の実施の形態２に係る画像抽出分析システムの動作を説明するためのフローチャート 本発明の実施の形態３に係る画像抽出分析装置の構成を示すブロック図 本発明の実施の形態３に係る画像抽出分析システムの動作を説明するための主要部フローチャート

符号の説明

１、１Ａ 画像抽出分析システム
２ カメラ
３ デジタルディスクレコーダ
４、４Ａ 画像抽出分析装置
５ キーボード
６ マウス
７ ディスプレイ
１０ 矩形部分
１１ 瓶
３０ 釦スイッチ
３１ ハブ
４１、４１Ａ 画像抽出部
４２ グループ分け部
４３ 画像／時間間隔取得部
４４ 表示制御部
４６ 映像記録指示生成部
４７ 映像記録指示出力部

Claims (11)

1. 映像記録装置に記録された、作業者が繰り返し行う作業の様子が撮像された映像から、特定の画像を抽出する画像抽出分析装置であって、
   前記映像記録装置に記録された映像の中から、所定の位置に指定された所定の画像パターンが存在する画像を抽出する画像抽出手段と、
   前記画像抽出手段で抽出された画像が繰り返し現れる時間間隔を算出して、略時間間隔を略同じ時間間隔ごとにグループ分けするグループ分け手段と、
   入力された選択指示に応じて、前記グループ分け手段でグレープ分けされた複数のグループの中から選択指示されたグループの画像及び該画像に対応する時間間隔を取得する画像／時間間隔取得手段と、
   前記画像／時間間隔取得手段で取得された画像及び時間間隔を表示させる表示制御手段と、
   を備えた画像抽出分析装置。
2. 映像記録装置における映像の記録を、前記画像の抽出、前記グループ分け、前記画像及び時間間隔の取得の少なくともいずれか一と並行して行う内容の映像記録指示を生成する映像記録指示生成手段と、
   前記映像記録指示を、前記映像記録装置へ出力する映像記録指示出力手段と、
   を備えた請求書１に記載の画像抽出分析装置。
3. 前記画像抽出手段は、さらに、作業の区切りを示す操作信号に応じて、前記映像の中から、該操作信号が入力された時刻の画像を抽出する請求書１又は請求書２に記載の画像抽出分析装置。
4. 前記表示制御手段は、さらに、前記グループ分け手段でグループ分けされた時間間隔を、前記グループに応じた出現頻度のヒストグラムとして表示させる請求項１ないし請求項３に記載の画像抽出分析装置。
5. 作業者が繰り返し行う作業の様子を撮像する複数のカメラと、
   前記カメラの映像信号を映像として記録する映像記録装置と、
   前記映像記録装置に記録された映像の中から、所定の位置に指定された所定の画像パターンが存在する画像を抽出する画像抽出手段と、
   前記画像抽出手段で抽出された画像が繰り返し現れる時間間隔を算出して、該時間間隔を略同じ時間間隔ごとにグループ分けするグループ分け手段と、
   前記グループの選択指示を入力する選択指示入力手段と、
   入力された前記選択指示に応じて、前記グループ分け手段でグループ分けされた複数のグループの中から選択指示されたグループの画像及び該画像に対応する時間間隔を取得する画像／時間間隔取得手段と、
   前記画像／時間間隔取得手段で取得された画像及び時間間隔を表示させる表示制御手段と、
   前記表示制御手段の出力を表示するディスプレイと、
   を備えた画像抽出分析システム。
6. 映像記録装置に記録された、作業者が繰り返し行う作業の様子が撮像された映像から、特定の画像を抽出する画像抽出分析方法であって、
   前記映像記録装置に記録された映像の中から、所定の位置に指定された所定の画像パターンが存在する画像を抽出するステップと、
   抽出された画像が繰り返し現れる時間間隔を算出して、該時間間隔を略同じ時間間隔ごとにグループ分けするステップと、
   入力された選択指示に応じて、グループ分けされた複数のグループの中から選択指示されたグループの画像及び該画像に対応する時間間隔を取得するステップと、
   取得された画像及び時間間隔を表示させるステップと、
   を有する画像抽出分析方法。
7. 映像記録装置における映像の記録を、前記画像の抽出、前記グループ分け、前記画像及び時間間隔の取得の少なくともいずれか一と並行して行う内容の映像記録指示を生成する請求項６に記載の画像抽出分析方法。
8. 作業の区切りを示す操作信号に応じて、前記映像の中から、該操作信号が入力された時刻の画像を抽出するステップ
   をさらに有する請求項６又は請求項７に記載の画像抽出分析方法。
9. グループ分けされた時間間隔を、前記グループに応じた出現頻度のヒストグラムとして表示させる請求項６又は請求項８に記載の画像抽出分析方法。
10. 請求項６ないし請求項９のいずれか一項に記載の方法の各ステップを、コンピュータ上で実行させるための画像抽出分析プログラム。
11. 請求項１０に記載のプログラムが記録された記録媒体。

Images