JP2020182063A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像処理装置において、作業者の広い作業範囲の動線を解析できるようにする。【解決手段】画像処理装置は、各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、各々のレコードがＩＤ付き動線を表すデータ保持し、人物を特定するＩＤと時系列順にＩＤ領域の領域情報とを保持するＩＤ付き動線データテーブルとを有する。そして、画像データを解析して、移動する人物の人検知領域を求めて人検知動線データテーブルに格納し、画像データを解析して、ＩＤ領域とＩＤ領域に含まれる人物を特定するＩＤを求めて、ＩＤ付き動線データテーブルに格納し、人検知動線データテーブルの各々のレコードに、ＩＤ付き動線データテーブルの各レコードが保持するＩＤを格納することにより、人検知動線とＩＤ付き動線を紐付ける。【選択図】 図１０

Description

本発明は、画像処理装置および画像処理方法に係り、特に、個々の人物を認識して動線を正確に解析するのに好適な画像処理装置および画像処理方法に関する。

カメラなどの機器により、動画像データを撮像し、コンピュータなどの情報処理装置により、移動する人物の動線を解析する技術は、生産設備における作業管理、ショッピングモールの販売促進のための顧客情報解析、セキャリティシステムへの応用など様々な分野で応用されている。

例えば、特許文献１には、来客者の行動軌跡を把握するために、フロアの撮像画像の背景画像を生成し、所定の周期毎に、来客者の滞留位置または通過位置に関する動線情報を取得し、生成した背景画像と取得した来客者の動線情報をサーバ装置に送信して、来客者の動線情報を行動の軌跡として分析して、モニタに表示する動線分析システムが開示されている。

また、特許文献２には、動線抽出部から抽出された作業者の動線と、作業者の識別情報とを関連付けて、記録する作業管理システムが開示されている。

特開２０１７−３３１８４号公報 特開２０１８−１０３６６号公報

生産設備の作業員の作業を管理する方法としては、天井カメラを設置してそれにより、人の動線を取得する技術が知られている。このとき、単に動線を抽出するだけでなく、個人認識をできるとよりきめの細かな作業管理が可能になる。そのため、画像から顔認識をする技術を併用したり、作業者にＱＲコード（登録商標）などの画像認識をできるマーカを装着させて、個人ＩＤと関連づいた動線を利用することが考えられる。しかしながら、そのような個人ＩＤと関連づいた動線では、個人同定はできるが動線抽出範囲が狭くなるという課題が生じる。これは、大きなマーカを装着すれば解決するが、物理的に、作業者の作業を阻害するという問題が生じる。

本発明の目的は、作業者の作業を阻害することなく、作業者の広い作業範囲の動線を解析することが可能な画像処理装置および画像処理方法を提供することにある。

本発明の画像処理装置の構成は、好ましくは、撮影された画像データから、人物が移動する動線を解析する画像処理装置であって、各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、各々のレコードがＩＤ付き動線を表すデータ保持し、人物を特定するＩＤと時系列順にＩＤ領域の領域情報とを保持するＩＤ付き動線データテーブルとを有し、画像データを解析して、移動する人物の人検知領域を求めて人検知動線データテーブルに格納し、画像データを解析して、ＩＤ領域とＩＤ領域に含まれる人物を特定するＩＤを求めて、ＩＤ付き動線データテーブルに格納し、人検知動線データテーブルの各々のレコードに、ＩＤ付き動線データテーブルの各レコードが保持するＩＤを格納することにより、人検知動線とＩＤ付き動線を紐付けること、を特徴とするようにしたものである。

本発明によれば、作業者の作業を阻害することなく、作業者の広い作業範囲の動線を解析することが可能な画像処理装置および画像処理方法を提供することができる。

画像処理システムの一例を示す構成図である。 画像処理装置の機能構成図である。 画像処理装置のハードウェア・ソフトウェア構成図である。 人検知動線データテーブルの一例を示す図である。 ＩＤ付き動線データテーブルの一例を示す図である。 撮影される画像からＩＤが認識される範囲について説明する図である（その一）。 撮影される画像からＩＤが認識される範囲について説明する図である（その二）。 撮影される画像と動線検出の関係について説明する図である。 画像処理システムの動線処理を示すフローチャートである。 ＩＤ付き動線抽出処理を示すフローチャートである。 人検知抽出処理と動線紐付け処理を示すフローチャートである。

以下、本発明に係る実施形態を、図１ないし図１０を用いて説明する。

先ず、図１および図２を用いて本発明の一実施形態に係る画像処理システムの構成について説明する。
本実施形態の画像処理システムは、図１に示されるように、画像処理装置１２０、カメラ１１０、表示装置１２１が接続された形態である。

カメラ１１０は、人物１００の動画像を撮像する装置であり、例えば、構内ネットワークにより、画像処理装置１２０とＩＰ接続されたＷｅｂカメラである。カメラ１１０は、人物１００を撮像するために、施設の天井に設置されているものとする。表示装置１２１は、ユーザに動画像やその他の表示対象を表示する装置である。画像処理装置１２０は、動画像から動線を抽出し、動線を解析したり、動線を利用したアプリケーションソフトウェアを実行する装置である。

人物１００は、その動線を取得して解析する対象となる作業者である。マーカ１０１は、例えば、人物１００のヘルメットや防止などに付加される人物の個人を特定するためのＱＲコード、バーコードや文字などである。また、個人を認識するために、顔１０２を利用した顔認識を用いてもよい。

次に、図２を用いて画像処理装置の機能構成について説明する。
画像処理装置１２０は、人検知動線抽出部２００、ＩＤ付き動線抽出部２０１、動線紐付け部２０２、画像認識部２０３の機能部を有する。

人検知動線抽出部２００は、画像処理装置１２０が人検知を行う画像認識により得られる人物動線を抽出する機能部である。本実施形態では、この動線を「人検知動線」と言うことにする。ＩＤ付き動線抽出部２０１は、画像処理装置１２０がマーカ認識や顔認識を行って、個人を特定し、個人を特定する情報を付加した人物動線を抽出する機能部である。本実施形態では、この動線を「ＩＤ付き動線」と言うことにする。動線紐付け部２０２は、人検知動線抽出部２００が抽出した人検知動線と、ＩＤ付き動線抽出部２０１が抽出したＩＤ付き動線とを関連付ける機能部である。画像認識部２０３は、ＱＲコード認識、バーコード認識、ＯＣＲの文字認識などにより、画像からＩＤ情報を認識する機能部である。

画像処理装置１２０は、人検知動線データテーブル２１０、ＩＤ付き動線データテーブル２１１を保持する。

人検知動線データテーブル２１０は、人検知動線に関する情報を格納するテーブルである。ＩＤ付き動線データテーブル２１１は、ＩＤ付き動線に関する情報を格納するテーブルである。なお、これらのテーブルの詳細は、後に説明する。

次に、図３を用いて画像処理装置のハードウェア・ソフトウェア構成について説明する。
画像処理装置１２０のハードウェア構成としては、例えば、図３に示されるパーソナルコンピュータのような一般的な情報処理装置で実現される。

画像処理装置１２０は、ＣＰＵ（Central Processing Unit）４０２、主記憶装置４０４、ネットワークＩ／Ｆ４０６、表示Ｉ／Ｆ４０８、入出力Ｉ／Ｆ４１０、補助記憶Ｉ／Ｆ４１２が、バスにより結合された形態になっている。

ＣＰＵ４０２は、画像処理装置１２０の各部を制御し、主記憶装置４０４に必要なプログラムをロードして実行する。

主記憶装置４０４は、通常、ＲＡＭなどの揮発メモリで構成され、ＣＰＵ４０２が実行するプログラム、参照するデータが記憶される。

ネットワークＩ／Ｆ４０６は、カメラ１１０のネットワークと接続するためのインタフェースである。

表示Ｉ／Ｆ４０８は、ＬＣＤ（Liquid Crystal Display）などの表示装置１２１を接続するためのインタフェースである。

入出力Ｉ／Ｆ４１０は、入出力装置を接続するためのインタフェースである。図３の例では、キーボード４３０とポインティングデバイスのマウス４３２が接続されている。

補助記憶Ｉ／Ｆ４１２は、ＨＤＤ（Hard Disk Drive）４５０やＳＳＤ（Solid State Drive）などの補助記憶装置を接続するためのインタフェースである。

ＨＤＤ４５０は、大容量の記憶容量を有しており、本実施形態を実行するためのプログラムが格納されている。画像処理装置１２０には、人検知動線抽出プログラム４６０、ＩＤ付き動線抽出プログラム４６１、動線紐付けプログラム４６２、画像認識プログラム４６３がインストールされている。

人検知動線抽出プログラム４６０、ＩＤ付き動線抽出プログラム４６１、動線紐付けプログラム４６２、画像認識プログラム４６３は、それぞれ人検知動線抽出部２００、ＩＤ付き動線抽出部２０１、動線紐付け部２０２、画像認識部２０３の機能を実現するためのプログラムである。
また、ＨＤＤ４５０には、人検知動線データテーブル２１０、ＩＤ付き動線データテーブル２１１が格納されている。

次に、図４および図５を用いて画像処理システムが使用するデータ構造について説明する。
人検知動線データテーブル２１０は、図４に示されるように、人検知動線インデックス２１０ａ、ＩＤ２１０ｂ、フレーム履歴２１０ｃの項目を有する。人検知動線インデックス２１０ａには、人検知動線を識別するためのインデックスが格納される。ＩＤ２１０ｂは、ＩＤ付き動線と紐付けたときのそのＩＤ付き動線に定義されているＩＤの値が格納される。フレーム履歴２１０ｃは、人検知動線がフレーム毎のデータとして格納される。フレーム履歴２１０ｃは、領域情報と画像特徴量がデータとして含まれる。フレーム履歴２１０ｃに含まれる領域情報は、例えば、領域左上のｘ，ｙ座標と、幅、高さで表現される人検知領域（詳細は、後述）である。画像特徴量は、例えば、撮像した動画像の特徴量を捉えるデータであり、例えば、多次元の特徴量ベクトル情報で表現される。画像特徴量は、例えば、ＱＲコードやバーコードを解析する場合には、色ヒストグラムの情報を解析することにより得ることができる。図４のフレーム履歴２１０ｃのフレームでは、右側が過去のフレームであり、フレーム時刻ごとに、順次右にシフトして、左端（ｔ）に新しいデータが書き込まれるものとする。

ＩＤ付き動線データテーブル２１１は、図４に示されるように、ＩＤ付き動線インデックス２１１ａ、ＩＤ２１１ｂ、フレーム履歴２１１ｃの項目を有する。ＩＤ付き動線インデックス２１１ａには、ＩＤ付き動線を識別するためのインデックスが格納される。ＩＤ２１１ｂは、顔認識やマーカ認識で認識された個人のＩＤが格納される。フレーム履歴２１１ｃは、ＩＤ付き動線がフレーム毎のデータとして格納される。フレーム履歴２１１ｃは、領域情報がデータとして含まれる。フレーム履歴２１１ｃに含まれる領域情報は、人検知動線データテーブル２１０と同様に、例えば、領域左上のｘ，ｙ座標と、幅、高さで表現されるＩＤ領域（詳細は、後述）である。また、人検知動線データテーブル２１０と同様に、図４のフレーム履歴２１１ｃのフレームでは、右側が過去のフレームであり、フレーム時刻ごとに、順次右にシフトして、左端（ｔ）に新しいデータが書き込まれるものとする。

次に、図６Ａおよび図７を用いて撮影される画像と動線検出の関係について説明する。
図６Ａが、ＱＲコードによるマーカ認識の画像処理を行うときの領域の関係を示したものであり、図６Ｂが、顔認識の画像処理を行うときの領域の関係を示したものである。

図６Ａ、図６Ｂに示される人検知領域９００は、人検知動線抽出部２００が人検知動線を作成するために、移動する人を検知する領域である。図６Ａの例では、人検知動線を作成する対象となる人の一部または全部の人が個々の人を識別するＩＤの情報を含むマーカを帽子やヘルメットなどの頭部につけているものとする。このとき、マーカによるＩＤがＩＤ領域９０１にあるものとする。

本実施形態の画像処理システムでは、後に詳説するように、人検知領域９００から相対的にマーカによるＩＤが存在する領域に対して、ＩＤ存在可能領域９２０を計算する。

人検知領域９００から相対的な位置関係によって定まるＩＤ存在可能領域９２０と、ＩＤ付き動線の領域情報として有するＩＤ領域の関係によって、人検知動線とＩＤ付き動線の紐付けを行うものである。なお、この処理の詳細は、後に説明する。

また、本実施形態の画像処理システムでは、ＩＤ存在可能領域９２０であると予測される領域に対して画像特徴量領域９１０として、この部分の画像特徴量を算出する。画像特徴量領域９１０は、人の頭頂など人検知領域に対して相対的に定められる領域となる。マーカをつけている人とマーカをつけていない人の画像特徴量は明らかに異なる。したがって、この画像特徴量領域９１０から算出される画像特徴量に基づいて、マーカをつけている人とマーカをつけていない人の動線を区別することができる。画像特徴量領域９１０は、動線の画像特徴を求める領域であり、ＩＤ存在可能領域と等しくとってもよい。

顔認識を行うときには、図６Ｂに示されるように、顔１０２の部分がＩＤ領域９０１となり、それを包含する領域が、ＩＤ存在可能領域９２０である。顔認識の場合も、画像特徴量領域９１０とＩＤ存在可能領域は、等しく取ってよい。

なお、図示しなかったが、顔認識を行うときには、この画像処理システムは、ＩＤと顔認識の画像特徴量が対になったテーブルを保持するものとする。

本実施形態では、天井に設置されたカメラ１１０により動線を抽出する画像を撮影する。このとき、図７に示されるように、ＩＤ認識可能領域７００は、カメラ１１０の下からある程度の近傍領域となり、それを含む範囲で、ＩＤ認識不可能領域・人検知動線抽出可能領域７０１が広がっている。

そのため、人検知動線とＩＤ付き動線紐付けることができれば、ＩＤを認識できる動線の範囲を広くとることができるという意義を有する。

なお、人検知動線が複数のカメラをまたいでいた場合には、カメラから撮影した情報とカメラ間の幾何学的関係から人検知動線を紐付けたものを人検知動線の解析の対象としてもよい。

次に、図８ないし図１０を用いて画像処理システムの動線処理について説明する。

先ず、図８を用いて画像処理システムの動線処理の概要について説明する。
最初に、ＩＤ付き動線処理を行う（Ｓ０１）。
次に、人検知抽出処理と動線紐付け処理を行う（Ｓ０２）。

次に、図８を用いてＩＤ付き動線抽出処理の詳細について説明する。
これは、図８のＳ０１に該当する処理である。
先ず、画像ストリームの新たなフレームｔに対して、画像認識部２０３がＩＤ認識を実施する（Ｓ１００）。これは、例えば、マーカ１０１として付与されているＱＲコードやバーコードを画像認識して、ＩＤ情報とＩＤ領域９０１の情報を得る処理である。

ＩＤ付き動線データテーブルのフレームｔ−１（一つ前のフレーム）に、Ｓ１００でＩＤ認識をして得られたＩＤ２１１ｂと同じＩＤを有するレコードがあるか否かを判断する（Ｓ１０１）。

同じＩＤを有するレコードがある場合には（Ｓ１０１：ＹＥＳ）、ＩＤ認識をして得られたＩＤ２１１ｂと同じＩＤを有するレコードのフレームｔのエントリに、ＩＤ認識結果から得られたＩＤ領域９０１の領域情報を書き込む（Ｓ１０２）。

同じＩＤを有するレコードがない場合には（Ｓ１０１：ＮＯ）、新たなレコードを作成し、フレームｔのエントリに、ＩＤ認識結果から得られたＩＤ領域９０１の領域情報を書き込む（Ｓ１０３）。

次に、図１０を用いて人検知抽出処理と動線紐付け処理の詳細について説明する。
先ず、画像ストリームの新たなフレームｔに対して人検知を実施する（Ｓ２００）。
そして、各人検知領域９００に対して、Ｓ２０２〜Ｓ２１０の処理を行う（Ｓ２０１〜Ｓ２１１）。

人検知領域９００の相対位置から画像特徴量を算出する画像特徴量領域９１０を求めて、その領域から画像特徴量を算出する（Ｓ２０２）。

次に、人検知動線データテーブル２１０のフレームｔ−１（一つ前のフレーム）において、領域情報が示す領域が人検知領域９００の近傍であり、かつ、Ｓ２０２で算出した画像特徴量と所定の近さを有する画像特徴量を有する人検知動線データテーブル２１０のレコードを抽出する（Ｓ２０３）。ここで、「画像特徴量と所定の近さを有する」とは、例えば、特徴量ベクトルのノルム距離が所定の閾値より小さくなることで判断することができる。以下の説明と図１０において、抽出された人検知動線データテーブル２１０のレコードが表現する動線を、「人検知動線候補」ということにする。

次に、Ｓ２０３で抽出された人検知動線候補が単数か複数かを判断する（Ｓ２０４）。

人検知動線候補が単数のときには（Ｓ２０４：ＹＥＳ）、抽出された人検知動線データテーブル２１０のレコードのフレームｔに、人検知結果の領域情報として、人検知領域９００と、画像特徴量領域９１０から求められた画像特徴量を書き込み（Ｓ２０５）、次のループに行く（Ｓ２１１）。

人検知動線候補が複数のときには（Ｓ２０４：ＮＯ）、人検知領域から算出したＩＤ存在可能領域９２０に、ＩＤ付き動線データテーブルのレコードのフレームｔにおけるＩＤの領域情報が表すＩＤ領域９０１のいずれかが含まれるか否かを判断する（Ｓ２０６、図６Ａ、図６Ｂも参照）。

人検知領域から算出したＩＤ存在可能領域９２０に、ＩＤ付き動線データテーブル２１１のレコードのフレームｔにおけるＩＤの領域情報が表すＩＤ領域９０１のいずれかが含まれるときには（Ｓ２０６：ＹＥＳ）、人検知動線候補の中に、そのＩＤ領域９０１のＩＤと同じＩＤを有するものがあるか否かを判断する（Ｓ２０７）。

人検知動線候補の中に、そのＩＤ領域９０１のＩＤと同じＩＤを有するものがあったときには（Ｓ２０７：ＹＥＳ）、人検知動線データテーブル２１０のレコードのフレームｔのエントリに、得られた人検知領域の領域情報と画像特徴量を書き込む（Ｓ２０８）。

人検知動線候補の中に、そのＩＤ領域９０１のＩＤと同じＩＤを有するものがなかったときには（Ｓ２０７：ＮＯ）、人検知動線データテーブル２１０に新たなレコードを作成し、人検知動線インデックスを追加し、該当するＩＤ付き動線テーブルのレコードのＩＤをＩＤとして書込み、フレームｔのエントリに、得られた人検知領域の領域情報と画像特徴量を書き込む（Ｓ２０９）。この処理が、人検知動線とＩＤ付き動線とを紐付ける処理である。

人検知領域から算出したＩＤ存在可能領域９２０に、ＩＤ付き動線データテーブル２１１のレコードのフレームｔにおけるＩＤの領域情報が表すＩＤ領域９０１のいずれもが含まれないときには（Ｓ２０６：ＮＯ）、人検知動線データテーブル２１０に新たなレコードを作成し、人検知動線インデックスを追加し、ＩＤは、ＮＵＬＬとして、フレームｔのエントリに、得られた人検知領域の領域情報と画像特徴量を書き込む（Ｓ２１０）。

以上の処理により、ＩＤ付き動線と人検知動線が紐付けられ、人の動線を利用するアプリケーションソフトウェアで利用可能になる。これは、アプリケーションソフトウェアでの動線解析において、図７で説明したように、より広い範囲でＩＤを認識できる動線が得られる意義を有する。

また、複数の動線が交差する場合に、従来技術では、交差点以降の動線の区別をするのが難しいという問題があったが、ＩＤ付き動線と人検知動線が紐付けられるため、ＩＤに有無により、個々の動線の区別が容易になるという特徴がある。

１００…人物
１０１…マーカ
１０２…顔
１１０…カメラ
１２０…画像処理装置
１２１…表示装置
２００…人検知動線抽出部
２０１…ＩＤ付き動線抽出部
２０２…動線紐付け部
２０３…画像認識部
２１０…人検知動線データテーブル
２１１…ＩＤ付き動線データテーブル
９００…人検知領域
９０１…ＩＤ領域
９１０…画像特徴量領域
９２０…ＩＤ存在可能領域

Claims (6)

1. 撮影された画像データから、人物が移動する動線を解析する画像処理装置であって、
   各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、
   各々のレコードがＩＤ付き動線を表すデータ保持し、人物を特定するＩＤと時系列順にＩＤ領域の領域情報とを保持するＩＤ付き動線データテーブルとを有し、
   画像データを解析して、移動する人物の人検知領域を求めて前記人検知動線データテーブルに格納し、
   画像データを解析して、ＩＤ領域とＩＤ領域に含まれる人物を特定するＩＤを求めて、前記ＩＤ付き動線データテーブルに格納し、
   前記人検知動線データテーブルの各々のレコードに、ＩＤ付き動線データテーブルの各レコードが保持するＩＤを格納することにより、人検知動線とＩＤ付き動線を紐付けること、
   を特徴とする画像処理装置。
2. 前記人検知領域に対して、相対的な位置関係により定められたＩＤ存在可能領域に含まれる前記ＩＤ領域から認識されたＩＤを格納することより、人検知動線とＩＤ付き動線を紐付けること、を特徴とする請求項１記載の画像処理装置。
3. 前記人検知領域に対して、相対的な位置関係により定められた画像特徴量を算出する画像特徴領域から画像特徴量を求め、
   ある時点のフレームのデータと、その前のフレームデータとを比較して、前記人検知領域の位置関係と、画像特徴量の近さにより、前記人検知動線データテーブルから候補となるレコードを抽出し、
   その候補の中からＩＤ付き動線データテーブルの各レコードが保持するＩＤを格納するレコードを選出することを特徴とする請求項１記載の画像処理装置。
4. 画像処理装置により、撮影された画像データから、人物が移動する動線を解析する画像処理方法であって、
   画像処理装置は、各々のレコードが人検知動線を表すデータ保持し、時系列順に人検知領域の領域情報を有する人検知動線データテーブルと、
   各々のレコードがＩＤ付き動線を表すデータ保持し、人物を特定するＩＤと時系列順にＩＤ領域の領域情報とを保持するＩＤ付き動線データテーブルとを有し、
   画像データを解析して、移動する人物の人検知領域を求めて前記人検知動線データテーブルに格納するステップと、
   画像データを解析して、ＩＤ領域とＩＤ領域に含まれる人物を特定するＩＤを求めて、前記ＩＤ付き動線データテーブルに格納するステップと、
   前記人検知動線データテーブルの各々のレコードに、ＩＤ付き動線データテーブルの各レコードが保持するＩＤを格納することにより、人検知動線とＩＤ付き動線を紐付けるステップと、を有することを特徴とする画像処理方法。
5. 前記人検知領域に対して、相対的な位置関係により定められたＩＤ存在可能領域に含まれる前記ＩＤ領域から認識されたＩＤを格納することより、人検知動線とＩＤ付き動線を紐付けること、を特徴とする請求項４記載の画像処理方法。
6. 前記人検知領域に対して、相対的な位置関係により定められた画像特徴量を算出する画像特徴領域から画像特徴量を求めるステップと、
   ある時点のフレームのデータと、その前のフレームデータとを比較して、前記人検知領域の位置関係と、画像特徴量の近さにより、前記人検知動線データテーブルから候補となるレコードを抽出するステップと、
   その候補の中からＩＤ付き動線データテーブルの各レコードが保持するＩＤを格納するレコードを選出するステップと、を有することを特徴とする請求項４記載の画像処理方法。

Images