JP2017084289A - 表示制御装置、表示制御方法及びプログラム - Google Patents

Abstract

【課題】画像中の人物が、単独か複数かを適切に提示することを目的とする。
【解決手段】画像から人物を検出する。検出される人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付ける。他の人物と関連付けられる人物と、他の人物と関連付けられない人物とを識別可能な表示処理を表示装置に実行させる。
【選択図】図３

Description

本発明は、画像から人物を検出し、表示装置に表示処理を実行させる表示制御装置、表示制御方法及びプログラムに関する。

従来、画像から人物を検出する方法が知られている。特許文献１では画像から遮蔽された人物を検出する方法が開示されている。

特開２０１４−１９９５０６号公報

上述の特許文献１に開示された技術では、画像中の人物の位置を知らせることが可能である。例えば、前記技術では、画像中に存在する人物を丸で囲み、ユーザーに人物の位置を提示することができる。しかし、前記技術に基づいて人物の位置を示すのみでは、ユーザーは、検出された人物が集団から孤立して単独で作業を行っているか、それとも他の人物と近い位置で共同作業を行っているかを一目で判断できない課題があった。例えば、漏えいを防止すべきデータを扱っている現場では、単独で作業をすることを禁止するルールを課していることがあり、作業監視員が撮像装置を介して作業者らを監視し、集団から孤立して単独で作業を行っている単独作業者に対して注意を促したい場合がある。しかし、撮像画像を見るのみでは、作業監視員は撮像画像中の作業者らそれぞれが、単独で作業を行っているのか、それとも複数で作業を行っているのか、を一目で判断できない。
本発明は、画像中の人物が、単独か複数かを適切に提示することを目的とする。

そこで、本発明の表示制御装置は、画像から人物を検出する検出手段と、前記検出手段によって検出される人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付ける関連付け手段と、前記関連付け手段によって他の人物と関連付けられる人物と、前記関連付け手段によって他の人物と関連付けられない人物とを識別可能な表示処理を表示装置に実行させる表示制御手段と、を有することを特徴とする。

本発明によれば、画像中の人物が、単独か複数かを適切に提示することができる。

システムのシステム構成及びハードウェア構成の一例を示す図である。 撮像装置及びクライアント装置の機能構成等の一例を示す図である。 表示制御の処理の一例を示すフローチャートである。 撮像画像の一例を示す図である。 人物検出を行った結果を示す画像の一例を示す図である。 水平面画像の一例を示す図である。 パターンを重畳した撮像画像の一例を示す図である。 パターンを重畳した水平面画像の一例を示す図である。 検知領域を設定した撮像画像の一例を示す図である。 検知領域を設定した水平面画像の一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
本実施形態では、作業者に対して二人以上で作業を行うことが義務付けられている漏えいを防止すべきデータを扱う現場において、作業監視員に撮像画像中の各作業者が単独作業者（他の人物と関連付けられない人物）か共同作業者（他の人物と関連付けられる人物）かを提示する処理について説明する。このような状況は、本実施形態を用いることができる状況の一例であり、人物が単独であるか、複数であるかを判断したい種々の状況で用いることができる。例えば、本発明は、通行人や入場者等が単独であるかグループであるかを判断して、マーケティングや、社会問題の解決等に利用する状況にも用いることができる。
本実施形態におけるシステムのシステム構成及びハードウェア構成の一例を図１に示す。図１において、撮像装置１１０は、撮像を行う。クライアント装置１２０は、撮像装置１１０の駆動、撮像装置１１０で撮像された撮像画像の表示を行う。入力装置１３０は、マウスやキーボード等から構成され、クライアント装置１２０へのユーザー入力を行う。表示装置１４０は、ディスプレイ等から構成され、クライアント装置１２０が出力した画像の表示を行う。図１ではクライアント装置１２０と表示装置１４０とを各々独立した装置として示したが、クライアント装置１２０と表示装置１４０とを一体化して構成してもよい。また、入力装置１３０と表示装置１４０とを一体化して構成してもよいし、クライアント装置１２０と入力装置１３０と表示装置１４０とを一体化して構成してもよい。ネットワーク１５０は撮像装置１１０とクライアント装置１２０とを接続する。ネットワーク１５０は、例えばローカルネットワーク等の通信規格を満たす複数のルータ、スイッチ、ケーブル等から構成される。本実施形態においては撮像装置、クライアント間の通信を行うことができるものであればその通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。また、クライアント装置１２０に接続される撮像装置の数は１台に限られず、複数台であってもよい。

撮像装置１１０のハードウェア構成について説明する。撮像装置１１０は、ハードウェア構成として、撮像部１１と、ＣＰＵ１２と、メモリ１３と、通信Ｉ／Ｆ１４と、を含む。撮像部１１は、撮像素子と撮像素子上に被写体の工学系とを有し、ＣＰＵ１２の制御に基づき光学系の光軸と撮像素子との交点を撮像中心として撮像素子上に撮像を行う。撮像素子は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又はＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子である。ＣＰＵ１２は、撮像装置１１０の全体を制御する。メモリ１３は、プログラムや撮像部１１で撮像された画像、ＣＰＵ１２が処理を実行する際に利用するデータ等を記憶する。通信Ｉ／Ｆ１４は、ＣＰＵ１２の制御に基づきネットワーク１５０を介したクライアント装置１２０との通信を制御する。ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することにより、撮像装置１１０の機能等が実現される。なお、ＣＰＵ以外の他のプロセッサーを用いてもよい。
クライアント装置１２０のハードウェア構成について説明する。クライアント装置１２０は、ハードウェア構成として、メモリ２１と、ＣＰＵ２２と、通信Ｉ／Ｆ２３と、入力Ｉ／Ｆ２４と、表示Ｉ／Ｆ２５と、を含む。ＣＰＵ２２は、クライアント装置１２０の全体を制御する。メモリ２１は、プログラムや撮像装置１１０から送信された撮像画像、ＣＰＵ２２が処理を実行する際に利用するデータ等を記憶する。通信Ｉ／Ｆ２３は、ＣＰＵ２２の制御に基づきネットワーク１５０を介した撮像装置１１０との通信を制御する。入力Ｉ／Ｆ２４は、クライアント装置１２０と入力装置１３０とを接続し、入力装置１３０からの情報の入力を制御する。表示Ｉ／Ｆ２５は、クライアント装置１２０と表示装置１４０とを接続し、表示装置１４０への情報の出力を制御する。ＣＰＵ２２がメモリ２１に記憶されたプログラムに基づき処理を実行することにより、クライアント装置１２０の機能及び後述する図３のフローチャートの処理等が実現される。

図２は、撮像装置１１０及びクライアント装置１２０の機能構成の一例を示す図である。撮像装置１１０は、機能構成として、制御部１１１と、信号処理部１１２と、駆動制御部１１３と、通信制御部１１４と、を含む。制御部１１１は、撮像装置１１０を制御する。信号処理部１１２は、撮像部１１によって撮像された画像信号の処理を行う。例えば、信号処理部１１２は、撮像部１１によって撮像された画像の符号化を行う。信号処理部１１２は、符号化方式として、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）を用いることができる。又は、信号処理部１１２は、符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）を用いることができる。又は、信号処理部１１２は、符号化方式として、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式）を用いることができる。但し符号化方式はこれらに限らない。また、信号処理部１１２は、複数の符号化方式の中から符号化方式を選択して符号化を行うようにしてもよい。
駆動制御部１１３は、撮像部１１の撮像方向、及び画角を変更させる制御を行う。本実施形態では、撮像部１１は、パン方向、チルト方向に撮像方向を変更でき、撮像画角を変更することができる場合について説明するが、これに限らない。撮像装置１１０は、パン方向、チルト方向に撮像方向を変更する機能を有さなくてもよいし、画角を変更する機能を有さなくてもよい。通信制御部１１４は、信号処理部１１２で処理が行われた撮像画像をクライアント装置１２０に送信する。更に通信制御部１１４は、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。
クライアント装置１２０は、機能構成として、制御部１２１と、通信制御部１２３と、情報取得部１２４と、表示制御部１２５と、を含む。制御部１２１は、クライアント装置１２０を制御する。通信制御部１２３は、撮像画像をクライアント装置１２０から受信する。情報取得部１２４は、入力装置１３０によるユーザー入力を受け付け、入力装置１３０より入力情報を取得する。表示制御部１２５は、映像を表示装置１４０へ出力し、後述する表示処理を表示装置１４０に実行させる。

次に、本実施形態における表示制御の処理の流れを、図３を用いて説明する。図３は、クライアント装置１２０における表示制御の処理の一例を示すフローチャートである。クライアント装置１２０は、撮像装置１１０から撮像画像（又は動画像）を取得し、取得した撮像画像中の作業者に対して単独作業者のパターン、又は共同作業者のパターンを重畳し、表示装置１４０上に表示させる。
制御部１２１は、撮像装置１１０から撮像画像を取得する（Ｓ２００）。図４は、クライアント装置１２０が撮像装置１１０から取得した撮像画像３００の一例を示す図である。図４において作業者３０１、３０２及び作業者３０３、３０４は二人一組で作業を行っている共同作業者を表す。一方、作業者３０５は一人で作業を行っている単独作業者を表す。また、作業台３０６は撮像装置１１０から遠い位置に存在する作業台を表わす。作業台３０７は撮像装置１１０に近い位置に存在する作業台を表す。
このとき、クライアント装置１２０が取得する撮像画像は、作業者ができるだけ重ならないように撮像装置１１０の撮像部１１の位置や取り付け角度、画角を予め調整しておくことが好ましい。本実施形態ではクライアント装置１２０は、撮像装置１１０から取得した撮像画像に対し処理を行う。これによって、リアルタイムのライブ映像に対して処理を行うことができる。しかしながらこれに限らない。例えば、クライアント装置１２０は、撮像装置１１０内に保存されている動画を取得し、各フレームに対し処理を行ってもよいし、クライアント装置１２０内に保存されている動画の各フレームに対して処理を行ってもよい。又はクライアント装置１２０は、録画サーバ等にアクセスし、録画サーバ内に保存されている動画の各フレームに対して処理を行ってもよい。また本実施形態では、共同作業者を二人一組としたが、これに限らない。クライアント装置１２０は、三人以上を共同作業者としてもよい。

次に、制御部１２１は、Ｓ２００で取得した撮像画像３００に対し、人物検出処理を行う（Ｓ２０１）。制御部１２１は、人物検出処理を行うため、本実施形態ではまず、撮像画像３００に対し、様々なサイズでスケーリングを行う。スケーリングを行うことで、様々なサイズの人物を検出することができる。次に、制御部１２１は、各スケールの撮像画像に対し、特定のサイズの検出窓を用いてラスタースキャンする。このとき、制御部１２１は、予め学習データを用いて人物の特徴量を計算しておき、スキャン時に検出窓内で計算された特徴量と、前述の学習データに基づく特徴量との誤差が閾値よりも小さい場合に人物であると判断する。
図５は、撮像画像３００に対して人物検出を行った結果を示す画像４００の一例を示す図である。図５の（Ａ）において楕円４０１〜４０５はそれぞれ、作業者３０１〜３０５を検出した位置を表す。また、矢印４０６〜４０８は各人物の顔の向き表現するための、矢印の末尾側を基点、頭部側を無限に伸ばすとする半直線である。また、上記のように、人物の特徴量を使用する検出方法の他、図５の（Ｂ）のように、作業者のルールとして、予め定められた制服、ビブス、帽子の内の少なくとも何れかを着用することを決める等するようにしてもよい。即ち、作業者として検出すべき人物が身につけた物の特徴量を予めルールを設定ファイルとしてクライアント装置１２０のメモリ２１等に記憶しておくようにしてもよい。このようにすれば、制御部１２１は、設定ファイルのルール及び撮像画像の処理対象の人物が身につけた物の色・形状等の特徴量に基づいて、ルールに合致した特徴量の制服等を身につけた作業者を検出することもできる。

次に、制御部１２１は、Ｓ１０１で検出した人物の位置を、撮像画像の撮影範囲を真上から平画面投影した水平面画像上の座標へ変換する（Ｓ２０２）。本実施形態では、撮像画像上の各点が、水平面画像上のどの点と対応付くか、予め決定されているものとする。例えば、ユーザーは、表示装置１４０等に表示された撮像画像上の四点と、水平面画像上の四点とを、入力装置１３０等を操作して指定する。制御部１２１は、ユーザーによって入力された撮像画像上の四点と、水平面画像上の四点と、以下に示す式（１）、（２）等に基づき予めホモグラフィ行列Ｈを計算しておく。

ここで、式（２）中のｐｘ１、ｐｘ２、．．．、ｐｘ４、ｐｙ４、及びｑｘ１、ｑｘ２、．．．、ｑｘ４、ｑｙ４は、ユーザーによって指定された撮像画像上の四点のｘ、ｙ座標、及び水平面画像上の四点のｘ、ｙ座標をそれぞれ表す。
次に制御部１２１は、撮像画像上のｘ座標ｐｘ、Ｙ座標ｐｙとホモグラフィ行列Ｈとに対し、以下の式（３）を適用することにより、ｐｘ、ｐｙに対応する水平面画像上のＸ座標ｑｘと、Ｙ座標ｑｙとを計算することができる。

図６は、作業現場の水平面画像５００の一例を示す図である。図６において座標５０１〜５０５はそれぞれ人物検出位置である楕円４０１〜４０５の代表点を水平面画像上の座標へ変換した結果を表す。本実施形態では、代表点は一例として人物検出位置の中心とした。代表点は人物の頭に対応する領域の中心としてもよい。また、領域５０６、５０７はそれぞれ、作業台３０６、３０７を水平面画像上で表現した場合の領域を表す。本実施形態では、水平面画像としてＣＡＤ等で作成された作業現場の見取り図を使用したものとするが、この限りではない。例えば、撮像画像を変形させた画像を用いてもよいし、手書きの画像でもよい。また、画像がなくてもよく、プログラム内部で前述の座標の情報を持つだけでもよい。つまり、水平面画像５００は生成しなくてもよく、水平面画像５００上の座標位置の算出だけを行ってもよい。また、水平面画像５００に近い構図（俯瞰等）で撮像すれば、必ずしもＳ２０３の処理を行わなくてもよい。この場合は撮像した画像上の距離を用いて単独作業者か共同作業者かを判断できる。また、水平面画像５００の生成方法はその他の種々の方法を用いてもよい。

次に、制御部１２１は、検出された人物のリストを作成する（Ｓ２０３）。このとき、制御部１２１は、リスト内の各ノードには水平面画像上における、検出された人物の代表点の座標を格納する。
次にＳ２０４〜Ｓ２０９で、制御部１２１は、作成したリストを走査しながら注目している人物が単独作業者か共同作業者かを判断し、撮像画像中の各人物に単独作業者を表すパターン、又は共同作業者を表すパターンを重畳する。処理の流れは以下の通りである。
（処理１）．制御部１２１は、作成したリストの先頭の人物を処理対象とする（Ｓ２０４）。
（処理２）．制御部１２１は、注目している人物が単独作業者かどうかを判断する（Ｓ２０５）。
本実施形態では、制御部１２１は、注目している人物の水平面画像上の座標を中心として、半径Ｒ以内に検出された人物が存在するかを判断する。制御部１２１は、人物が存在する場合は共同作業者であると判断し、（処理３−１）へ進む。また、制御部１２１は、人物が存在しない場合は注目している人物は単独作業者であると判断し、（処理３−２）へ進む。つまり、制御部１２１は、注目している人物の水平面画像上の座標を中心として、半径Ｒ以内に検出された人物が存在する場合は、注目している人物と検出された人物とが関連付けられて、共同作業者であると判定する。このように、制御部１２１は関連付け部としての機能を有している。なお、半径Ｒは予め設定された設定値である。この半径Ｒは本実施形態が適用される状況に応じて適宜設定すればよい。例えば、室内での作業を監視する場合、半径Ｒは２ｍに相当する距離とすることができる。
（処理３−１）．制御部１２１は、撮像画像、及び水平面画像上における、注目している人物、注目している人物の半径Ｒ以内に存在する人物に対して、共同作業者を表すパターンを重畳する（Ｓ２０６）。
（処理３−２）．制御部１２１は、撮像画像、及び水平面画像上における、注目している人物に対して、単独作業者を表すパターンを重畳する（Ｓ２０７）。
（処理４）．制御部１２１は、リストの末尾の人物を処理対象としているか否かを判断する（Ｓ２０８）。
リストの末尾の人物を処理対処としていない場合、制御部１２１は、次の人物を処理対象とし、（処理２）へ戻る（Ｓ２０９）。一方、リストの末尾の人物を処理対象としている場合、制御部１２１は、各人物に単独作業者を表すパターン、又は共同作業者を表すパターンを重畳する処理を終了し、Ｓ２１０へ進む。

ここで、単独作業者か、共同作業者かを判断する処理は、上述した処理に限られない。例えば、制御部１２１は、撮像画像から検出された人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付けて共同作業者であると判定するようにしてもよい。例えば制御部１２１は、撮像画像の所定のオブジェクト、例えば作業台等、から所定の範囲の位置にいる人物同士を関連付けるようにしてもよいし、人物の顔の向き（又は目線）を推定し、顔の向き（又は目線）が交差する人物同士を関連付けるようにしてもよい。また、例えば制御部１２１は、人物間の距離が所定の距離以内の人物同士を関連付けるようにしてもよい。そして、制御部１２１は、他の人物と関連付けられる人物同士を共同作業者、他の人物と関連付けられない人物を単独作業者と判断するようにしてもよい。また、制御部１２１は、更に、人物の制服、又はビブス（ベスト状の衣服）、又は帽子の色、又は形状に基づき、人物同士を関連付けるようにしてもよい。例えば、制御部１２１は、人物間の距離が所定の距離以内の人物の内、制服の形状が同じ人物同士を関連付け、人物間の距離が所定の距離以内の人物であっても、制服の形状が異なる人物同士は関連付けないようにしてもよい。

図７は撮像画像３００に対し本システムを適用し、パターンを重畳した撮像画像６００の一例を示す図である。図７において実線の楕円６０１〜６０４は共同作業者を表すパターンを表し、二重線の楕円６０５は単独者業者を表すパターンを表す。
本実施形態では、共同作業者を表すパターンとして、実線の楕円を用いた。また、単独作業者を表すパターンとして、二重線の楕円を用いた。しかしながらこの限りではなく、線の色によって共同作業者と単独者業者を分けてもよい。また、共同作業者、単独作業者を実線の楕円で囲み、共同作業者のペアとなる楕円同士を線で結んでもよく、共同作業者のペアとなる人物のグループを大きな丸で囲んでもよい。また、作業者同士を楕円で囲まずに線で結ぶだけでもよい。
また、各共同作業者のグループは同じパターンである必要はなく、同様に複数の単独作業者は同じパターンである必要はない。共同作業者の各グループ、又は各単独作業者毎に異なるパターンを適用してもよい。例えば、本実施形態において、制御部１２１は、共同作業を表す楕円６０１、６０２を赤色の楕円とし、共同作業を表す楕円６０３、６０４を青色の楕円とし、単独作業者を表す楕円６０５を緑色の楕円としてもよい。
また、本実施形態では共同作業者、及び単独作業者を表すパターンとして楕円を用いたがこの限りではない。例えば共同作業者を四角で表現し、単独作業者を三角で表現してもよい。
また、単独作業者と共同作業者を判別する数字や文字列を添えてもよい。例えば、制御部１２１は、撮像画像上の単独作業者と判断された人物の位置の近くに「単独作業者１」と重畳し、共同作業者と判断された複数の人物を丸で囲み、丸の近くに「共同作業者１」と重畳してもよい。制御部１２１は、単独作業者及び共同作業者のグループが複数ある場合には、各単語の後ろの数値を変えて重畳してもよい。
また、単独作業者にのみに注目するのであれば、制御部１２１は、共同作業者を表すパターンを重畳しないようにしてもよい、重畳しても非表示とするようにしてもよい。

図８は、水平面画像５００に対し本システムを適用し、共同作業者及び単独作業者を表すパターンを重畳した水平面画像７００の一例を示す図である。図８において実線の円７０１〜７０４は共同作業者を表すパターンを表し、二重線の円７０５は単独者業者を表すパターンを表す。水平面画像においても、撮像画像と同様に、単独作業者を表すパターン、及び共同作業者を表すパターンは線の種類による違いに限らなくてもよい。即ち、単独作業者を表すパターン、及び共同作業者を表すパターンは、色分けでもよいし、図形の種類による違い、数値による違い、文字列による違いであってもよい。また、作業者同士を示す指標（図８では円７０１〜７０４）同士を線で結ぶようにしてもよい。

次に制御部１２１は、表示制御部１２５を制御し、画像にパターンを重畳した処理結果を表示する表示処理を表示装置１４０に実行させる（Ｓ２１０）。本実施形態では、単独作業者を表すパターン、及び共同作業者を表すパターンを重畳した撮像画像６００、及び水平面画像７００を表示装置１４０へ表示する。
しかしながらこの限りではなく、制御部１２１は、パターンを重畳した撮像画像６００のみを表示装置１４０に表示させてもよいし、パターンを重畳した水平面画像７００のみを表示装置１４０に表示させてもよい。
また、制御部１２１は、撮像画像６００と、水平面画像７００との対応付けを行ってもよい。例えば、制御部１２１は、撮像画像６００中の人物と、その人物を水平面画像７００上へ座標変換した位置とにそれぞれに同じ番号を振ってもよいし、文字列を添えてもよい。また、制御部１２１は、水平面画像７００中の人物の位置を、入力装置１３０を用いてユーザーに指定させることで、指定された座標に対応する撮像画像６００中のパターンを強調表示するよう制御してもよい。強調表示の方法としては、パターンの線を太くしてもよいし、線の色を変えてもよい。
また、本実施形態では、制御部１２１は、撮像画像６００、及び水平面画像７００にパターンを重畳した画像を作り、表示装置１４０に表示させるよう制御したが、これに限定されるものではない。制御部１２１は、表示制御部１２５を制御し、単独作業者を表すパターン、及び共同作業者を表すパターンの画像と、撮像画像６００、及び水平面画像７００とを、表示装置１４０で重畳させ、表示するようにしてもよい。

また、本実施形態では、１台のクライアント装置で人物等を検出して表示する例を示したが、複数のクライアント装置で処理を行うようにしてもよい。例えば、映像が入力され、単独作業等を検知し、通知するための第１のクライアント装置と、前記通知を受けて警報を出力したり、重畳表示を行ったりする第２のクライアント装置と、で処理を行うようにしてもよい。第１のクライアント装置の一例は、ＶＣＡ（Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ Ａｎａｌｙｓｉｓ）装置である。第２のクライアント装置の一例は、ＶＭＳ（Ｖｉｄｅｏ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）装置である。第１のクライアント装置と、第２のクライアント装置とのハードウェア構成は、図１のクライアント装置１２０のハードウェア構成と同様である。それぞれのクライアント装置のＣＰＵがそれぞれのクライアント装置のメモリに記憶されているプログラムに基づき処理を実行することによりそれぞれのクライアント装置の機能が実現される。

以上、本実施形態の処理によれば、クライアント装置１２０は、画像から人物を検出し、検出した人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付けることができる。そして、クライアント装置１２０は、他の人物と関連付けられる人物と、他の人物と関連付けられない人物とを識別可能な表示処理を表示装置に実行させることができる。その結果、画像中の人物が、単独か複数かを適切に提示することができる。

＜実施形態２＞
実施形態１では、人物が単独作業者か共同作業者かを判断するために水平面画像上の座標間の距離等を用いた。また、単独作業者、又は共同作業者を表すパターンを、撮像画像上、又は水平面画像上に表示した。しかしながらこの限りではない。本実施形態では、単独作業者か共同作業者かを判断する際、及び単独作業者、又は共同作業者を表すパターンを表示する際に、検知領域を利用する場合について説明する。
本実施形態では、実施形態１と同様の箇所は説明を省略し、実施形態１と異なる箇所について主に説明を行う。
本実施形態では、制御部１２１は、検知領域を用いて注目している人物が単独作業者かどうかを判断する（Ｓ２０５）。例えば、制御部１２１は、入力装置１３０等を介したユーザー入力に基づき、撮像画像、及び水平面画像上に複数の検知領域を設定する。このとき、Ｓ２０５で、制御部１２１は、処理対象の人物が存在する検知領域内に他の人物が存在する場合、処理対象の人物を共同作業者であると判断する。一方、制御部１２１は、領域内に他の人物が存在しない場合、処理対象の人物を単独作業者であると判断する。
その後、制御部１２１は、共同作業者が存在する検知領域には共同作業者が存在する事を表すパターンを重畳し、単独作業者が存在する検知領域には単独作業者が存在する事を表すパターンを重畳する。

上述した処理について図９、及び図１０を用いて説明する。図９は、検知領域を設定した撮像画像８００の一例を示す図である。また、図１０は、検知領域を設定した水平面画像９００の一例を示す図である。検知領域８０１〜８０６、及び９０１〜９０６は共同作業者のグループが存在するであろう領域を表す。図９、１０に示す例では、検知領域８０１、８０５、９０１、９０５内には複数の人物が検出される。このとき、本実施形態における単独作業者か否かの判断を行うと、検知領域８０１、８０５、９０１、９０５内に存在する人物は共同作業者であると判断される。一方、検知領域８０３、９０３には人物が一人のみ検出される。このとき、本実施形態の制御部１２１が単独作業者か否かの判断を行うと、検知領域８０３、９０３内に存在する人物は単独作業者であると判断する。また、上記の判断を行った結果、制御部１２１は、検知領域８０１、８０５、９０１、９０５の境界線を実線で表現し、検知領域８０３、９０３の境界線を二重線で表すように表示装置１４０の表示処理を制御する。このことにより、各検知領域に存在する人物が単独作業者かそれとも共同作業者かを表現することができる。
本実施形態では、検知領域の境界線を実線、又は二重線に変化させることにより各検知領域に存在する人物が単独作業者かそれとも共同作業者かを表現するがこの限りではない。単独作業者を表すパターン、及び共同作業者を表すパターンは線の種類による違いに限らなくてもよい。色で分けてもよいし、図形を変えてもよい。
本実施形態では、制御部１２１は、検知領域を設定する例を用いて説明を行った。制御部１２１は、単独作業を検知したときに、単独作業を検知した際の検知領域を映像に重畳して表示装置１４０に表示させるようにしてもよい。また、制御部１２１は、全ての検知領域を映像に重畳して表示させておき、単独作業が行われた場合に、単独作業が行われた検知領域を他の検知領域と異なる色に変える、点滅表示にする等、明示、又は強調的に表示するようにしてもよい。このようにすることにより、作業監視員は視認性よく、映像中の人物が、単独か複数かを把握することができる。
また、撮像画像における人物に対応する領域を切出した切出し画像を表示するようにしてもよい。そして、単独作業者に対応する切出し画像と、複数作業者に対応する切出し画像とを識別可能に表示するようにしてもよい。例えば、切出し画像を枠で囲み、単独作業者に対応する切出し画像と、複数作業者に対応する切出し画像とで、その枠の色を変えるようにしてもよい。人物に対応する領域のみを切り出せば、監視し易くなる。また、複数の撮像装置を用いた場合は、単一の人物が複数の撮像装置で撮像されることがある。そのときは、いずれかの撮像部で撮像された撮像画像のみを表示させるようにすると、監視し易くなる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。撮像装置１１０の機能構成は、ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することにより実現されるソフトウェア構成として撮像装置に実装されてもよい。また、撮像装置１１０の機能構成の一部又は全てはハードウェア構成として撮像装置１１０に実装されてもよい。同様に、クライアント装置１２０の機能構成はＣＰＵ２２がメモリ２１に記憶されたプログラムに基づき処理を実行することにより実現されるソフトウェア構成としてクライアント装置１２０に実装されてもよい。また、クライアント装置１２０の機能構成の一部又は全てはハードウェア構成としてクライアント装置１２０に実装されてもよい。
また、人物に重畳表示するパターンの画像は、任意に組み合わせてもよい。即ち、実線の楕円、二重線の楕円で共同作業者と、単独者業者とを識別すると共に、更に色分けで両者を識別してもよいし、更に、単独作業者、共同作業者等の文字列を表示させるようにしてもよい。
また、上述したクライアント装置や撮像装置のハードウェア構成は一例であり、例えば、ＣＰＵやメモリ、通信Ｉ／Ｆ等は複数有していてもよい。

以上、上述した各実施形態の処理によれば、画像中の人物が、単独か複数かを適切に提示することができる。

２１ メモリ
２２ ＣＰＵ
１２０ クライアント装置
１４０ 表示装置

Claims (9)

1. 画像から人物を検出する検出手段と、
   前記検出手段によって検出される人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付ける関連付け手段と、
   前記関連付け手段によって他の人物と関連付けられる人物と、前記関連付け手段によって他の人物と関連付けられない人物とを識別可能な表示処理を表示装置に実行させる表示制御手段と、
   を有することを特徴とする表示制御装置。
2. 前記識別可能な表示処理は、人物に重畳表示する線の種類による違い、色分け、図形の種類による違い、数値による違い、及び文字列による違い、の内の少なくとも何れかで前記関連付け手段によって他の人物と関連付けられる人物と、前記関連付け手段によって他の人物と関連付けられない人物とを識別させる表示処理であることを特徴とする請求項１に記載の表示制御装置。
3. 撮像装置より画像を取得する取得手段を更に有し、
   前記検出手段は、前記取得手段により取得された前記画像から人物を検出することを特徴とする請求項１又は２に記載の表示制御装置。
4. 前記画像は動画像であることを特徴とする請求項１乃至３の何れか１項に記載の表示制御装置。
5. 前記検出手段は、人物の特徴量に基づき前記画像から人物を検出することを特徴とする請求項１乃至４の何れか１項に記載の表示制御装置。
6. 前記検出手段は、更に、人物が身につけている物の特徴量に基づき前記画像から人物を検出することを特徴とする請求項５に記載の表示制御装置。
7. 前記人物が身につけている物は、制服、ビブス、及び帽子の内の少なくとも何れかであることを特徴とする請求項６に記載の表示制御装置。
8. 表示制御装置が実行する表示制御方法であって、
   画像から人物を検出する検出工程と、
   前記検出工程によって検出される人物の位置、人物の顔の向き、及び人物間の距離、の内の少なくとも何れかに基づいて、人物同士を関連付ける関連付け工程と、
   前記関連付け工程によって他の人物と関連付けられる人物と、前記関連付け工程によって他の人物と関連付けられない人物とを識別可能な表示処理を表示装置に実行させる表示制御工程と、
   を含むことを特徴とする表示制御方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の表示制御装置の各手段として機能させるためのプログラム。

Images