JP2018084951A - 行動解析装置及び行動解析方法 - Google Patents

Abstract

【課題】カメラで取得した画像を用いた行動解析技術において、取得画像からの人物のフレームアウト防止技術を提供する。
【解決手段】所定の画角で人物を含む撮影画像を取得する画像取得部と、撮影画像から動体である人物の存在する領域である人物画像領域を抽出する人物画像抽出部と、人物画像領域から人物骨格を検出する人物骨格検出部と、人物骨格から人物行動を解析する人物行動解析部と、を有している行動解析装置１００において、人物画像領域と、人物骨格と、のいずれかを用いて、所定の画角外への人物のフレームアウトの発生状態あるいはフレームアウトが予知される状態にあるか否かフレームアウトを判定するフレームアウト判定部と、フレームアウトの発生が有るか、フレームアウトの予知が有る場合に、判定を人物に通知するフレームアウト通知部と、を備える。
【選択図】図１

Description

本発明は、行動解析装置及び行動解析方法に関する。

本技術分野の背景技術として、特開平０９−２５１５４２号公報(特許文献1)がある。この公報には、段落[０００５]に、「本発明は、操作人物の位置状態や動作状態などを自動的に把握し、操作人物の位置状態や動作状態などに応じて、ユーザフレンドリな操作方法の案内や誤りの忠告などを行なうことが可能となる人物動作解析方式を提供する」こと、段落［０００８］に、「人物の操作により複数のステップからなる所定の処理を順次行なう機器を操作する人物の上半身を含む画像を連続的に入力する画像入力手段と、・・・、操作人物の位置状態と動作状態を解析する解析手段と、この解析手段の解析結果と前記機器から得られる実際の処理状態とから、操作人物が正規の処理手順とは異なる処理動作をし、そのまま立ち去ったことを検知する処理誤り検知手段と、この処理誤り検知手段が人物が立ち去ったことを検知したとき、処理未完了である旨を案内する案内手段と、前記処理誤り検知手段が人物が立ち去ったことを検知したとき、人物が立ち去った方向と再び人物が接近してきた方向を検知し、両方向を比較することにより同一人物であるか否かを判断して、その判断結果に応じた案内を行なうよう前記案内手段を制御する制御手段とを具備している。」と記載がある。

特開平０９−２５１５４２号公報

上記特許文献１に記載された技術では、現金自動入出金装置や券売機などの社会システム機器において、カメラ画像等で解析した操作人物の状態と操作内容に応じて、操作誤りの忠告を行うことを想定されている。しかし、特許文献１に記載された技術では、製造現場等の作業者の行動解析装置等に関して、カメラ設置制約がある環境において取得画像からの人物のフレームアウト防止に関する考慮はなされていない。そのため、カメラを介した取得画像からの被写人物のフレームアウト発生による人物姿勢検出あるいは行動解析の精度が低下してしまうおそれがある。

本発明の課題は、カメラで取得した画像を用いた行動解析技術において、取得画像からの人物のフレームアウト防止技術を提供することである。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る行動解析装置は、所定の画角で人物を含む撮影画像を取得する画像取得部と、上記撮影画像から動体である人物の存在する領域である人物画像領域を抽出する人物画像抽出部と、上記人物画像領域から人物骨格を検出する人物骨格検出部と、上記人物骨格から人物行動を解析する人物行動解析部と、を有している行動解析装置であって、上記人物画像領域と、上記人物骨格と、のいずれかを用いて、上記所定の画角外への上記人物のフレームアウトの発生状態あるいはフレームアウトが予知される状態にあるか否かフレームアウトを判定するフレームアウト判定部と、上記フレームアウトの発生が有るか、上記フレームアウトの予知が有る場合に、上記判定を上記人物に通知するフレームアウト通知部と、を備える。

本発明によれば、カメラ取得画像を用いた行動解析技術において、カメラ取得画像外への人物のフレームアウト防止技術を提供できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第一の実施形態に係る行動解析システムの構成を示す図である。 第一の実施形態に係る行動解析装置のハードウェア構成を示す図である。 撮影処理の動作フローを示す図である。 第一の実施形態に係る人物画像のフレームアウト発生の判定例を示す図である。 第一の実施形態に係る人物画像のフレームアウト予知の判定例を示す図である。 第一の実施形態に係る人物画像のフレームアウト予知の別の判定例を示す図である。 第一の実施形態に係る人物骨格のフレームアウト発生の判定例を示す図である。 第一の実施形態に係る人物骨格のフレームアウト予知の判定例を示す図である。 第一の実施形態に係る人物骨格のフレームアウト予知の別の判定例を示す図である。

以下、本発明に係る一つの実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

一般に、カメラを用いて製造現場の作業者の行動解析を行う装置では、コストパフォーマンスの関係から、カメラ設置に際して様々な制約がある。その制約とは、例えば、（１）設置コスト低減のため、設置数は１［個／人］となる、（２）現場機材等映り込みのない設置位置の自由度確保のため、カメラ向きは真下となる、（３）現場天井より低い位置にしか設置できないため、カメラ高さは２．５［ｍ］程度の場合が有る、（４）カメラコスト低減のため、視野角７０度程度の普及品のカメラが採用されることが多い、等が考えられる。

このようなカメラ設置の制約により、カメラ視野内の作業動作中の作業者全体を映像上に留めるためのクリアランスが小さくなる場合があり、正常作業であっても、作業者の作業位置や腕動作の小さなズレで、カメラ画角からの人物のフレームアウトが発生してしまう場合がある。

図１は、第一の実施形態に係る行動解析システムの構成を示す図である。行動解析システム１０は、撮像装置１Ａおよび撮像装置１Ｂ（以降、撮像装置１Ａと撮像装置１Ｂとを特別に区別しない場合には撮像装置１と表記）と、出力装置２Ａおよび出力装置２Ｂ（以降、出力装置２Ａと出力装置２Ｂとを特別に区別しない場合には出力装置２と表記）と、行動解析装置１００と、を含んで構成される。

なお、撮像装置１、出力装置２、行動解析装置１００は、それぞれネットワーク３を介して通信可能に接続され、行動解析装置１００と撮像装置１、行動解析装置１００と出力装置２は、互いに通信を行うことができる。また、撮像装置１、出力装置２は、それぞれ２台が図示されているが、これに限られず、それぞれ１台あるいは複数台あってもよい。

ネットワーク３は、例えば、インターネット等の公衆網やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｏｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｏｗｏｒｋ）である。さらに、ネットワーク３は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の他の一般的な通信手段でもよい。

撮像装置１は、距離画像カメラやステレオカメラ等であって、望ましくは画素ごとに深度（被写体までの距離）の情報を有する撮影画像を取得する。そして、撮像装置１は、取得した撮影画像を行動解析装置１００へ送信する。

出力装置２は、作業者単位に割り当てられたディスプレイ装置、ディスプレイ機能を有するヘッドセット、またはディスプレイに限られず前後左右が区別可能に配置された複数のランプ、音声出力を行うスピーカー等である。出力装置２は、行動解析装置１００からの出力指示を受け付けて、出力を行う。出力指示が音声出力指示である場合には、出力装置２はディスプレイ装置、ヘッドセット、あるいはスピーカーから音声を出力し、出力指示が表示出力指示である場合には、出力装置２はディスプレイ装置、ヘッドセットから映像情報を出力する。出力指示がランプの点灯指示である場合には、出力装置２はランプを当該点灯指示に従った方向を示すように表示する。

行動解析装置１００は、例えば、物理的なコンピュータハードウェアであるサーバ計算機である。行動解析装置１００は、撮像装置１、出力装置２と通信可能に接続されており、撮像装置１から撮影画像を取得し、出力装置２に対しては出力情報を送信可能である。

行動解析装置１００は、制御部１１０と、記憶部１２０と、通信部１３０と、出力制御部１４０と、を備える。制御部１１０には、画像取得部１１１と、人物画像抽出部１１２と、人物骨格検出部１１３と、フレームアウト判定部１１４と、通知部１１５と、人物行動解析部１１６と、が含まれる。記憶部１２０には、所定のデータ構造を有する複数の静止画から成る動画を記憶する映像記憶部１２１が含まれる。

画像取得部１１１は、所定の画角を有して作業者等の人物を含む撮影画像を取得する。具体的には、画像取得部１１１は、撮像装置１から撮影画像を受信することで、撮影画像を取得する。しかしこれに限られず、画像取得部１１１は、他のサーバー装置等からネットワークを介してストリーム形式で動画を取得するものであってもよい。

人物画像抽出部１１２は、撮影画像から、背景と区別して、動体である人物の存在する領域である人物画像領域を抽出する。

人物骨格検出部１１３は、人物画像を用いて、人物の姿勢を示す人物骨格を検出する。

フレームアウト判定部１１４は、人物画像領域または人物骨格のいずれかまたは両方を用いて、所定の画角外への人物のフレームアウトが発生する状態にあるか否か、あるいはフレームアウトが予知される状態にあるか否か、フレームアウトを判定する。

通知部１１５は、フレームアウトが発生する状態にある場合、あるいはフレームアウトが予知される状態に有る場合に、フレームアウトあるいは予知の情報を作業者等の人物に通知するために所定の警告や注意喚起の表示および音声を出力する。

人物行動解析部１１６は、人物骨格を用いて、人物の行動を解析する。

画像取得部１１１、人物画像抽出部１１２、人物骨格検出部１１３、人物行動解析部１１６は、公知の技術的特徴を備える処理部であり、本実施形態特有の処理特徴を有するものではないため、それぞれの処理の詳細についての説明は省略する。概要を説明すると、画像取得部１１１は、距離画像カメラやステレオカメラ等で構成した距離画像を取得するものである。人物画像抽出部１１２は、距離画像の時間的遷移に対する動体抽出手段等で構成した人物画像を取得するものである。人物骨格検出部１１３は、人物の距離画像の機械学習手段等で構成した人物の骨格を検出するものである。人物行動解析部１１６は、人物骨格の時間的遷移の機械学習手段等で構成した人物の行動を解析する。

また、映像記憶部１２１は、例えば、複数の静止画を時間的遷移に沿って再生順を定められた動画や、その他インターレース等の所定の形式で記録された動画を所定のファイル形式で記憶管理する。

通信部１３０は、撮像装置１、出力装置２のそれぞれとネットワーク３を介してデジタルデータを通信する。

出力制御部１４０は、出力装置２に対して出力の種類（表示あるいは音声またはその両方）に応じて出力を制御する。

上述のように、本実施形態においては、撮像装置１、出力装置２、行動解析装置１００がそれぞれ独立した別の装置として構成されているが、一つの物理的なコンピュータハードウェアである計算機に各装置の機能が実装されていても良いことは言うまでもない。

図２は、行動解析装置１００のハードウェア構成を示す図である。行動解析装置１００は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信装置１０１と、メモリ等の主記憶装置１０２と、キーボードやマウス等の入力装置１０３と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置１０４と、ハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の外部記憶装置１０５と、ディスプレイやスピーカー等への出力を制御する出力制御装置１０６と、これらをつなぐバス１０７と、を含んで構成される。

通信装置１０１は、ネットワークケーブルを介して有線通信を行う有線の通信装置、又はアンテナを介して無線通信を行う無線通信装置である。通信装置１０１は、ネットワーク３に接続される他の装置との通信を行う。

主記憶装置１０２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリである。

入力装置１０３は、キーボードやマウス等のポインティングデバイス、タッチパネル、あるいは音声入力装置であるマイク等を含む入力情報を受け付ける装置である。

外部記憶装置１０５は、デジタル情報を記憶可能な、いわゆるハードディスクやＳＳＤ、あるいはフラッシュメモリなどの不揮発性記憶装置である。

上記した画像取得部１１１と、人物画像抽出部１１２と、人物骨格検出部１１３と、フレームアウト判定部１１４と、通知部１１５と、人物行動解析部１１６とは、演算装置１０４に処理を行わせるプログラムによって実現される。このプログラムは、主記憶装置１０２、または外部記憶装置１０５内に記憶され、実行にあたって主記憶装置１０２上にロードされ、演算装置１０４により実行される。

また、記憶部１２０に格納されるテーブルは、主記憶装置１０２及び外部記憶装置１０５により実現される。

また、インターネットやＬＡＮ等に通信可能に接続する通信部１３０は通信装置１０１により実現される。また、出力制御部１４０は、出力制御装置１０６により実現される。

以上が、本実施形態における行動解析装置１００のハードウェア構成例である。しかし、これに限らず、その他のハードウェアを用いて構成されるものであってもよい。例えば、インターネットを介して演算処理を分散処理する装置であってもよい。

なお、行動解析装置１００は、図示しないが、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、ミドルウェア、アプリケーションなどの公知の要素を有し、特にディスプレイなどの入出力装置にＧＵＩ画面を表示するための既存の処理機能を備える。

［動作の説明］次に、本実施形態における行動解析装置１００の動作を説明する。

図３は、撮影処理の動作フローを示す図である。撮影処理は、行動解析装置１００が撮像画像から所定の画像処理を行い、被写体のフレームアウトが発生した場合あるいは発生が予知される状態になった場合には、被写体に移動等の注意喚起を促す処理である。この撮影処理は、所定の時間ごと（例えば、５秒ごと）に開始され、直近の時間（例えば、５秒）に取得された撮影画像を対象として処理を行う。

まず、画像取得部１１１は、人物が写り込んだ撮影画像を取得する（ステップＳ００１）。

そして、人物画像抽出部１１２は、撮影画像から人物画像の領域を抽出する（ステップＳ００２）。

そして、人物骨格検出部１１３は、人物画像から人物骨格を特定する（ステップＳ００３）。

そして、人物行動解析部１１６は、人物骨格から人物行動を解析する（ステップＳ００４）。

次に、フレームアウト判定部１１４は、人物がフレームアウトするおそれがあるか否かを判定する（ステップＳ００５）。フレームアウトのおそれが無い場合（ステップＳ００５にて「Ｎｏ」の場合）には、フレームアウト判定部１１４は、撮影処理を終了させる。

フレームアウトのおそれがある場合（ステップＳ００５にて「Ｙｅｓ」の場合）には、通知部１１５は、フレームアウトの方向と、フレームアウト有りの旨を人物に通知する（ステップＳ００６）。そして、通知部１１５は、撮影処理を終了させる。

以上が、撮影処理の動作フローである。撮影処理によれば、カメラで取得した画像を用いた行動解析技術において、取得画像からの人物のフレームアウトを防止することができる。

上記の撮影処理のステップＳ００５において、フレームアウト判定部１１４は、人物のフレームアウトのおそれを判定していたが、これにはいくつかの実施例を想定することができる。その実施例について述べるが、これに限られるものではなく、他の実施例であってもよいことは言うまでもない。

図４は、第一の実施形態に係る人物画像のフレームアウト発生の判定例を示す図である。第一の実施形態に係る人物画像のフレームアウト発生の判定においては、フレームアウト判定部１１４は、フレームアウト判定の処理内容として、人物画像が撮影画像２１０の最外郭の画素に存在する場合に、フレームアウトの発生があると判定する。また、この場合に、通知部１１５は、「左フレームアウト発生有り、直ちに正規の位置へ移動下さい」のように、撮像画像に対してフレームアウトが検出された画素が配された方向に基づいて、フレームアウトの方向と、フレームアウト発生の事実、および改善のための行動を通知する。

ここで、図４の例においては、撮影画像２１０は、四角形で表された１画素が横方向３２画素、縦方向に２４画素分並んだものであり、「×」表記のある画素は、撮影画像２１０の最外郭の画素を示すものである。また、人物画像２２０Ａ、２２０Ｂは、人物の真上からみた撮影画像から人物画像を抽出したものであり、色の濃さは、撮影位置からの距離の大きさ（深度）を模擬しているものとする。なお、撮影画像２１０内の画素数は、横方向３２画素、縦方向２４画素に限るものでないことは明らかである。例えば、横方向に６４０画素、縦方向に４８０画素等であってもよい。

ここで、人物画像２２０Ａおよび人物画像２２０Ｂは、いずれも最外郭の画素に左肘が写り込んでいるため、最外郭の画素に人物画像が存在し、フレームアウト発生と判定される。

図５は、第一の実施形態に係る人物画像のフレームアウト予知の判定例を示す図である。第一の実施形態に係る人物画像のフレームアウト予知の判定においては、フレームアウト判定部１１４は、フレームアウト判定の処理内容として、人物画像が撮影画像３１０の最外郭から所定の距離にある画素に存在する場合に、フレームアウトが予知される状態に有ると判定する。また、この場合に、通知部１１５は、「左フレームアウト予知有り、正規の位置を意識して下さい」のように、撮像画像に対してフレームアウトが予知される状態が検出された画素が配された方向に基づいて、フレームアウトの方向と、フレームアウト予知、および改善のための行動を通知する。

ここで、図５の例においては、撮影画像３１０は、四角形で表された１画素が横方向３２画素、縦方向に２４画素分並んだものであり、「×」表記のある画素は、撮影画像３１０の最外郭の画素を示すものである。また、斜線表記のある画素は、撮影画像３１０の最外郭から内側に向かって所定の距離にある画素を示すものである。また、人物画像３２０Ａ、３２０Ｂは、人物の真上からみた撮影画像から人物画像を抽出したものであり、色の濃さは、撮影位置からの距離の大きさ（深度）を模擬しているものとする。なお、撮影画像３１０内の画素数は、横方向３２画素、縦方向２４画素に限るものでないことは明らかである。例えば、横方向に６４０画素、縦方向に４８０画素等であってもよい。

ここで、人物画像３２０Ａおよび人物画像３２０Ｂは、いずれも最外郭から内側に向かって所定の距離にある画素に左肘が写り込んでいるため、最外郭から内側に向かって所定の距離にある画素に人物画像が存在し、フレームアウト発生が予知される状態にあると判定される。

図６は、第一の実施形態に係る人物画像のフレームアウト予知の別の判定例を示す図である。第一の実施形態に係る人物画像のフレームアウト予知の別の判定においては、フレームアウト判定部１１４は、フレームアウト判定の処理内容として、人物画像の重心位置４３０が撮影画像４１０の中心付近にある所定の領域（例えば、撮影画像４１０の中心画素を中心とする横方向８画素、縦方向６画素の矩形）の画素に存在しない場合に、フレームアウトが予知される状態に有ると判定する。また、この場合に、通知部１１５は、「左フレームアウト予知有り、正規の位置を意識して下さい」のように、撮像画像に対してフレームアウトが予知される状態が検出された画素が配された方向に基づいて、フレームアウトの方向と、フレームアウト予知、および改善のための行動を通知する。

ここで、図６の例においては、撮影画像４１０は、四角形で表された１画素が横方向３２画素、縦方向に２４画素分並んだものであり、「×」表記のある画素は、撮影画像４１０の最外郭の画素を示すものである。また、斜線表記のある画素は、撮影画像４１０の中心付近の所定の領域にある画素を示すものである。また、人物画像４２０は、人物の真上からみた撮影画像から人物画像を抽出したものであり、色の濃さは、撮影位置からの距離の大きさ（深度）を模擬しているものとする。なお、撮影画像４１０内の画素数は、横方向３２画素、縦方向２４画素に限るものでないことは明らかである。例えば、横方向に６４０画素、縦方向に４８０画素等であってもよい。

ここで、人物画像４２０は、撮影画像４１０の中心付近の所定の領域にある画素に人物画像４２０の重心位置４３０が写り込んでいないため、フレームアウト発生が予知される状態にあると判定される。

図７は、第一の実施形態に係る人物骨格のフレームアウト発生の判定例を示す図である。第一の実施形態に係る人物骨格のフレームアウト発生の判定においては、フレームアウト判定部１１４は、フレームアウト判定の処理内容として、人物骨格が撮影画像５１０の最外郭の画素に存在する場合に、フレームアウトの発生があると判定する。また、この場合に、通知部１１５は、「左フレームアウト発生有り、直ちに正規の位置へ移動下さい」のように、撮像画像に対してフレームアウトが検出された画素が配された方向に基づいて、フレームアウトの方向と、フレームアウト発生の事実、および改善のための行動を通知する。

ここで、図７の例においては、撮影画像５１０は、四角形で表された１画素が横方向３２画素、縦方向に２４画素分並んだものであり、「×」表記のある画素は、撮影画像５１０の最外郭の画素を示すものである。また、人物画像５２０Ａ、５２０Ｂは、人物の真上からみた撮影画像から人物画像を抽出したものであり、色の濃さは、撮影位置からの距離の大きさ（深度）を模擬しているものとする。また、人物骨格５４０Ａ、５４０Ｂは、それぞれ人物画像５２０Ａ、５２０Ｂを用いて所定のアルゴリズムで推定された人物骨格を、関節を繋ぐエッジ（直線）と関節を示すノード（点）で示すことで、骨格の形状を示す情報である。なお、撮影画像５１０内の画素数は、横方向３２画素、縦方向２４画素に限るものでないことは明らかである。例えば、横方向に６４０画素、縦方向に４８０画素等であってもよい。

ここで、撮影画像５１０は、いずれも最外郭の画素に人物骨格の一部となる左肘が写り込んでいるため、最外郭の画素に人物画像が存在し、フレームアウト発生と判定される。

図８は、第一の実施形態に係る人物骨格のフレームアウト予知の判定例を示す図である。第一の実施形態に係る人物骨格のフレームアウト予知の判定においては、フレームアウト判定部１１４は、フレームアウト判定の処理内容として、人物画像が撮影画像６１０の最外郭から所定の距離にある画素に存在する場合に、フレームアウトが予知される状態に有ると判定する。また、この場合に、通知部１１５は、「左フレームアウト予知有り、正規の位置を意識して下さい」のように、撮像画像に対してフレームアウトが予知される状態が検出された画素が配された方向に基づいて、フレームアウトの方向と、フレームアウト予知、および改善のための行動を通知する。

ここで、図８の例においては、撮影画像６１０は、四角形で表された１画素が横方向３２画素、縦方向に２４画素分並んだものであり、「×」表記のある画素は、撮影画像６１０の最外郭の画素を示すものである。また、斜線表記のある画素は、撮影画像６１０の最外郭の内側に所定の距離にある画素を示すものである。また、人物画像６２０Ａ、６２０Ｂは、人物の真上からみた撮影画像から人物画像を抽出したものであり、色の濃さは、撮影位置からの距離の大きさ（深度）を模擬しているものとする。また、人物骨格６４０Ａ、６４０Ｂは、それぞれ人物画像６２０Ａ、６２０Ｂを用いて所定のアルゴリズムで推定された人物骨格を、関節を繋ぐエッジ（直線）と関節を示すノード（点）で示すことで、骨格の形状を示す情報である。なお、撮影画像６１０内の画素数は、横方向３２画素、縦方向２４画素に限るものでないことは明らかである。例えば、横方向に６４０画素、縦方向に４８０画素等であってもよい。

ここで、人物画像６２０Ａおよび人物画像６２０Ｂは、いずれも最外郭の内側に所定の距離にある画素に左肘が写り込んでいるため、最外郭から内側に向かって所定の距離にある画素に人物骨格が存在し、フレームアウト発生が予知される状態にあると判定される。

図９は、第一の実施形態に係る人物骨格のフレームアウト予知の別の判定例を示す図である。第一の実施形態に係る人物骨格のフレームアウト予知の別の判定においては、フレームアウト判定部１１４は、フレームアウト判定の処理内容として、人物骨格の重心位置７５０が撮影画像７１０の中心付近にある所定の領域（例えば、撮影画像７１０の中心画素を中心とする横方向８画素、縦方向６画素の矩形）の画素に存在しない場合に、フレームアウトが予知される状態に有ると判定する。また、この場合に、通知部１１５は、「左フレームアウト予知有り、正規の位置を意識して下さい」のように、撮像画像に対してフレームアウトが予知される状態が検出された画素が配された方向に基づいて、フレームアウトの方向と、フレームアウト予知、および改善のための行動を通知する。

ここで、図９の例においては、撮影画像７１０は、四角形で表された１画素が横方向３２画素、縦方向に２４画素分並んだものであり、「×」表記のある画素は、撮影画像７１０の最外郭の画素を示すものである。また、斜線表記のある画素は、撮影画像７１０の中心付近の所定の領域にある画素を示すものである。また、人物画像７２０は、人物の真上からみた撮影画像から人物画像を抽出したものであり、色の濃さは、撮影位置からの距離の大きさ（深度）を模擬しているものとする。また、人物骨格７４０は、人物画像７２０を用いて所定のアルゴリズムで推定された人物骨格を、関節を繋ぐエッジ（直線）と関節を示すノード（点）で示すことで、骨格の形状を示す情報である。なお、撮影画像７１０内の画素数は、横方向３２画素、縦方向２４画素に限るものでないことは明らかである。例えば、横方向に６４０画素、縦方向に４８０画素等であってもよい。

ここで、図９の例では、撮影画像７１０の中心付近の所定の領域にある画素に人物骨格７４０の重心位置７５０が写り込んでいないため、フレームアウト発生が予知される状態にあると判定される。

本実施形態に係る行動解析装置１００が奏する技術的効果の例は、以下のとおりであるが、これに限られず、技術的特徴により奏することが容易に想定される効果についても、奏することができることは言うまでもない。まず、カメラ画角外への人物のフレームアウト発生の予知を事前に対象人物へ通知できるので、人物のフレームアウト発生を防止することが可能となる。また、フレームアウトの発生も対象人物へ即座に通知できるため、フレームアウト発生を最小限に留めることが可能となる。これにより、人物骨格検出や人物行動解析の性能を向上できる。

以上、実施形態に係る行動解析装置１００について具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、フレームアウトの発生を判定する条件として、人物行動解析を行う上で重要とされる頭、腕、手等の人物骨格の一部あるいは全部が撮影画像に含まれない場合にフレームアウトが発生したと判定するようにしても良い。その場合、フレームアウト判定部１１４は、人物骨格あるいは人物画像に対して人体の部位認識を行い、頭、腕、手等の認識範囲を決定し、時系列に沿って当該部位ごとの一部あるいは全部が撮影画像から消失した際にフレームアウトが発生したと判定する。このようにすることで、人物行動解析に必要な画像情報を得られない可能性が高い場合に限り警告を行うことが可能となり、作業者に対する不要な警告を減らし、作業者に与えるストレスを軽減することができる。

また例えば、上記のフレームアウト判定部１１４は、人物画像の重心位置あるいは人物骨格の重心位置が、撮影画像の中心付近の所定の領域にある画素に写り込んでいない場合にフレームアウト発生が予知される状態にあると判定するものであったが、これに限られず、人物画像の中心位置あるいは人物骨格の中心位置（すなわち、人物画像あるいは人物骨格が含まれる矩形領域の対角線の中点となる中心位置）が撮影画像の中心付近の所定の領域にある画素に写り込んでいない場合にフレームアウト発生が予知される状態にあると判定するものであってもよい。このようにすることで、行動解析装置１００の演算に係る負荷を減らし、並列処理性能を高めることが可能となる。

また例えば、上記のフレームアウト判定部１１４と通知部１１５とは、フレームアウトの方向を特定して通知しているが、これに限られず、方向を特定せずに通知するようにしてもよい。このようにすることで、行動解析装置１００の演算に係る負荷を減らし、並列処理性能を高めることが可能となる。

また例えば、上記の実施形態においては、出力装置２は、ディスプレイを想定しているが、これの例として、装着者の視界の一部または全部を覆いつつ、装着者の視界を一定程度確保するために半透明のディスプレイを用いて、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）により現実の視界に重畳させるようにして通知を行うものとしてもよい。その際には、撮像装置１が得た画像に重畳させて、フレームアウトから復帰するための移動方向や移動量を直観的に示すベクトル等を表示するようにしてもよい。このようにすることで、作業者へより細やかな指針を与えることができる。

また例えば、上記の実施形態においては、撮像装置１は、作業者の頭上から鉛直方向下向きにカメラの画角が向けられていたが、これに限られず、例えば作業者の左右上方から斜め下向き、あるいは左右水平方向で作業者に向けられていてもよい。このようにすることで、作業者までの深度が所定の距離よりも近い場合、あるいは所定の距離よりも遠い場合に、作業者とカメラとの距離を適正に取るよう深度情報から算出して移動量を案内できるため、行動解析装置１００の演算に係る負荷を減らし、並列処理性能を高めることが可能となる。

なお、上記した実施形態では本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

また、上記した各構成、機能、処理部等は、それらの一部又は全部を、例えば別の装置で実行してネットワークを介して統合処理する等により分散システムで実現してもよい。

また、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。

以上、本発明について、実施形態を中心に説明した。

１Ａ，１Ｂ・・・撮像装置、２Ａ，２Ｂ・・・出力装置、３・・・ネットワーク、１０・・・行動解析システム、１００・・・行動解析装置、１１０・・・制御部、１１１・・・画像取得部、１１２・・・人物画像抽出部、１１３・・・人物骨格検出部、１１４・・・フレームアウト判定部、１１５・・・通知部、１１６・・・人物行動解析部、１２０・・・記憶部、１２１・・・映像記憶部、１３０・・・通信部、１４０・・・出力制御部

Claims (20)

1. 所定の画角で人物を含む撮影画像を取得する画像取得部と、
   前記撮影画像から動体である人物の存在する領域である人物画像領域を抽出する人物画像抽出部と、
   前記人物画像領域から人物骨格を検出する人物骨格検出部と、
   前記人物骨格から人物行動を解析する人物行動解析部と、
   を有している行動解析装置において、
   前記人物画像領域と、前記人物骨格と、のいずれかを用いて、前記所定の画角外への前記人物のフレームアウトの発生状態あるいはフレームアウトが予知される状態にあるか否かフレームアウトを判定するフレームアウト判定部と、
   前記フレームアウトの発生が有るか、前記フレームアウトの予知が有る場合に、前記判定を前記人物に通知するフレームアウト通知部と、
   を備えることを特徴とする行動解析装置。
2. 請求項１に記載の行動解析装置において、
   前記フレームアウト判定部は、前記人物画像領域の一部が前記撮影画像の最外郭に存在する場合に、フレームアウトの発生状態に有ると判定する、
   ことを特徴とする行動解析装置。
3. 請求項１に記載の行動解析装置において、
   前記フレームアウト判定部は、前記人物画像領域が前記撮影画像の最外郭に存在せず、かつ、前記人物画像領域の一部が前記撮影画像の最外郭から内側に向かって所定の範囲に存在する場合に、フレームアウトが予知される状態に有ると判定する、
   ことを特徴とする行動解析装置。
4. 請求項１に記載の行動解析装置において、
   前記フレームアウト判定部は、前記人物画像領域の重心が前記撮影画像の中心から所定の範囲内に存在しない場合に、フレームアウトが予知される状態に有ると判定する、
   ことを特徴とする行動解析装置。
5. 請求項１に記載の行動解析装置において、
   前記フレームアウト判定部は、前記人物骨格の一部が前記撮影画像の最外郭に存在する場合に、フレームアウトの発生状態に有ると判定する、
   ことを特徴とする行動解析装置。
6. 請求項１に記載の行動解析装置において、
   前記フレームアウト判定部は、前記人物骨格が前記撮影画像の最外郭に存在せず、かつ、前記人物骨格の一部が前記撮影画像の最外郭から内側に向かって所定の範囲に存在する場合に、フレームアウトが予知される状態に有ると判定する、
   ことを特徴とする行動解析装置。
7. 請求項１に記載の行動解析装置において、
   前記フレームアウト判定部は、前記人物骨格の重心が前記撮影画像の中心から所定の範囲内に存在しない場合に、フレームアウトが予知される状態に有ると判定する、
   ことを特徴とする行動解析装置。
8. 請求項１に記載の行動解析装置において、
   前記フレームアウト判定部は、前記人物骨格のうち行動解析に必要な人物骨格の一部が前記撮影画像内に存在しない場合に、フレームアウトが予知される状態に有ると判定する、
   ことを特徴とする行動解析装置。
9. 請求項１に記載の行動解析装置において、
   前記フレームアウト判定部は、前記所定の画角外への前記人物のフレームアウト方向を検出し、
   前記フレームアウト通知部は、前記フレームアウトの発生状態あるいはフレームアウトが予知される状態に有る場合に、前記フレームアウト方向を前記人物に通知する、
   ことを特徴とする行動解析装置。
10. 請求項１に記載の行動解析装置において、
    前記画像取得部は、画素ごとの深度を取得し、
    前記フレームアウト判定部は、さらに、前記深度が所定の範囲内に無い場合に前記人物のフレームアウトの発生状態にあるとの判定を行う、
    ことを特徴とする行動解析装置。
11. 制御部を備える行動解析装置の行動解析方法であって、
    前記制御部は、
    所定の画角で人物を含む撮影画像を取得する画像取得ステップと、
    前記撮影画像から動体である人物の存在する領域である人物画像領域を抽出する人物画像抽出ステップと、
    前記人物画像領域から人物骨格を検出する人物骨格検出ステップと、
    前記人物骨格から人物行動を解析する人物行動解析ステップと、
    を有している行動解析方法において、
    前記人物画像領域と、前記人物骨格と、のいずれかを用いて、前記所定の画角外への前記人物のフレームアウトの発生状態あるいはフレームアウトが予知される状態に有るか否かフレームアウトを判定するフレームアウト判定ステップと、
    前記フレームアウトの発生が有るか、前記フレームアウトの予知が有る場合に、前記判定を前記人物に通知するフレームアウト通知ステップと、
    を実施することを特徴とする行動解析方法。
12. 請求項１１に記載の行動解析方法において、
    前記フレームアウト判定ステップでは、前記人物画像領域の一部が前記撮影画像の最外郭に存在する場合に、フレームアウトの発生状態に有ると判定する、
    ことを特徴とする行動解析方法。
13. 請求項１１に記載の行動解析方法において、
    前記フレームアウト判定ステップでは、前記人物画像領域が前記撮影画像の最外郭に存在せず、かつ、前記人物画像領域の一部が前記撮影画像の最外郭から内側に向かって所定の範囲に存在する場合に、フレームアウトが予知される状態に有ると判定する、
    ことを特徴とする行動解析方法。
14. 請求項１１に記載の行動解析方法において、
    前記フレームアウト判定ステップは、前記人物画像領域の重心が前記撮影画像の中心付近から所定の範囲内に存在しない場合に、フレームアウトが予知される状態に有ると判定する、
    ことを特徴とする行動解析方法。
15. 請求項１１に記載の行動解析方法において、
    前記フレームアウト判定ステップでは、前記人物骨格の一部が前記撮影画像の最外郭に存在する場合に、フレームアウトの発生状態に有ると判定する、
    ことを特徴とする行動解析方法。
16. 請求項１１に記載の行動解析方法において、
    前記フレームアウト判定ステップでは、前記人物骨格が前記撮影画像の最外郭に存在せず、かつ、前記人物骨格の一部が前記撮影画像の最外郭から内側の所定の範囲に存在する場合、フレームアウトが予知される状態に有ると判定する、
    ことを特徴とする行動解析方法。
17. 請求項１１に記載の行動解析方法において、
    前記フレームアウト判定ステップでは、前記人物骨格の重心が前記撮影画像の中心から所定の範囲内に存在しない場合に、フレームアウトが予知される状態に有ると判定する、
    ことを特徴とする行動解析方法。
18. 請求項１１に記載の行動解析方法において、
    前記フレームアウト判定ステップでは、前記人物骨格のうち行動解析に必要な人物骨格の一部が前記撮影画像内に存在しない場合に、フレームアウトが予知される状態に有ると判定する、
    ことを特徴とする行動解析方法。
19. 請求項１１に記載の行動解析方法において、
    前記フレームアウト判定ステップでは、前記所定の画角外への前記人物のフレームアウト方向を検出し、
    前記フレームアウト通知ステップでは、前記フレームアウトの発生状態あるいはフレームアウトが予知される状態に有る場合に、前記フレームアウト方向を前記人物に通知する、
    ことを特徴とする行動解析方法。
20. 請求項１１に記載の行動解析方法において、
    前記画像取得ステップでは、画素ごとの深度を取得し、
    前記フレームアウト判定ステップでは、さらに、前記深度が所定の範囲内に無い場合に前記人物のフレームアウトの発生状態にあるとの判定を行う、
    ことを特徴とする行動解析方法。

Images