JP2022125570A - 指示物体検出装置、指示物体検出方法及び指示物体検出システム - Google Patents

Abstract

【課題】画角やノイズ等で手が鮮明に写らない画像の場合であっても、高精度の指示物体検出が可能な頑強性が高い指示物体検出手段を提供すること。【解決手段】ユーザの手と、少なくとも１つの指示物体候補とを示す入力映像を取得する画像入力部と、入力映像を解析し、手と指示物体候補とを検出するオブジェクト検出部と、手によるジェスチャーを判定するジェスチャー判定部と、ジェスチャーが指差し動作と判定された場合、手のセントロイドを特定し、セントロイドから第１の距離基準を満たし、且つ、所定の曲率基準を満たす領域を、指し指の指先として特定し、特定した指先に属する画素の分布に基づいて、指差し動作の指示方向を判定する指示方向判定部と、指示方向に基づいて、指差し動作によって指示される指示物体を、指示物体候補の中から特定する指示物体特定部を含む指示物体検出装置。【選択図】図３

Description

本開示は、指示物体検出装置、指示物体検出方法及び指示物体検出システムに関する。

近年、マン・マシンインターフェイスの実用化を目指し、様々な人間の動きを認識する研究が行われている。人間の動きを認識することで、ユーザの意思を自然な形態でコンピューターに伝えることが可能となる。

ユーザの意思をコンピューターに伝える有効なコミュニケーション手段の１つとして、指差し動作を検出する手法が注目されている。指差し動作は、人間にとって自然かつ直感的であり、特殊な器具の装着も不要なため、人であるユーザに負担を与えない上、低コストである。
指差し動作を検出する手法によれば、例えば家事、福祉、産業等の様々な場面でマン・マシンインターフェイスを実現し、人を支援するサービスが可能となる。

指差し動作を検出する手法の１つとしては、例えばH. Asano, T. Nagayasu, T. Orimo, K. Terabayashi, M. Ohta and K. Umeda, "Recognition of finger-pointing direction using color clustering and image segmentation," The SICE Annual Conference 2013, Nagoya, Japan, 2013, pp. 2029-2034.（非特許文献１）がある。
非特許文献１には、複数のカメラを使用して指差し方向を認識する正確な方法が提案されている。この手法において、入力画像は、形状分析の前にカラークラスタリングによってセグメント化される。そして、操作領域の狭さや事前定義された肌の色など、以前の方法のいくつかの制限が解除されている。この結果、8方向の指さし認識は、平均90％の再現率と93％の精度で実現される旨が記載されている。

H. Asano, T. Nagayasu, T. Orimo, K. Terabayashi, M. Ohta and K. Umeda, "Recognition of finger-pointing direction using color clustering and image segmentation," The SICE Annual Conference 2013, Nagoya, Japan, 2013, pp. 2029-2034.

非特許文献１には、人間の手を示す画像において、幅が狭い領域を指として抽出した後、当該指に属する画素に対して最小二乗法を適用することで、指差し方向を判定する。
しかし、非特許文献１に記載の方法では、画像における指の抽出は、手の各部位の相対的な幅に基づいて行われるため、画角、ノイズ、オブジェクト検出の誤り等によって手の各部位の幅が判定できない場合や、洋服の袖等によって手が部分的に隠され、手の部位の見かけの幅が正確でない場合には、指差し方向を判定する精度が限定されてしまう。

そこで、本開示は、手の画像における画素の曲率と、手の中心からの距離とに基づいて指差し方向を判定し、判定した指差し方向に基づいて指差し動作の対象となる指示物体を検出することで、画角やノイズ等で手の画素が鮮明に写らない画像の場合であっても、高精度の指示物体検出が可能な頑強性が高い指示物体検出を提供することを目的とする。

上記の課題を解決するために、代表的な本開示の指示物体検出装置の一つは、ユーザの手と、少なくとも１つの指示物体候補とを含む入力映像を取得する画像入力部と、前記入力映像を解析し、前記手と前記指示物体候補とを検出するオブジェクト検出部と、前記手によるジェスチャーを判定するジェスチャー判定部と、前記手による前記ジェスチャーが指差し動作と判定された場合、前記手のセントロイドを特定し、前記セントロイドから第１の距離基準を満たし、且つ、所定の曲率基準を満たす領域を、前記指差し動作に用いられた指し指の指先として特定し、特定した前記指先に属する画素の分布に基づいて、前記指差し動作の指示方向を判定する指示方向判定部と、前記指示方向に基づいて、前記入力映像において前記指差し動作によって指示される物体を、前記指示物体候補の中から特定する指示物体特定部とを含む。

本開示によれば、手の画像における画素の曲率と手の中心からの距離とに基づいて指差し方向を判定し、判定した指差し方向に基づいて指差し動作の対象となる指示物体を検出することで、画角やノイズ等で手の画素が鮮明に写らない画像の場合であっても、高精度の指示物体検出が可能であり、頑強性が高い指示物体検出手段を提供することができる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。

図１は、本開示の実施例を実施するためのコンピューターシステムのハードウェア構成の一例を示す図である。 図２は、本開示の実施例１に係る指示物体検出システムの構成を示す図である。 図３は、本開示の実施例１に係る指示物体検出方法の流れを示すフローチャートである。 図４は、本開示の実施例１に係る指示方向判定処理の流れを示すフローチャートである。 図５は、本開示の実施例１に係る第１の指示方向判定手段の一例を示す図である。 図６は、本開示の実施例１に係る第２の指示方向判定手段の一例を示す図である。 図８は、本開示の実施例１に係る第３の指示方向判定手段の一例を示す図である。 図８は、本開示の実施例１に係る第４の指示方向判定手段の一例を示す図である。 図９は、本開示の実施例１に係る第５の指示方向判定手段の一例を示す図である。 図１０は、本開示の実施例２に係る指示物体検出システムの構成を示す図である。 図１１は、本開示の実施例２に係る物体管理部の構成の一例を示す図である。 図１２は、本開示の実施例２に係るユーザ物体シーケンス情報取得処理の流れを示すフローチャートである。 図１３は、本開示の実施例２に係る物体取り扱いシーケンス検証処理の流れを示すフローチャートである。 図１４は、本開示の実施例２に係る環境認識部の構成の一例を示す図である。 図１５は、本開示の実施例２に係るユーザ情報取得部の構成の一例を示す図である。 図１６は、本開示の実施例２に係る更新部の構成の一例を示す図である。 図１７は、本開示の実施例３に係る指示物体検出システムの構成を示す図である。 図１８は、本開示の実施例３に係る作業管理部による作業分配処理の流れを示す図である。

本開示の実施例に係る指示物体検出手段は、例えば家事、福祉、産業等の様々な場面でマン・マシンインターフェイスを実現し、直接的に人を支援するために用いられてもよいが、説明の便宜上、本開示の実施例に係る指示物体検出手段を産業に応用した場合の例を中心に説明する。

工場等では、作業員が機械や装置を点検したり、修理したりする過程において、機械や装置の解体や組み立てを行う場合がある。この場合、作業員が特定の部品の点検を失念したり、機械の解体又は組み立ての順序を誤ることが起こりえる。そこで、本開示の実施例に係る物体検出手段を用いることにより、作業員が指差す部品を検出することで、作業員の動作を記録したり、順序が誤った動作を検知したりすることが可能となり、作業の正確性及び効率を向上させることができる。

一例として、作業員は、例えば特定の部品（例えば、機械や装置を構成する部品の一つ）を取り扱う前に、当該部品を指差しすることにすれば、この指差し動作を示す入力映像がカメラ等の撮影装置によって取得される。その後、取得した入力映像を、後述する指示物体検出装置の各機能部によって処理することで、入力映像における画素の曲率や手の中心からの距離に基づいて指先が示す指差し方向を判定し、判定した指差し方向に基づいて指差し動作の対象となる指示物体を検出することができる。その後、作業員の動作の順番を示すユーザ物体シーケンス情報を記録し、このユーザ物体シーケンス情報を、例えば事前に用意され、正しい動作の順番を示す指定物体シーケンス情報と比較することで、機械の取り扱い手順における異常（誤り等）を検出することができる。

このように、本開示によれば、手の画像における画素の曲率と手の中心からの距離とに基づいて指差し方向を判定し、判定した指差し方向に基づいて指差し動作の対象となる指示物体を検出することで、画角やノイズ等で手の画素が鮮明に写らない画像の場合であっても、高精度に指示物体検出が可能であり、頑強性が高い指示物体検出手段を提供することができる。

以下、図面を参照して、本発明の実施例について説明する。なお、この実施例により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

まず、図１を参照して、本開示の実施例を実施するためのコンピュータシステム３００について説明する。本明細書で開示される様々な実施例の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。

コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）３０２Ａ及び３０２Ｂを含んでもよい。ある実施例では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施例では、コンピュータシステム３００は単一のＣＰＵシステムであってもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。

ある実施例では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、指示物体検出アプリケーション３５０を格納していてもよい。ある実施例では、指示物体検出アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよい。

ある実施例では、指示物体検出アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施例では、指示物体検出アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施例では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。

コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２，３１４，３１６、及び３１８と通信してもよい。

表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。

例えば、コンピュータシステム３００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。

Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。

ストレージインタフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施例では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。

ある実施例では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施例では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

次に図２を参照して、本開示の実施例１に係る指示物体検出システムの構成について説明する。

図２は、本開示の実施例１に係る指示物体検出システム２００の構成を示す図である。図２に示すように、本開示の実施例１に係る指示物体検出システム２００は、指示物体検出装置２１０及びユーザ端末２５０を含む。指示物体検出装置２１０及びユーザ端末２５０は、例えばＬＡＮやインターネット等の通信ネットワーク２３４を介して接続されてもよい。

指示物体検出装置２１０は、ユーザ２３５によって行われる指差し動作を示す入力映像を解析することで、当該指差し動作の指示方向を判定し、判定した指示方向に基づいて指差し動作の対象となる指示物体２４０を検出するための装置である。指示物体検出装置２１０は、例えばデスクトップパソコン、ノートパソコン、タブレット、スマートフォン等、任意のコンピューティングデバイスによって実施されてもよい。
また、図２に示すように、指示物体検出装置２１０は、オブジェクト検出部２１２、画像加工部２１４、ジェスチャー判定部２１８、指示方向判定部２２０、指示物体特定部２２２、画像入力部２２４、プロセッサ２２６及び記憶部２２８を含む。

画像入力部２２４は、ユーザ２３５の手と、少なくとも１つの指示物体候補とを示す入力映像を取得するための機能部である。画像入力部２２４は、例えばＲＧＢカメラなどの撮影部であってもよいし、画像信号を受信する機能部であってもよい。
指示物体検出の精度を向上する観点から、画像入力部２２４が撮像部の場合には、この撮像部は、ユーザ２３５の手や、ユーザ２３５の作業の対象となる物体が容易に撮影可能な位置に配置されることが望ましい。
以下の説明では、画像入力部２２４が撮影部を意味するものとして説明するが、画像入力部２２４は、画像信号を受信する機能部であってもよい。
なお、図２では、画像入力部２２４が指示物体検出装置２１０に含まれている構成の場合を一例として示しているが、本開示はこれに限定されず、画像入力部２２４は、指示物体検出装置２１０とは独立した、別途の装置であってもよい。この場合、画像入力部２２４は、取得した入力映像を通信ネットワーク２３４を介して指示物体検出装置２１０に送信してもよい。

オブジェクト検出部２１２は、画像入力部２２４によって取得された入力映像を解析し、ユーザ２３５の手と指示物体候補とを検出するための機能部である。オブジェクト検出部２１２は、入力映像に写る全てのオブジェクトを検出し、検出したオブジェクトのクラスを示すラベルを生成してもよい。本開示の実施例に係るオブジェクト検出部２１２の手段は特に限定されず、例えばHaar-Like特徴に基づくViola Jones物体検出フレームワーク、スケール不変特徴量変換 (SIFT)、Hog特徴量等の機械学習アプローチや、領域提案（R-CNN、Fast R-CNN、Faster R-CNN、cascade R-CNN）、Single Shot MultiBox Detector（SSD）、You Only Look Once（YOLO）、Single-Shot Refinement Neural Network for Object Detection (RefineDet)、Retina-Net、Deformable convolutional networks等の深層学習によるアプローチ等、任意のオブジェクト検出手法を含んでもよい。

画像加工部２１４は、オブジェクト検出部２１２によって各オブジェクトが検出された入力映像を解析することで、ユーザ２３５の手のみを示す手画像を入力映像から抽出する。例えば、画像加工部２１４は、ユーザ２３５の手を示す画像を入力映像から切り出して（クロッピング）もよく、ユーザ２３５の手の肌の色に基づいた画像分割（ｓｋｉｎ－ｃｏｌｏｒ ｂａｓｅｄ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）を用いてもよく、ｓｅｇｎｅｔ、ＩＣＮＥＴ、ＦＰＮ等の深層学習によるアプローチを用いてもよい。
画像加工部２１４による処理の結果、ユーザ２３５の手に属する画素の輝度値が１以上となり、ユーザ２３５の手に属さない画素の輝度値が０となるバイナリー画像が得られる（図５～図９参照）。

ジェスチャー判定部２１８は、画像加工部２１４によって抽出された手画像において、ユーザ２３５の手が示すジェスチャーを判定する機能部である。ジェスチャー判定部２１８は、例えば、ユーザ２３５の手のキーポイント（指、間接、手首、手の甲等）を特定し、特定した手のキーポイントの分布に基づいて、手が示すジェスチャーが指差し動作か否かを判定してもよい。ここでの指差し動作とは、対象のものに対して指を向けることを意味する。また、この指差し動作は、人差し指や中指等、任意の指で行われてもよい。ここでは、指差し動作に用いられているユーザ２３５の指を「指し指」という。
ここでのジェスチャー判定部２１８は、ユーザ２３５の手が示すジェスチャーを判定するために、例えば3Dモデルベースアルゴリズム、骨格ベースアルゴリズム、筋電計ベースモデル等、任意の既存の手段を用いてもよい。

指示方向判定部２２０は、指差し動作の指示方向を判定するための機能部である。ここでの「指示方向」とは、ユーザ２３５の指し指が指示する方向である。より具体的には、指示方向判定部２２０は、ユーザ２３５の手のセントロイドを特定し、このセントロイドから第１の距離基準を満たし、且つ、所定の曲率基準を満たす領域を、指し指の指先として特定し、特定した指先に属する画素の分布に基づいて、指差し動作の指示方向を判定してもよい。
本開示においては「セントロイド」とは一般的な質量中心を意味するが、画像上の幾何中心であってもよいし、幾何中心に代えて物理的な重心を用いてもよい。
なお、指示方向判定部２２０を用いて指示方向を判定する処理の詳細については後述する。

指示物体特定部２２２は、指示方向判定部２２０によって判定された指示方向に基づいて、入力映像において指差し動作によって指示される指示物体２４０を、指示物体候補の中から特定する。ここでは、指示物体特定部２２２は、判定された指示方向に加えて、オブジェクト検出部２１２によって検出されたオブジェクトのラベルを用いてもよい。

プロセッサ２２６は、指示物体検出装置２１０の各機能部の機能を実現するための命令を実行するための演算装置であり、例えば図１に示すプロセッサ３０２と実質的に同様であるため、ここではその説明を省略する。

記憶部２２８は、指示物体検出装置２１０の機能部に用いられる各種データを格納するためのストレージ部である。ここでの記憶部２２８は、例えばハードディスクドライブやソリッドステートドライブ等のローカルストレージであってもよく、クラウドのような分散型ストレージサービスであってもよい。

ユーザ２３５は、指示物体検出装置２１０の解析の対象となる指差し動作を行うユーザである。ユーザ２３５は、例えば工場で作業する作業員であってもよく、患者の介護を行う介護士等、任意のタスクを行うユーザであってもよい。また、本開示では、説明の便宜上、ユーザ２３５が人間の場合を一例として説明するが、本開示はこれに限定されず、ユーザ２３５は例えばチンパンジーやオランウータン等のサルであってもよく、指差し動作を行う手があれば、任意の生命体や人造物等であってもよい。

指示物体２４０は、ユーザ２３５による指差し動作の対象となる物体である。指示物体２４０は、例えば点検の対象となる機械や装置を構成する部品、ハンマーやドライバー等の工具、テーブルの上に配置されているフォークやナイフ等、ユーザ２３５のタスクによって任意のオブジェクトであってもよい。

ユーザ端末２５０は、例えばユーザ２３５が利用する端末装置である。ユーザ端末２５０は、例えばユーザ２３５に関するユーザ情報、ユーザ２３５の環境に関する環境情報等、指示物体検出を支援する任意の情報の入力を受け付けてもよい。また、ある実施例では、指示物体の取り扱い手順において異常が発生したと判定した場合、当該異常を示す異常通知がユーザ端末２５０に送信されてもよい。このように、ユーザ端末２５０のユーザ２３５は、検出された異常を解決する行動を取ることができる。

以上説明したように構成した指示物体検出システム２００によれば、手の画像における画素の曲率と手の中心からの距離とに基づいて指差し方向を判定し、判定した指差し方向に基づいて指差し動作の対象となる指示物体を検出することで、画角やノイズ等で手の画素が鮮明に写らない画像の場合であっても、高精度の指示物体検出が可能な頑強性が高い指示物体検出を提供することができる。

次に、図３を参照して、本開示の実施例１に係る指示物体検出方法について説明する。

図３は、本開示の実施例１に係る指示物体検出方法３６０の流れを示すフローチャートである。図３に示す指示物体検出方法３６０は、指差し動作を示す入力映像を解析することで、当該指差し動作の指示方向を判定し、判定した指示方向に基づいて指差し動作の対象となる指示物体２４０を検出するための方法であり、指示物体検出装置（例えば、図２に示す指示物体検出装置２１０）によって実施される。

まず、ステップＳ３６２では、撮影部（例えば、図２に示す画像入力部２２４）は、ユーザの手と、少なくとも１つの指示物体候補とを示す入力映像３６３を取得する。この入力映像３６３は、例えば静止画像であってもよく、多数の画像フレームから構成される動画であってもよい。本開示に係るある態様では、ユーザは、上述したユーザ端末（例えば図２に示すユーザ端末２５０）を介して、作業を開始する旨の指示を入力した後、撮影部はユーザの作業の撮影を開始し、入力映像３６３を取得してもよい。
撮影部によって取得される入力映像３６３は、上述した記憶部（例えば、図２に示す記憶部２２８）に格納されてもよい。

次に、ステップＳ３６４では、オブジェクト検出部（例えば、図２に示すオブジェクト検出部２１２）は、撮影部によって取得された入力映像３６３を解析し、ユーザの手と指示物体候補とを検出する。ここでの指示物体候補とは、入力映像３６３に含まれており、指差し動作の対象となる物体である可能性がある物体である。
上述したように、オブジェクト検出部２１２は、入力映像３６３に含まれる全てのオブジェクトを検出し、検出したオブジェクトのクラスを示すラベル３６５を生成してもよい。これらのラベル３６５は、例えば上述した記憶部に格納されてもよい。

ステップＳ３６４でのオブジェクト検出部による処理の結果、手として認識されたオブジェクトが入力映像３６３に存在すると判定された（つまり、ラベル３６５のうち、「手」とのラベルに該当するオブジェクトが検出された）場合、本処理はステップＳ３６６へ進む。一方、ステップＳ３６４でのオブジェクト検出部による処理の結果、手として認識されたオブジェクトが入力映像３６３に存在しないと判定された場合、本処理はステップＳ３６２へ戻り、撮影部が入力映像３６３の取得を継続する。

次に、ステップＳ３６６では、画像加工部（例えば、図２に示す画像加工部２１４）は、入力映像３６３の中から、ユーザの手のみを示す手画像を抽出する。例えば、画像加工部は、ユーザの手を示す画像を入力映像から切り出して（クロッピング）もよく、ユーザの手の肌の色に基づいた画像分割（ｓｋｉｎ－ｃｏｌｏｒ ｂａｓｅｄ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）を用いてもよく、ｓｅｇｎｅｔ、ＩＣＮＥＴ、ＦＰＮ等の深層学習によるアプローチを用いてもよい。画像加工部による処理の結果、ユーザの手に属する画素の輝度値が１以上となり、ユーザの手に属さない画素の輝度値が０となる手画像が得られる。

次に、ステップＳ３６８では、ジェスチャー判定部（例えば、図２に示すジェスチャー判定部２１８）は、ステップＳ３６６で抽出された手画像を解析することで、手が示すジェスチャーを判定する。ジェスチャー判定部は、例えば、ユーザの手のキーポイント（指、間接、手首、手の甲等）を特定し、特定した手のキーポイントの分布に基づいて、手が示すジェスチャーが指差し動作か否かを判定してもよい。

ステップＳ３６８でのジェスチャー判定部の処理の結果、手が示すジェスチャーが指差し動作であると判定された場合、本処理はステップＳ３７０へ進む。一方、ステップＳ３６８でのジェスチャー判定部の処理の結果、手が示すジェスチャーが指差し動作でないと判定された場合、本処理はステップＳ３６２へ戻り、撮影部が入力映像３６３の取得を継続する。

次に、ステップＳ３７０では、指示方向判定部（例えば、図２に示す指示方向判定部２２０）は、指差し動作の指示方向を判定する。より具体的には、指示方向判定部は、ユーザの手のセントロイドを特定し、このセントロイドから第１の距離基準を満たし、且つ、所定の曲率基準を満たす領域を、指し指の指先として特定し、特定した指先に属する画素の分布に基づいて、指差し動作の指示方向を判定する。
なお、指示方向判定部を用いて指示方向を判定する処理の詳細については後述する。

次に、ステップＳ３７２では、指示物体特定部（例えば、図２に示す指示物体特定部２２２）は、ステップＳ３７２で指示方向判定部によって判定された指示方向と、ステップS３６４で判定されたラベル３６５とに基づいて、入力映像３６３において指差し動作によって指示される指示物体２４０を、指示物体候補の中から特定する。ここで特定した指示物体の情報は、上述した記憶部（例えば、図２に示す記憶部２２８）に格納されてもよい。

以上説明した指示物体検出方法３６０によれば、手の画像における画素の曲率と手の中心からの距離とに基づいて指差し方向を判定し、判定した指差し方向に基づいて指差し動作の対象となる指示物体を検出することで、画角やノイズ等で手の画素が鮮明に写らない画像の場合であっても、高精度の指示物体検出が可能な頑強性が高い指示物体検出を提供することができる。

次に、図４を参照して、本開示の実施例１に係る指示方向判定処理について説明する。

図４は、本開示の実施例１に係る指示方向判定処理４００の流れを示す図である。図４に示す指示方向判定処理４００は、指差し動作の指示方向を判定するための処理であり、指示方向判定部（例えば図２に示す指示方向判定部２２０）によって実行される。
なお、図４に示す指示方向判定処理４００は、図３に示す指示物体検出方法３６０におけるステップＳ３７０に実質的に対応する。また、図４に示す指示方向判定処理４００は、指差し動作の指示方向を判定するための大まかな処理であり、指差し動作の指示方向を判定する処理の詳細は、図５～図９に示す指示方向判定手段の具体例を参照して説明する。

まず、ステップＳ４１０では、指示方向判定部は、入力映像から抽出された手画像における指差し動作に用いられている指し指の指先を特定する。より具体的には、まず、指示方向判定部は、手画像における手のセントロイドを特定する。実施例1におけるセントロイドは、既存の画像処理手法や統計的手法に基づいて求められてもよい。手のセントロイドを特定した後、指示方向判定部は、このセントロイドから第１の距離基準を満たし、且つ、所定の曲率基準を満たす領域を、指し指の指先として特定する。
この第１の距離基準は、ある領域が指先として認定されるために、当該領域のセントロイドからの必要な距離の下限を指定してもよい。
同様に、この曲率基準は、ある領域が指先として認定されるために、必要な曲率の下限を指定してもよい。
このように、上述した距離基準及び曲率基準を用いることで、手のセントロイド（つまり、手の中心部）から所定の距離以上に離れており、所定の曲率以上を持つ領域を指し指の指先として特定できる。
なお、ここでの第１の距離基準及び曲率基準は、ユーザによって指定されてもよく、過去に収集されたテスト用画像に基づいて適切な値を設定するように学習された機械学習手段によって指定されてもよい。

次に、ステップＳ４２０では、指示方向判定部は、ステップＳ４１０で特定した指し指の指先に属する画素の分布を判定する。ここでは、「画素の分布」とは、指先に属する画素と、他の画素との空間的関係を意味する。一例として、指示方向判定部は、ステップＳ４１０で特定した指し指の指先に属する画素と、セントロイドに属する画素との相対的な位置関係を特定してもよい。

次に、ステップＳ４３０では、指示方向判定部は、ステップＳ４２０で特定した画素の分布に基づいて指差し動作の指示方向を判定する。例えば、ある実施例では、指示方向判定部は、指し指の指先に属する画素と、セントロイドに属する画素とを通過する架空線の方向を指示方向としてもよい。ステップＳ４３０で判定した指示方向は、上述した記憶部（例えば、図２に示す記憶部２２８）に格納されてもよい。
なお、上述したように、画素の分布に基づいて指差し動作の指示方向を判定する処理の詳細は、図５～図９に示す指示方向判定手段の具体例を参照して説明する。

以上説明した指示方向判定処理４００によれば、手の画像における画素の曲率と手の中心からの距離とに基づいて指差し方向を判定し、判定した指差し方向に基づいて指差し動作の対象となる指示物体を検出することで、画角やノイズ等で手の画素が鮮明に写らない画像の場合であっても、高精度の指示物体検出が可能な頑強性が高い指示物体検出手段を提供することができる。

次に、図５～図９を参照して、指差し動作の指示方向を判定する処理の具体例について説明する。

図５は、本開示の実施例１に係る第１の指示方向判定手段５００の一例を示す図である。図５に示すように、手画像５０５には、ユーザの手５０２が写っており、上述したジェスチャー判定部（例えば、図２に示すジェスチャー判定部２１８）の処理の結果、手５０２が指差し動作となっていることが判定されている。

まず、上述したように、指示方向判定部（例えば、図２に示す指示方向判定部２２０）は、手５０２のセントロイド５１０を特定する。このセントロイド５１０とは、手５０２の質量中心であり、既存の画像処理手法や統計的手法に基づいて求められてもよい。手５０２のセントロイド５１０を特定した後、指示方向判定部は、このセントロイド５１０から第１の距離基準を満たし、且つ、所定の曲率基準を満たす領域を、指し指５０４の指先５１２として特定する。

次に、指示方向判定部は、特定した指先５１２と、セントロイド５１０との距離ｄに基づいて、指先５１２を中心とする対象領域５１１を判定する。一例として、対象領域５１１は、距離ｄ／３を半径とする円形領域であってもよい。
なお、対象領域５１１の半径はハイパーパラメータであり、ユーザに設定されてもよく、既存のハイパーパラメータ最適化方法に基づいて最適化されてもよい。

次に、指示方向判定部は、対象領域５１１において、所定の輝度基準を満たす画素を、指差し動作に用いられる手５０２の指し指５０４に属する指画素として特定する。例えば、手画像５０５は、手５０２に属する画素の輝度値が１以上となり、手５０２に属さない画素の輝度値が０となるバイナリー画像の場合、この輝度基準は「１」であってもよい。
このように、輝度基準を「１」として設定することで、対象領域５１１における明るい画素（つまり、対象領域５１１において、指し指５０４に属する画素）を特定することができる。
なお、以上では、対象領域及び画素の輝度値に基づいて指画素を特定する場合を一例として説明したが、本開示はこれに限定されず、例えばクラスタリングや回帰（recursion）等、任意の手法を用いてもよい。

次に、指示方向判定部は、特定した指画素の平均画素座標５１４（ｍｅａｎ ｐｉｘｅｌ ｃｏｏｒｄｉｎａｔｅ）を計算する。この平均画素座標５１４は、例えば任意の既存の画像処理手段によって計算されてもよい。
平均画素座標５１４を計算した後、指示方向判定部は、計算した平均画素座標５１４と、指先５１２とを通る架空線５１６の方向を、指示方向として判定する。

図６は、本開示の実施例１に係る第２の指示方向判定手段６００の一例を示す図である。図６に示すように、手画像６０５には、ユーザの手６０２が写っており、上述したジェスチャー判定部（例えば、図２に示すジェスチャー判定部２１８）の処理の結果、手６０２が指差し動作となっていることが判定されている。

まず、上述したように、指示方向判定部（例えば、図２に示す指示方向判定部２２０）は、手６０２のセントロイド６１０を特定する。このセントロイド６１０とは、手６０２の質量中心であり、既存の画像処理手法や統計的手法に基づいて求められてもよい。手６０２のセントロイド６１０を特定した後、指示方向判定部は、このセントロイド６１０から第１の距離基準を満たし、且つ、所定の曲率基準を満たす領域を、指し指６０４の指先６１２として特定する。

次に、指示方向判定部は、特定した指先６１２と、セントロイド６１０との距離ｄに基づいて、指先６１２を中心とする第１の対象領域６１１を判定する。一例として、第１の対象領域６１１は、距離ｄ／６を半径とする円形領域であってもよい。

次に、指示方向判定部は、第１の対象領域６１１において、所定の輝度基準を満たす画素を、指差し動作に用いられる手６０２の指し指６０４に属する指画素として特定する。例えば、手画像６０５は、手６０２に属する画素の輝度値が１以上となり、手６０２に属さない画素の輝度値が０となるバイナリー画像の場合、この輝度基準は「１」であってもよい。
このように、輝度基準を「１」として設定することで、第１の対象領域６１１における明るい画素（つまり、第１の対象領域６１１において、指し指６０４に属する画素）を特定することができる。

次に、指示方向判定部は、特定した指画素の平均画素座標６１４（ｍｅａｎ ｐｉｘｅｌ ｃｏｏｒｄｉｎａｔｅ）を計算する。

次に、指示方向判定部は、計算した平均画素座標６１４を中心とする第２の対象領域６１３を判定する。一例として、第２の対象領域６１３は、第１の対象領域６１１と同様に、距離ｄ／６を半径とする円形領域であってもよい。

次に、指示方向判定部は、第２の対象領域の中心である平均画素座標６１４と、第１の対象領域の中心である指先６１２とを通る架空線６１６の方向を、指示方向として判定する。

以上説明した図６に示す第２の指示方向判定手段６００では、図５に示す第１の指示方向判定手段５００に比べて、半径が小さい対象領域を複数用いることで、指示方向を判定する精度を向上させることができる。
なお、以上では、対象領域を二つ用いる場合を一例として説明したが、本開示はこれに限定されず、３つ以上の対象領域を用いてもよい。また、以上では、対象領域を円形とした場合を一例として説明したが、本開示はこれに限定されず、例えば長方形等、任意の形状であってもよい。

図７は、本開示の実施例１に係る第３の指示方向判定手段７００の一例を示す図である。図７に示すように、手画像７０５には、ユーザの手７０２が写っており、上述したジェスチャー判定部（例えば、図２に示すジェスチャー判定部２１８）の処理の結果、手７０２が指差し動作となっていることが判定されている。

まず、上述したように、指示方向判定部（例えば、図２に示す指示方向判定部２２０）は、手７０２のセントロイド７１０を特定する。このセントロイド７１０とは、手７０２の質量中心であり、既存の画像処理手法や統計的手法に基づいて求められてもよい。手７０２のセントロイド７１０を特定した後、指示方向判定部は、このセントロイド７１０から第１の距離基準を満たし、且つ、所定の曲率基準を満たす領域を、指し指７０４の指先７１４として特定する。

次に、指示方向判定部は、特定した指先７１４と、セントロイド７１０とを繋ぐ第１の架空線７０６を設定する。その後、指示方向判定部は、第１の架空線７０６に対して垂直であり、指先７１４に対して第２の距離基準を満たす第２の架空線７０８を設定すると共に、第１の架空線７０６に対して垂直であり、第２の架空線７０８に対して平行であり、指先７１４に対して第３の距離基準を満たす第３の架空線７１２を設定する。また、第２の架空線７０８及び第３の架空線７１２は、輝度値が１以上の領域のみにおいて判定されてもよい（つまり、指し指７０４の境界を超えて背景まで伸びることはない）。
ここでの第２の距離基準及び第３の距離基準は、互いに異なっており、ユーザ又は機械学習手段によって設定される値であってもよい。第２の距離基準及び第３の距離基準は、互いに異なることにより、第２の架空線７０８と第３の架空線７１２との間に間隔を開けることができる。

次に、指示方向判定部は、第２の架空線７０８の中心点と、第３の架空線７１２の中心点とを通る第４の架空線７１８の方向を、指示方向として判定してもよい。

以上説明した図７に示す第３の指示方向判定手段７００では、図５及び図６に示す第１、第２の指示方向判定手段５００、６００に比べて、必要なコンピューティング資源を抑えると共に、処理速度を向上させることができる。
なお、以上では、第１の架空線７０６に対して垂直な架空線を２つ判定した場合を一例として説明したが、本開示はこれに限定されず、第１の架空線７０６に対して垂直な架空線を例えば３つ以上としてもよい。

図８は、本開示の実施例１に係る第４の指示方向判定手段８００の一例を示す図である。図８に示すように、手画像８０５には、ユーザの手８０２が写っており、上述したジェスチャー判定部（例えば、図２に示すジェスチャー判定部２１８）の処理の結果、手８０２が指差し動作となっていることが判定されている。

まず、上述したように、指示方向判定部（例えば、図２に示す指示方向判定部２２０）は、手８０２のセントロイド８１０を特定する。このセントロイド８１０とは、手８０２の質量中心であり、既存の画像処理手法や統計的手法に基づいて求められてもよい。手８０２のセントロイド８１０を特定した後、指示方向判定部は、このセントロイド８１０から第１の距離基準を満たし、且つ、所定の曲率基準を満たす領域を、指し指８０４の指先８１４として特定する。

次に、指示方向判定部は、特定した特定した指先８１４と、セントロイド８１０とに基づいて、指し指８０４に属する画素を指画素として特定する。ここでは、指示方向判定部は、上述したように、対象領域内に存在し、所定の輝度基準を満たす画素を指画素として特定してもよい。

次に、指示方向判定部は、最小二乗法（Ｌｅａｓｔ Ｓｑｕａｒｅ Ｌｉｎｅ Ｆｉｔｔｉｎｇ）を用いて、指画素に基づいて指示方向８１５を判定する。ただし、本開示は最小二乗法に限定されず、指画素を特定した後、主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を用いて指示方向８１５を特定してもよい。

図９は、本開示の実施例１に係る第５の指示方向判定手段９００の一例を示す図である。図９に示すように、手画像９０５には、ユーザの手９０２が写っており、上述したジェスチャー判定部（例えば、図２に示すジェスチャー判定部２１８）の処理の結果、手９０２が指差し動作となっていることが判定されている。

まず、指示方向判定部は、手９０２にバウンディングボックス９１５をフィットさせる。ここでのバウンディングボックスは、例えば長方形であってもよく、楕円形であってもよく、任意の形状であってもよい。その後、指示方向判定部は、バウンディングボックス９１５に基づいて、手９０２に最良適合線９２０をフィットさせる。指示方向判定部は、この最良適合線９２０の方向を指差し動作の指示方向としてもよい。

以上、図５から図９を参照して、本開示の実施例に係る指差し動作の指示方向を判定する処理の具体例について説明したが、本開示はこれに限定されず、指差し動作の指示方向を高精度で判定できれば、任意の手段であってもよい。
例えば、もう一例として、指示方向判定部は、ユーザの手の画素の２次元の座標（横軸の座標及び縦軸の座標）を求め、これらの画素の座標の分布、平均、及び分散（ｄｉｓｔｒｉｂｕｔｉｏｎ， ｍｅａｎ， ａｎｄ ｖａｒｉａｎｃｅ）を解析することで、手の向き及び指示方向を判定してもよい。

次に、図１０を参照して、本開示の実施例２に係る指示物体検出システムの構成について説明する。

図１０は、本開示の実施例２に係る指示物体検出システム１０００の構成を示す図である。本開示の実施例２に係る指示物体検出システム１０００の指示物体検出装置１０１０は、物体管理部１０３０、環境認識部１０３２、ユーザ情報取得部１０３４及び更新部１０３６を含む構成となっている点において、図２に示す、本開示の実施例１に係る指示物体検出システム２００の指示物体検出装置２１０と異なる。物体管理部１０３０、環境認識部１０３２、ユーザ情報取得部１０３４及び更新部１０３６を含む点を除いて、実施例２に係る指示物体検出システム１０００の構成は、実施例１に係る指示物体検出システム２００と実質的に同様であるため、同一部分には同一の符号を付して示している。また、説明の便宜上、以下では、上述した部分の説明を省略し、指示物体検出システム１０００と指示物体検出システム２００との相違点を中心に説明する。

物体管理部１０３０は、指示物体の取り扱い手順を管理するための機能部である。なお、本開示において、取り扱い手順には、物体への加工、組立、処理、検査がなどの個々の作業や工程、その順序、時間的な管理項目等を含めることができる。
物体管理部１０３０は、複数の指示物体２４０がユーザ２３５の指差し動作によって指示される順番を示すユーザ物体シーケンス情報を作成し、格納することができる。また、このユーザ物体シーケンス情報は、指示物体２４０がユーザ２３５の指差し動作によって指示される順番に加えて、指示物体２４０の種類（ハンマー、釘、フォーク等）や、指示物体２４０が指示される時刻等を記録してもよい。
また、物体管理部１０３０は、複数の指示物体２４０を取り扱う順番を指定する指定物体シーケンス情報を格納してもよい。この指定物体シーケンス情報は、例えば事前に作成され、指示物体２４０を取り扱う正しい順番を規定する情報である。
物体管理部１０３０は、上述したユーザ物体シーケンス情報と、指定物体シーケンス情報とを比較することで、指示物体の取り扱いが正しいか否か（つまり、指示物体を取り扱う順番が間違っているか等）を判定することができる。

環境認識部１０３２は、ユーザ２３５や指示物体２４０の周辺環境に関する環境情報を取得するための機能部である。この環境情報は、例えば、照明条件、画像入力部２２４の位置、ユーザ２３５と指示物体２４０との距離等、周辺環境に関する任意の情報を含んでもよい。環境認識部１０３２は、これらの環境情報を特定のユーザインタフェース（ユーザ端末２５０のユーザインタフェース等）を介して入力してもよく、これらの環境情報を画像入力部２２４によって取得されている映像から判定するための機械学習手段を含んでもよい。
後述するように、環境認識部１０３２は、ユーザ２３５や指示物体２４０の周辺環境に関する環境情報を用いることで、指示方向や指示物体２４０の判定の精度を向上させると共に、ユーザ２３５の指示物体２４０に対する取り扱いをより効率良く検証することができる。

ユーザ情報取得部１０３４は、ユーザ２３５に関するユーザ情報を取得するための機能部である。このユーザ情報は、例えば、ユーザの氏名、肌の色、身長、役職名、資格の有無等、ユーザ２３５に関する任意の情報を含んでもよい。ユーザ情報取得部１０３４は、これらのユーザ情報を特定のユーザインタフェース（ユーザ端末２５０のユーザインタフェース等）を介して入力してもよく、これらのユーザ情報を画像入力部２２４によって取得されている映像から判定するための機械学習手段を含んでもよい。
後述するように、ユーザ情報取得部１０３４は、ユーザ２３５に関するユーザ情報を用いることで、指示方向や指示物体２４０の判定の精度を向上させると共に、ユーザ２３５の指示物体２４０に対する取り扱いをより効率良く検証することができる。

更新部１０３６は、上述した環境認識部１０３２やユーザ情報取得部１０３４によって取得された環境情報及びユーザ情報に基づいて、指示物体検出装置１０１０の各機能部のパラメータを更新するための機能部である。

以上説明した本開示の実施例２に係る指示物体検出システム１０００によれば、ユーザの情報や周辺環境の情報を考慮した上でユーザの指差し動作の対象となる指示物体２４０を検出できると共に、指示物体２４０の取り扱い手順を検証することが可能となる。

次に、図１１を参照して、本開示の実施例２に係る物体管理部について説明する。

図１１は、本開示の実施例２に係る物体管理部１０３０の構成の一例を示す図である。上述したように、物体管理部１０３０は、指示物体の取り扱い手順を管理するための機能部である。

図１１に示すように、物体管理部１０３０は、指示物体の取り扱いを管理するための情報を格納する物体シーケンス情報データベース１１２０を含む。より具体的には、物体シーケンス情報データベース１１２０は、複数の指示物体を取り扱う正しい順番を指定する指定物体シーケンス情報１１３０と、複数の指示物体がユーザの指差し動作によって指示される順番を示すユーザ物体シーケンス情報１１４０とを格納する。
上述したように、この指定物体シーケンス情報１１３０は、事前に作成され、指示物体２４０を取り扱う正しい順番をタスク毎に規定する情報である。また、ユーザ物体シーケンス情報１１４０は、ユーザが実際に指示した指示物体の順番をタスク毎に示す情報であり、リアルタイムで指示物体が特定されることに応じて記録されてもよい。
一例として、指定物体シーケンス情報１１３０は、Task-1に含まれるSubTask-1について、「Object1,Object2, Object3」との取り扱う順番を規定してもよい。一方、ユーザの指差し動作の対象となる指示物体が指示される順番を記録した結果、物体管理部１０３０は、Task-1に含まれるSubTask-1について、「Object2, Object3,Object1」との取り扱う順番を示すユーザ物体シーケンス情報１１４０を取得してもよい。

次に、図１２を参照して、本開示の実施例２に係るユーザ物体シーケンス情報取得処理について説明する。

図１２は、本開示の実施例２に係るユーザ物体シーケンス情報取得処理１２００の流れを示すフローチャートである。本開示の実施例２に係るユーザ物体シーケンス情報取得処理１２００は、複数の指示物体がユーザの指差し動作によって指示される順番を示すユーザ物体シーケンス情報１１４０を取得するための処理であり、物体管理部１０３０によって実施される。

まず、ステップＳ１２１０では、物体管理部１０３０は、指示物体検出システムが管理する作業場において、現在進行中の各作業を担当するユーザの情報を取得する。ここでは、物体管理部１０３０は、現在進行中の各作業を担当するユーザの情報を後述するユーザ情報データベースから取得してもよい。ここでは、ユーザの情報は、例えば作業を担当するユーザの氏名や、ユーザを一意に識別する識別子（Worker ID）等を含んでもよい。

次に、ステップＳ１２２０では、物体管理部１０３０は、対象の作業において特定した指示物体の情報を取得する。ここで、物体管理部１０３０は、例えば図３に示す指示物体検出方法３６０によって特定された指示物体の情報を上述した記憶部（例えば、図１０に示す記憶部２２８）から取得してもよい。対象の作業について複数の指示物体が特定された場合、物体管理部１０３０は、特定された各指示物体を取得する。
ここでの指示物体の情報は、例えば指示物体を一意に識別する識別子（Object ID）や、当該指示物体が指示された時刻を含んでもよい。

次に、ステップＳ１２３０では、物体管理部１０３０は、ステップＳ１２１０で取得した各作業を担当するユーザの情報と、ステップＳ１２２０で取得した指示物体の情報とを対応付けることで、作業のタスク毎に、特定のユーザによって指示された指示物体の情報を、指示された順番で示すユーザ物体シーケンス情報１１４０を生成することができる。このユーザ物体シーケンス情報１１４０は、例えば上述した物体シーケンス情報データベース１１２０に格納されてもよい。

以上説明したユーザ物体シーケンス情報取得処理１２００によれば、ある物体がユーザの指差し動作の対象となる指示物体として特定される度に、特定された指示物体に関する情報（指示物体の種類、指示物体が指示される時刻等）を記録し、ユーザの情報に対応付けることで、特定のユーザが実際に指示した指示物体の順番をタスク毎に示す情報をユーザ物体シーケンス情報１１４０として取得することができる。

次に、図１３を参照して、本開示の実施例２に係る物体取り扱いシーケンス検証処理について説明する。

図１３は、本開示の実施例２に係る物体取り扱いシーケンス検証処理１３００の流れを示すフローチャートである。物体取り扱いシーケンス検証処理１３００は、指示物体の取り扱い手順において異常が発生したか否かを判定するための処理であり、上述した物体管理部１０３０によって実施される。

まず、ステップＳ１３１０では、物体管理部１０３０は、ユーザ物体シーケンス情報と、指定物体シーケンス情報とを取得する。
ここで、物体管理部１０３０は、図１２を参照して上述したユーザ物体シーケンス情報取得処理１２００を用いてユーザ物体シーケンス情報を取得してもよい。
また、物体管理部１０３０は、指定物体シーケンス情報を、例えば管理者（工場の責任者等）に入力させることで取得してもよい。また、本開示に係るある態様では、物体管理部１０３０は、対象のタスクを過去に正しく行ったユーザの動作に基づいて作成されたユーザ物体シーケンス情報を、指定物体シーケンス情報として用いてもよい。

次に、ステップＳ１３２０では、物体管理部１０３０は、ユーザ物体シーケンス情報と、指定物体シーケンス情報とを比較することで、指示物体の取り扱い手順が正しいか否か（つまり、指示物体を取り扱う順番が間違っているか等）を判定する。
より具体的には、物体管理部１０３０は、ユーザ物体シーケンス情報と、指定物体シーケンス情報とを比較することで、ユーザ物体シーケンス情報を検証し、ユーザ物体シーケンス情報が、指定物体シーケンス情報に対する所定の類似度基準を満たすか否かを判定する。ユーザ物体シーケンス情報が、指定物体シーケンス情報に対する所定の類似度基準を満たすと判定した場合、本処理はステップＳ１３１０に戻り、ユーザ物体シーケンス情報と及び指定物体シーケンス情報の取得を継続する。ユーザ物体シーケンス情報が、指定物体シーケンス情報に対する所定の類似度基準を満たさないと判定した場合、本処理はステップＳ１３３０へ進む。
なお、この類似度基準とは、ユーザ物体シーケンス情報と、指定物体シーケンス情報とが互いに一致することを判定するための必要最小限の類似度を指定する情報であり、事前に管理者等に設定されてもよい。

次に、次に、ステップＳ１３３０では、物体管理部１０３０は、指示物体の取り扱い手順において異常や誤りが発生したと判定し、当該異常を示す異常通知を出力する。例えば、物体管理部１０３０は、異常が発生したタスクの識別情報、異常の内容（物体の取り扱い手順が誤っている等）、異常の発生時刻、タスクの担当者等の情報を含む異常通知を、例えばユーザ端末２５０に出力してもよい。

一例として、指定物体シーケンス情報は、Task-1に含まれるSubTask-1について、「Object1,Object2, Object3」との取り扱う順番を規定するとする。一方、ユーザの指差し動作の対象となる指示物体が指示される順番を記録した結果、物体管理部１０３０は、Task-1に含まれるSubTask-1について、「Object2, Object3,Object1」との取り扱う順番を示すユーザ物体シーケンス情報が取得されたとする。
この場合、物体管理部１０３０は、指定物体シーケンス情報と、ユーザ物体シーケンス情報とを比較した結果、ユーザ物体シーケンス情報が指定物体シーケンス情報に一致しないと判定し、指示物体の取り扱い手順に関する異常が発生したと判定する。その後、物体管理部は、当該異常を示す異常通知を生成し、ユーザ端末２５０に通知してもよい。このように、ユーザ端末２５０のユーザは、検出された異常を解決する行動を取ることができる。

このように、以上説明した物体取り扱いシーケンス検証処理１３００によれば、指示物体の取り扱い手順をリアルタイムで検証し、取り扱い手順に異常が発生したか否かを判定することができる。これにより、例えば工場等の作業場では、作業員の手違い等を早期に検出することができるため、作業の正確性及び効率を向上させることができる。

次に、図１４を参照して、本開示の実施例２に係る環境認識部について説明する。

図１４は、本開示の実施例２に係る環境認識部１０３２の構成の一例を示す図である。上述したように、環境認識部１０３２は、ユーザや指示物体の周辺環境に関する環境情報を取得するための機能部である。
また、図１４に示すように、環境認識部１０３２は、通信ネットワーク２３４を介して、ユーザ端末２５０と接続されてもよい。

図１４に示すように、環境認識部１０３２は、環境情報を受け付ける受付部１４１２と、環境情報を映像から判定する機械学習部１４１４と、環境情報データベース１４５０とを含む。
環境情報データベース１４５０は、ユーザや指示物体の周辺環境に関する環境情報１４５５を格納するためのデータベースである。図１４に示すように、この環境情報１４５５は、例えば、周辺環境の照明条件、撮影部の位置、ユーザと指示物体との距離等、周辺環境に関する任意の情報を含んでもよい。

この環境情報１４５５は、ユーザによって直接に入力されてもよく、撮影部によって取得される入力映像を機械学習部１４１４によって解析することで判定されてもよい。
例えば、環境情報１４５５は、ユーザによって直接に入力される場合、受付部１４１２は、ユーザ端末２５０のユーザインタフェース１４１０を介して入力される環境情報１４５５を、通信ネットワーク２３４を介して受け付けた後、受信した環境情報１４５５を環境情報データベース１４５０に格納してもよい。ここでのユーザインタフェース１４１０は、例えばユーザ端末から利用可能なウエブページやアプリであってもよい。
一方、環境情報１４５５は、機械学習部１４１４によって判定される場合、機械学習部１４１４は、撮影部（図１４に図示せず）によって取得される入力映像を、所定のオブジェクト検出や画像処理を実行するように学習された機械学習手段によって解析することで、環境情報１４５５を判定する。その後、機械学習部１４１４は、判定した環境情報１４５５を環境情報データベース１４５０に格納してもよい。

環境情報１４５５が取得され、環境情報データベース１４５０に格納された後、上述したオブジェクト検出部、画像加工部、ジェスチャー判定部、指示方向判定部、及び／又は指示物体特定部は、この環境情報１４５５を適宜に利用してもよい。これにより、オブジェクト検出部、画像加工部、ジェスチャー判定部、指示方向判定部、及び指示物体特定部によって実行される各種処理の精度を向上させることが可能となる。

次に、図１５を参照して、本開示の実施例２に係るユーザ情報取得部について説明する。

図１５は、本開示の実施例２に係るユーザ情報取得部１０３４の構成の一例を示す図である。ユーザ情報取得部１０３４は、ユーザに関するユーザ情報を取得するための機能部である。
また、図１５に示すように、ユーザ情報取得部１０３４は、通信ネットワーク２３４を介して、ユーザ端末２５０と接続されてもよい。

図１５に示すように、ユーザ情報取得部１０３４は、ユーザ情報を受け付ける受付部１５１２と、ユーザ情報を映像から判定する機械学習部１５１４と、ユーザ情報データベース１５５０とを含む。
ユーザ情報データベース１５５０は、ユーザに関するユーザ情報１５５５を格納するためのデータベースである。図１５に示すように、このユーザ情報１５５５は、例えば、ユーザを一意に識別するための識別子、氏名、身長、肌色、担当タスク、現在のタスク等、ユーザに関する任意の情報を含んでもよい。

このユーザ情報１５５５は、ユーザによって直接に入力されてもよく、撮影部によって取得される入力映像を機械学習部１５１４によって解析することで判定されてもよい。
例えば、ユーザ情報１５５５は、ユーザによって直接に入力される場合、受付部１５１２は、ユーザ端末２５０のユーザインタフェース１５１０を介して入力されるユーザ情報１５５５を、通信ネットワーク２３４を介して受け付けた後、受信したユーザ情報１５５５をユーザ情報データベース１５５０に格納してもよい。ここでのユーザインタフェース１５１０は、例えばユーザ端末から利用可能なウエブページやアプリであってもよい。
一方、ユーザ情報１５５５は、機械学習部１５１４によって判定される場合、機械学習部１５１４は、撮影部（図１４に図示せず）によって取得される入力映像を、所定のオブジェクト検出や画像処理を実行するように学習された機械学習手段によって解析することで、ユーザ情報１５５５を判定する。その後、機械学習部１５１４は、判定したユーザ情報１５５５をユーザ情報データベース１５５０に格納してもよい。

ユーザ情報１５５５が取得され、ユーザ情報データベース１５５０に格納された後、上述したオブジェクト検出部、画像加工部、ジェスチャー判定部、指示方向判定部、及び指示物体特定部は、このユーザ情報１５５５を適宜に利用してもよい。これにより、オブジェクト検出部、画像加工部、ジェスチャー判定部、指示方向判定部、及び指示物体特定部によって実行される各種処理の精度を向上させることが可能となる。

次に、図１６を参照して、本開示の実施例２に係る更新部について説明する。

図１６は、本開示の実施例２に係る更新部１０３６の構成の一例を示す図である。上述したように、更新部１０３６は、環境認識部やユーザ情報取得部によって取得された環境情報及びユーザ情報に基づいて、指示物体検出装置の各機能部のパラメータを更新するための機能部である。

図１６に示すように、更新部１０３６は、上述した環境情報データベース１４５０及びユーザ情報データベース１５５０に接続されており、環境情報１４５５及びユーザ情報１５５５をアクセスできるように構成されている。

更新部１０３６は、環境情報データベース１４５０から環境情報１４５５を取得し、ユーザ情報データベース１５５０からユーザ情報１５５５を取得した後、取得した環境情報１４５５及びユーザ情報１５５５に基づいて指示物体検出装置の各機能部のパラメータを更新する。更新部１０３６は、環境情報１４５５及びユーザ情報１５５５に基づいた各機能部の更新を定期的（１分毎、５分毎、１時間毎）に行ってもよく、新たな情報が環境情報データベース１４５０又はユーザ情報データベース１５５０に追加される度に更新を行ってもよい。

また、環境情報１４５５及びユーザ情報１５５５に基づいた更新は、各機能部の処理の精度及び効率を向上させるための処理であり、この更新で調整されるパラメータは、各機能部の機能や性能に応じて適宜に決定されてもよい。
一例として、環境情報１４５５は、ユーザ及び指示物体の周辺環境が暗いと示す場合、更新部１０３６は、撮影部のパラメータを、暗い環境に適したパラメータに変更してもよい。これにより、より鮮明な入力映像を取得することが可能となり、オブジェクト検出部によるオブジェクト検出の精度を向上させることができる。
また、もう一例として、更新部１０３６は、ユーザ情報１５５５に記録されているユーザの肌色に基づいて、画像加工部のパラメータを、ユーザの肌色に適したパラメータに変更してもよい。これにより、画像加工部による手画像の抽出の精度を向上させることができる。

以上説明したように構成した更新部１０３６によれば、ユーザの情報や環境の情報を用いて指示物体検出装置の各機能部のパラメータを更新することで、各機能部による処理の精度及び効率を向上させることが可能となる。

次に、図１７を参照して、本開示の実施例３に係る指示物体検出システムの構成について説明する。

図１７は、本開示の実施例３に係る指示物体検出システム１７００の構成を示す図である。本開示の実施例３に係る指示物体検出システム１７００の指示物体検出装置１７１０は、作業管理部１７４０を含む構成となっている点において、図１０に示す、本開示の実施例２に係る指示物体検出システム１０００の指示物体検出装置１０１０と異なる。作業管理部１７４０を含む点を除いて、実施例３に係る指示物体検出システム１７００の構成は、実施例２に係る指示物体検出システム１０００と実質的に同様であるため、同一部分には同一の符号を付して示している。また、説明の便宜上、以下では、上述した部分の説明を省略し、指示物体検出システム１７００と指示物体検出システム１０００との相違点を中心に説明する。

作業管理部１７４０は、ユーザ等の作業員が行う作業を管理するための機能部である。例えば、作業管理部１７４０は、作業の担当者への割り当てや作業の分配を、例えば物体管理部１０３０によって取得されるユーザ物体シーケンス情報に基づいて管理してもよい。一例として、作業管理部１７４０は、ユーザ物体シーケンス情報に基づいて、各作業者の作業の進捗状況を判定し、この進捗状況に応じて作業の割り当てを行ってもよい。また、もう一例として、作業管理部１７４０は、ユーザ物体シーケンス情報に基づいて、各作業者の作業毎の効率を判定し、この作業毎の効率に応じて作業の割り当てを行ってもよい。
なお、作業管理部１７４０による処理の詳細については後述するため、ここではその説明を省略する。

以上説明した本開示の実施例３に係る指示物体検出システム１７００によれば、ユーザの指差し動作の対象となる指示物体２４０を検出できると共に、ユーザ物体シーケンス情報によって判定される各作業者の作業状況に応じて作業の分配を管理することが可能となる。

次に、図１８を参照して、本開示の実施例３に係る作業管理部による作業分配処理について説明する。

図１８は、本開示の実施例３に係る作業管理部による作業分配処理１８００の流れを示す図である。図１８に示す作業分配処理１８００は、作業をユーザに分配するための処理であり、作業管理部１７４０によって実施される。

まず、ステップＳ１８１０では、作業管理部１７４０は、ユーザ物体シーケンス情報を、上述した物体シーケンス情報データベース（例えば、図１１に示す物体シーケンス情報データベース１１２０）から取得し、取得したユーザ物体シーケンス情報に基づいて、対象の作業の進捗状況を判定する。上述したように、ユーザ物体シーケンス情報には、対象の作業のタスク毎に、特定のユーザによって指示された指示物体の情報が、指示された順番で示されている。このため、ユーザ物体シーケンス情報を、当該作業の正しい動作の順番を示す指定物体シーケンス情報に比較することで、現在進行中の作業の進捗状況を判定することが可能である。
例えば、作業管理部１７４０は、物体シーケンス情報データベースから取得したユーザ物体シーケンス情報と、指定物体シーケンス情報とを比較することで、現在進行中の作業の進捗状況を示す情報として、当該作業の完了率（３０％、５４％、７０％等）を判定してもよい。
なお、このステップＳ１８１０では、作業管理部１７４０は、作業の進捗状況を判定するためのユーザ物体シーケンス情報を少なくとも取得するが、本開示はこれに限定されず、作業管理部１７４０は、ユーザ物体シーケンス情報に加えて、上述したユーザ情報や環境情報等、他の情報を取得してもよい。後述するように、ユーザ物体シーケンス情報に加えて、取得したユーザ情報や環境情報は作業を分配する際に用いられてもよい。

次に、ステップＳ１８２０では、作業管理部１７４０は、ステップＳ１８１０で判定した作業の進捗状況と、作業管理部１７４０に格納されている作業分配ルール１８２５とに基づいて、作業の分配を行ってもよい。より具体的には、ここで、作業管理部１７４０は、作業の進捗状況と、作業分配ルール１８２５とに基づいて、新たに発生した新規の作業を特定のユーザ（第１のユーザ）に割り当ててもよく、特定のユーザ（第１のユーザ）に既に割り当てられた作業を別のユーザ（第２のユーザ）に再分配してもよい。
作業分配ルール１８２５は、作業の分配方法を規定するルールである。言い換えれば、作業分配ルール１８２５は、どのような作業を、どのようなタイミングで、どのようなユーザに割り当てるべきかを指定する情報である。例えば、作業分配ルール１８２５は、「ユーザの現在の作業の完了率が７０％以上の場合、新規の作業を割り当てる」ルールや、「ユーザの現在の作業の完了率が２０％以下の場合、新規の作業を割り当てない」ルール等を含んでもよい。
また、作業分配ルール１８２５は、現在の作業の進捗状況以外にも、上述したユーザ情報及び環境情報を考慮するルールを含んでもよい。例えば、作業分配ルール１８２５は、ユーザ情報から判定したユーザの資格の有無に基づいて作業の分配を決定してもよく、環境の証明条件等に基づいて作業の分配を決定してもよい。

次に、ステップＳ１８３０では、作業管理部１７４０は、作業の分配を行った後、ユーザ情報データベース（例えば、図１５に示すユーザ情報データベース１５５０）や、物体シーケンス情報データベース（例えば、図１１及び図１２に示す物体シーケンス情報データベース）を更新してもよい。例えば、作業管理部１７４０は、ユーザ情報データベース及び物体シーケンス情報データベースにおいて、ステップＳ１８２０で行った作業の分配に合わせて、各ユーザが担当する作業の内容を更新してもよい。

以上説明した作業分配処理１８００によれば、本開示の実施例に係る指示物体検出方法によって取得された情報（ユーザ情報、環境情報、ユーザ物体シーケンス情報）を用いて、作業を効率よくユーザに分配することが可能となる。

以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
物体管理部や環境認識部の構成や、管理される項目についても、上述した内容に限定されるものではなく様々な変更が可能である。

２００、１０００、１７００ 指示物体検出システム
２１０、１０１０、１７１０ 指示物体検出装置
２１２ オブジェクト検出部
２１４ 画像加工部
２１８ ジェスチャー判定部
２２０ 指示方向判定部
２２２ 指示物体特定部
２２４ 画像入力部
２２６ プロセッサ
２２８ 記憶部
２３４ 通信ネットワーク
２３５ ユーザ
２４０ 指示物体
２５０ ユーザ端末
１０３０ 物体管理部
１０３２ 環境認識部
１０３６ 更新部

Claims (11)

1. 指差し動作の対象となる指示物体を検出する指示物体検出装置であって、
   ユーザの手と、少なくとも１つの指示物体候補とを含む入力映像を取得する画像入力部と、
   前記入力映像を解析し、前記手と前記指示物体候補とを検出するオブジェクト検出部と、
   前記手によるジェスチャーを判定するジェスチャー判定部と、
   前記手による前記ジェスチャーが指差し動作と判定された場合、
   前記手のセントロイドを特定し、
   前記セントロイドから第１の距離基準を満たし、且つ、所定の曲率基準を満たす領域を、前記指差し動作に用いられた指し指の指先として特定し、
   特定した前記指先に属する画素の分布に基づいて、前記指差し動作の指示方向を判定する指示方向判定部と、
   前記指示方向に基づいて、前記入力映像において前記指差し動作によって指示される物体を、前記指示物体候補の中から特定する指示物体特定部と、
   を含むことを特徴とする指示物体検出装置。
2. 前記指示方向判定部は、
   前記入力映像から抽出され、前記手のみを示す手画像において、
   前記指先と、前記セントロイドとの距離に基づいて、前記指先を中心とする対象領域を判定し、
   前記対象領域において、所定の輝度基準を満たす画素を、前記指し指に属する指画素として特定し、
   前記指画素の平均画素座標を計算し、
   前記平均画素座標と、前記指先とを通過する架空線の方向を、前記指示方向として判定する、
   ことを特徴とする、請求項１に記載の指示物体検出装置。
3. 前記指示方向判定部は、
   前記入力映像から抽出され、前記手のみを示す手画像において、
   前記指先と、前記セントロイドとを通過する第１の架空線を設定し、
   前記第１の架空線に対して垂直であり、前記指先に対して第２の距離基準を満たす第２の架空線を設定し、
   前記第１の架空線に対して垂直であり、前記第２の架空線に対して平行であり、前記指先に対して第３の距離基準を満たす第３の架空線を設定し、
   前記第２の架空線と、前記第３の架空線との中心点を通過する第４の架空線の方向を、前記指示方向として判定する、
   ことを特徴とする、請求項１に記載の指示物体検出装置。
4. 前記指示方向判定部は、
   前記入力映像から抽出され、前記手のみを示す手画像において、
   前記指先と、前記セントロイドとの距離に基づいて、前記指先を中心とする対象領域を判定し、
   前記対象領域において、所定の輝度基準を満たす画素を、前記指し指に属する指画素として特定し、
   最小二乗法を用いて、前記指画素に基づいて前記指示方向を判定する、
   ことを特徴とする、請求項１に記載の指示物体検出装置。
5. 前記指示方向判定部は、
   前記入力映像から抽出され、前記手のみを示す手画像において、
   前記指先と、前記セントロイドとの距離に基づいて、前記指先を中心とする対象領域を判定し、
   前記対象領域において、所定の輝度基準を満たす画素を、前記指し指に属する指画素として特定し、
   主成分分析を用いて、前記指画素に基づいて前記指示方向を判定する、
   ことを特徴とする、請求項１に記載の指示物体検出装置。
6. 前記指示物体検出装置は、
   前記指示物体の取り扱い手順を管理するための物体管理部を更に含み、
   前記物体管理部は、
   複数の前記指示物体が前記ユーザの前記指差し動作によって指示される順番を示すユーザ物体シーケンス情報を作成し、格納する、
   ことを特徴とする、請求項１に記載の指示物体検出装置。
7. 前記物体管理部は、
   複数の前記指示物体を取り扱う順番を指定する指定物体シーケンス情報を格納しており、
   前記ユーザ物体シーケンス情報と、前記指定物体シーケンス情報とを比較することで、前記ユーザ物体シーケンス情報を検証し、
   前記ユーザ物体シーケンス情報が、前記指定物体シーケンス情報に対する所定の類似度基準を満たさない場合、
   前記指示物体の取り扱い手順において異常が発生したと判定し、前記異常を示す異常通知を出力する、
   ことを特徴とする、請求項６に記載の指示物体検出装置。
8. 前記指示物体検出装置は、
   前記ユーザに関するユーザ情報を取得するユーザ情報取得部と、
   前記ユーザの周辺環境に関する環境情報を取得する環境認識部と、
   前記ユーザ情報又は前記環境情報に基づいて、前記画像入力部、前記オブジェクト検出部、前記ジェスチャー判定部、前記指示方向判定部、前記指示物体特定部、及び前記物体管理部の内の少なくとも１つのパラメータを更新する更新部と、
   を含むことを特徴とする、請求項６に記載の指示物体検出装置。
9. 前記指示物体検出装置は、
   前記ユーザが行う作業を管理する作業管理部を含み、
   前記作業管理部は、
   前記ユーザ物体シーケンス情報に基づいて、第１のユーザが担当する第１の作業の進捗状況を判定し、
   判定した前記第１の作業の前記進捗状況と、作業の分配方法を規定する作業分配ルールとに基づいて、第２の作業を担当する第２のユーザを判定し、前記第２の作業を前記第２のユーザに分配する、
   ことを特徴とする、請求項７に記載の指示物体検出装置。
10. 指差し動作の対象となる指示物体を検出する指示物体検出方法であって、
    ユーザの手と、少なくとも１つの指示物体候補とを含む入力映像を取得する工程と、
    前記入力映像を解析し、前記手と前記指示物体候補とを検出する工程と、
    前記入力映像から、前記手のみを示す手画像を抽出する工程と、
    前記手画像を解析し、前記手によるジェスチャーを判定する工程と、
    前記手による前記ジェスチャーが指差し動作と判定された場合、前記手のセントロイドを特定し、前記セントロイドから第１の距離基準を満たし、且つ、所定の曲率基準を満たす領域を、前記指し指の指先として特定する工程と、
    前記指先と、前記セントロイドとの距離に基づいて、前記指先を中心とする対象領域を判定する工程と、
    前記対象領域において、所定の輝度基準を満たす画素を、前記指差し動作に用いられた指し指に属する指画素として特定する工程と、
    前記指画素の平均画素座標を計算する工程と、
    前記平均画素座標と、前記指先とを通る架空線の方向を、前記指差し動作の指示方向として判定する工程と、
    前記指示方向に基づいて、前記入力映像において前記指差し動作によって指示される物体を、前記指示物体候補の中から特定する工程と、
    を含むことを特徴とする指示物体検出方法。
11. 指差し動作の対象となる指示物体を検出する指示物体検出システムであって、
    前記指示物体検出システムは、
    指示物体検出装置と、
    ユーザ端末とを含み、
    前記指示物体検出装置と、前記ユーザ端末とが通信ネットワークを介して接続されており、
    前記指示物体検出装置は、
    ユーザの手と、少なくとも１つの指示物体候補とを示す入力映像を取得する画像入力部と、
    前記入力映像を解析し、前記手と前記指示物体候補とを検出するオブジェクト検出部と、
    前記手によるジェスチャーを判定するジェスチャー判定部と、
    前記手による前記ジェスチャーが指差し動作と判定された場合、
    前記手のセントロイドを特定し、前記セントロイドから第１の距離基準を満たし、且つ、所定の曲率基準を満たす領域を、前記指差し動作に用いられた指し指の指先として特定し、
    特定した前記指先に属する画素の分布に基づいて、前記指差し動作の指示方向を判定する指示方向判定部と、
    前記指示方向に基づいて、前記入力映像において前記指差し動作によって指示される物体を、前記指示物体候補の中から特定する指示物体特定部と、
    特定された前記指示物体に基づいて、複数の前記指示物体が前記ユーザの前記指差し動作によって指示される順番を示すユーザ物体シーケンス情報を作成し、前記ユーザ物体シーケンス情報と、複数の前記指示物体を取り扱う順番を指定する指定物体シーケンス情報とを比較することで、前記ユーザ物体シーケンス情報を検証し、前記ユーザ物体シーケンス情報が、前記指定物体シーケンス情報に対する所定の類似度基準を満たさない場合、前記指示物体の取り扱い手順に関する異常を示す異常通知を前記ユーザ端末に出力する、
    ことを特徴とする指示物体検出システム。

Images