JP2011501316A - ラベル割当を用いた手サイン認識 - Google Patents

ラベル割当を用いた手サイン認識 Download PDF

Info

Publication number
JP2011501316A
JP2011501316A JP2010531098A JP2010531098A JP2011501316A JP 2011501316 A JP2011501316 A JP 2011501316A JP 2010531098 A JP2010531098 A JP 2010531098A JP 2010531098 A JP2010531098 A JP 2010531098A JP 2011501316 A JP2011501316 A JP 2011501316A
Authority
JP
Japan
Prior art keywords
hand
representing
nodes
palm
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010531098A
Other languages
English (en)
Other versions
JP4934220B2 (ja
JP2011501316A5 (ja
Inventor
希久雄 藤村
シュウ，リジェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2011501316A publication Critical patent/JP2011501316A/ja
Publication of JP2011501316A5 publication Critical patent/JP2011501316A5/ja
Application granted granted Critical
Publication of JP4934220B2 publication Critical patent/JP4934220B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】 奥行画像から、重なり合ったり隣接する手を含む手話を認識するための方法およびシステムを提供する。
【解決手段】 リンク構造７００は、重なり合ったり隣接する手を含んだ奥行画像２１２から生成した複数のセグメントを含む。重なり合ったり隣接する手形状を、（ｉ）コスト関数および制約条件を用いてリンクグラフのセグメントを両方の手に分類するような、制約条件付最適化処理を用いるか、または（ｉｉ）複数のノードを含んだツリー構造を用いたツリー検索処理を用いて、奥行画２１２像で表される最も可能性の高い手形状を得る。手形状を決定した後は、リンク構造７００のセグメントを、記憶している形状にマッチングさせて、奥行画像２１２で表されるサインを決定する。
【選択図】図２

Description

本発明は、一般的には人間−機械インタラクションに関し、具体的には手話の手サインの認識に関する。
超高速演算システムと高効率デジタル画像システムの到来によって、人間−機械インタラクションに基づくコンピュータビジョンの分野は、著しい技術進歩の時代を経験している。
モーションによって機械（監視システムなど）からの応答を誘発するような簡便なモーション検出システムから、高度に複雑化した三次元（３Ｄ）画像サイン認識システム（imaging sign recognition systems）に至るまでの技術は、近年の著しい発展の主題である。例えば、サインに基づく人間−機械コミュニケーションの領域では、人間の手話を認識することは、人間−機械コミュニケーションにおける有望な技術として、近年、多くの研究においてテーマとなっている。
この他に、手と手の動きを、他の身体部位（腕部、胴体部、頭部など）の関係から探し出して追跡するような各種方法に基づいたサイン認識システムや、より複雑なジェスチャ認識システムが開発されている。
サインおよびジェスチャの認識には、一般に、マシンビジョンシステムでサインやジェスチャのソースを見つけ出すための支援として、マーカー、特定色、背景あるいはグローブが必要になる。例えば、手検出に関する従来の手法によっては、システムに対して身振りをする片手や両手に対応する画像領域を決定するために、色やモーションの情報を用いる。しかし、このような手法では、照明条件の変化にともなって手のモーションの追跡の信頼性が著しく低下する。さらに、システムによってはグローブなどの特殊な装置を用いたり、タスクを実行可能にするために特殊色の背景を用いたりするものもある。
また、従来技術の別群では、サインやジェスチャを認識するために、ステレオビジョンカメラや飛行時間センサで生成した奥行画像を用いる。奥行画像を解析して、手や腕を表す画像画素を抽出する。抽出した画像画素をさらに処理し、記憶している手形状とマッチングさせて、手と腕を表す画像画素で表される手サインを認識する。また、手と腕の軌跡を追跡して、画像シーケンスにおいて手形状と手の動きで表されるジェスチャや手話を決定することもある。奥行画像を用いた従来技術は、管理されない実生活の環境下での実装に便利であるため、マーカー、特殊な色や背景あるいはグローブを必要とする技術と比較して、有利である。さらに、奥行画像を用いる従来技術は、手話を介してコミュニケーションする人物に機器や装置を取付けたり、あるいは、その人物の周辺に機器や装置を設置する必要がない点でも有利である。
しかしながら、奥行画像を用いる従来の手サイン認識システムは、１本または２本の手が隣接したり重なり合わないような手話においてのみ認識可能である。奥行画像とは、一般に、カメラから対象までの距離を示す画像画素を有するグレースケール画像である。このような奥行画像では、奥行画像中で２つ以上のオブジェクト（手など）が重なり合ったり隣接している場合は、どの画像画素がどのオブジェクト（手など）を表しているのかが曖昧になる。
例えば、図１（ａ）ないし図１（ｃ）は、手が重なり合ったり隣接するような日本手話（ＪＳＬ：Japanese Sign Language）を示したものである。図１（ａ）は「手紙」を意味するサインを、図１（ｂ）は「井戸」を意味するサインを、図１（ｃ）は「合う（fit）」を意味するサインを日本手話で示している。従来の奥行画像を用いたサイン認識システムは、手どうしが重り合う場合には、片方の手を表す画像画素をもう片方の手から分離させる能力を備えていないため、このように重なり合ったり隣接するような手形状や手の動きを認識し、特定することはできない。したがって、従来の奥行画像を用いたサイン認識システムが認識できるのは、手話で一般的に用いられるサインの一部のみである。
本発明の実施形態では、重なり合ったり隣接する手を含んでいる手話サインを認識するための方法とシステムを提供する。サイン認識システムは、対象の奥行画像を受信し、対象の手を表す奥行画像の部分を抽出し、さらに、サイン認識システムは、奥行画像の手が重なり合ったり隣接していると決定した場合には、奥行画像を対象の第１の手を表す第１の部位と対象の第２の手を表す第２の部位とに分類する。
一実施形態では、サイン認識システムは、第１の手と第２の手を表すリンク構造を生成する。次に、リンク構造のセグメントを、第１の手に割当てるための第１のセグメントのセットと、第２の手に割当てるための第２のセグメントのセットとに分類する。次に、第１のセグメントのセットと第２のセグメントのセットをそれぞれ、記憶している手形状にマッチングさせて、第１の手と第２の手によって表されるサインを決定する。
本発明の一実施形態では、リンク構造のセグメントを、制約条件付最適化技術を用いて第１の手と第２の手とに分類する。１つのセグメントのセットを第１の手と、別のセグメントのセットを第２の手とに分類するためのコストを表すコスト関数を生成する。さらに、手の物理的な構造および特徴に関する制約条件を生成する。例えば、制約条件には、互いに隣接するセグメントどうしは同じ手に分類される可能性が高い条件が含まれる。本実施形態に係るサイン認識システムは、上記のコスト関数と制約条件とを用いて、サイン認識をラベル付与問題に変換する。次に、サイン認識システムは、リンク構造のセグメントを第１の手と第２の手とに分類する。
本発明の一実施形態では、ツリー検索技術を用いて、リンク構造のセグメントを第１の手と第２の手とに分類する。ツリー検索技術は、リンク構造に基づいて（セグメントを表す）ノードを有する非循環有向グラフを生成し、これらのノードどうしの連結関係を示すことを含む。上記のノードは、第１の手に割当てた第１のノードのセットと、第２の手に割当てた第２のノードのセットとに分類される。１つ以上の基準を用いて、ノードの各種組み合わせを評価する。
本発明の一実施形態では、第１の手のひらと第２の手のひらとを検出する。第１の手のひらと第２の手のひらは、まず、第１の手または第２の手を表す画像画素のスケルトン線を生成する。第１の手のひらまたは第２の手のひらの中央部を含んでいる可能性のある線の候補を求めるには、スケルトン線と直交する線の、第１の手や第２の手の輪郭となる画像画素のエッジ間の長さを測定することで求める。第１の手のひらまたは第２の手のひらの中央部を含む線として、指に最も近接する線の候補を選ぶようにしてもよい。
本明細書に記載される特徴および利点はすべて包含される必要はなく、特に、当業者であれば、図や明細書あるいは特許請求の範囲に照らして、さらなる特徴および利点を追加することが可能であることは明らかである。
さらに、本明細書中の説明で用いられた文言は、読みやすさや例示的な目的から主に用いられたものであって、本発明の主題の範囲を詳説したり、限定するために選択されたものではない。
（ａ）ないし（ｃ）は、重なり合ったり隣接する手を含む日本手話のサインと例示している。 本発明の一実施形態に係るサイン認識システムの概略ブロック図を例示している。 （ａ）は本発明の一実施形態に係る形状マッチングモジュールのブロック図を、（ｂ）は本発明の一実施形態に係る形状マッチングモジュールのブロック図を、それぞれ例示している。 本発明の一実施形態に係る手話を認識する方法のフローチャートを例示している。 本発明の一実施形態に係る手のひらを検出する方法のフローチャートを例示している。 本発明の一実施形態に係る手のひらを検出するための手の画像を例示している。 （ａ）は本発明の一実施形態に係るサイン認識システムで処理する奥行画像の事例を、（ｂ）は本発明の一実施形態に係る、（ａ）の奥行画像から生成したスケルトン構造を、（ｃ）は本発明の一実施形態に係る、（ｂ）のスケルトン構造から生成したリンク構造を、それぞれ例示している。 本発明の一実施形態に係る、制約条件最適化法を用いてリンク構造のセグメントを分類する方法を例示している。 本発明の一実施形態に係る、ツリー検索法を用いてリンク構造のセグメントを分類する方法を例示している。 本発明の一実施形態に係る、非循環有向グラフを用いて手形状を生成する方法のフローチャートを例示している。 本発明の一実施形態に係る、図７（ｃ）のリンク構造から生成したノードを有するツリー構造を例示している。 本発明の一実施形態に係る、右手と左手に分類したときの奥行画像の画像画素の事例を示している。
図面を参照しつつ、以下に、本発明の好ましい実施形態について説明するのが、類似する参照番号は同一もしくは機能的に類似する構成要素を表す。さらに、図面の各参照番号の最左桁は、その参照番号が最初に用いられる図に対応する。
明細書中の「一実施形態」あるいは「実施形態」という記述は、当該の実施形態に関して記載された特定の特徴、構造、特性が本発明の少なくとも１つの実施形態に含まれることを意味する。明細書の随所に現れる「一実施形態では」という表現は、必ずしも同一の実施形態について言及するものではない。
詳細な記載の部分によっては、コンピュータメモリ内のデータビットの操作に関するアルゴリズムや符号表現によって提示される。このようなアルゴリズム的な記載や表現は、データ処理技術を扱う当業者によって用いられる手段であり、他の当業者に仕事の実体を効果的に伝達するためのものである。ここで言う一般的なアルゴリズムとは、所望の結果を導くためのステップ（指令）を自己無頓着に連続したものと認識されるものである。このようなステップでは、物理量を物理的に操作することを必要とする。必ずしもではないが通常、このような物理量は、記憶、伝送、結合、比較、もしくは処理が可能な電気信号あるいは磁気信号の形態をとる。主に一般用途の理由から、このような信号をビット、値、要素、シンボル、文字、用語、数などで呼ぶほうがしばしば利便である。さらに、物理的な数量の物理的な操作を必要とするステップに関する特定の構成を、モジュールや符号装置などと呼ぶほうが、一般性を失うことなく、しばしば利便である。
しかしながら、このような表現あるいは類似の表現は所定の物理量に関連する便宜上のラベルにすぎない。説明から明らかな場合を除いて特に言及しない限りは、記載全体を通じて「処理する」、「演算する」、「算出する」、「決定する」あるいは「表示する」などの表現を用いる説明では、コンピュータシステムの記録部や記憶部に記憶される物理的（電子的）な数量として表されるデータを操作して、コンピュータシステムの記録部、記憶部、送信部、表示部などに記憶される、同様に物理量として表される別のデータに変換するようなコンピュータシステムあるいは類似の電子演算装置の実行や処理について述べている。
本発明の特定の側面は、ここではアルゴリズムの形態で記載される処理ステップや指令を含む。なお、本発明のこれらの処理ステップや指令は、ソフトウェア、ファームウェアあるいはハードウェアにおいて具現可能であり、ソフトウェアにおいて具現する場合、各種のオペレーションシステムで用いられる異なるプラットフォーム上に搭載され、そこから操作したりするためにダウンロードが可能である。
また、本発明は、ここに記載される動作を実行する装置に関する。この装置は、必要な用途に合わせて特定の構成を備えていてもよいし、コンピュータに記憶されるコンピュータプログラムによって選択的に起動されたり、再構成されるような汎用コンピュータから構成されていてもよい。かかるコンピュータプログラムは、以下のようなコンピュータ読取り可能な媒体に記憶されてもよいが、これらに限定されるものではない：フレキシブルディスク、光ディスク、CD-ROM、磁気光ディスクなどを含むあらゆる種類のディスク、ROM、RAM、EPROM、EEPROM、磁気カードや光カード、ASIC（Application Specific Integrated Circuits）、あるいは電子命令（electronic instructions）の記憶に適したあらゆる種類の媒体、および各々がコンピュータシステムバスに連結されたもの。さらに、本明細書に記載されるコンピュータには単一のプロセッサが含まれ、あるいは、演算能力を向上させるために複数のプロセッサデザインを用いた構造であってもよい。
ここでいうアルゴリズムや表示は、特定のコンピュータやこの他の装置のみを指すものではない。各種の汎用システムは、ここに教示される内容に従ったプログラムとともに用いてもよく、あるいは、必要な方法ステップを実行するために専用の装置を構築するほうが利便な場合もある。これらの各種システムに必要な構造は、以下の記載から明らかである。さらに、本発明は、特定のプログラミング言語を指して記載されるものではない。各種のプログラミング言語を用いて、以下に記載される本発明の教示を実装するようにしてもよく、さらに、以下の特定言語は、本発明の実施可能性と最良の形態を開示するために記載されたものであることは理解されるであろう。
さらに、本明細書中の説明で用いられた文言は、読みやすさや例示的な目的から主に用いられたものであって、本発明の主題の範囲を詳説したり、限定するために選択されたものではない。したがって、本発明の開示は、例示を意図したものであって、以下の特許請求の範囲に記載される本発明の範囲を限定するものではない。
手サイン認識の一実施形態によれば、サイン認識システムにより認識、特定できるサインの数を増大させることができる。具体的には、サイン認識システムは、奥行画像において両手が重なり合ったり隣接する場合であっても、両手の形状を決定するものである。重なり合ったり隣接する両手の形状は、（ｉ）コスト関数と制約条件を用いて、リンク構造のセグメントを分類する問題を線形計画最適化問題（linear programming optimization problem）の形態のラベル付与問題に変換する制約条件付最適化法（constrained optimization method）、あるいは（ｉｉ）複数のノードを含む非循環有向グラフ（directed acyclic graph）を用いて、奥行画像に表される両手について最も可能性が高そうな形状を求めるツリー検索法（tree search method）によって決定するようにしてもよい。両手の形状を決定した後、リンク構造のセグメントを、記憶している手形状とマッチングさせて、奥行画像に表されるサインを決定する。
ここで言うリンク構造とは、重なり合ったり隣接する両手の形状を決定するために用いる画像画素から得たリンク線のセットを言う。このようなリンク構造には、奥行画像の手の特徴を表す２つ以上のセグメントが含まれる。リンク構造は、例えば、重なり合ったり隣接する手を表す画像画素のクラスタを細線化し、さらに、手形状を特定、認識するための処理を行うことで求める。このように、リンク構造を用いれば、手話サインを認識、特定する際に画像画素を処理する必要がなくなるため、手話サインを認識するための演算やアルゴリズムを簡略化することができる。
図面と以下の記載は、実例のみを用いた本発明の好ましい実施形態に関する。以下の記載から、ここに開示される構成や方法の代替の実施形態は、請求項に係る発明の原則から逸脱しない範囲で実現可能な代替案として容易に認識されるであろう。
サイン認識システムの構造
図２は、本発明の一実施形態に係るサイン認識システム２００の概略ブロック図である。サイン認識システム２００は、構成部品の中でも特に、画像キャプチャ装置２１０と画像処理モジュール２２０とを備える。画像キャプチャ装置２１０は、対象２５２の奥行画像２１２を取得し、この奥行画像２１２を画像処理モジュール２２０に送信する。画像処理モジュール２２０は、奥行画像２１２を処理し、特定した対象２５２の手サインを示すデータ２４０を出力する。
一実施形態では、画像キャプチャ装置２１０は、手形状を分析するために十分な解決策として機能する飛行時間センサを備え、例えば、スイス連邦チューリッヒのCSEM SA社製、イスラエル国ヨークナムの3DV Systems社製、あるいはカリフォルニア州サンノゼのCanesta, Inc社製のカメラなどである。飛行時間センサは、対象が動き回ると予測される範囲の領域を包含する奥行のある窓に設置する。なお、背景などの非対象物は奥行画像２１２の一部をなさない。別の実施形態では、画像キャプチャ装置２１０は、距離を隔てて設置した２つ以上の画像センサに基づいて、奥行画像２１２を生成するステレオビジョンカメラを備える。符号化光や時間−空間ステレオ画像を用いて奥行画像２１２を生成するようにしてもよい。
画像処理モジュール２２０は、奥行画像２１２から手サインを認識するための専用装置であってもよい。あるいは、画像処理モジュール２２０は、パーソナルコンピュータなどの汎用演算装置の一部であってもよい。画像処理モジュール２２０は、構成部品の中でも特に、コンピュータプロセッサや、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ディスクドライブ等のコンピュータ読み取り可能媒体などの従来のデータ処理装置やデータ記憶装置を備える。好ましくは、コンピュータプロセッサは、実行可能なソフトウェアプログラムからのプログラム指令が実行されると画像処理機能を具現化するような能力を有する従来の汎用プロセッサである。一実施形態では、画像処理モジュール２２０は、ジェスチャの特徴を認識し、関連する変化を表示装置（図示せず）に表示するために、１つ以上のコンピュータプログラムにアクセスできるようなコンピュータ読み取り可能媒体（図示せず）を備える。
一実施形態では、サイン認識システム２００は、例えば、日本国東京の本田技研工業株式会社製の最新人間型ロボット「ＡＳＩＭＯ」（登録商標）などに用いるロボット用人間−機械インタラクションシステムの一部である。本実施形態では、画像キャプチャ装置２１０は、ロボットビジョンユニットの一部であってもよく、画像処理モジュール２２０はロボットの制御理論の一部であってもよい。ロボット用人間−機械インタラクションシステムにおけるサイン認識システム２００は、例えば、会話や音声による指令が有効でないような騒々しい環境でロボットに指示を与えるときに用いるようにしてもよい。
画像処理モジュール２２０は画像キャプチャ装置２１０に接続しており、奥行画像２１２を受信する。画像処理モジュール２２０は、構成部品の中でも特に、画像バッファ２２２と、画像前処理モジュール２２４と、形状マッチングモジュール２２６とを備える。画像バッファ２２２は、画像キャプチャリング装置２１０から奥行画像２１２を受信するように構成されている。画像バッファ２２２は、周辺インターフェースハードウェア、ネットワークインターフェースハードウェア（有線または無線）などの一部であってもよい。一実施形態では、画像バッファ２２２から受信した奥行画像２１２を、ハードディスク、フラッシュメモリ、ＲＡＭなどの内部データ記憶装置（図示せず）に記憶する。
画像前処理モジュール２２４では、各種の画像処理作業を行い、その中でも特に、例えば、米国特許出願番号第11/129164号、発明の名称「Sign Based Human-Machine Interaction」、出願日２００５年５月１２日（米国特許公開番号第2005/0271279号として公開）、および米国特許出願番号第11/869435号、発明の名称「Human Pose Estimation and Tracking Using Label Assignment」、出願日２００７年１０月９日に記載されるような、対象２５２の特定の部位を表す画像画素のモーション追跡やクラスタ抽出などを行う。なお、前記文献に記載されるすべての内容をここに引用する。サイン認識については、画像前処理モジュール２２４は、図４を参照しつつ後述するように、処理作業の中でも特に、両手を表す画像画素のクラスタの抽出、両手のひらの検出、およびリンク構造の生成の処理を行う。
形状マッチングモジュール２２６は画像前処理モジュール２２４に接続しており、リンク構造と両手のひらの位置に関する情報を受信する。形状マッチングモジュール２２６は、リンク構造のどのセグメントをどちらの手に割り当てるべきかを決定し、この決定した手の形状と記憶している手形状とをマッチングさせて、対象２５２が示す手形状を決定する。リンク構造のどのセグメントをどちらの手に割り当てるべきかを決定すれば、どの画像画素をどちらの手に割り当てるべきかを決定することができる。一実施形態では、画像画素を隣接のセグメントと同じ手に割り当てる。
図３（ａ）および（ｂ）は、本発明の実施形態に係る形状マッチングモジュール２２６のブロック図を示している。図３（ａ）に示す実施形態では、形状マッチングモジュール２２６Ａは、オーバーラップ手形状検出モジュール３１６と、非オーバーラップ手形状マッチングモジュール３２０と、制約条件付最適化モジュール３４０と、形状データベース３５０とを備える。オーバーラップ手形状検出モジュール３１６は、手が重なり合ったり隣接していることを示す画像画素が奥行画像２１２に含まれているか否かを決定する。
オーバーラップ手形状検出モジュール３１６は、奥行画像の手が重なり合ったり隣接していないと決定した場合には、非オーバーラップ手形状マッチングモジュール３２０を用いて、例えば、米国特許出願番号第11/129164号、発明の名称「Sign Based Human-Machine Interaction」（米国特許公開番号第2005/0271279号）に開示されるような方法で手サインを認識する。一方、奥行画像２１２の手が重なり合ったり隣接していると決定した場合には、図８ないし図１０を参照しつつ詳細に後述するように、制約条件付最適化モジュール３４０を用いて手形状を決定するとともに、手形状が示すサインを決定する。
例えば、米国特許出願第11/129164号、発明の名称「Sign Based Human-Machine Interaction」（米国特許公開番号第2005/0271279号）に開示されるように、形状データベース３５０には、非オーバーラップ手形状マッチングモジュール３２０あるいは制約条件付最適化モジュール３４０で決定した手形状とマッチングさせるための手形状のプロファイルが記憶されている。なお、前記文献に記載されるすべての内容をここに引用する。
図３（ｂ）の実施形態は、制約条件付最適化モジュール３４０の代わりにツリー検索モジュール３４４を用いる点を除いて、実質的に図３（ａ）の実施形態と同じである。図３（ｂ）のオーバーラップ手形状検出モジュール３１６の機能と、非オーバーラップ手形状マッチングモジュール３２０の機能と、形状データベース３５０の機能は、本質的に図３（ａ）の実施形態と同じである。しかしながら、図３（ｂ）の実施形態のツリー検索モジュール３４４は、非循環有向グラフを用いて、図９ないし図１１を参照しつつ詳細に後述するような方法で手形状を決定する。図３（ａ）および（ｂ）の形状マッチングモジュール２２６Ａおよび２２６Ｂは、以下においては、まとめて形状マッチングモジュール２２６と呼ぶ。
手サイン認識方法
図４は、本発明の一実施形態に係る手サイン認識方法のフローチャートを示している。まず、画像前処理モジュール２２４は奥行画像２１２から両手を表す画像画素のクラスタを抽出する（Ｓ４１０）。両手を表す画像画素のクラスタを決定するには、例えば、米国特許出願番号第11/869435号、発明の名称「Human Pose Estimation and Tracking Using Label Assignment」、出願日２００７年１０月９日に開示されるように、奥行画像および色画像の一部分を、対象の異なる部位に分類し、ラベリングすることで決定できる。なお、前記文献に記載されるすべての内容をここに引用する。次に、画像前処理モジュール２２４は、抽出した画像画素のクラスタに重なり合ったり隣接する両手が含まれているか否かを決定する（Ｓ４２０）。
画像画素のクラスタに含まれる手が重なり合っていたり隣接していると決定した場合には、図５および図６を参照しつつ詳細に後述するように、前処理モジュール２２４は両手のひらを検出する。続いて、前処理モジュール２２４は、例えば、手を表す画像画素のクラスタについて中間軸変換（medial axis transform）を行い、リンク構造（図７Ｃを参照）を生成する（Ｓ４４０）。一実施形態においては、中間軸変換は、クラスタに細線化処理を施こすことで実行する。前処理モジュール２２４で生成したリンク構造は、画像画素のクラスタのスケルトンを近似化したものである。
次に、形状マッチングモジュール２２６は、制約条件付最適化もしくはツリー検索を行って、図８および図１０を参照しつつ詳細に後述するように、手形状の曖昧さを解像する（Ｓ４５０）。手の形状の曖昧さを、リンク構造もしくはノードのセグメントを片方の手かもう片方の手に割り当てることで解像する。
制約条件付最適化法あるいはツリー検索法を用いて、リンク構造またはノードのセグメントをどちらかの手に割り当てた後、例えば、米国特許出願番号第11/129164号、発明の名称「Sign Based Human-Machine Interaction」、出願日２００５年５月１２日（米国特許公開番号第2005/0271279号）に開示されるように、形状マッチングモジュール２２６において、Ｓ４５０で解像した手形状を、形状データベース３５０に記憶している手形状プロファイルにマッチングさせる（Ｓ４６０）。なお、前記文献に記載されるすべての内容をここに引用する。形状マッチングモジュール２２６は、奥行画像２１２の手形状を、記憶している手形状プロファイルにマッチングさせることで、特定した手サイン２４０を出力する（Ｓ４７０）。
Ｓ４２０において、奥行画像２１２に重なり合ったり隣接する手が含まれないと決定した場合は、処理をＳ４８０に進めて、例えば、米国特許出願番号第11/129164号、発明の名称「Sign Based Human-Machine Interaction」、出願日 ２００５年５月１２日（米国特許公開番号第2005/0271279号）に開示されるような、距離マッチングやスケルトンマッチングなどの技法を用いて、奥行画像２１２の手形状を決定する。なお、前記文献に記載されるすべての内容をここに引用する。次に、処理をＳ４７０に進めて、特定した手サインを出力して処理を終了する。
手のひら検出
図５は、本発明の一実施形態に係る手のひらを検出する方法に関するフローチャートを示している。ツリー検索法および制約条件付最適化法の精度は、手のひらの検出の正確さに左右されるため、手のひらの位置の決定は非常に重要である。ツリー検索法と制約条件付最適化法のどちらも、セグメントを片方の手またはもう片方の手に分類する（これにより画像画素を分類する）際には、手のひらまでの相対的な距離やセグメントが手のひらにリンクしているか否かの判断に一部基づいて行う。したがって、手のひらの位置の検出が正確でないならば、セグメントを手に分類するときの精度が低下してしまう。
まず、従来の方法を用いて、手を表す（場合によっては前腕の一部も含む）画像画素のクラスタ６００のスケルトンを生成する（Ｓ５２０）。図６を参照しつつ、画像画素のクラスタ６００のスケルトンを表す線６３０を描く。次に、線６３０（つまりスケルトン）と直交するクラスタの幅を測定する（Ｓ５３０）。クラスタの幅は、線６３０と直交する線が手の輪郭線６０４と交わる点どうしの距離を測定することで決定する。図６は、クラスタ６００の幅は、線６３０に沿って移動するときに直交する線（例えば、線６１０、６２０、６４０、６５０）を用いて測定する事例を示している。極大値となる長さ（クラスタの幅）を有する直交する線（線６１０、６２０、６４０、６５０）を、手のひらの中央部を含んでいる可能性のある線の候補として多数選択する。
図５に戻って、閾値よりも長さが短い線の候補を捨てる（Ｓ５５０）。長さの短い線の候補は、手のひらではなく指を表している可能性が高いため候補から外す。例えば、図６の線６１０および６２０はこの段階で捨てる。
残りの線の候補（例えば線６４０と６５０）の中で、指に最も近い候補である線６４０を手のひらの中央部を含んでいる線として選択する（Ｓ５６０）。一実施形態では、指の検出は、線周辺のクラスタが、同じスケルトン中の他の線のクラスタよりも幅細であるような線から検出する。手のひらの中央部を含んでいる線として、線６４０を選択すると、手のひらの中央部として、線６４０の中央部を決定する（Ｓ５７０）。一実施形態では、手のひらの形状は、半径または軸の最大値がクラスタ内に収まるような円や楕円を選択して決定する。
リンク構造の事例
図７（ａ）は、本発明の一実施形態に係るサイン認識システム２００でこれから処理しようとするサインを含んだ奥行画像を例示したものである。
図７（ａ）は、日本手話（ＪＳＮ）の「Ｂ」という文字を表している対象の画像から抽出した奥行画像である。図７（ａ）の奥行画像に含まれる、対象の画像の背景とその他の物品は画像前処理モジュール２２４で削除している。
図７（ｂ）は、本発明の一実施形態に係る図７（ａ）の奥行画像から生成したスケルトン構造を例示したものである。
右の手のひら７１０と左の手のひら７２０を、例えば、図５および図６を参照しつつ説明したような方法で検出する。図７（ｂ）のスケルトン構造は、複数のセグメントに区分する前の状態である。
図７（ｂ）のスケルトン構造には、手の特徴になり得ないような短い断片（例えば、ぶら下がり線７３０）を含んでいる可能性がある。このような短い断片は、デジタル画像中のノイズとなったり、あるいは画像処理中に発生するアーチファクトとなることが多い。
図７（ｃ）は、本発明の一実施形態に係る、図７（ｂ）から生成したリンク構造７００を例示している。リンク構造７００は、複数のノードでセグメント（Ｓ０−Ｓ８）に区分化されている点で、スケルトン構造とは異なる。
リンク構造７００には、図７（ｂ）のぶら下がり線７３０のような短い断片は含まれない。リンク構造７００を生成するために、スケルトン構造を次のようなノードで区分するようにしてもよい：
（ｉ）３本以上の線が集まる分岐ノード
このようなノードは、指が始まる、隣接する、終端となるような点である可能性が高い。
（ｉｉ）線の角度が急に変化するような点（例えば、図７（ｂ）の点７４０）
このような点では手の指やその他の部位と交差する可能性が高い。
（ｉｉｉ）所定の閾値よりも長い線の途中で最大曲率の変化が発生するような点（例えば、図７（ｃ）の点７３４）
手のセグメントであれば、このような閾値を超える長さを有する可能性は低い。
制約条件付最適化法
図８は、本発明の一実施形態に係る、制約条件付最適化法を用いてリンク構造のセグメントをグループ化する方法を例示したものである。
制約条件付最適化モジュール３４０は、まず、リンク構造のセグメントを、右手と左手に分類するためのコスト関数を生成する。一実施形態では、次のようなコスト関数Q(f)を用いる。
Figure 2011501316
ここで、Nはリンク構造中のセグメントの合計数であり、Mは手の数（つまりM = 2）、c(i, j)はセグメント si を手 j （j = 1 は左手、j = 2 は右手、またはその反対）に割り当てる費用を表し、Aijはセグメント si が右手と左手のどちらに割り当てられているかを表す（下の表１に示す関連表の中に記載されるように）０または１の値を有するパラメータを表し、we は隣接する２つのセグメント間の奥行差を表す重みを表し、Ze はセグメント分類の問題をラベル付与問題に変換するために導入されるパラメータである。最適化処理の全体の目的は、コスト関数 Q(f) を最小化するAij のセットを見つけることである。
式（１）の重み we は、セグメント si (i = 1,2,…,N) 間の関係の強さを表す。互いに隣接するセグメントどうしは強い関係を有し、同じラベル付部位に分類される可能性が高い。このような強い関係はより高い重み we で表される。対照的に、互いに隣接しないセグメントどうしは弱い関係を有する。このように弱い関係はより低い重み we で表される。重み we に関連するパラメータ Zeは、セグメント分類の問題を、線形計画法による最適化問題の形式のラベル付与問題に変換するために導かれるものである。
Figure 2011501316
一実施形態では、Q(f) を最小化する問題は次の制約条件に左右される。
Figure 2011501316
式（２）は、周辺に幅の狭いクラスタ群を有するセグメントには指が１本のみ含まれる、という制約条件を表している。したがって、このようなセグメントは右手または左手に分類することはできるが、両手に分類することはできない。
式（３）は、幅の広い複数のクラスタを有するセグメントには２本の指が含まれる、という制約条件を表している。したがって、このようなセグメントは、左手、右手あるいは両手に分類することができる。
式（４）ないし式（６）（Zej は絶対値 |Apj-Aqj| を表す）は、隣接するセグメントどうしは、同じラベル付け部位または隣接のラベル付け部位に分類されなければならない、という制約条件から導かれたものである。式（７）は、前記の通り、Aij は０か１である、という制約条約を表す。式（８）と式（９）は、右手または左手の指の長さの合計は最大値を越えてはならない、という制約条件を表す。
式（１）ないし式（９）で示される最適化問題は、ＮＰ困難と呼ばれる整数計画（integer program）である。一実施形態では、Aij を非整数値にすることで、最適化問題を線形計画法に簡略化することができる。このような簡略化を用いることで、式（１）ないし式（９）で表される最適化問題は、一般に入手可能なソフトウェアライブラリ、例えば、 lp_solve 5.5.0.10（http://lpsolve.sourceforge.net/5.5/ 等で入手可能）を使って効果的に解くことができる。
一実施形態では、式（１）の重み we を無視（weをゼロに設定）し、その代わりに、指が鋭角度に曲げられる場合を排除する制約条件を追加する。このような制約条件は、例えば、閾値（例えば、１６０度）未満の角度で交差するような隣接するセグメント Sa および Sb （ここで、1 ≦ a ≦ N および 1 ≦ b ≦ N）を求めるための下のような式（１０）および式（１１）で表すことができる。式（１０）および式（１１）は、セグメント Sa と Sb とはそれぞれ異なる手に分類されなければならないことを示している。
Figure 2011501316
式（２）、（３）、（５）ないし（１１）で表される制約条件下で、重み we がゼロに設定された式（１）の最小化問題を解くために、一般に入手可能なソフトウェアライブラリ、例えば、 lp_solve 5.5.0.10を用いてもよい。
一実施形態では、すべてのセグメントを右手または左手、もしくは両手に割り当てた後に、奥行画像２１２の画像画素を、隣接のセグメントが割りあてられている手と同じ手に割り当てる。
ツリー検索法
図９は、本発明の一実施形態に係る、ツリー検索法を用いてリンク構造のセグメントを２本の手に分類する方法に関するフローチャートである。まず、従来の方法を用いて、リンク構造７００から非循環有向グラフを生成する（Ｓ９２０）。図１１は、図７（ｃ）のリンク構造から生成した非循環有向グラフ１１００をツリーの形態で構成したもの（よって、この方法を「ツリー検索法」と呼ぶ）を示す。
図１１に示す非循環有向グラフ１１００の例では、非循環有向グラフのトップノード８は、右の手のひら７１０に最も近いセグメントＳ８（図７（ｃ）を参照）から始まって、左の手のひら７２０に向けて処理が進むにしたがって、連結するセグメントへ次々と広がっていく。非循環有向グラフ１１００の矢印はノード間の連結関係を示す。なお、非循環有向グラフ１１００は、代替の方法を用いて生成してもよい。
再び図９を参照しつつ、非循環有向グラフ１１００を生成した後は、図１０を参照しつつ詳細に後述する通りに、右手の手形状と左手の手形状の候補を生成する（Ｓ９３０）。
１つ以上の基準を用いて、これらの手形状の候補を評価する（Ｓ９４０）。一実施形態では、各基準についてスコアを計算し、これらスコアを足して、手形状の候補を評価する。手形状の候補を評価するための基準には、例えば、以下のようなものが含まれる：（ｉ）手は物理的にリンクする物体であることから、左手と右手のノードがリンクするような手形状の候補には高いスコアを付与し、（ｉｉ）指は手のひらの近くにあることから、手のノードが、この手のひらから所定の距離内に位置するような手形状の候補には高いスコアを付与し、（ｉｉｉ）指を鋭角に曲げることはあまりないため、セグメントどうしの角度が鋭角であるような手形状の候補には低いスコアを付与し、（ｉｖ）分岐するセグメントが指から始まることはあまりない（通常、分岐するセグメントは、複数の指が連結する手のひらから始まる）ため、分岐するノードが、この分岐するノードが割り当てられた手のひらから離れた位置にあるような手形状の候補には低いスコアを付与する。基準（ｉ）ないし（ｉｖ）までのスコアを算出し、これらのスコアを足して合計スコアを求める。なお、これらの基準は限定的、包括的なものではなく、異なる基準を用いて両手形状の候補を評価するようにしてもよい。
最もスコアの高い手形状の候補を、最も可能性の高い手形状として選択する。異なる基準を表す異なるスコアに対しては、異なる重みを付与するようにすることで、異なる基準を組み合わせた場合にも正確な評価を行えるようにしてもよい。
図１０は、本発明の一実施形態に係る、左手と右手の手形状の候補を生成するフローチャートを示している。可能と思われる手形状の候補をすべて生成して、手形状の候補をすべてを評価することは可能であるが、ノードとセグメントで表される手の物理的構造を考慮すれば、手形状によっては実際には不可能なものもあるため、こうしたやり方は、演算コストが高くなり非効率的である。したがって、本発明の一実施形態では、図９のステップＳ９４０でさらに評価するために、ノードどうしの特定の連結関係を満たすような手形状の候補のみを生成する。
本実施形態では、図１１に例示される非循環有向グラフ１１００を生成した後、top-to-bottom検索（top-to-bottom search）を行って、どちらかの手（例えば、右手）に割り当てるためのノードの組み合わせを生成する（Ｓ１０２０）。具体的には、非循環有向グラフ１１００のトップノード８から始まって、右手について４組のノードの組み合わせ方が可能であることが分かる：（ｉ）ノード８のみが右手に属する（ノード８以外のノードは左手に割り当てる）第１の手形状の候補、（ｉｉ）ノード６から分岐する枝に含まれるノードのすべてまたは一部を右手に分類する、多数の手形状の候補、（ｉｉｉ）ノード３から分岐する枝に含まれるノードのすべてまたは一部を右手に分類するような、多数の手形状の候補、（ｉｖ）（ノード３から分岐する枝とノード６から分岐する枝の）両方の枝に含まれるノードのすべてまたは一部を右手に分類するような、多数の手形状の候補。ノード８、６、３を含んでいることに基づいて手形状の候補を決定した後、処理を次の段階へ進めて、ノード８のときと同じ方法で、これらの手形状の候補がノード０、５および２を含んでいるか否かを決定する。同様に、これらの手形状の候補がノード７、４および１を含んでいるか否かについても決定する。
右手の手形状の候補に含まれると決定したノードどうしを連結して、右手の手形状の候補をすべて生成する（Ｓ１０３０）。次に、どちらかの手（例えば、右手）の手形状の候補の各々について、非循環有向グラフ１１００のノードからこの（右手の）手形状の候補のノードを削除して、反対側（左手）の手形状の候補のノードを決定する（Ｓ１０４０）。続いて、反対側の手形状の候補の中にあるノードを連結して、左手の手形状の候補を生成する（Ｓ１０５０）。例えば、右手の手形状の候補にノード８、６、０、７が含まれる場合は、反対側の左手の手形状の候補にはノード１ないし５が含まれる。この場合の事例では、ノード８、６、０、７を連結して右手の手形状の候補を生成し、ノード１ないし５を連結して左手の手形状の候補を生成する。
非循環有向グラフ１１００から、右手の連結関係を満たすような右手の手形状と左手の手形状との組み合わせをすべて生成した後、図９を参照して説明したような基準ごとにスコア付けを行って、各手形状の組み合わせを評価をする。
実験結果
図１２は、本発明の各種実施形態に係る、両手に割り当てた画像画素の事例を示したものである。具体的には、図１２の事例は、制約条件付最適法を用いて正確に特定した、日本手話（ＪＳＬ）のアルファベット文字のＡ、アルファベット文字のＫ、アルファベット文字のＧ、アルファベット文字のＢ、アルファベット文字のＸ、単語の「井戸」、単語の「会う」、単語の「手紙」を例示している。図１２の各画像中の円は、図５を参照して詳述した方法を用いて検出した両手のひらを表している。
ここでの実験では、サイン認識システムは、２．１３ＧＨｚペンティアム（登録商標）プロセッサで動作するプロセッサと２ギガバイトのＲＡＭを備えたラップトップ型コンピュータにより具現化した。かかるハードウェア構成のサイン認識システムは、約０．５秒のサインを正確に識別できた。このように認識時間が俊敏であることは、本発明の実施形態に係る手形状マッチングモジュールは演算コストが安価であり、サイン認識処理全体にかかる演算費用を最小化できることを意味する。
代替の実施形態
一実施形態では、サイン認識システムは、例えば、米国特許出願番号第11/129164号、発明の名称「Sign Based Human-Machine Interaction」、出願日：２００５年５月１２日（米国特許公開番号第2005/0271279号）に開示されるような、手の軌道を追跡するためのジェスチャマッチングモジュールをさらに備える。なお、前記文献に記載されるすべての内容をここに引用する。このジェスチャマッチングモジュールを、本発明の各種実施形態に係る形状マッチングモジュールに対応させて、重なり合ったり隣接する手の動きを追跡するようにしてもよい。
一実施形態では、手形状の識別の精度を向上させるために、色画像データを用いてもよい。奥行画像だけを用いて正確に識別するのが困難な場合には、色画像データから取得した色と形状を用いて、手形状の曖昧さを解像するようにしてもよい。色画像データを用いる場合は、さらに基準や制約条件を追加するようにしてもよい。
一実施形態では、形状マッチングモジュール２２６は、制約条件最適化モジュールとツリー検索モジュールの両方を備えるようにしてもよい。形状マッチングモジュール２２６は、異なる状況であっても、より正確な結果が得られるように２つの方法（制約条件最適化法とツリー検索法）に関する情報を備えるようにして、状況に応じて制約条件最適化モジュールとツリー検索モジュールのいずれかを用いるようにしてもよい。別の実施形態では、制約条件最適化モジュールとツリー検索モジュールのそれぞれで予備的な識別サインを生成し、さらに、形状マッチングモジュール２２６で解析・選択の処理を行ってから、最終的な識別サインを生成するようにしてもよい。
本発明の特定の実施形態および応用例について例示し、説明したが、本発明は、ここに開示される構造や構成部品に厳密に限定されるものではなく、本発明の方法と装置の配置構成、動作および詳細について、付属の特許請求の範囲に定義されるような本発明の趣旨および範囲から逸脱しない限りにおいて各種の修正、変更、変形例が可能である。

Claims (25)

  1. 手話を認識するコンピュータベースの方法であって、
    前記方法は、
    １つ以上のカメラを用いて、対象の部位と前記１つ以上のカメラとの距離を表す画像画素を含んだ前記対象の奥行画像を受信し、
    前記奥行画像における前記対象の第１の手と第２の手とが重なり合うか隣接していると決定した場合に、前記奥行画像を、前記対象の第１の手を表す第１の部位と前記対象の第２の手を表す第２の部位とに分類し、
    前記第１の部位と前記第２の部位との形状を、記憶している手形状にマッチングさせて、前記奥行画像において前記第１の手と前記第２の手とで表されるサインを出力する
    ことを特徴とするコンピュータベースの方法。
  2. 前記奥行画像から前記第１の手と前記第２の手とを表すリンク構造を生成し、前記リンク構造は、互いにリンクする２つ以上のセグメントを含むことを特徴とする請求項１に記載のコンピュータベースの方法。
  3. 前記奥行画像を分類することは、
    前記２つ以上のセグメントを前記第１の手と前記第２の手とに分類するためのコストを示すコスト関数を生成し、
    前記コスト関数を最小化し、さらに、手の特性を表す制約条件を満たすような、前記第１の手と前記第２の手とについての手形状を決定する
    ことを含むことを特徴とする請求項２に記載のコンピュータベースの方法。
  4. 前記制約条件は、
    近接するセグメントどうしは、同じ手に属するセグメントになる可能性が高い第１条件と、
    画像画素の第１クラスタから生成した第１セグメントは、前記第１クラスタの第１の厚さが閾値よりも大きい場合には、２本以上の指を含む第２条件と、
    画像画素の第２クラスタから生成した第２セグメントは、前記第２クラスタの第２の厚さが前記閾値以下である場合には、１本の指を含む第３条件と、
    前記第１の手と前記第２の手とに分類されるセグメントの長さの合計は、最大値を超えない第４条件とを含む
    ことを特徴とする請求項３に記載のコンピュータベースの方法。
  5. 前記奥行画像を分類することは、前記リンク構造に基づいて、セグメントを表すノードを含み、かつ前記ノード間の連結間関係を示すような非循環有向グラフの構造を生成し、
    前記ノードの第１のセットを前記第１の手にグループ化し、前記ノードの第２のセットを前記第２の手にグループ化するような、ノードの組み合わせを生成し、
    両方の手の特徴を表す１つ以上の基準を用いて、前記ノードの組み合わせを評価する
    ことを特徴とする請求項２に記載のコンピュータベースの方法。
  6. 前記ノードの組み合わせを評価することは、
    同じ手に分類された第１のノードと第２のノードとのリンクを表す第１のスコアを求め、
    セグメントが分類された手のひらと前記セグメントとの距離を表す第２のスコアを求め、
    前記同じ手に分類された、リンクするセグメントどうしの角度を表す第３のスコアを求め、
    分岐ノードと前記分岐ノードが分類された手のひらとの距離を表す第４のスコアを求め、この場合の前記分岐ノードは、３つ以上のノードにリンクするノード、もしくは手のひらと２つ以上のノードにリンクするノードを表し、
    前記第１のスコアと、前記第２のスコアと、前記第３のスコアと、前記第４のスコアとの合計値が最も小さい組み合わせを決定する
    ことを含むことを特徴とする請求項５に記載のコンピュータベースの方法。
  7. 前記第１の手のひらと前記第２の手のひらとを検出することを含むことを特徴とする請求項１に記載のコンピュータベースの方法。
  8. 前記第１の手のひらまたは前記第２の手のひらを検出することは、
    前記第１の手と前記第２の手とを表す画像画素に基づいてスケルトン線を生成し、
    前記スケルトン線と直交し、かつ前記第１の手と前記第２の手の輪郭となる画像画素のエッジと交差する線の極大長さを求めることで、前記第１の手のひらまたは前記第２の手のひらの中央部を含んでいる線の候補を決定し、
    前記第１の手または前記第２の手の指を表す画像画素に最も近接する前記線の候補の中央部を、前記手のひらの中央部として決定する
    ことを特徴とする請求項７に記載のコンピュータベースの方法。
  9. 前記リンク構造を生成することは、前記第１の手および前記第２の手を表す前記画像画素を細線化する
    ことを含むことを特徴とする請求項２に記載のコンピュータベースの方法。
  10. プロセッサによって実行可能な指令を記憶するコンピュータ読み取り可能媒体を含むコンピュータプログラム製品であって、
    前記指令を実行することで、プロセッサは、
    １つ以上のカメラを用いて、対象の部位と前記１つ以上のカメラとの距離を表す画像画素を含んだ前記対象の奥行画像を受信し、
    前記奥行画像における前記対象の第１の手と第２の手とが重なり合うか隣接していると決定した場合に、前記奥行画像を、前記対象の第１の手を表す第１の部位と前記対象の第２の手を表す第２の部位とに分類し、
    前記第１の部位と前記第２の部位との形状を、記憶している手形状にマッチングさせて、前記奥行画像において前記第１の手と前記第２の手とで表されるサインを出力する
    ことを特徴とするコンピュータプログラム製品。
  11. 前記コンピュータプログラム製品は、前記奥行画像から前記第１の手と前記第２の手を表すリンク構造を生成する指令をさらに含み、
    前記リンク構造は互いにリンクする２つ以上のセグメントを含む
    ことを特徴とする請求項１０に記載のコンピュータプログラム製品。
  12. 前記奥行画像を分類する指令は、
    前記２つ以上のセグメントを前記第１の手と前記第２の手とに分類するためのコストを示すコスト関数を生成し
    前記コスト関数を最小化し、さらに、手の特性を表す制約条件を満たすような、前記第１の手と前記第２の手とについての手形状を決定する指令を含む
    ことを特徴とする請求項１１に記載のコンピュータプログラム製品。
  13. 前記制約条件は、
    近接するセグメントどうしは、同じ手に属するセグメントになる可能性が高い第１条件と、
    画像画素の第１クラスタから生成した第１セグメントは、前記第１クラスタの第１の厚さが閾値よりも大きい場合には、２本以上の指を含む第２条件と、
    画像画素の第２クラスタから生成した第２セグメントは、前記第２クラスタの第２の厚さが前記閾値以下である場合には、１本の指を含む第３条件と、
    前記第１の手と前記第２の手とに分類されるセグメントの長さの合計は、最大値を超えない第４条件とを含む
    ことを特徴とする請求項１２に記載のコンピュータプログラム製品。
  14. 前記デジタル画像を分類する指令は、
    前記リンク構造に基づいて、セグメントを表すノードを含み、前記ノード間の連結間関係を示すような非循環有向グラフの構造を生成し、
    前記ノードの第１のセットを前記第１の手にグループ化し、前記ノードの第２のセットを前記第２の手にグループ化するような、ノードの組み合わせを生成し、
    手の特徴を表す１つ以上の基準を用いて、前記ノードの組み合わせを評価するための指令であることを特徴とする請求項１２に記載のコンピュータプログラム製品。
  15. 前記ノードの組み合わせを評価する指令は、
    同じ手に分類された第１のノードと第２のノードとのリンクを表す第１のスコアを求め、
    セグメントが分類された手のひらと前記セグメントとの距離を表す第２のスコアを求め、
    前記同じ手に分類された、リンクするセグメントどうしの角度を表す第３のスコアを求め、
    分岐ノードと前記分岐ノードが分類される手のひらとの距離を表す第４のスコアを求め、この場合の前記分岐ノードは、３つ以上のノードにリンクするノード、もしくは手のひらと２つ以上のノードにリンクするノードを表し、
    前記第１のスコアと、前記第２のスコアと、前記第３のスコアと、前記第４のスコアとの合計値が最も小さい組み合わせを決定する指令を含むことを特徴とする請求項１４に記載のコンピュータプログラム製品。
  16. 前記第１の手のひらと前記第２の手のひらを検出するための指令をさらに含む
    ことを特徴とする請求項１０に記載のコンピュータプログラム製品。
  17. 前記第１の手のひらまたは前記第２の手のひらを検出するための指令は、
    前記第１の手と前記第２の手とを表す画像画素に基づいてスケルトン線を生成し、
    前記スケルトン線と直交し、かつ前記第１の手と前記第２の手の輪郭となる画像画素のエッジと交差する線の極大長さを求めることで、前記第１の手のひらまたは前記第２の手のひらの中央部を含んでいる線の候補を決定し、
    前記第１の手または前記第２の手の指を表す画像画素に最も近接する前記線の候補の中央部を、前記手のひらの中央部として決定する
    ことを特徴とする請求項１６に記載のコンピュータプログラム製品。
  18. 前記リンク構造を生成するための前記指令は、前記第１の手および前記第２の手を表す前記画像画素を細線化するための指令を含む
    ことを特徴とする請求項１１に記載のコンピュータプログラム製品。
  19. 手話認識用のコンピュータベースシステムであって、
    前記システムは、対象の奥行画像を生成する１つ以上のカメラを備え、前記奥行画像は、対象の部位と前記１つ以上のカメラとの距離を表す画像画素を含み、
    前記１つ以上のカメラに接続されて、前記奥行画像における前記対象の第１の手と前記第２の手とが重なり合うか隣接していると決定した場合に、前記奥行画像を、前記対象の第１の手を表す第１の部位と前記対象の第２の手を表す第２の部位とに分類する
    画像前処理モジュールと、
    前記画像前処理モジュールに接続され、前記第１の部位と前記第２の部位との形状を、記憶している手形状にマッチングさせて、前記奥行画像において前記第１の手と前記第２の手とで表されるサインを出力する形状マッチングモジュールと
    を備えることを特徴とするコンピュータベースシステム
  20. 前記前処理モジュールは、さらに、前記奥行画像から前記第１の手と前記第２の手を表すリンク構造を生成し、前記リンク構造は、互いにリンクする２つ以上のセグメントを含むことを特徴とする請求項１９に記載のコンピュータベースシステム
  21. 前記形状マッチングモジュールは、
    前記２つ以上のセグメントを前記第１の手と前記第２の手とに分類するためのコストを示すコスト関数を生成し、
    前記コスト関数を最小化し、さらに、手の特性を表す制約条件を満たすような、前記第１の手と前記第２の手とについての手形状を決定する最適化モジュールを備える
    ことを特徴とする請求項１９に記載のコンピュータベースシステム。
  22. 前記制約条件は、
    近傍に位置するセグメントどうしは、同じ手に属するセグメントになる可能性が高い第１条件と、
    画像画素の第１クラスタから生成した第１セグメントは、前記第１クラスタの第１の厚さが閾値よりも大きい場合には、２本以上の指を含む第２条件と、
    画像画素の第２クラスタから生成した第２セグメントは、前記第２クラスタの第２の厚さが前記閾値以下である場合には、１本の指を含む第３条件と、
    前記第１の手と前記第２の手とに分類されるセグメントの長さの合計は、最大値を超えない第４条件とを含む
    ことを特徴とする請求項２１に記載のコンピュータベースシステム。
  23. 前記形状マッチングモジュールは、前記リンク構造に基づいて、セグメントを表すノードを含み、前記ノード間の連結関係を示すような非循環有向グラフの構造を生成し、
    前記ノードの第１のセットを前記第１の手にグループ化し、前記ノードの第２のセットを前記第２の手にグループ化するような、ノードの組み合わせを生成し、
    両手の特徴を表す１つ以上の基準を用いて、前記ノードの組み合わせを評価するようなツリー検索モジュールをさらに備える
    ことを特徴とする請求項２０に記載のコンピュータベースシステム。
  24. 前記ツリー検索モジュールは、
    同じ手に分類される第１のノードと第２のノードとのリンクを表す第１のスコアと、セグメントが分類される手のひらと前記セグメントとの距離を表す第２のスコアと、前記同じ手に分類されたリンクするセグメントどうしの角度を表す第３のスコアと、分岐ノードと前記分岐ノードが分類される手のひらとの距離を表す第４のスコアとを足して、前記ノードの組み合わせを評価し、
    この場合の前記分岐ノードは、３つ以上のノードにリンクするノードもしくは手のひらと２つ以上のノードにリンクするノードを表す
    ことを特徴とする請求項２３に記載のコンピュータベースシステム。
  25. 前記画像前処理モジュールは、前記第１の手のひらと、前記第２の手のひらを検出することを特徴とする請求項１９に記載のコンピュータベースの方法。
JP2010531098A 2007-10-26 2008-09-04 ラベル割当を用いた手サイン認識 Expired - Fee Related JP4934220B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/925,557 2007-10-26
US11/925,557 US8005263B2 (en) 2007-10-26 2007-10-26 Hand sign recognition using label assignment
PCT/US2008/075276 WO2009055148A1 (en) 2007-10-26 2008-09-04 Hand sign recognition using label assignment

Publications (3)

Publication Number Publication Date
JP2011501316A true JP2011501316A (ja) 2011-01-06
JP2011501316A5 JP2011501316A5 (ja) 2011-10-06
JP4934220B2 JP4934220B2 (ja) 2012-05-16

Family

ID=40579900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010531098A Expired - Fee Related JP4934220B2 (ja) 2007-10-26 2008-09-04 ラベル割当を用いた手サイン認識

Country Status (3)

Country Link
US (1) US8005263B2 (ja)
JP (1) JP4934220B2 (ja)
WO (1) WO2009055148A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014522018A (ja) * 2011-06-22 2014-08-28 マイクロソフト コーポレーション 全自動動的有関節モデル較正
JP2015522195A (ja) * 2012-07-13 2015-08-03 ソフトキネティック ソフトウェア 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
JP2015170206A (ja) * 2014-03-07 2015-09-28 富士通株式会社 検出装置および検出方法
KR101794148B1 (ko) * 2014-03-26 2017-11-06 인텔 코포레이션 효율적인 자유 공간 손가락 인식
US11461966B1 (en) * 2013-08-29 2022-10-04 Ultrahaptics IP Two Limited Determining spans and span lengths of a control object in a free space gesture control environment
US11586292B2 (en) 2014-05-14 2023-02-21 Ultrahaptics IP Two Limited Systems and methods of tracking moving hands and recognizing gestural interactions
US11868687B2 (en) 2013-10-31 2024-01-09 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11994377B2 (en) 2012-01-17 2024-05-28 Ultrahaptics IP Two Limited Systems and methods of locating a control object appendage in three dimensional (3D) space

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101323966B1 (ko) 2004-07-30 2013-10-31 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US8681100B2 (en) 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
US8928654B2 (en) 2004-07-30 2015-01-06 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
US8121351B2 (en) * 2008-03-09 2012-02-21 Microsoft International Holdings B.V. Identification of objects in a 3D video using non/over reflective clothing
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8406925B2 (en) * 2009-07-01 2013-03-26 Honda Motor Co., Ltd. Panoramic attention for humanoid robots
WO2011007204A1 (en) * 2009-07-16 2011-01-20 Ondo Inc. Control method of a graphic interface
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
JP2013505493A (ja) 2009-09-21 2013-02-14 エクストリーム リアリティー エルティーディー． 電子機器とのヒューマン・マシン・インタフェーシングの為の方法、回路、装置及びシステム
GB2483168B (en) 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
CN102044128A (zh) * 2009-10-23 2011-05-04 鸿富锦精密工业（深圳）有限公司 紧急事件报警系统及方法
US8514269B2 (en) 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
JP5536510B2 (ja) * 2010-03-31 2014-07-02 株式会社バンダイナムコゲームス プログラム及び画像生成システム
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
KR20120051212A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
US8730157B2 (en) * 2010-11-15 2014-05-20 Hewlett-Packard Development Company, L.P. Hand pose recognition
US9349040B2 (en) * 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
WO2012147961A1 (ja) 2011-04-28 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US9235902B2 (en) * 2011-08-04 2016-01-12 University Of Southern California Image-based crack quantification
US9569439B2 (en) 2011-10-31 2017-02-14 Elwha Llc Context-sensitive query enrichment
JP5607012B2 (ja) * 2011-11-04 2014-10-15 本田技研工業株式会社 手話動作生成装置及びコミュニケーションロボット
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
WO2013090830A1 (en) 2011-12-16 2013-06-20 University Of Southern California Autonomous pavement condition assessment
US10552581B2 (en) 2011-12-30 2020-02-04 Elwha Llc Evidence-based healthcare information management protocols
US10528913B2 (en) 2011-12-30 2020-01-07 Elwha Llc Evidence-based healthcare information management protocols
US10475142B2 (en) 2011-12-30 2019-11-12 Elwha Llc Evidence-based healthcare information management protocols
US10679309B2 (en) 2011-12-30 2020-06-09 Elwha Llc Evidence-based healthcare information management protocols
US10340034B2 (en) 2011-12-30 2019-07-02 Elwha Llc Evidence-based healthcare information management protocols
US20130173295A1 (en) 2011-12-30 2013-07-04 Elwha LLC, a limited liability company of the State of Delaware Evidence-based healthcare information management protocols
US10559380B2 (en) 2011-12-30 2020-02-11 Elwha Llc Evidence-based healthcare information management protocols
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
KR20130109817A (ko) * 2012-03-28 2013-10-08 삼성전자주식회사 손가락 패턴을 이용한 손 모양 인식 장치 및 방법
US20130257734A1 (en) * 2012-03-30 2013-10-03 Stefan J. Marti Use of a sensor to enable touch and type modes for hands of a user via a keyboard
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
EP2680228B1 (en) * 2012-06-25 2014-11-26 Softkinetic Software Improvements in or relating to three dimensional close interactions.
EP2685403A3 (en) 2012-07-09 2017-03-01 Technion Research & Development Foundation Limited Natural machine interface system
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
KR101436050B1 (ko) 2013-06-07 2014-09-02 한국과학기술연구원 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치
US20150092040A1 (en) * 2013-10-01 2015-04-02 Broadcom Corporation Gesture-Based Industrial Monitoring
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
RU2014113049A (ru) * 2014-04-03 2015-10-10 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов со слежением за объектом на основании вычислительных признаков контуров для двух или более объектов
US9400924B2 (en) * 2014-05-23 2016-07-26 Industrial Technology Research Institute Object recognition method and object recognition apparatus using the same
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
CN104318218A (zh) * 2014-10-29 2015-01-28 百度在线网络技术（北京）有限公司 图像识别方法和装置
DE102014017166A1 (de) * 2014-11-20 2016-05-25 Audi Ag Verfahren zum Betreiben einer Objektbewertungsvorrichtung für ein Kraftfahrzeug, Objektbewertungsvorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Objektbewertungsvorrichtung
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US10395555B2 (en) * 2015-03-30 2019-08-27 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing optimal braille output based on spoken and sign language
US10109219B2 (en) * 2015-04-16 2018-10-23 Robert Bosch Gmbh System and method for automated sign language recognition
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
CN108230383B (zh) * 2017-03-29 2021-03-23 北京市商汤科技开发有限公司 手部三维数据确定方法、装置及电子设备
WO2019094618A1 (en) * 2017-11-08 2019-05-16 Signall Technologies Zrt Computer vision based sign language interpreter
JP6939501B2 (ja) * 2017-12-15 2021-09-22 オムロン株式会社 画像処理システム、画像処理プログラム、および画像処理方法
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
KR102098734B1 (ko) * 2019-08-06 2020-04-08 전자부품연구원 대화 상대의 외형을 반영한 수어 영상 제공 방법, 장치 및 단말
CA3229530A1 (en) * 2021-08-30 2023-03-09 Katsuhide Agura Electronic apparatus and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5787194A (en) * 1994-11-08 1998-07-28 International Business Machines Corporation System and method for image processing using segmentation of images and classification and merging of image segments using a cost function
JP2002366958A (ja) * 2001-06-08 2002-12-20 Toshiba Corp 画像認識方法および画像認識装置
US20040151366A1 (en) * 2003-02-04 2004-08-05 Nefian Ara V. Gesture detection from digital video images
US20050031166A1 (en) * 2003-05-29 2005-02-10 Kikuo Fujimura Visual tracking using depth data

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0684006A (ja) 1992-04-09 1994-03-25 Internatl Business Mach Corp <Ibm> オンライン手書き文字認識方法
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
ATE232621T1 (de) 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
WO2000030023A1 (en) 1998-11-17 2000-05-25 Holoplex, Inc. Stereo-vision for gesture recognition
JP4332649B2 (ja) 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7095401B2 (en) 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
EP1627294A2 (en) 2003-05-01 2006-02-22 Delta Dansk Elektronik, Lys &amp; Akustik A man-machine interface based on 3-d positions of the human body
JP4708422B2 (ja) * 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
WO2006040740A1 (en) * 2004-10-15 2006-04-20 Philips Intellectual Property & Standard Gmbh System for 3d rendering applications using hands
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US9910497B2 (en) * 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8537112B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5787194A (en) * 1994-11-08 1998-07-28 International Business Machines Corporation System and method for image processing using segmentation of images and classification and merging of image segments using a cost function
JP2002366958A (ja) * 2001-06-08 2002-12-20 Toshiba Corp 画像認識方法および画像認識装置
US20040151366A1 (en) * 2003-02-04 2004-08-05 Nefian Ara V. Gesture detection from digital video images
US20050031166A1 (en) * 2003-05-29 2005-02-10 Kikuo Fujimura Visual tracking using depth data

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014522018A (ja) * 2011-06-22 2014-08-28 マイクロソフト コーポレーション 全自動動的有関節モデル較正
US11994377B2 (en) 2012-01-17 2024-05-28 Ultrahaptics IP Two Limited Systems and methods of locating a control object appendage in three dimensional (3D) space
JP2015522195A (ja) * 2012-07-13 2015-08-03 ソフトキネティック ソフトウェア 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
KR101757080B1 (ko) 2012-07-13 2017-07-11 소프트키네틱 소프트웨어 손위의 단일한 관심 포인트를 이용한 인간-컴퓨터 제스처 기반 동시 상호작용을 위한 방법 및 시스템
US11461966B1 (en) * 2013-08-29 2022-10-04 Ultrahaptics IP Two Limited Determining spans and span lengths of a control object in a free space gesture control environment
US11776208B2 (en) 2013-08-29 2023-10-03 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US12086935B2 (en) 2013-08-29 2024-09-10 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US11868687B2 (en) 2013-10-31 2024-01-09 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
JP2015170206A (ja) * 2014-03-07 2015-09-28 富士通株式会社 検出装置および検出方法
KR101794148B1 (ko) * 2014-03-26 2017-11-06 인텔 코포레이션 효율적인 자유 공간 손가락 인식
US11586292B2 (en) 2014-05-14 2023-02-21 Ultrahaptics IP Two Limited Systems and methods of tracking moving hands and recognizing gestural interactions
US11914792B2 (en) 2014-05-14 2024-02-27 Ultrahaptics IP Two Limited Systems and methods of tracking moving hands and recognizing gestural interactions

Also Published As

Publication number Publication date
US20090110292A1 (en) 2009-04-30
WO2009055148A1 (en) 2009-04-30
JP4934220B2 (ja) 2012-05-16
US8005263B2 (en) 2011-08-23

Similar Documents

Publication Publication Date Title
JP4934220B2 (ja) ラベル割当を用いた手サイン認識
Athira et al. A signer independent sign language recognition with co-articulation elimination from live videos: an Indian scenario
Qi et al. Computer vision-based hand gesture recognition for human-robot interaction: a review
JP4625074B2 (ja) サインに基づく人間−機械相互作用
EP3090382B1 (en) Real-time 3d gesture recognition and tracking system for mobile devices
US9734435B2 (en) Recognition of hand poses by classification using discrete values
JP2001056861A (ja) 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
JP6066093B2 (ja) 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム
US20140363088A1 (en) Method of establishing database including hand shape depth images and method and device of recognizing hand shapes
JP2008250999A (ja) 対象物追跡方法、対象物追跡装置および対象物追跡プログラム
KR102371127B1 (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
CN114937285B (zh) 动态手势识别方法、装置、设备及存储介质
Bhuyan et al. Trajectory guided recognition of hand gestures having only global motions
Amaliya et al. Study on hand keypoint framework for sign language recognition
KR101706864B1 (ko) 모션 센싱 입력기기를 이용한 실시간 손가락 및 손동작 인식
WO2018135326A1 (ja) 画像処理装置、画像処理システム、画像処理プログラム、及び画像処理方法
CN113220125A (zh) 手指交互方法、装置、电子设备及计算机存储介质
Mesbahi et al. Hand gesture recognition based on various deep learning YOLO models
Yao et al. Wrist recognition and the center of the palm estimation based on depth camera
JP6393495B2 (ja) 画像処理装置および物体認識方法
CN113158912B (zh) 手势识别方法及装置、存储介质及电子设备
Zafrulla et al. Hand detection in American Sign Language depth data using domain-driven random forest regression
KR20160062913A (ko) 립모션 기기의 수화 번역 정확도 향상을 위한 수화 번역 시스템 및 그 방법
CN114419451B (zh) 电梯内外识别方法、装置、电子设备及存储介质
KR102540560B1 (ko) 랜덤 포레스트를 사용한 손 자세의 계층적 추정 방법, 이를 수행하기 위한 기록 매체 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110818

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20110818

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20110909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120217

R150 Certificate of patent or registration of utility model

Ref document number: 4934220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees