JP2015041381A - 移動物体検出方法及びシステム - Google Patents

移動物体検出方法及びシステム Download PDF

Info

Publication number
JP2015041381A
JP2015041381A JP2014159203A JP2014159203A JP2015041381A JP 2015041381 A JP2015041381 A JP 2015041381A JP 2014159203 A JP2014159203 A JP 2014159203A JP 2014159203 A JP2014159203 A JP 2014159203A JP 2015041381 A JP2015041381 A JP 2015041381A
Authority
JP
Japan
Prior art keywords
moving
movement
depth image
image frame
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014159203A
Other languages
English (en)
Other versions
JP6424510B2 (ja
Inventor
イン ジャオ
Ying Zhao
イン ジャオ
リイェヌ リィウ
Liyan Liu
リイェヌ リィウ
リアン リンイェヌ
Lingyan Liang
リアン リンイェヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2015041381A publication Critical patent/JP2015041381A/ja
Application granted granted Critical
Publication of JP6424510B2 publication Critical patent/JP6424510B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Details Of Television Systems (AREA)

Abstract

【課題】移動物体検出方法及びシステムを提供する。
【解決手段】該方法は、連続的に移動物体を撮影することにより得られた深度情報を有する、各々複数のブロックに分けられた現在深度図像フレーム及び少なくとも１つの過去深度画像フレームを含む、少なくとも２つの深度画像フレームを取得することと；現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を計算することと；前記相違の程度に基づいて、現在深度画像フレームにおける移動ブロックを検出し、検出する移動物体を構成することを含む。
【選択図】図２

Description

本発明は、移動物体検出方法及びシステムに関し、且つ、より具体的には立体視覚の深度情報に基づいて人手を検出する技術に関する。
移動物体の検出は平面画像処理と立体視覚処理の１つの研究方向である。異なる移動物体を検出したことにより、このような異なる移動物体の検出に基づいて一連の後続制御と操作を行うことができる。具体的には、例えば、現在、立体視覚に基づく手振り制御は幅広く各種インテリジェント設備、例えばテレビ、ゲーム機等に応用され、手振り制御の基礎は人手検出である。人間とコンピュータのインタラクション過程において、人手は通常継続的な移動状態にあるが、手がしばらくある所に滞在する場合もあり、例えばインタラクションシステムは手の滞在時間を利用して１つのイベントをトリガーする。従って、後続の正確な操作及びインタラクションを実現するように、例えば人手の移動物体の検出を行なう必要がある。
発明者が李春林と王進である２００９年５月２０日に開示した名称「テレビ制御向けの動的手振り識別信号処理方法」の中国特許出願ＣＮ１０１４３７１２４Ａにおいて、テレビ制御向けの動的手振り識別信号処理方法を紹介した。該方法は、テレビに内蔵されたカメラを利用してテレビ前のユーザー動作画像を収集し、収集された画像を分析して移動物体を取得し、移動物体中から手目標の情報を抽出し軌跡を生成し、続いて軌跡に対応する命令を判断してテレビ制御命令を発生させる。より具体的には、該方法は連続的なマルチフレームのグレースケール画像の平均値を利用して背景画像を構築し、現在フレームと背景画像の間の差別を計算して複数の物体を取得し、且つこれらの軌跡を分析してこれらが属する体の部分を確定する。ある領域の軌跡は予め定義された特徴に符合すると、該領域は手が所在する領域であると判定される。前記予め定義された特徴の構築は手の移動が頭部移動より強いこと、手と頭との間の距離の一定範囲内での仮説に基づく。
Ｌｅｅ等の２０１３年２月１２日に授権公告された名称「ＭｏｔｉｏｎＤｅｔｅｃｔｉｏｎＵｓｉｎｇＤｅｐｔｈＩｍａｇｅｓ」のアメリカ特許ＵＳ８３７４４２３Ｂ２において、深度画像に基づく移動検出方法を紹介し、該方法は連続的なマルチフレームの深度画像の平均値を１つの参考画像とし、現在の深度画像フレームと該参考画像を画素ずつ減算して移動画像を取得し、次に移動画像における画素が属する物体を判断する。該方法は移動物体の位置情報を用いてアプリケーションを制御する。
Ｐｅｒｓｋｉ等が２０１１年４月２１日に開示された名称「ＣｏｍｐｕｔｅｒＶｉｓｉｏｎＧｅｓｔｕｒｅＢａｓｅｄＣｏｎｔｒｏｌｏｆａＤｅｖｉｃｅ」のＰＣＴ出願Ｗ０２０１１０４５７８９において、手振り制御方法を紹介した。該方法は両フレーム２Ｄ又は３Ｄ画像を減算して差値画像を取得し、該図像上にエッジ検出を行って輪郭を取得し、検出された輪郭と手部輪郭モデルとを比較する。該方法は、ユーザーの手がカメラに直面して手の平が開き、手の指が伸びている状態にあることを要求する。
通常の移動推定方法は正確の、例えば人手の移動物体の結果を取得することができない。また、人体の他の部分（例えば、アーム）が移動する時、例えば人手の移動物体の計算が十分正確ではないことをもたらす可能性がある。従って、さらに正確に例えば人手の移動物体を検出する技術が必要になっている。
本発明の目的は、立体視覚の深度情報に基づいて人手を検出する技術を提供することにある。
本発明の一面によれば、移動物体検出方法を提供し、連続的に移動物体を撮影することにより得られた深度情報を有する少なくとも２つの深度画像フレームを取得し、現在深度画像フレーム及び少なくとも１つの過去深度画像フレームを含み、そのうち、前記少なくとも２つの深度画像フレームのそれぞれが複数のブロックに分けられること；現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を計算すること；及び、前記相違の程度に基づいて、現在深度画像フレームにおける移動ブロックを検出し、検出する移動物体を構成することを含む。
本発明の他方の面によれば、移動物体検出システムを提供し、連続的に移動物体を撮影することにより得られた深度情報を有する少なくとも２つの深度画像フレームを取得し、現在深度画像フレーム及び少なくとも１つの過去深度画像フレームを含み、そのうち、前記少なくとも２つの深度画像フレームのそれぞれが複数のブロックに分けられるように配置された取得装置；現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を計算するように配置された計算装置；及び、前記相違の程度に基づいて、現在深度画像フレームにおける移動ブロックを検出し、検出する移動物体を構成するように設置された検出装置を備える。
本発明の各実施例を応用する応用シーンを示す例示図である。 本発明の１つの実施例による移動物体検出方法の１つの例示を示すフローチャートである。 本発明の別の実施例による移動物体検出方法の別の例示を示すフローチャートである。 図３Ａの移動物体検出方法において現在移動図を計算するステップＳ３０２の１つの具体的な例示を示すフローチャート。 あるブロックの空間ヒストグラム例示を模式的に示す図。 対応するあるブロックの時間ヒストグラムの例示を模式的に示す図である。 人手の移動法則を示す模式図である。 本発明の別の実施例による図４Ａに示す人手の移動法則を利用して例えば人手の移動物体を検出する方法の別の例示を示すフローチャートである。 人手の移動物体を検出する方法における前移動図を投影して現在移動図に重なるステップＳ４０３の例示を示す具体フローチャートである。 前移動図における移動ブロックからなる第１移動領域と現在移動図の移動ブロックからなる第２移動領域を模式的に示す模式図である。 人手の移動物体を検出する方法における第１移動領域と第２移動領域、及びどのように前移動図を移動して現在移動図に重なることを示す例示模式図である。 人手の移動物体を検出する方法における人手と最も似ている移動領域を選択する例示方法を示す模式図である。 主成分分析（ＰＣＡ）アルゴリズムを利用して分析した領域を示す模式図である。 主成分分析（ＰＣＡ）アルゴリズムを利用して得られた領域の主方向を計算する模式図である。 本発明の別の実施例による移動物体検出システムを示すブロック図である。
詳しく本発明の具体的な実施例を参照しながら、図面において本発明の例を例示する。具体的な実施例を参照しながら本発明を説明するが、本発明を実施例に制限することではないと理解すべきである。逆に、添付の請求項に制限される本発明の主旨と範囲内に含まれる変更、修正及び等価物をカバーする。注意すべきなのは、ここで説明する方法ステップがいずれもいかなる機能ブロック又は機能設置により実現することができ、いかなる機能ブロック又は機能設置が物理実体又はロジック実体、又は両者の組合せとして実現することができる。
当業者によりよく本発明を理解させるために、以下、図面と具体的な実施形態を参照しながら、本発明をさらに詳しく説明する。
図１は本発明の各実施例を応用する応用シーンを示す例示図である。シーン１００は、例えば人を含むシーンを撮影して深度情報を有する深度図を取得する深度カメラ１０１、撮影された深度図を処理して例えば移動物体検出、人間とコンピュータのインタラクション命令識別を行い、人間とコンピュータのインタラクションフィードバック等の後続処理を行うコンピュータ１０２を備える。前記深度カメラ１０１は任意のシーン深度情報を提供できるカメラ、例えばＰｒｉｍｅＳｅｎｓｏｒ、Ｋｉｎｅｃｔ等であってもよい。図１に示す応用シーンにおいて、ユーザーは移動する人手の手振りを使用してコンピュータ１０２中の人間とコンピュータのインタラクションプログラム又は応用を制御することができる。本発明の各実施例は該応用シーンにおける例えば人手の移動物体の位置と移動を検出することができ、検出された例えば人手の移動物体の移動はさらに人間とコンピュータのインタラクションプログラム又は応用の入力命令とし、人間とコンピュータのインタラクションプログラム又は応用の出力結果（例えば、ＫｉｎｅｃｔとＷｉｉのように、確認するかどうかを制御し、ゲームする操作等を制御する）を取得することができる。本発明の各実施例が集積されたアプリケーションは初期化が軌跡制御に基づくシステムに用いることができる。さらに具体的にいえば、本発明が集積された各実施例のアプリケーションをインストールしたコンピュータ１０２は深度カメラ１０１が撮影した例えば各フレーム深度画像とカラー画像を分析し、次に例えばユーザーの人手の移動物体の位置情報と移動状態を出力することができ。もちろん、図１に示す応用シーンは本発明の各実施例の１つの応用例示に過ぎず、本発明を制限するものではなく、実際応用において図１に示す応用シーンと異なる他の応用シーンが現れる可能性がある。
図２は本発明の１つの実施例による移動物体検出方法２００の１つの例示を示すフローチャートである。
図２に示す移動物体検出方法２００は、連続的に移動物体を撮影することにより得られた深度情報を有する少なくとも２つの深度画像フレームを取得し、現在深度画像フレーム及び少なくとも１つの過去深度画像フレームを含み、そのうち、前記少なくとも２つの深度画像フレームのそれぞれが複数のブロックに分けられるＳ２０１、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を計算するＳ２０２、前記相違の程度に基づいて、現在深度画像フレームにおける移動ブロックを検出し、検出する移動物体を構成するＳ２０３を含む。
１つの実施例において、前記少なくとも２つの深度画像フレームのそれぞれが複数のブロックに分けられる大きさは１０×１０個画素であってもよい。もちろん、該１０×１０個画素は例示に過ぎず、他の実施例において、ブロックを他の大きさのブロックに設置してもよく、かならず正方形のブロックでなくてもよく、長方形、円形、楕円形等の他の各種形状のブロックであってもよい。
ここで、「深度領域」は該ブロックにおいて関連続する各深度を昇順で配列し、複数の（等分又は不等分）領域に分けられて形成された複数の深度領域を指す。「異なる深度領域内に位置する画素数」は深度画像により、該深度領域内にある深度を有する画素がいくつあるかを指す。例えば、深度画像における１つのブロック中に、その各深度領域は０−０．１、０．１−０．２、０．２−０．３……０．８−０．９（単位はメートル又はその他であり、又は深度領域を規格化し、従って深度領域の目盛りは具体的な単位にかかわらず、割合だけを表す）の計９個の深度領域を含んでもよい。例えば、深度領域０−０．１に位置する画素は２つあり、そのうち１つの画素の深度は０．０２、１つの画素の深度は０．０８、深度領域０．１−０．２に位置する画素も２つあり、そのうち１つの画素の深度が０．１５、１つの画素の深度が０．１６である等を仮定し、深度領域０．８−０．９に位置する画素は４つあり、そのうち１つの画素の深度が０．８５、１つの画素の深度が０．８３、１つの画素の深度が０．８４、１つの画素の深度が０．８９（例えば後の図３Ｃと３Ｄに示す）であると仮定する。この類のように、もちろんこれらの具体的な深度領域と画素数は例示に過ぎず、制限するものではない。該領域の分けは該例のように等分であってもよく、不等分であってもよく、制限しない。従って、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数を取得することができる。各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数に対して、ここでは、過去深度画像フレームがＮ個（Ｎは正整数）、即ち現在深度画像フレームの前のＮ個深度画像フレームであると仮定する。同様に、Ｎ個過去深度画像フレームのそれぞれの対応の各ブロックのうちの異なる深度領域内に位置する画素数を取得することができる。もちろん、現在深度画像フレームにおける移動ブロックを検出する時、少なくとも１つの過去深度画像フレームが必要であり、従って、通常、第２フレームの時、この種の移動物体の検出を始める。
通常、物体が移動する場合、それぞれのブロック中のうちの異なる深度領域内に位置する画素数は隣接する両フレーム又はより多くのフレーム（現在深度画像フレームとＮ個過去深度画像フレーム）の間に通常変化し、物体が移動すると、その微小の部位の深度は通常変化し、従って、同じ深度領域内に位置する画素数は通常変化する。従って、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を観察し、現在深度画像フレームにおける各移動ブロックを検出し、検出する移動物体を構成する。
従って、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を観察し、各小さい移動ブロックを検出し、これらの移動ブロックをいくつの移動領域に合成し、移動物体の所在する位置を推測することができる。
通常、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数は相違が存在し、又は該相違が比較に大きいと見られ、いずれも該ブロックが移動すると考えられ、このような相違を量化して閾値化する形態で測定又は計算誤差を避け検出と判断標準を統一させる。従って、１つの実施例中に、前記相違の程度に基づいて、現在深度画像フレームにおける移動ブロックを検出し、検出する移動物体を構成するＳ２０３ステップは、前記各ブロックの前記相違の程度の大きさを量化して現在深度画像フレームにおける該ブロックの移動程度を計算するステップＳ２０３１（図中に示していない）、１つのブロックの移動程度が第１所定閾値以上であると、該ブロックを検出して移動ブロックとするステップＳ２０３２（図中に示していない）を含んでもよい。
さらに、例えばゲーム機の人間とコンピュータのインタラクション過程中に、人手の移動が体の他の部分（例えば腕に対して）の移動に対してより著しいと発見し、従って、この人手の移動の特殊性を配慮して、検出された移動領域から例えば人手の移動物体が所在する可能性のある領域を推定することができる。
このように、１つの実施例中に、検出する時、現在深度画像フレーム中に１つのブロックの移動程度が第２所定閾値以上であると、該ブロックが人手の一部に属すると確認できる。ここで、該人手確認用第２所定閾値は前記移動ブロック検出用第１所定閾値より大きい。
前記第２所定閾値は経験により固定値に確定してもよく、各移動ブロックの移動程度の大きさに基づいて動的値に確定してもよく、例えば各移動ブロックの移動程度に基づいて降順配列する前４０％の移動程度は第２所定閾値（人手の移動程度が体の他の部分に対して比較的大きいである）とし、この場合、移動程度が降順配列する前４０％の移動程度を有する各移動ブロックからなる領域は人手として確認でき、この場合、該第２所定閾値も各移動ブロックの移動程度の分布に基づいて変化する。
１つの実施例中に、下記の公式により現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を量化し、各ブロックの移動程度を取得することができる。
そのうち、Ｃｊは第ｊ個ブロックの移動程度を表し、ｊ＝１、２……、Ｍであり、Ｍは分けられたブロックの個数を表し、Ｎは過去深度画像フレームの個数を表し、Ｋは深度領域の個数を表し、ｉ＝１、２……、Ｋであり、Ｓｊｉは現在深度画像フレームにおける第ｊ個ブロックのうちの第ｉ個深度領域内に位置する画素数を表し、Ｔｊｉは各過去深度画像フレームにおける第ｊ個ブロックのうちの第ｉ個深度領域内に位置する画素数を加算することにより得られた値を表す。もちろん、各ブロックの移動程度を量化する公式は明らかにこれに限らず、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度の大きさを反映できる公式であれば本公開中に応用することができると理解可能である。
上記は現在深度画像フレーム中の各ブロックの移動程度により移動物体延いては人手を検出する各実施例である。さらに、観察により、ある場合で人手はしばらく移動した後、ある時間に静止して動かず、又は移動程度が非常に小さく、例えば、ゲーム機が人手の滞在時間を利用して１つのボタンをクリックするイベントをトリガーし、従来の移動検出（例えばフレーム差に基づく方法）はこの場合の静止状態にある又は移動程度が非常に小さい人手の位置を取得することができない。従って、本発明者はさらに前深度画像フレーム（あると）における各移動ブロックの分布、例えば位置及び／又は移動程度の大きさ等を配慮し、このように、前移動（現在に静止可能性があり又は移動程度が非常に小さい）の人手を配慮してさらにより正確に人手検出を行うことができる。
従って、１つの実施例中に、検出された現在深度画像フレームにおける各移動ブロックの位置及び移動程度、及び前に検出された前深度画像フレームにおける各移動ブロックの位置及び移動程度のうちの少なくとも１つにより、現在深度画像フレームのうちのどの部分が人手に属するかを確定する。
１つの実施例中に、前記検出する現在深度画像フレームにおける各移動ブロックの位置及び移動程度、及び前に検出された前深度画像フレームにおける各移動ブロックの位置及び移動程度のうちの少なくとも１つにより、現在深度画像フレームのうちのどの部分が人手に属するかを確定するステップは、前に検出された前深度画像フレームにおける各移動ブロックからなる第１移動領域の位置に基づいて、前記第１移動領域を現在深度画像フレームにマッピングし、現在深度画像フレームにおける各移動ブロックからなる第２移動領域の全部又は一部に重なること、投影した後の第１移動領域における各画素点の移動程度と前記第２移動領域における各画素点の移動程度を重ね合わせ、前移動に基づく累積移動程度図を取得すること、前移動に基づいた累積移動程度図に基づいて、所定条件を満たす領域を人手として確定することを含む。ここでの移動程度の重ね合わせは単純な加算であってもよい。
該実施例中に、例えば人間とコンピュータのインタラクション過程中に、人体の他の部分が移動する可能性もあると観察し、例えばアームの移動であり、実験観察により、人手の移動が特殊の形式を有し、他の部分の移動と異なると発見し、例えば、人手が移動すると同時に、アームも移動し、且つこれらの移動は１本の直線が固定の１つの点の周りに回転することに類似し、即ち、人手及び腕が構成される直線は肘部又は肩部の周りに回転し、且つ人手の移動は腕又は肘部又は肩部の移動よりさらに強い。従って、該実施例中に、前検出された（１つの又は複数の）前深度画像フレームにおける各移動ブロックからなる第１移動領域を移動して現在深度フレーム中に検出された各移動ブロックからなる第２移動領域に一部又は全部重ならせ（できる限り重なり、例えば第１移動領域と第２移動領域の重なる部分の面積を最大にする）、次に投影した後の第１移動領域の各画素点の移動程度と前記第２移動領域中の各画素点の移動程度を重ね合わせ、前移動に基づく累積移動程度図を取得することができ、つまり、現在深度画像フレームにおける人手が静止状態にあり、即ち現在深度画像フレーム中に該人手部位のブロックが静止で移動していないと検出したと、前深度画像フレームに検出された人手部位（例えば、前人手は移動している）を重ね合わせた移動ブロックの移動程度に、そのうち人手部位が依然として大きな移動程度を有することを表す該累積移動程度図を取得することができ、従って、該累積移動程度図に基づいて、閾値化処理等の多種形態により所定条件を満たす領域を見つけて人手であると確定する。もちろん、ここでは、現在深度画像フレームは第１フレームであると、前深度画像フレーム中に検出された移動ブロックが存在していない可能性があり、この場合では、この累積を行わず、単に例えば前記の第２所定閾値を利用することにより人手を検出する。
注意すべきなのは、ここで、「前に検出された前深度画像フレームにおける各移動ブロック」において、現在深度画像フレームにおける各移動ブロックを検出する時に使用する過去深度画像フレームとは異なる概念である。現在深度画像フレームにおける各移動ブロックを検出する時に使用する過去深度画像フレームは現在深度画像フレームの前に存在している少なくとも１つの過去深度画像フレームであり、該少なくとも１つの過去深度図像フレームに対して、移動ブロックの検出を行わない可能性があり、前に検出された前深度画像フレームにおける各移動ブロックに対して、例えば現在深度画像フレームの前に一番近い前の１つの深度画像フレームにおいて、この移動ブロックの検出を行ったと指し、従って前に検出された前深度画像フレームにおける各移動ブロックを分かるようになった。
前に述べたように、人手が移動すると同時に、アームも移動し、これらの移動が１本の直線が固定の１つの点の周りに回転することに類似し、即ち人手及腕が構成する直線が肘部又は肩部の周りに回転することを観察した。従って、１つの実施例において、前に検出された前深度画像フレームにおける各移動ブロックからなる第１移動領域の位置に基づいて、前記第１移動領域を現在深度画像フレームにマッピングし、現在深度画像フレームにおける各移動ブロックからなる第２移動領域に全部又は一部重なるステップは、前に検出された前深度画像フレームにおける各移動ブロックの位置に基づいて、前記第１移動領域の第１主方向、第１中軸線、第１重心を計算すること、現在深度画像フレームにおける各移動ブロックの位置に基づいて、前記第２移動領域の第２主方向、第２中軸線、第２重心を計算すること、前記第１移動領域を移動し、前記第１重心と前記第２重心を全部又は一部重ならせ、前記第１中軸線と前記第２中軸線を全部又は一部重ならせ、前記第１主方向と前記第２主方向を全部又は一部重ならせることを含む。
ここでは、１つの領域の主方向を計算するには公知の主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、ＰＣＡ）の形態（ウィキペディアｈｔｔｐ：／／ｚｈ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／％Ｅ４％Ｂ８％ＢＢ％Ｅ６％８８％９０％Ｅ５％８８％８６％Ｅ５％８８％８６％Ｅ６％９Ｅ％９０を参照）を採用することができる。ＰＣＡアルゴリズムは、該次元上に分散が比較的大きい次元を見つけると同時に比較的平均の次元を無視することである。
例を挙げると、平面領域１つの７５度傾斜する楕円は長軸が遥かに短軸より大きく、楕円上の点の短軸での分布が著しく長軸より弱く、短軸が遥かに長軸より小さい時、１本の直線に近似し、短軸のこの次元を失う。一組の数（２次元空間の数を例とする）に対して、例えば、Ｘ＝（Ｘ１、Ｘ２、Ｘ３、…Ｘｎ）、各Ｘｉは１つの２次元のベクトルで構成され、これらの座標系における図は図５Ｅに示す通りである。ＰＣＡの主なタスクは１つの方向を見つけてこの組の数のこの方向上での投影の分散を最大（この方向上に投影した後、最左側の点と最右側の点との距離が最も大きい）にさせる。図５Ｆにおいて、点状領域に最も近い線上での投影の分散は最大であると、この線は主方向である。ＰＣＡの具体過程はここで繰り返して説明せず、当業者は該ＰＣＡ方法の具体的なアルゴリズムを公知することができる。中軸線は主方向の所在する線で表すことができ、他の公知の方法で中軸線を求めることもできる。また、領域の重心を求めるには本領域公知の各種アルゴリズムを採用することができ、ここでは繰り返して説明しない。
腕と人手の移動は通常肘部又は肩部の周りに回転するため、従ってデジタル形態で前深度画像フレームに検出された第１移動領域を現在深度画像フレームに検出された第２移動領域にマッピングすることができる。１つの例において、上記のように前記第１移動領域を移動し、前記第１重心と前記第２重心を全部又は一部重ならせ、前記第１中軸線と前記第２中軸線を全部又は一部重ならせ、前記第１主方向と前記第２主方向を全部又は一部重ならせることができる。ここでは、第１移動領域と第２移動領域の形状は異なる可能性があるため、又は移動ブロックの検出誤差により、どのように第１移動領域を移動することにかかわらず、前記第１重心と前記第２重心を完全に重ならせ、前記第１中軸線と前記第２中軸線を完全に重ならせ、前記第１主方向と前記第２主方向を完全重ならせることができないことをもたらす可能性があり、従って、通常、これらをできる限り一部重ならせて例えば重なる面積を最大にすればよい。１つの実施例において、例えば、第１移動領域を移動してまず第１重心と前記第２重心を完全に重ならせ、及び第１中軸線と前記第２中軸線を完全に重ならせ、第１主方向と前記第２主方向を一部重ならせ、又はまず第１重心と前記第２重心を完全に重ならせ、及び第１主方向と前記第２主方向を完全に重ならせ、第１中軸線と前記第２中軸線を一部重ならせること等ができる。ここでは、該重なる標準は、例えば重心、主方向、中軸線が例示に過ぎず、他の実施例において、さらに移動領域のエッジをできる限り重ならせること等ができる。
観察により、人手及び連続する腕は通常、細長い形状であり、従って、人手の移動領域を検出する前、すべての移動ブロックからなる移動領域を事前フィルターして、人手及び／又は腕に最も似ている移動領域を見つけることができる。例えば、前記第１移動領域と前記第２移動領域は下記条件の一を満たす領域であってもよく、即ち、各移動ブロックからなる移動領域の形状が最も細長いこと、各移動ブロックからなる移動領域は腕の形状との類似度が最も大きいこと、各移動ブロックからなる移動領域が楕円又は長方形を外接したことにより、長軸と短軸の比又はアスペクト比は腕との類似度が最も大きいこと。移動領域に対して楕円又は長方形を外接することは公知の幾何演算形態であり、ここでは繰り返してその具体的なステップを説明しない。
１つの実施例において、前移動に基づいた累積移動程度図に基づいて、所定条件を満たす領域を人手として確定するステップは、移動程度が第三所定閾値より大きい領域を人手の領域として確定し、そのうち、前記前移動に基づいた累積移動程度図における重ね合わせ後の移動程度に基づいて降順配列し、第所定数量個の移動程度値を第三所定閾値とすること、前検出された人手の領域（あると）を利用して第１移動領域の位置に対して現在検出された人手の領域の第２移動領域に対しての位置を推算し、該現在検出された人手の領域の第２移動領域に対しての位置に基づいて人手の領域を確定すること、人手の色、グレースケール及び深度のうちの少なくとも１種の情報に基づいて前記情報との類似度が所定値より大きい領域を見つけることの１種又は多種を含んでもよい。
もちろん、前移動の累積移動程度図の上で、人手の特徴により人手の領域を確定する他の形態を有してもよく、例えば移動程度が比較的大きく、且つ形状が他の部位より太い領域を人手（人手が通常腕より太いから）等として確定する。従って、本公開中に挙げた例は例示に過ぎず、制限するものではない。
このように、本発明の各実施例により、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度により、移動するブロックを検出した人手を含む移動物体の領域を見つけ、さらに、前の移動ブロックの検出状況及び／又は人手の形状、色、グレースケール、深度等の特徴により、より正確に人手の領域を検出することができる。
本発明の各実施例による移動物体、延いては人手の検出方案をより具現化させるために、以下、各図で本発明の各実施例と他の実施例の方案を模式的に示す。
図３Ａは本発明の別の実施例による移動物体検出方法の別の例示を示すフローチャートである。
図３Ａに示す本発明の別の実施例による移動物体検出方法３００において、現在深度画像フレームと１つの又は複数の過去深度画像フレームを取得し、そのうち、前記現在深度画像フレームと１つの又は複数の過去深度画像フレームのそれぞれが例えばＭ個ブロック（そのうち、Ｍは正整数である）に分けられるＳ３０１、前記現在深度画像フレームと１つの又は複数の過去深度画像フレームに基づいて現在移動図を計算し、ここでは、該現在移動図は画像でより直観的に現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違状況及延いては相違の大きさを反映するためであるＳ３０２、該計算された現在移動図に基づいて移動するブロックを検出して検出された移動物体を構成するＳ３０３を含む。ここでは、該現在移動図はより直観的に相違の程度及び延いては相違の大きさを反映して、後続検出処理をより簡単で直観的で明らかにするためである。
図３Ｂは図３Ａの移動物体検出方法において現在移動図を計算するステップＳ３０２の１つの具体的な例示を示すフローチャートである。
図３Ｂに示すように、該現在移動図を計算するステップＳ３０２、現在深度画像フレームを利用して分けられた各ブロックの空間ヒストグラムＳを計算するＳ３０２１、１つの又は複数の過去深度画像フレームを利用して分けられた各ブロックの時間ヒストグラムＴを計算するＳ３０２２、該空間ヒストグラムＳと該時間ヒストグラムＴを利用して現在移動図を計算するＳ３０２３、を含む。空間ヒストグラムＳは画像でより直観的に現在深度画像フレーム（空間上の）の各ブロック的異なる深度領域内に位置する画素数を反映するために過ぎず、時間ヒストグラムＴは画像でより直観的に各（異なる時間の）過去深度画像フレームの各ブロックの異なる深度領域内に位置する画素数を反映するために過ぎない。
図３Ｃは例えば第ｊ個ブロックの空間ヒストグラムＳの例示を模式的に示す図、図３Ｄは対応する第ｊ個ブロックの時間ヒストグラムＴの例示を模式的に示す図である。図３Ｃを参照し、該空間ヒストグラムＳにおいて、各深度領域は０−０．１、０．１−０．２、０．２−０．３……０．８−０．９（単位はメートル又はその他であり、又は深度領域を規格化し、従って深度領域の目盛りは具体的な単位Ｍとは無関係であり、割合のみを表す）の共９個の深度領域を含む可能性がある。例えば、深度領域０−０．１に位置する画素は２個あり、そのうち１つの画素の深度が０．０２（メートル又は他の単位）、１つの画素の深度が０．０８２５（メートル又は他の単位）であると仮定し、深度領域０．１−０．２に位置する画素も２個あり、そのうち１つの画素の深度が０．１５（メートル又は他の単位）、１つの画素の深度が０．１６（メートル又は他の単位）である等とを仮定し、深度領域０．４−０．５に位置する画素が２３個あり、……深度領域０．８−０．９に位置する画素が４個あり、そのうち１つの画素の深度が０．８５（メートル又は他の単位）、１つの画素の深度が０．８３（メートル又は他の単位）、１つの画素の深度が０．８４（メートル又は他の単位）、１つの画素の深度が０．８９（メートル又は他の単位）であると仮定する。図３Ｄを参照し、例示の時間ヒストグラムＴを示し、そのうち、各深度領域のカラム（即ち、該深度領域内に位置する画素数）は該例において各過去深度画像フレームのうち該深度領域内に位置する画素数の和である。例えば、１０個の過去深度画像フレームがあると仮定すると、１０個過去深度画像フレームのうち、例えば深度領域０−０．１に位置する画素が２０個あり、深度領域０．１−０．２に位置する画素が２０個あり、深度領域０．４−０．５に位置する画素が４６０個あり、……、深度領域０．８−０．９に位置する画素が５４０個あることを取得する。もちろん、該例示の時間ヒストグラムＴのカラムが各過去深度画像フレームのうち、該深度領域内に位置する画素数の和を表す、しかし、１０でこの個数の和を割って平均を求めて得られた数を該カラムの値とすることができ、例えば２、２……４６……４を得られ、このように空間ヒストグラムＳとより直観的に対比を行って相違の程度及び／又は大きさを見つけることができる。
また、時間ヒストグラムを求める時、現在深度画像フレームのうち該深度領域内に位置する画素数を配慮に入れることもでき、つまり、時間ヒストグラムＴのカラムは現在深度画像フレームと各過去深度画像フレーム（即ち在該例中、計１１フレーム）のうち該深度領域内に位置する画素数の和であってもよいが、１１でこの個数の和を割って平均を求めて得られた数を該カラムの値としてもよい。しかし、本公開において、１０個過去深度画像フレームだけで時間ヒストグラムを求めることは例として制限するものではない。
また、ここでは例えば１０個の過去深度画像フレームを利用してある深度領域内に位置する画素数の平均を求めてどれが／いくつの過去深度画像フレームのいくつの画素深度の誤差を解消し、より安定的な判断結果に達することができる。
前述のように、Ｓ３０２３において、該空間ヒストグラムＳと該時間ヒストグラムＴを利用して現在移動図Ｃを計算することができる。１つの実施例において、下記の公式により該空間ヒストグラムＳと該時間ヒストグラムＴを利用して現在移動図Ｃを計算することができ、
そのうち、Ｃｊは第ｊ個ブロックの移動程度を表し、ｊ＝ｌ、２……、Ｍであり、Ｍは分けられたブロックの個数を表し、Ｎは過去深度画像フレームの個数を表し、Ｋは深度領域の個数を表し、ｉ＝１、２……、Ｋであり、Ｓｊｉは現在深度画像フレームにおける第ｊ個ブロックのうちの第ｉ個深度領域内に位置する画素数を表し、ｈは各過去深度画像フレームにおける第ｊ個ブロックのうちの第ｉ個深度領域内に位置する画素数を加算することにより得られた値を表す。そのうち、
（外１）
は、
（外２）
として表すこともできる。公式において、Ｎ＊Ｓｊｉ＝Ｔｊｉ（又は両者が比較的接近する）（即ち現在深度画像フレームにおける第ｊ個ブロックのうちの第ｉ個深度領域内に位置する画素数ＳｊにＮを掛けた結果は例えば各過去画像フレームにおける第ｊ個ブロックのうち第ｉ個深度領域内に位置する画素数の和Ｔｊｉであり、第ｊ個ブロックのうち第ｉ個深度領域内に位置する画素個数と過去画像フレームとほとんど変化がない）時、該
（外３）
は０又は非常に小さい値であってもよく、従って、より小さい移動程度Ｃｊの値を取得することができる。Ｎ＊Ｓｊｉは該
（外４）
の値が小さすぎて検出しにくいことを防止する。前記公式は例示に過ぎず、制限するものではなく、量化された相違の程度を取得するために、他の公式を作成してこの相違の程度を反映することができるが明らかである。
つまり、取得された現在移動図Ｃを計算して、Ｍ個のブロック、即ち現在深度図像フレームに対応する形状を有し、分けられたＭ個のブロックに対応するＭ個値を有することができ、各値が前記各ブロックの前記相違の程度の大きさを量化して得られた該ブロックの移動程度を表す。このように、本実施例における現在移動図Ｃにより、より直感的にどの位置でのどのブロックの移動程度がどうであるかを見える。
このように、図３Ｃと図３Ｄの例示に示す第ｊ個ブロックの時間ヒストグラムと空間ヒストグラムの例により、前記例示公式を利用してＣｊ＝６９を求められる。
次に、現在移動図Ｃにおいて移動程度が第１所定閾値以上であるブロックを検出して移動ブロックとし、従って移動ブロックからなる各移動領域を取得して各移動物体とする。該第１所定閾値の選択は具体的な状況、例えばブロックの大きさに応じて、計算して得られた各ブロックの移動程度の大きさ等に決められる。例えば、該第１所定閾値をすべてのブロックに対して計算した移動程度の平均数又は該平均数の１／２等として設置することができる。従って、該第一所定閾値は固定的であってもよく、すべてのブロックに対して移動程度を計算する具体的な状況に基づいて変化してもよい。該第１所定閾値を小さく設置すればするほど、移動ブロックの検出に対してより敏感であり、わずかな動きでも、移動ブロックとして検出され、逆に、該第１所定閾値が大きければ大きいほど、移動ブロックの検出に対してより不敏感であり、強い移動があって、移動ブロックとして検出される。従って、柔軟的に該第１所定閾値を調整して移動ブロックの検出の敏感度を調整することができる。
以上、通常の移動ブロックに対する検出形態を説明したが、通常、移動ブロックを検出した後、移動ブロックからなる各移動領域を移動物体として確定することができる。さらに、人手のような特殊移動特徴と形状特徴を有する移動物体に対して、以下、具体的な実施例を紹介して人手を検出する。
まず、図４Ａは人手の移動法則を示す模式図である。
図４Ａから見れば、まず人手の形状は体の他の部分に対して比較的細長いことがわかるようになる。人手が移動する時、人の体の他の部分も移動する可能性があり、例えば肘、アーム又は腕も移動する。観察から、人手の移動は特殊の形式を有し、体の他の部分の移動と異なることが分かるようになる。人手が移動すると同時に、アーム、肘又は腕も移動し、且つこれらの移動は１本の直線が固定の一端の周りに回転することに類似し、即ち人手及びアーム、肘又は腕が構成された直線は肘部又は肩部の周りに回転する。且つ、人手の移動はアーム、腕、肘部又は肩部の移動により強い。
図４Ｂは本発明の別の実施例による図４Ａに示す人手の移動法則を利用して例えば人手の移動物体を検出する方法の別の例示を示すフローチャートである。
１つの実施例において、前に検出された前深度画像フレームにおける各移動ブロックの位置及び移動程度（例えば前に検出された前移動図が存在し、その計算形態は前記現在移動図の計算形態と同じであってもよい）が存在していると、人手の移動法則に基づいて、検出された現在深度画像フレームにおける各移動ブロックの位置及び移動程度、及び前に検出された前深度画像フレームにおける各移動ブロックの位置及び移動程度のうちの少なくとも１つにより、現在深度図像フレームにおいてどの部分が人手に属するかを確定する。
例えば、図４Ｂに示すように、該例えば人手の移動物体を検出する方法４００は、現在深度画像フレームと１つの又は複数の過去深度画像フレームを取得するステップＳ４０１、現在深度画像フレームと１つの又は複数の過去深度画像に基づいてフレーム現在移動図を計算する（計算形態の例は図３Ｂと関連説明を参照してもよい）ステップＳ４０２、前移動図（あると）における移動ブロックからなる第１移動領域を現在移動図における移動ブロックからなる第２移動領域に投して、該第２移動領域に全部又は一部重なるステップＳ４０３、投影した後の第１移動領域の各画素点の移動程度と前記第２移動領域中の各画素点の移動程度を重ね合わせ、前移動に基づく累積移動程度図を取得するステップＳ４０４、前移動に基づいた累積移動程度図に基づいて、所定条件を満たす領域が人手として検出されるステップＳ４０５を含んでもよい。ここでの移動程度の重ね合わせは単純な加算であってもよい。
前移動図における第１移動領域と現在移動図における第２移動領域を重ならせる投影形態は多種あり、以下は１種の簡単な形態の例示に過ぎず、そのほかに、他の公知の投影形態で２つの移動領域の重なりに達することができ、例えば第１移動区域と第２移動領域を分析して第１移動領域の第２移動領域への投影方向及び投影振幅を計算する。投影方向は第１移動領域、即ち前の１つのフレームの移動領域の主方向及現在移動図における第２移動領域の主方向により計算して得られる。投影振幅は第１移動区域の各点の第２移動領域までの直交距離（例えば第１移動領域主方向上での各点の第２移動領域の主方向までの直交距離により推算することができる）であってもよい。次に、投影方向及振幅に基づいて、第２移動領域を第１移動領域上に投影する。もちろん、さらに他の形態を発想して第１移動領域と第２移動領域をできる限り重ならせてもよく、ここでは繰り返して説明しない。
図５Ａは図４Ａ、４Ｂに例えば人手の移動物体を検出する方法における前移動図を投影して現在移動図に重なるステップＳ４０３の例示を示す具体フローチャートである。
図５Ａにおいて、該前移動図を投影して現在移動図に重なるステップＳ４０３は、前移動図により前深度画像フレームにおける各移動ブロックからなる第一移動領域の第１主方向、第１中軸線、第１重心を計算するＳ４０３１、現在移動図により現在深度画像フレームにおける各移動ブロックからなる第２移動領域の第２主方向、第２中軸線、第２重心を計算するステップＳ４０３２、前記第１移動領域を移動し、前記第１重心と前記第２重心を全部又は一部重ならせ、前記第１中軸線と前記第２中軸線を全部又は一部重ならせ、前記第１主方向と前記第２主方向を全部又は一部重ならせるステップＳ４０３３を含んでもよい。
ここでは、第１移動領域と第２移動領域の形状が異なる可能性があるため、又は移動ブロックを検出する誤差により、どのように第１移動領域を移動することにもかかわらず前記第１重心と前記第２重心を完全に重ならせ、前記第１中軸線と前記第２中軸線を完全に重ならせ、前記第１主方向と前記第２主方向を完全に重ならせることができないことをもたらす可能性があり、従って、通常、これらをできる限り一部重ならせて例えば重なる面積を最大にすればよい。１つの実施例において、例えば、第１移動領域を移動してまず第１重心と前記第２重心を完全に重ならせ、及び第１中軸線と前記第２中軸線を完全に重ならせ、第１主方向と前記第２主方向を一部重ならせることができ、又はまず第１重心と前記第２重心を完全に重ならせ、及び第１主方向と前記第２主方向を完全に重ならせ、第１中軸線と前記第２中軸線を一部重ならせること等ができる。ここでは、該重なり標準は、例えば重心、主方向、中軸線が例示に過ぎず、他の実施例において、移動領域のエッジをできる限り重ならせることなどができる。
図５Ｂに示すように、図５Ｂは前移動図における移動ブロックからなる第１移動領域と現在移動図の移動ブロックからなる第２移動領域を模式的に示す模式図である。図５Ｂにおいて、例示的に、白色の小ブロックは移動すると検出されたブロックを表し、黒小ブロックは移動しないと検出されたブロックを表す。各小ブロックの値は該ブロックの移動程度であり、上述の通りである。
図５Ｃは例えば人手の移動物体を検出する方法における第１移動領域と第２移動領域、及びどのように前移動図を移動して現在移動図に重なることを示す例示模式図である。該例示において、図５Ｃ中から、前移動図における第１移動領域の第１主方向がθ１、現在移動図における第２移動領域の第２主方向がθ２であることが分かるようになる。前移動図における第一移動領域の第１重心がＣ１、現在移動図における第２移動領域の第２重心がＣ２である。該例子において、前移動図における第１移動領域の第１中軸線は該第１主方向と１本の直線上にあり、現在移動図における第２移動領域の第２中軸線は第２主方向と１本の直線上にある。もちろん、他の実施例において、計算形態が異なると、中軸線と主方向は１本の直線上に位置しなくてもよい。
ここでは、１つの領域の主方向を計算することには、公知の主成分分析（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ、ＰＣＡ）の形態（ウィキペディアｈｔｔｐ：／／ｚｈ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／％Ｅ４％Ｂ８％ＢＢ％Ｅ６％８８％９０％Ｅ５％８８％８６％Ｅ５％８８％８６％Ｅ６％９Ｅ％９０）を採用してもよい。ＰＣＡアルゴリズムはつまり該次元上に分散が比較的大きい次元を探し、同時に比較的平均の次元を無視することである。例えば、１組の数（２次元空間の数を例とする）、例えばＸ＝（Ｘｌ、Ｘ２、Ｘ３、．．．Ｘｎ）、各Ｘｉは１つの２次元のベクトルで構成され、これらの座標系中での図は図５Ｅに示す通りである。ＰＣＡの主なタスクは１つの方向を見つけてこの組の数をこの方向上での投影の分散を最大（即ち、この方向上に投影した後、最左側の点と最右側の点との距離が最大）にさせることである。図５Ｆにおいて、点状領域から最も近いあの線上での投影の分散が最大であると、この線は主方向である。ＰＣＡの具体的な過程はここで繰り返して説明しない、当業者は該ＰＣＡ方法の具体的なアルゴリズムを公知することができる。領域の主方向を求める目的は人手の腕に対しての方向を見つけることであり、通常、人手の形状が腕より太いため、従って、移動する人手プラス腕の移動領域（例えば、図５Ｂに示すように）を検出したと、人手の形状が比較的太いため、従って求められた主方向は腕から人手への方向である可能性があり、このように、前移動図と現在移動図における多くの向きの異なる移動領域において、人手位置のこのような移動領域におけるその部位を初歩的に判断することができ、これにより今後の前移動図における移動領域を投影して現在移動図の移動領域に重なる時、前移動図における人手の部位と現在移動図における人手の部位をできる限り重ならせることができる。
中軸線は主方向の所在する線で表してもよく、他の公知の方法で中軸線を求めでもよい。また、領域の重心を求めるには本領域公知の各種アルゴリズムを採用してもよく、ここでは繰り返して説明しない。
このように、図５Ｃの状況で、該第１移動領域を投影又は移動して該第１移動領域と該第２移動領域を重ならせるには、第１移動領域をまず第１中軸線と第２中軸線の交差点Ｏを中心とし、第１移動領域から第２移動領域への方向を第１主方向θ１と第２主方向θ２の夾角θ回転し、まず第１移動領域の第１中軸線と第２移動領域の第２中軸線を重ならせ、次に、移動した後の第１移動区域を第１／第２中軸線に沿って移動させ、第１重心Ｃ１と第２重心Ｃ２を重ならせることができる。
もちろん、前記の主方向、中軸線、重心を利用して第１移動領域と第２移動領域をできる限り重ならせる形態は例示に過ぎず、実際上に、第１移動領域と第２移動領域をできる限り重ならせる、例えば重なる面積を最大にさせる他の形態はいずれも本実施例に応用することができる。
第１移動領域と第２移動領域をできる限り重ならせた後、同一点のところで、第１移動領域の該点での移動程度と前記第２移動領域における該点の移動程度を重ね合わせ、前移動に基づく累積移動程度図を取得することができる。ここでは、１つの点（例えば小ブロック１０×１０個画素における１つの画素）ところの移動程度の原因は第１移動領域が回転、移動した後、その第１移動領域における例えば１０×１０大きさのブロックのエッジが第２移動領域におけるブロックのエッジが完全に重ならせるとは決まっていないことにあり、従って、さらにブロックを使用して最小単位として移動程度の累積を計算しなくても、同一ブロックにおけるすべての画素点にいずれも同じ移動程度を有しさせて画素点を最小単位として移動程度の累積を行い、各画素に基づく前移動に基づいた累積移動程度図を取得することができる。つまり、現在深度画像フレームにおける人手が静止状態にあっても、即ち現在深度画像フレームにおいて該人手部位のブロックが移動ではなく静止であると検出されても、この時該現在移動図における該ブロックの移動程度は０又は非常に小さい可能性があり、このように、前深度画像フレームに検出された人手部位の移動ブロックを重ね合わせた移動程度（例えば、前、人手が移動している状況で、該前移動図における該対応位置のブロックの移動程度が０ではなく又は小さくない）で、そのうち人手部位が依然として大きい移動程度を有することを表す該累積移動程度図を取得することができ、従って、該より合理的な累積移動程度図は、さらに閾値化処理等の多種形態により所定条件を満たす領域を見つけて人手と確定する。ここでの移動程度の重ね合わせは単純な加算であってもよい。
１つの実施例において、前移動に基づいた累積移動程度図に基づいて、所定条件を満たす領域を人手として確定するステップは、移動程度が第三所定閾値より大きい領域を人手の領域として確定し、そのうち、前記前移動に基づいた累積移動程度図における重ね合わせた後の移動程度に基づいて降順配列し、第所定数量個（例えば前の４０％個）の移動程度値を第三所定閾値とすること、前検出された人手の領域（ある場合）の第１移動領域に対しての位置を利用して現在検出された人手の領域の第２移動領域に対しての位置を推算し、該現在検出された人手の領域の第２移動領域に対しての位置に基づいて人手の領域を確定すること、人手の色、グレースケール及び深度のうちの少なくとも１種の情報に基づいて前記情報との類似度が所定値より大きい領域を見つけることのうちの１種又は多種を含んでもよい。該所定条件を満たす領域は移動程度、及び移動領域内の位置、色、グレースケール及び深度等において人手の対応特徴と類似する領域であることが分かるようになる。従って、移動程度を基礎とし、さらに人手の他の対応特徴を考慮して、より多くの他の所定条件を満たす領域を構想して人手の区域を検出する。
もちろん、前述のように、観察により、人手及び連続する腕は通常細長い形状であるため、人手の移動領域を検出する前、すべての移動ブロックからなる移動領域を事前フィルターして、人手及び／又は腕に最も似ている移動領域を見つけることができる。例えば、前記第１移動領域と前記第２移動領域は下記条件、即ち、各移動ブロックからなる移動領域の形状が最も細長いこと、各移動ブロックからなる移動領域は腕の形状との類似度が最も大きいこと、各移動ブロックからなる移動領域は楕円又は長方形を外接したことにより、長軸と短軸の比又はアスペクト比は腕との類似度が最も大きいことのいずれかを満たす領域であってよい。移動領域に対して楕円又は長方形を外接することは公知の幾何演算形態であり、ここでは繰り返してその具体的なステップを説明しない。
図５Ｄは例えば人手の移動物体を検出する方法における人手と最も似ている移動領域を選択する例示方法を示す模式図である。図５Ｄの左側に、移動領域に長方形を外接した後、該移動領域の長と幅との比と通常の腕の長と幅との比との差を求めることを模式的に示し、差が１つの閾値未満であると、該移動領域が前記重なるため第１移動領域又は第２移動領域であると確定できる。又は、図５Ｄの右側を参照し、移動領域に楕円を外接した後、該移動領域の長軸と短軸の比と通常の腕の長軸と短軸との比との差を求めることを模式的に示し、差が１つの閾値未満であると、該移動区域が前記重なるための第１移動領域又は第２移動領域であると確定できる。もちろん、人手と最も似ている移動領域を選択する方法は図５Ｄに示すいくつの方法に限らず、他の形態で人手と最も似ている移動領域を選択してもよく、例えば移動領域の外接長方形又は外接楕円の長と幅又は長軸と短軸のうちの各最大閾値と最小閾値を利用して形状を制限し、移動領域と実際の腕とが近似する面積の大きさ、及び移動領域とエッジの腕のエッジとの近似程度を用いる。ここでは繰り返して説明しない。
このように、本発明の各実施例により、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数との相違の程度により、移動するブロックを検出して人手を含む移動物体の領域を見つけることができ、さらに、前の移動ブロックの検出状況及び／又は人手の形状、色、グレースケール、深度等の特徴を参照して、より正確に人手の領域を検出することができる。
本発明の別の実施例による移動物体検出システム６００を示すブロック図である。
図６に示す移動物体検出システム６００は、連続的に移動物体を撮影することにより得られた深度情報を有する少なくとも２つの深度画像フレームを取得し、現在深度画像フレーム及び少なくとも１つの過去深度画像フレームを含み、そのうち、前記少なくとも２つの深度画像フレームのそれぞれが複数のブロックに分けられるように配置された取得装置６０１、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を計算するように設置された計算装置６０２、前記相違の程度に基づいて、現在深度画像フレームにおける移動ブロックを検出し、検出する移動物体を構成するように設置された検出装置６０３を備える。
１つの実施例において、前記少なくとも２つの深度画像フレームのそれぞれが複数のブロックに分けられる大きさは１０×１０個画素であってもよい。もちろん、該１０×１０個画素は例示に過ぎず、他の実施例において、ブロックが他の大きさのブロックに設置されてもよく、正方形のブロックでなくてもよく、長方形、円形、楕円形等の他の各種形状のブロックであってもよい。
通常、物体が移動していると、各ブロック中の異なる深度領域内に位置する画素数は隣接する両フレーム又はさらに多いマルチフレーム（現在深度画像フレームとＮ個過去深度画像フレーム）の間に変化し、なぜかというと、物体が移動していると、その小さな部位の深度が通常変化するからであり、従って、同じ深度領域内に位置する画素数は通常変化する。従って、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を観察することにより、現在深度画像フレームにおける各移動ブロックを検出し、検出する移動物体を構成することができる。
このように、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を観察することにより、各の小さい移動ブロックを検出することができ、これらの移動ブロックをいくつの移動領域に合成することにより、移動物体の所在する位置を推測することができる。
一般的に言えば、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数には相違が存在すると、又は該相違が大きく見えると、いずれも該ブロックが移動していると考えることができ、しかし、このような相違を量化して閾値化する形態を採用して測定又は計算誤差を避けて検出と判断標準を統一させることができる。従って、１つの実施例において、前記検出装置６０３は、前記各ブロックの前記相違の程度の大きさを量化して現在深度画像フレームにおける該ブロックの移動程度を計算する装置（図中に示していない）、１つのブロックの移動程度が第１所定閾値以上であると、該ブロックを検出して移動ブロックとする装置（図中に示していない）を含んでもよい。
さらに、例えばゲーム機の人間とコンピュータのインタラクション過程中に、人手の移動の体の他の部分（例えば腕に対して）に対しての移動がより著しいことが発見し、従って、この人手の移動の特殊性を配慮して、検出された移動領域において例えば人手の移動物体が所在する可能性のある領域を推定する。
このように、１つの実施例において、検出する時、現在深度画像フレームにおいて１つのブロックの移動程度が第２所定閾値以上であると、該ブロックが人手の一部に属すると確認できる。ここでは、人手を確認するための第２所定閾値は前記の移動ブロックを検出するための第１所定閾値より大きくてよい。
前記第２所定閾値は経験により確定された固定値であってもよく、各移動ブロックの移動程度の大きさにより動的値として確定してもよく、例えば、各移動ブロックの移動程度に基づいて降順配列する前４０％の移動程度を第２所定閾値（人手の移動程度が体の他の部分に対して比較大きいから）とし、この状況下で、移動程度降順配列する前４０％の移動程度を有する各移動ブロックからなる領域は人手として確認することができ、この状況下で、該第２所定閾値も各移動ブロックの移動程度の分布につれて変化する。
１つの実施例において、下記公式により現在深度画像フレームの各ブロックのうち異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を量化することにより、各ブロックの移動程度を取得する。
そのうち、Ｃｊは第ｊ個ブロックの移動程度を表し、ｊ＝ｌ、２……、Ｍであり、Ｍは分けられたブロックの個数を表し、Ｎは過去深度画像フレームの個数を表し、Ｋは深度領域の個数を表し、ｉ＝１、２……、Ｋであり、Ｓｊｉは現在深度画像フレームにおける第ｊ個ブロックのうちの第ｉ個深度領域内に位置する画素数を表し、Ｔｊｉは各過去深度画像フレームにおける第ｊ個ブロックのうちの第ｉ個深度領域内に位置する画素数を加算して得られた値を表す。もちろん、各ブロックの移動程度を量化する公式は明らかにここに限らず、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度の大きさを反映できる公式であれば、いずれも本公開において応用することができると理解可能である。
上記は、現在深度画像フレーム中の各ブロックの移動程度に基づいて移動物体、延いては人手を検出する各実施例である。さらに、観察により、ある場合で人手はしばらく移動した後、ある時間に静止して動かず、又は移動程度が非常に小さく、例えば、ゲーム機が人手の滞在時間を利用して１つのボタンをクリックするイベントをトリガーし、従来の移動検出（例えばフレーム差に基づく方法）はこの場合の静止状態にある又は移動程度が非常に小さい人手の位置を取得することができない。従って、本発明者はさらに前深度画像フレーム（あると）における各移動ブロックの分布、例えば位置及び／又は移動程度の大きさ等を配慮し、このように、前移動（現在に静止可能性があり又は移動程度が非常に小さい）の人手を配慮してさらにより正確に人手検出を行うことができる。
このように、１つの実施例において、前記検出装置は検出された現在深度画像フレームにおける各移動ブロックの位置及び移動程度、及び前に検出された前深度画像フレームにおける各移動ブロックの位置及び移動程度のうちの少なくとも１つにより、現在深度画像フレームのうちのどの部分が人手に属するかを確定する。
１つの実施例において、前記検出装置は下記のステップによって、検出された現在深度画像フレームにおける各移動ブロックの位置及び移動程度、及び前に検出された前深度図像フレームにおける各移動ブロックの位置及び移動程度のうちの少なくとも１つにより、現在深度画像フレームのうちのどの部分が人手に属するかを確定することができ、そのステップは、前に検出された前深度画像フレームにおける各移動ブロックからなる第１移動領域の位置に基づいて、前記第１移動領域を現在深度画像フレームにマッピングし、現在深度画像フレームにおける各移動ブロックからなる第２移動領域の全部又は一部に重ならせること、投影した後の第１移動領域の各画素点の移動程度と前記第２移動領域中の各画素点の移動程度を重ね合わせ、前移動に基づく累積移動程度図を取得すること、前移動に基づいた累積移動程度図に基づいて、所定条件を満たす領域を人手として確定することである。
該実施例において、例えば人間とコンピュータのインタラクション過程において、人体の他の部分は移動、例えばアームの移動がある可能性があることを観察したからである。実験観察により、人手が移動すると同時に、アームも移動し、且つこれらの移動は１本の直線が固定の１つの点の周りに回転することに類似し、即ち人手及腕で構成される直線は肘部又は肩部の周りに回転し、且つ、人手の移動は腕又は肘部又は肩部の移動より強い。従って、該実施例において、前検出された（１つ又は複数の）前深度画像フレームにおける各移動ブロックからなる第１移動領域を移動して現在深度フレームにおいて検出された各移動ブロックからなる第２移動領域に一部又は全部重ならせ（できる限り重なるようにし、例えば第１移動領域と第２移動領域の重なる部分の面積を最大にする）、次に投影した後の第１移動領域の各画素点の移動程度と前記第２移動領域中の各画素点の移動程度を重ね合わせ、前移動に基づく累積移動程度図を取得することができ、つまり、現在深度画像フレームにおける人手が静止状態にあり、即ち現在深度画像フレームにおいて該人手部位のブロックが静止で移動していないと検出したと、前深度画像フレームに検出された人手部位（例えば、前人手は移動している）を重ね合わせた移動ブロックの移動程度に、そのうち人手部位が依然として大きな移動程度を有することを表す該累積移動程度図を取得することができ、従って、該累積移動程度図に基づいて、閾値化処理等の多種形態により所定条件を満たす領域を見つけて人手であると確定する。もちろん、ここでは、現在深度画像フレームは第１フレームであると、前深度画像フレームにおいて検出された移動ブロックが存在していない可能性があり、この場合では、この累積を行わず、例えば前記の第２所定閾値を利用するだけにより人手を検出する。
注意すべきなのは、ここで、「前に検出された前深度画像フレームにおける各移動ブロック」において、現在深度画像フレームにおける各移動ブロックを検出する時使用する過去深度画像フレームとは異なる概念である。現在深度画像フレームにおける各移動ブロックを検出する時使用する過去深度画像フレームは現在深度画像フレームの前に存在している少なくとも１つの過去深度画像フレームであり、該少なくとも１つの過去深度図像フレームに対して、移動ブロックの検出を行わない可能性があり、前に検出された前深度画像フレームにおける各移動ブロックに対して、例えば現在深度画像フレームの前に一番近い前の１つの深度画像フレームにおいて、この移動ブロックの検出を行ったと指し、従って前に検出された前深度画像フレームにおける各移動ブロックを分かるようになった。
前に述べたように、人手が移動すると同時に、アームも移動し、これらの移動が１本の直線が固定の１つの点の周りに回転することに類似し、即ち人手及腕が構成される直線が肘部又は肩部の周りに回転することを観察した。従って、１つの実施例において、前に検出された前深度画像フレームにおける各移動ブロックからなる第１移動領域の位置に基づいて、前記第１移動領域を現在深度画像フレームにマッピングし、現在深度画像フレームにおける各移動ブロックからなる第２移動領域に全部又は一部重なるステップは、前に検出された前深度画像フレームにおける各移動ブロックの位置に基づいて、前記第１移動領域の第１主方向、第１中軸線、第１重心を計算すること、現在深度画像フレームにおける各移動ブロックの位置に基づいて、前記第２移動領域の第２主方向、第２中軸線、第２重心を計算すること、前記第１移動領域を移動し、前記第１重心と前記第２重心を全部又は一部重ならせ、前記第１中軸線と前記第２中軸線を全部又は一部重ならせ、前記第１主方向と前記第２主方向を全部又は一部重ならせることを含む。
ここでは、１つの領域の主方向を計算するには公知の主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、ＰＣＡ）の形態（ウィキペディアｈｔｔｐ：／／ｚｈ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／％Ｅ４％Ｂ８％ＢＢ％Ｅ６％８８％９０％Ｅ５％８８％８６％Ｅ５％８８％８６％Ｅ６％９Ｅ％９０を参照）を採用することができる。ＰＣＡの具体的な過程はここで繰り返して説明せず、当業者は該ＰＣＡ方法の具体的なアルゴリズムを公知することができる。中軸線は主方向の所在する線で表すことができ、他の公知の方法を採用して中軸線を求めることもできる。また、領域の重心を求めるには本領域の公知の各種アルゴリズムを採用することができ、ここでは繰り返して説明しない。
腕と人手の移動は通常肘部又は肩部の周りに回転するため、従ってデジタル形態で前深度画像フレームに検出された第１移動領域を現在深度画像フレームに検出された第２移動領域にマッピングすることができる。１つの例において、上記のように前記第１移動領域を移動し、前記第１重心と前記第２重心を全部又は一部重ならせ、前記第１中軸線と前記第２中軸線を全部又は一部重ならせ、前記第１主方向と前記第２主方向を全部又は一部重ならせることができる。ここでは、第１移動領域と第２移動領域の形状は異なる可能性があるため、又は移動ブロックの検出誤差により、どのように第１移動領域を移動することにかかわらず、前記第１重心と前記第２重心を完全に重ならせ、前記第１中軸線と前記第２中軸線を完全に重ならせ、前記第１主方向と前記第２主方向を完全重ならせることができないことをもたらす可能性があり、従って、通常、これらをできる限り一部重ならせて例えば重なる面積を最大にすればよい。ここでは、該重なる標準は、例えば重心、主方向、中軸線が例示に過ぎず、他の実施例中に、さらに移動領域のエッジをできる限り重ならせること等ができる。
観察により、人手及び連続する腕は通常、細長い形状であり、従って、人手の移動領域を検出する前、すべての移動ブロックからなる移動領域を事前フィルターして、人手及び／又は腕に最も似ている移動領域を見つけることができる。例えば、前記第１移動領域と前記第２移動領域は下記条件の一を満たす領域であってもよく、即ち、各移動ブロックからなる移動領域の形状が最も細長いこと、各移動ブロックからなる移動領域は腕の形状との類似度が最も大きいこと、各移動ブロックからなる移動領域が楕円又は長方形を外接したことにより、長軸と短軸の比又はアスペクト比は腕との類似度が最も大きいこと。移動領域に対して楕円又は長方形を外接することは公知の幾何演算形態であり、ここでは繰り返してその具体的なステップを説明しない。 １つの実施例において、前記検出装置は下記のうちの１種又は多種により、前移動に基づいた累積移動程度図に基づいて、所定条件を満たす領域を人手として確定することができ、即ち、移動程度が第三所定閾値より大きい領域を人手の領域として確定し、そのうち、前記前移動に基づいた累積移動程度図における重ね合わせ後の移動程度に基づいて降順配列し、第所定数量個の移動程度値を第三所定閾値とすること、前検出された人手の領域（あると）を利用して第１移動領域の位置に対して現在検出された人手の領域の第２移動領域に対しての位置を推算し、該現在検出された人手の領域の第２移動領域に対しての位置に基づいて人手の領域を確定すること、人手の色、グレースケール及び深度のうちの少なくとも１種の情報に基づいて前記情報との類似度が所定値より大きい領域を見つけること。
もちろん、前移動の累積移動程度図の上で、人手の特徴により人手の領域を確定する他の形態を有してもよく、例えば移動程度が比較的大きく、且つ形状が他の部位により太い領域を人手（人手が通常腕より太いから）等として確定する。従って、本公開中に挙げた例は例示に過ぎず、制限するものではない。
このように、本発明の各実施例により、現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度により、移動するブロックを検出した人手を含む移動物体の領域を見つけ、さらに、前の移動ブロックの検出状況及び／又は人手の形状、色、グレースケール、深度等の特徴により、より正確に人手の領域を検出することができる。
本公開においてかかわるデバイス、装置、設備、システムのブロック図は例示性の例に過ぎず、且つかならずブロック図に示す形態に基づいて接続、設置、配置を行うと要求又は暗示しようとしない。当業者が分かるように、任意の形態でこれらのデバイス、装置、設備、システムを接続、設置、配置することができる。例えば「備える」、「含む」、「有する」等の言葉はオープン語彙であり、「含むがそれに限らず」と指し、且つそれと交換して使用することができる。これらの使用する語彙「又は」と「及び」は語彙「及び／又は」を指し、且つそれと交換して使用することができ、上下文にそうでないという明確な指示がある場合を除く。ここで使用する語彙「例えば」は連語「例えばであるがそれに限らず」と指し、且つそれと交換して使用することができる。
本公開におけるステップフローチャート及び以上の方法の説明は例示的な例に過ぎず、且つ必ず与えられた順序に基づいて各実施例のステップを行うと要求又は暗示しようとするものではない。当業者が分かるように、任意の順序に基づいて以上実施例におけるステップの順序を行なうことができる。例えば「その後」、「次に」、「その次」等の言葉はステップの順序を制限しようとするものではなく、これらの言葉は読者をガイドしてこれらの方法の説明を通読させることのみに用いられる。そのほか、例えば冠詞「１つ」、「一」又は「該」を使用して単数の要素に対するいかなる引用は該要素を単数に制限すると解釈されるものではない。
開示された面の以上の説明を提供していかなる当業者に本発明を作成又は使用させられる。これらの面に対する各種修正は、当業者にとって非常に想到しやすく、且つここで定義された一般原理は他の面に応用して本発明の範囲を外れことがない。従って、本発明はここで示す面に制限せず、ここで開示された原理と新規特徴と一致する最も広い範囲である。
例示と説明の目的のために以上の説明を提供した。また、この説明は本発明の実施例をここ開示された形式に制限しない。以上は複数の例示面と実施例を検討したが、当業者が、ある変形、修正、改変、追加及びサブ組合せを分かる。
上記の方法の各操作は相応な機能を行うことができるいかなる適当な手段により行うことができる。該手段は各種ハードウェア及び／又はソフトウェアアセンブリ及び／又はモジュールを備えてもよく、回路、専用集積回路（ＡＳＩＣ）又はプロセッサーを含むがそれらに限らない。
設計されてここで説明した機能を行なうことに用いられる汎用プロセッサー、デジタル信号処理器（ＤＳＰ）、ＡＳＩＣ、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）又は他のプログラマブルロジックデバイス（ＰＬＤ）、離散ゲート又はトランジスタロジック、離散ハードウェアアセンブリ又はその任意の組合せを利用して前記の各例示のロジックブロック、モジュール及び回路を実現し又は行うことができる。汎用プロセッサーはマイクロプロセッサーであってもよく、取り替えとして、該プロセッサーはいかなる商業上に取得可能なプロセッサー、コントローラ、マイクロコントローラ又はステートマシンであってもよい。プロセッサーは計算設備の組合せ、例えばＤＳＰ及びマイクロプロセッサーの組合せ、複数のマイクロプロセッサー、ＤＳＰコアと協力する１つの又は複数のマイクロプロセッサー又はいかなる他のこのような設置として実現することができる。
本公開に説明した方法又はアルゴリズムのステップを結合して直接にハードウェア中、プロセッサーが実行するソフトウェアモジュール中又はこの２種の組合せ中に嵌め込むことができる。ソフトウェアモジュールはいかなる形式の有形記憶媒体中に存在することができる。使用できる記憶媒体のいくつの例子はランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク（ｄｉｓｋ）、移動可能ディスク（ｄｉｓｋ）、ＣＤ−ＲＯＭ等を含む。記憶媒体はプロセッサーカップリングして該プロセッサーが該記憶媒体から情報を読み取り、及び該記憶媒体に情報を書き込む。取り替え形態中に、記憶媒体はプロセッサーとともに一体であってもよい。ソフトウェアモジュールは単一の命令又は多くの命令であってもよく、且ついくつの異なるコードセクション上、異なるプログラムの間に分布し、及び複数の記憶媒体にわたってもよい。
ここで開示される方法は前記方法を実現するための１つの又は複数の動作を含む。方法及び／又は動作は請求の範囲を外れることなく、互いに互換可能である。言い換えれば、動作の具体的な順序が指定されない限り、請求の範囲を外れることがなく、具体的な動作の順序を修正、及び／又は使用することができる。
前記機能は、ハードウェア、ソフトウェア、ファームウエア又はその任意の組合せに基づいて実現することができる。ソフトウェアで実現すると、機能は１つの又は複数の命令として的確なコンピュータ可読媒体上に記憶することができる。記憶媒体はコンピュータ（サイトへ）によりアクセスできるいかなる使用可能な的確な媒体であってもよい。例であるが制限するものではなく、このようなコンピュータ可読媒体はＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又は他の光ディスク（ｄｉｓｋ）記憶、ディスケット記憶又は他のディスク記憶装置又は、命令或いはデータ構成形式の所望のプログラムコードを携帯又は記憶し且つコンピュータ（サイトへ）によりアクセスできるいかなる他の的確な媒体を含んでもよい。例えば、ここで使用する、ディスク（ｄｉｓｋ）とディスク（ｄｉｓｃ）はコンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル汎用ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク及びブルーレイディスクを含み、そのうちディスク（ｄｉｓｋ）は磁気的にデータを再現し、ディスク（ｄｉｓｃ）はレーザーを利用して光学的にデータを再現する。
従って、コンピュータプログラム製品はここで与えられる操作を行なうことができる。例えば、このようなコンピュータプログラム製品は有形記憶（及び／又はエンコード）をその上の命令に有するコンピュータ可読の有形媒体であってもよく、該命令は１つの又は複数のプロセッサーによりここで説明した操作を実行することができる。コンピュータプログラム製品は包装する材料を含んでもよい。
ソフトウェア又は命令は伝送媒体により伝送することもできる。例えば、例えば同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）又は例えば赤外、無線又はマイクロ波の無線技術の伝送媒体を使用してウェッブサイト、サーバー又は他のリモートソースからソフトウェアを伝送することができる。
また、ここで説明した方法と技術を行なうためのモジュール及び／又は他の適当な手段は適当な時、ユーザー端末及び／又は基地局によりダウンロード及び／又は他の形態で取得することができる。例えば、このような設備はサーバーにカップリングしてここで説明した方法を行うための手段の伝送を促進する。又は、ここで説明した各種方法は記憶部材（例えばＲＡＭ、ＲＯＭ、例えばＣＤ又はフロッピー（登録商標）ディスク（ｄｉｓｋ）等の物理記憶媒体）を介して提供することができ、ユーザー端末及び／又は基地局が該設備にカップリングし又は該設備に記憶部材を提供する時各種方法を取得させる。また、ここで説明した方法と技術を設備に提供することに用いられるいかなる適当な技術を利用することができる。
他の例子と実現形態は本公開と添付の請求の範囲と趣旨内にある。例えば、ソフトウェアの本質により、上記の機能はプロセッサー、ハードウェア、ファームウエア、ハードワイヤー又はこれらの任意の組合せにより実行するソフトウェアにより実現することができる。機能を実現する特徴は物理的に各位置に位置してもよく、分配されて機能の一部が異なる物理位置に実現されることも含む。且つ、例えば、ここで使用する、及び請求項に使用する、「少なくとも１つの」を開始とする請求項の列挙中に使用する「又は」は分離する列挙を指し、例えば「Ａ、Ｂ又はＣの少なくとも１つの」の列挙はＡ又はＢ又はＣ、又はＡＢ又はＡＣ又はＢＣ、又はＡＢＣ（即ちＡとＢとＣ）を意味する。また、用語「例示的」は説明する例が好ましい例である又は他の例よりよいと意味しない。
添付の請求項の範囲に定義された指導技術を外れないでここで説明した技術に対する各種の改変、取り替え又は変更を行うことができる。また、本公開と請求の範囲は上記の処理、機器、製造、イベントの構成、手段、方法及び動作の具体的な面に限らない。ここで説明した相応の面と基本的に同じ機能を行い、又は基本的に同じ結果を実現する、現在存在している又は後で開発しようとする処理、機器、製造、イベントの構成、手段、方法又は動作を利用することができる。従って、添付した請求の範囲はその範囲内にあるこのような処理、機器、製造、イベントの構成、手段、方法又は動作を含むものである。

Claims (18)

  1. 連続的に移動物体を撮影することにより得られた深度情報を有する少なくとも２つの深度画像フレームを取得し、現在深度画像フレーム及び少なくとも１つの過去深度画像フレームを含み、そのうち、前記少なくとも２つの深度画像フレームのそれぞれが複数のブロックに分けられること、
    現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を計算すること、及び
    前記相違の程度に基づいて、現在深度画像フレームにおける移動ブロックを検出し、検出する移動物体を構成することを含む、移動物体検出方法。
  2. 前記相違の程度に基づいて、現在深度図像フレームにおける移動ブロックを検出し、検出する移動物体を構成することは、
    前記各ブロックの前記相違の程度の大きさを量化して現在深度画像フレームにおける該ブロックの移動程度を計算すること、及び
    １つのブロックの移動程度が第１所定閾値以上であると、該ブロックを検出して移動ブロックとすることを含む、請求項１に記載の方法。
  3. 現在深度画像フレームにおける１つのブロックの移動程度が第２所定閾値以上であると、該ブロックが人手の一部に属すると確認する、請求項２に記載の方法。
  4. 検出する現在深度画像フレームにおける各移動ブロックの位置及び移動程度、及び前に検出された前深度画像フレームにおける各移動ブロックの位置及び移動程度のうちの少なくとも１つにより、現在深度画像フレームのうちのどの部分が人手に属するかを確定することをさらに含む、請求項２に記載の方法。
  5. 検出する現在深度画像フレームにおける各移動ブロックの位置及び移動程度、及び前に検出された前深度画像フレームにおける各移動ブロックの位置及び移動程度のうちの少なくとも１つにより、現在深度画像フレームのうちのどの部分が人手に属するかを確定することは、
    前に検出された前深度画像フレームにおける各移動ブロックからなる第１移動領域の位置に基づいて、前記第１移動領域を現在深度画像フレームにマッピングし、現在深度画像フレームにおける各移動ブロックからなる第２移動領域の全部又は一部に重なること、
    投影した後の第１移動領域の各画素点の移動程度と前記第２移動領域中の各画素点の移動程度を重ね合わせて、前移動に基づく累積移動程度図を取得すること、及び
    前移動に基づいた累積移動程度図に基づいて、所定条件を満たす領域を人手として確定することを含む、請求項４に記載の方法。
  6. 前に検出された前深度画像フレームにおける各移動ブロックからなる第１移動領域の位置に基づいて、前記第１移動領域を現在深度画像フレーム中にマッピングし、現在深度画像フレームにおける各移動ブロックからなる第２移動領域の全部又は一部に重なることは、
    前に検出された前深度画像フレームにおける各移動ブロックの位置に基づいて、前記第１移動領域の第１主方向、第１中軸線、第１重心を計算すること、
    現在深度画像フレームにおける各移動ブロックの位置に基づいて、前記第２移動領域の第２主方向、第２中軸線、第２重心を計算すること、及び
    前記第１移動領域を移動し、前記第１重心と前記第２重心を全部又は一部重ならせ、前記第１中軸線と前記第２中軸線を全部又は一部重ならせ、前記第１主方向と前記第２主方向を全部又は一部重ならせることを含む、請求項５に記載の方法。
  7. 前記第１移動領域と前記第２移動領域は、下記の条件の一つを満たす領域であり、
    各移動ブロックからなる移動領域の形状が最も細長く、
    各移動ブロックからなる移動領域は腕の形状との類似度が最も大きく、
    各移動ブロックからなる移動領域は楕円又は長方形を外接したことにより、長軸と短軸の比又はアスペクト比が腕との類似度が最も大きい、請求項６に記載の方法。
  8. 前移動に基づいた累積移動程度図に基づいて、所定条件を満たす領域を人手として確定することは、下記の１種又は複数種を含み、
    移動程度が第三所定閾値より大きい領域を人手の領域として確定し、そのうち、前記前移動に基づいた累積移動程度図における重ね合わせた後の移動程度に基づいて降順配列し、第所定数量個の移動程度値を第三所定閾値とし、
    前検出された人手の領域の第１移動領域に対しての位置を利用して現在検出する人手の領域の第２移動領域に対しての位置を推算し、該現在検出された人手の領域の第２移動領域対しての位置に基づいて人手の領域を確定し、
    人手の色、グレースケール及び深度のうちの少なくとも１種の情報に基づいて前記情報との類似度が所定値より大きい領域を見つける、請求項５に記載の方法。
  9. 下記の公式により、前記ブロックの移動程度を計算し、
    そのうち、Ｃｊは第ｊ個のブロックの移動程度を表し、ｊ＝ｌ、２……、Ｍであり、Ｍは分けられたブロックの個数を表し、Ｎは過去深度画像フレームの個数を表し、Ｋは深度領域の個数を表し、ｉ＝１、２……、Ｋであり、Ｓｊｉは現在深度画像フレームにおける第ｊ個のブロックのうちの第ｉ個深度領域内に位置する画素数を表し、Ｔｊｉは各過去深度画像フレームにおける第ｊ個ブロックのうちの第ｉ個深度領域内に位置する画素数を加算して得られた値を表す、請求項８に記載の方法。
  10. 連続的に移動物体を撮影することにより得られた深度情報を有する少なくとも２つの深度画像フレームを取得し、現在深度画像フレーム及び少なくとも１つの過去深度画像フレームを含み、そのうち、前記少なくとも２つの深度画像フレームのそれぞれが複数のブロックに分けられるように配置された取得装置、
    現在深度画像フレームの各ブロックのうちの異なる深度領域内に位置する画素数と各過去深度画像フレームの対応ブロックのうちの異なる深度領域内に位置する画素数の相違の程度を計算するように配置された計算装置、及び
    前記相違の程度に基づいて、現在深度画像フレームにおける移動ブロックを検出し、検出する移動物体を構成するように配置された検出装置を備える、移動物体検出システム。
  11. 前記検出装置は、
    前記各ブロックの前記相違の程度の大きさを量化して現在深度画像フレームにおける該ブロックの移動程度を計算し、及び
    １つのブロックの移動程度が第１所定閾値以上であると、該ブロックを検出して移動ブロックとする、請求項１０に記載の移動物体検出システム。
  12. 現在深度画像フレームにおける１つのブロックの移動程度が第２所定閾値以上であると、該ブロックが人手の一部に属すると確認する、請求項１１に記載の移動物体検出システム。
  13. 前記検出装置は、さらに、
    検出する現在深度画像フレームにおける各移動ブロックの位置及び移動程度、及び前に検出された前深度画像フレームにおける各移動ブロックの位置及び移動程度のうちの少なくとも１つにより、現在深度画像フレームのうちのどの部分が人手に属するかを確定する、請求項１１に記載の移動物体検出システム。
  14. 検出する現在深度画像フレームにおける各移動ブロックの位置及び移動程度、及び前に検出された前深度画像フレームにおける各移動ブロックの位置及び移動程度のうちの少なくとも１つにより、現在深度画像フレームのうちのどの部分が人手に属するかを確定することは、
    前に検出された前深度画像フレームにおける各移動ブロックからなる第１移動領域の位置に基づいて、前記第１移動領域を現在深度画像フレームにマッピングし、現在深度画像フレームにおける各移動ブロックからなる第２移動領域の全部又は一部に重なること、
    投影した後の第１移動領域の各画素点の移動程度と前記第２移動領域中の各画素点の移動程度を重ね合わせて、前移動に基づく累積移動程度図を取得すること、及び
    前移動に基づいた累積移動程度図に基づいて、所定条件を満たす領域を人手として確定することを含む、請求項１３に記載の移動物体検出システム。
  15. 前に検出された前深度画像フレームにおける各移動ブロックからなる第１移動領域の位置に基づいて、前記第１移動領域を現在深度画像フレーム中にマッピングし、現在深度画像フレームにおける各移動ブロックからなる第２移動領域の全部又は一部に重なることは、
    前に検出された前深度画像フレームにおける各移動ブロックの位置に基づいて、前記第１移動領域の第１主方向、第１中軸線、第１重心を計算すること、
    現在深度画像フレームにおける各移動ブロックの位置に基づいて、前記第２移動領域の第２主方向、第２中軸線、第２重心を計算すること、及び
    前記第１移動領域を移動し、前記第１重心と前記第２重心を全部又は一部重ならせ、前記第１中軸線と前記第２中軸線を全部又は一部重ならせ、前記第１主方向と前記第２主方向を全部又は一部重ならせることを含む、請求項１４に記載の移動物体検出システム。
  16. 前記第１移動領域と前記第２移動領域は、下記の条件の一つを満たす領域であり、
    各移動ブロックからなる移動領域の形状が最も細長く、
    各移動ブロックからなる移動領域は腕の形状との類似度が最も大きく、
    各移動ブロックからなる移動領域は楕円又は長方形を外接したことにより、長軸と短軸の比又はアスペクト比が腕との類似度が最も大きい、請求項１５に記載の移動物体検出システム。
  17. 前移動に基づいた累積移動程度図に基づいて、所定条件を満たす領域を人手として確定することは、下記の１種又は複数種を含み、
    移動程度が第三所定閾値より大きい領域を人手の領域として確定し、そのうち、前記前移動に基づいた累積移動程度図における重ね合わせた後の移動程度に基づいて降順配列し、第所定数量個の移動程度値を第三所定閾値とし、
    前検出された人手の領域の第１移動領域に対しての位置を利用して現在検出する人手の領域の第２移動領域に対しての位置を推算し、該現在検出された人手の領域の第２移動領域対しての位置に基づいて人手の領域を確定し、
    人手の色、グレースケール及び深度のうちの少なくとも１種の情報に基づいて前記情報との類似度が所定値より大きい領域を見つける、請求項１４に記載の移動物体検出システム。
  18. 下記の公式により、前記ブロックの移動程度を計算し、
    そのうち、Ｃｊは第ｊ個のブロックの移動程度を表し、ｊ＝ｌ、２……、Ｍであり、Ｍは分けられたブロックの個数を表し、Ｎは過去深度画像フレームの個数を表し、Ｋは深度領域の個数を表し、ｉ＝１、２……、Ｋであり、Ｓｊｉは現在深度画像フレームにおける第ｊ個のブロックのうちの第ｉ個深度領域内に位置する画素数を表し、Ｔｊｉは各過去深度画像フレームにおける第ｊ個ブロックのうちの第ｉ個深度領域内に位置する画素数を加算して得られた値を表す、請求項１７に記載の移動物体検出システム。
JP2014159203A 2013-08-21 2014-08-05 移動物体検出方法及びシステム Expired - Fee Related JP6424510B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310365452.5A CN104424649B (zh) 2013-08-21 2013-08-21 检测运动物体的方法和系统
CN201310365452.5 2013-08-21

Publications (2)

Publication Number Publication Date
JP2015041381A true JP2015041381A (ja) 2015-03-02
JP6424510B2 JP6424510B2 (ja) 2018-11-21

Family

ID=52480415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014159203A Expired - Fee Related JP6424510B2 (ja) 2013-08-21 2014-08-05 移動物体検出方法及びシステム

Country Status (3)

Country Link
US (1) US9552514B2 (ja)
JP (1) JP6424510B2 (ja)
CN (1) CN104424649B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508077B2 (en) 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111351B2 (en) * 2011-12-15 2015-08-18 Sony Corporation Minimizing drift using depth camera images
JP5961123B2 (ja) * 2013-01-30 2016-08-02 パナソニック株式会社 人物検出追跡装置、人物検出追跡方法、および人物検出追跡プログラム
US9563955B1 (en) 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
CN104794733B (zh) 2014-01-20 2018-05-08 株式会社理光 对象跟踪方法和装置
CN105096259B (zh) 2014-05-09 2018-01-09 株式会社理光 深度图像的深度值恢复方法和系统
KR102267871B1 (ko) * 2014-09-03 2021-06-23 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN104202533B (zh) * 2014-09-24 2019-05-21 中磊电子（苏州）有限公司 移动检测装置及移动检测方法
JP6030617B2 (ja) * 2014-10-15 2016-11-24 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
CN105590309B (zh) 2014-10-23 2018-06-15 株式会社理光 前景图像分割方法和装置
CN105590312B (zh) 2014-11-12 2018-05-18 株式会社理光 前景图像分割方法和装置
US11020025B2 (en) * 2015-10-14 2021-06-01 President And Fellows Of Harvard College Automatically classifying animal behavior
US9996933B2 (en) * 2015-12-22 2018-06-12 Qualcomm Incorporated Methods and apparatus for outlier detection and correction of structured light depth maps
TWI616843B (zh) * 2016-09-12 2018-03-01 粉迷科技股份有限公司 動態影像去背方法、系統與電腦可讀取儲存裝置
CN106898014B (zh) * 2017-02-22 2020-02-18 杭州艾芯智能科技有限公司 一种基于深度相机的入侵检测方法
KR102455632B1 (ko) 2017-09-14 2022-10-17 삼성전자주식회사 스테레오 매칭 방법 및 장치
CN110493488B (zh) 2018-05-15 2021-11-26 株式会社理光 视频稳像方法、视频稳像装置和计算机可读存储介质
CN109087351B (zh) * 2018-07-26 2021-04-16 北京邮电大学 基于深度信息对场景画面进行闭环检测的方法及装置
CN109447929B (zh) * 2018-10-18 2020-12-04 北京小米移动软件有限公司 图像合成方法及装置
TWI697846B (zh) 2018-11-26 2020-07-01 財團法人工業技術研究院 物體辨識方法及其裝置
KR20200080047A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
JP7362265B2 (ja) * 2019-02-28 2023-10-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN111667398B (zh) 2019-03-07 2023-08-01 株式会社理光 图像处理方法、装置和计算机可读存储介质
EP3798976B1 (en) * 2019-09-30 2023-11-01 Tata Consultancy Services Limited Method and system for determining dynamism in a scene by processing a depth image
CN112361565B (zh) * 2020-10-20 2022-07-15 上海炬佑智能科技有限公司 空调控制方法、空调控制装置以及空调设备
CN112883944B (zh) * 2021-04-28 2021-07-02 北京三快在线科技有限公司 活体检测方法、模型训练方法、装置、存储介质及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184359A (ja) * 1998-12-11 2000-06-30 Mega Chips Corp 監視装置及び監視システム
JP2001306236A (ja) * 2000-04-21 2001-11-02 Sony Corp 情報処理装置、動作認識処理方法及びプログラム格納媒体
JP2004070427A (ja) * 2002-08-01 2004-03-04 Sony Corp 重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システム
JP2004280856A (ja) * 2000-10-06 2004-10-07 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2006134035A (ja) * 2004-11-05 2006-05-25 Fuji Heavy Ind Ltd 移動物体検出装置および移動物体検出方法
US20110013807A1 (en) * 2009-07-17 2011-01-20 Samsung Electronics Co., Ltd. Apparatus and method for recognizing subject motion using a camera
JP2011078009A (ja) * 2009-10-01 2011-04-14 Olympus Corp 撮像装置および撮像装置用プログラム
JP2011243031A (ja) * 2010-05-19 2011-12-01 Canon Inc ジェスチャ認識装置及びジェスチャ認識方法
JP2012238293A (ja) * 2011-04-28 2012-12-06 Nextedge Technology Inc 入力装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
CN100579174C (zh) * 2007-02-02 2010-01-06 华为技术有限公司 一种运动检测方法和装置
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法
CN101640809B (zh) * 2009-08-17 2010-11-03 浙江大学 一种融合运动信息与几何信息的深度提取方法
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
GB2474536B (en) 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US9111351B2 (en) * 2011-12-15 2015-08-18 Sony Corporation Minimizing drift using depth camera images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184359A (ja) * 1998-12-11 2000-06-30 Mega Chips Corp 監視装置及び監視システム
JP2001306236A (ja) * 2000-04-21 2001-11-02 Sony Corp 情報処理装置、動作認識処理方法及びプログラム格納媒体
JP2004280856A (ja) * 2000-10-06 2004-10-07 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2004070427A (ja) * 2002-08-01 2004-03-04 Sony Corp 重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システム
JP2006134035A (ja) * 2004-11-05 2006-05-25 Fuji Heavy Ind Ltd 移動物体検出装置および移動物体検出方法
US20110013807A1 (en) * 2009-07-17 2011-01-20 Samsung Electronics Co., Ltd. Apparatus and method for recognizing subject motion using a camera
JP2011078009A (ja) * 2009-10-01 2011-04-14 Olympus Corp 撮像装置および撮像装置用プログラム
JP2011243031A (ja) * 2010-05-19 2011-12-01 Canon Inc ジェスチャ認識装置及びジェスチャ認識方法
JP2012238293A (ja) * 2011-04-28 2012-12-06 Nextedge Technology Inc 入力装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508077B2 (en) 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection

Also Published As

Publication number Publication date
CN104424649A (zh) 2015-03-18
US20150055828A1 (en) 2015-02-26
CN104424649B (zh) 2017-09-26
JP6424510B2 (ja) 2018-11-21
US9552514B2 (en) 2017-01-24

Similar Documents

Publication Publication Date Title
JP2015041381A (ja) 移動物体検出方法及びシステム
CN108764024B (zh) 人脸识别模型的生成装置、方法及计算机可读存储介质
JP6295645B2 (ja) 物体検出方法及び物体検出装置
EP3164848B1 (en) System and method of three-dimensional model generation
CN109977833B (zh) 物体追踪方法、物体追踪装置、存储介质及电子设备
US11398049B2 (en) Object tracking device, object tracking method, and object tracking program
WO2015172679A1 (zh) 一种图像处理方法和装置
JP6044426B2 (ja) 情報操作表示システム、表示プログラム及び表示方法
JP6159179B2 (ja) 画像処理装置、画像処理方法
JP6201379B2 (ja) 位置算出システム、位置算出プログラム、および、位置算出方法
US9633450B2 (en) Image measurement device, and recording medium
CN102508578B (zh) 投影定位装置及方法、交互系统和交互方法
JP2019075156A (ja) 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード
CN104246793A (zh) 移动设备的三维脸部识别
CN105992988A (zh) 用于检测第一对象与第二对象之间的触摸的方法和设备
JP2011185872A (ja) 情報処理装置、その処理方法及びプログラム
KR20220160066A (ko) 이미지 처리 방법 및 장치
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
JPWO2016042926A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015079444A5 (ja)
JP2014203174A (ja) 情報操作表示システム、表示プログラム、および、表示方法
JP2015079433A5 (ja)
JP2013205175A (ja) ３次元対象面認識装置および方法、ならびにプログラム
CN105242888A (zh) 一种系统控制方法及电子设备
KR20190027079A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181008

R151 Written notification of patent or utility model registration

Ref document number: 6424510

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees