JP2006185109A - 画像計測装置及び画像計測方法 - Google Patents

画像計測装置及び画像計測方法 Download PDF

Info

Publication number
JP2006185109A
JP2006185109A JP2004377201A JP2004377201A JP2006185109A JP 2006185109 A JP2006185109 A JP 2006185109A JP 2004377201 A JP2004377201 A JP 2004377201A JP 2004377201 A JP2004377201 A JP 2004377201A JP 2006185109 A JP2006185109 A JP 2006185109A
Authority
JP
Japan
Prior art keywords
image
hue
pixels
tracking target
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004377201A
Other languages
English (en)
Other versions
JP2006185109A5 (ja
Inventor
Masahiro Kato
雅弘 加藤
Takeshi Kato
猛 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004377201A priority Critical patent/JP2006185109A/ja
Priority to US11/288,301 priority patent/US7542080B2/en
Publication of JP2006185109A publication Critical patent/JP2006185109A/ja
Publication of JP2006185109A5 publication Critical patent/JP2006185109A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A63F13/10—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8029—Fighting without shooting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

【課題】カメラで撮影された追跡対象の三次元的な位置を計測することを目的とする。
【解決手段】本発明は、カメラによって撮影された追跡対象の画像を取り込む画像取り込み部と、前記追跡対象の位置を求める追尾部と、を備える画像計測装置において、前記追尾部は、前記画像から所定の大きさの画像データを抽出する画像切り出し窓を前記画像の全体に移動し、それぞれの移動位置において、前記画像から前記画像切り出し窓に含まれる画像データを抽出し、前記抽出された画像データから前記追跡対象の色相特徴を有する画素数を計数し、前記計数された画素数が最大となる画像切り出し窓の位置を前記色相特徴ごとに判定し、前記判定された画像切り出し窓の位置に基づいて、追跡対象の位置を求めることを特徴とする。
【選択図】図２

Description

本発明は、カメラによって撮影された画像を処理する画像計測装置に関し、追跡対象の位置を求める技術に関する。
近年、安価なＣＣＤカメラ及びＣＭＯＳカメラの普及並びにパーソナルコンピュータの性能向上に伴い、リアルタイム画像処理を手軽に行うことができるようになった。その結果として、リアルタイム画像処理は、技術の応用分野が急速に広がっている。例えば、リアルタイム画像処理は、単純形状の人工物から形状が複雑な人物体等へ処理対象が広がっている。今後、リアルタイム画像処理は、ゲーム、人物監視、人物認証、機器操作インタフェース、受付、接客業務及びロボティクスなどの広い分野に応用されることが期待されている。
リアルタイム画像処理技術を応用して、ＣＧで描かれた二名のキャラクタによる格闘ゲームが人気を得ている。従来の格闘ゲームは、専用の操作端末にコマンドを入力することによって、パンチなどの動作を入力していた。最近、プレーヤがパンチ等の動作を実演してコンピュータ内で仮想的に格闘する格闘ゲームが注目されている。例えば、プレーヤが加速度センサを装着して動作することによって動作を入力する格闘ゲームが知られている（例えば、特許文献１及び特許文献２参照。）。
しかし、この従来技術による格闘ゲームでは、プレーヤが手などに特殊なセンサを装着しなければならない。また、センサを装着した手足の加速度しか測定できない問題があった。更に、加速度センサによって測定した加速度情報からプレーヤの位置等を計算で求めると、累積誤差を発生する問題もあった。
これらの問題を解決するために、カメラで撮影したプレーヤの動作をコンピュータに取り込み、コンピュータ内で仮想的に格闘させるゲームが知られている（例えば、特許文献３参照。）。このゲームは、センサでなくカメラを用いてプレーヤの動作を測定するので、手足の加速度以外の多くの情報を同時にリアルタイムで取得することができる。
特開平６−２８５２４９号公報 特開２００４−４９４３６号公報 特開平１１−５３５６３号公報
しかし、従来のゲームは、カメラとプレーヤとの距離を計測できない問題があった。更に、カメラの光軸と直交する二次元平面内での位置しか計測しかできない問題があった。格闘ゲームでは、プレーヤの三次元的な位置の情報が重要である。
本発明は、カメラで撮影された追跡対象の三次元的な位置を計測することを目的とする。
本発明は、カメラによって撮影された追跡対象の画像を取り込む画像取り込み部と、前記追跡対象の位置を求める追尾部と、を備える画像計測装置において、前記追尾部は、前記画像から所定の大きさの画像データを抽出する画像切り出し窓を前記画像の全体に移動し、それぞれの移動位置において、前記画像から前記画像切り出し窓に含まれる画像データを抽出し、前記抽出された画像データから前記追跡対象の色相特徴を有する画素数を計数し、前記計数された画素数が最大となる画像切り出し窓の位置を前記色相特徴ごとに判定し、前記判定された画像切り出し窓の位置に基づいて、追跡対象の位置を求めることを特徴とする。
本発明によれば、カメラで撮影された追跡対象の三次元的な位置を計測することができる。
以下、本発明の実施の形態を図面を参照して説明する。
（第１の実施の形態）
図１Ａは、本発明の第１の実施の形態の画像計測装置１を適用したボクシングゲームの説明図である。
プレーヤ１００１は、カメラ２に向かって、仮想の対戦相手１００２とボクシングを行う。プレーヤ１００１は、右手Ｒに右グローブ１００３を装着し、左手Ｌに左グローブ１００４を装着する。カメラ２は、プレーヤ１００１が装着しているグローブ１００３、１００４を撮影し、撮影した画像を画像計測装置１に送信する。
画像計測装置１は、図２で後述する構成を備え、カメラ２と接続されている。画像計測装置１は、カメラ２によって撮影された画像から、グローブ１００３とカメラ２との距離、グローブ１００４とカメラ２との距離及びグローブ１００３、１００４の位置を算出する。
なお、このボクシングゲームは、仮想の対戦相手１００２の位置にディスプレイを備えてもよい。これによって、画像計測装置１は、仮想の対戦相手１００２の動作をディスプレイに表示することができる。
画像計測装置１は、算出したグローブ１００３とカメラ２との距離、グローブ１００４とカメラ２との距離及びグローブ１００３、１００４の位置に基づいて、プレーヤ１００１のパンチが対戦相手１００２に当たったかを判定する。更に、パンチが当たった場合、対戦相手１００２のどの部分に当たったかを判定する。そして、画像計測装置１は、判定した結果を対戦相手１００２の動作に反映させ、ディスプレイに表示する。
また、画像計測装置１は、対戦相手１００２が放ったパンチをディスプレイに表示する。画像計測装置１は、算出したグローブ１００３とカメラ２との距離、グローブ１００４とカメラ２との距離及びグローブ１００３、１００４の位置に基づいて、対戦相手１００２のパンチをプレーヤ１００１がかわしたかを判定する。そして、画像計測装置１は、判定した結果を対戦相手１００２の動作に反映させ、ディスプレイに表示する。
以上のように、本実施の形態のボクシングゲームは、グローブ１００３、１００４の位置等によって、プレーヤ１００１の動作を判定し、対戦相手１００２の動作に反映することができるので、臨場感を高めることができる。
図１Ｂは、本発明の第１の実施の形態のカメラ２で撮影された画像１００６の説明図である。
カメラ２で撮影された画像１００６には、右グローブ１００３及び左グローブ１００４が映っている。
画像計測装置１は、画像１００６をカメラ２から受信する。すると、画像計測装置１は、画像１００６に映っているグローブ１００３、１００４の面積を測定する。そして、測定した面積に基づいて、カメラ２とグローブ１００３との距離、カメラ２とグローブ１００４との距離を計算する。また、画像計測装置１は、画像１００６に映っているグローブ１００３、１００４の画像中の位置を測定する。そして、画像中の位置に基づいて、グローブ１００３、１００４の実空間での位置を計算する。
図２は、本発明の第１の実施の形態の画像計測装置１の構成のブロック図である。
画像計測装置１は、ＣＰＵ１０、メモリ１１、入出力部１２及び記憶装置１３を備える。
ＣＰＵ１０は、メモリ１１から各種プログラムを呼び出して実行することによって、各種処理を行う。メモリ１１は、ＣＰＵ１０の処理に応じて、記憶装置１３に格納された各種プログラム等を一時的に記憶する。入出力部１２は、カメラ２及びコンソール等と接続し、各種情報を入出力する。
記憶装置１３には、画像データ取り込みプログラム１３１、色相特徴抽出プログラム１３２、色相特徴追尾プログラム１３３及び位置・距離算出プログラム１３４が含まれている。
画像取り込みプログラム１３１は、カメラ２によって撮影された画像を取り込む。色相特徴抽出プログラム１３２は、画像取り込みプログラム１３１によって取り込まれた画像から色相特徴を抽出し、メモリ１１に一時的に記憶する。色相特徴追尾プログラム１３３は、メモリ１１に記憶されている色相特徴を有する追跡対象を追跡する。位置・距離算出プログラム１３４は、追跡対象とカメラ２との距離及び追跡対象の位置を算出する。
図３は、本発明の第１の実施の形態の画像計測装置１で実行される色相特徴抽出プログラム１３２の一次抽出処理のフローチャートである。
まず、画像切り出し窓を初期位置に固定する（８００１）。画像切り出し窓は、画像計測装置１に記憶された各種プログラムが画像を抽出する領域であり、一辺を数十ドット程度とするのが望ましい。また、初期位置に固定された画像切り出し窓は、追跡対象（例えば、ボクシングゲームにおけるグローブ）の全体が含まれるように設定される。
初期位置は、ユーザによって入出力部１２から入力されてもよいし、予め設定されていてもよい。なお、初期位置が予め設定されている場合、ユーザは、初期位置に固定された切り出し窓に追跡対象の全体が含まれるように、追跡対象を移動する必要がある。例えば、ボクシングゲームにおいて、プレーヤ１００１は、両手のグローブ１００３、１００４の全体が画像切り出し窓に含まれるように、グローブ１００３、１００４を移動する。
次に、画像取り込みプログラム１３１によって取り込まれた画像から画像切り出し窓に含まれる画像データを切り出す（８００２）。
次に、切り出した画像データから色相ヒストグラムを作成する（８００３）。色相ヒストグラムは、例えば、０度から３５９度までの色相値を３６０分割し、それぞれの色相値に属する画素数を示す。
次に、色相ヒストグラムから色相値を度数の低い順に選択する（８００４）。
選択した色相値の画素数を色相ヒストグラムから抽出する。更に、選択した色相値の近傍の色相値の画素数を色相ヒストグラムから抽出する。近傍の色相値とは、選択した色相値を中心とした連続する複数の色相値であり、例えば、選択した色相値の上下数度以内の色相値である。
次に、抽出したすべての画素数（選択した色相値の画素数及び近傍の色相値の画素数）の中に「０」があるかを否かを判定する（８００５）。
画素数に「０」が一つでもあると、選択した色相値が追跡対象の色相特徴でないと判定するので、選択した色相値に属する画素数を色相ヒストグラムから削除する（８００６）。なぜなら、切り出した画像データにある程度の大きさで映っている追跡対象は、連続する複数の色相値を有するからである。一方、抽出された色相値の近傍に画素数＝０の色相が存在する場合、当該色相値はノイズである可能性がある。
一方、抽出した画素数に「０」が一つもないと、選択した色相値が追跡対象の色相特徴になる可能性があると判定するので、選択した色相値及びその色相値に属する画素数をメモリに一次記憶する（８００７）。
そして、ステップ８００５〜８００７をすべての色相値に繰り返す。
以上の一次抽出処理によって、追跡対象の全体を含む画像切り出し窓によって切り取られた画像データから、卓越する色相値を抽出することができる。
図４は、本発明の第１の実施の形態の画像計測装置１で実行される色相特徴抽出プログラム１３２の二次抽出処理のフローチャートである。
まず、画像取り込みプログラム１３１によって取り込まれた画像の全体を画像切り出し窓が順に選択するように、画像切り出し窓を移動する（８００８）。そして、以後のステップ８００９〜８０１４をすべての移動位置で繰り返す。
次に、移動した画像切り出し窓の位置が、一次抽出処理（図３）のステップ８００１の初期位置と同じか否かを判定する（８００９）。初期位置と同じであると、一次抽出処理で記憶した色相値と同じ色相値が抽出され、背景の色相特徴を削除するのに不適切なので、ステップ８００８に戻り、画像切り出し窓を次の位置へ移動する。
一方、初期位置と異なると、一次抽出処理で記憶した色相値と異なる背景の色相値が抽出されるので、画像切り出し窓に含まれる画像データを切り出す（８０１０）。次に、一次抽出処理のステップ８００７で一次記憶した色相値から一つを選択する。
切り出した画像データから、選択した色相値に属する画素数を計数する（８０１１）。
次に、計数した画素数が閾値より大きいか否かを判定する（８０１２）。
計数した画素数が閾値より大きいと、選択した色相値が背景に多く含まれていると判定して、一次記憶したメモリ１１から当該選択した色相値を削除する（８０１３）。背景に多く含まれている色相値は、追跡対象の色相特徴としても、背景と追跡対象との分離にも貢献しないからである。
なお、一時記憶した色相値がすべて削除された場合、追跡対象の色相特徴を検出できないと判定する。この場合、入出力部１２から追跡不可を通知する。例えば、画像計測装置１は、背景が真っ赤な夕焼けの時に、同色のボールを追跡することはできない。
一方、計数した画素数が閾値以下であると、選択した色相値が背景に多く含まれていないと判定し、当該選択した色相値及びその色相値に属する画素数をメモリ１１に二次記憶し（８０１４）、二次記憶した色相値を追跡対象の色相特徴とする。
そして、ステップ８０１１〜８０１４をすべての色相値を選択するまで繰り返す。
以上の二次抽出処理によって、一次記憶した色相値から背景に多量に含まれる色相値を削除することによって、追跡対象の色相特徴を抽出できる。よって、追跡対象を背景と区別した色相特徴を用いて追跡するので、追跡精度を向上することができる。
図５は、本発明の第１の実施の形態の画像計測装置１で実行される色相特徴追尾プログラム１３３の処理のフローチャートである。
まず、画像取り込みプログラム１３１によって取り込まれた画像の全体を画像切り出し窓が順に選択するように、画像切り出し窓を移動する（９００１）。 次に、画像取り込みプログラム１３１によって取り込まれた画像から画像切り出し窓に含まれる画像データを切り出す（９００２）。次に、切り出した画像データから、色相特徴抽出プログラム１３２が抽出した色相特徴を有する画素数を計数する（９００３）。なお、複数の色相特徴がある場合には、それぞれの色相特徴ごとに画素数を計数する。
そして、ステップ９００２〜ステップ９００３をすべての移動位置で繰り返す。
次に、計数した画素数が最大となる画像切り出し窓を判定する。そして、判定した画像切り出し窓の位置（例えば、中心座標）及びその位置で計数された画素数をメモリ１１に記憶する（９００４）。なお、複数の色相特徴がある場合には、それぞれの色相値ごとに、画素数が最大となる画像切り出し窓の位置及びその位置で計数された画素数を記憶する。
次に、メモリ１１に記憶した情報から追跡対象の追跡に成功したか否かを判定する（９００５）。具体的には、メモリ１１に記憶した画素数が閾値より大きいと追跡に成功したと判定し、閾値より小さいと追跡に失敗したと判定する。また、色相特徴が複数ある場合には、メモリに記憶したすべての画素数の比が所定の範囲内であるか否かを参照して、追跡の成否を判定してもよい。所定の範囲とは、例えば、色相特徴抽出プログラム１３２が二次記憶した画素数の比と同等だと判断できる範囲を予め定めておく。
追跡に失敗すると、ステップ９００４で記憶した画像切り出し窓の位置及びその位置で計数された画素数をメモリ１１から削除する（９００７）。更に、追跡失敗を入出力部１２から通知する。
一方、追跡に成功すると、位置・距離算出プログラム１３４を呼び出す（９００６）。
図６は、本発明の第１の実施の形態の画像計測装置１で実行される色相特徴追尾プログラム１３３の処理の説明図である。
色相特徴追尾プログラム１３３は、画像切り出し窓１１０１を画像１１００の全体に移動する。次に、移動したそれぞれの位置において、色相特徴を有する画素数を計数する。なお、画像切り出し窓１１０１に含まれる画素は、色相値をそれぞれ有している。例えば、画像切り出し窓１１０１の左上端の狭領域には、図中の吹き出しに示す色相値を有する画素が含まれている。
次に、計数した画素数が最大となる画像切り出し窓の位置を判定する。次に、判定した画像切り出し窓の位置及びその位置で計数された画素数をメモリ１１に記憶する。そして、メモリ１１に記憶した情報から追跡対象の追跡に成功したか否かを判定する。
図７は、本発明の第１の実施の形態の画像計測装置１で実行される位置・距離算出プログラム１３４の処理のフローチャートである。
位置・距離算出プログラム１３４は、色相特徴追尾プログラム１３３から呼び出されることによって、処理を開始する（９０１１）。
まず、追跡対象の位置を求める（９０１２）。色相特徴が一つである場合には、メモリ１１に記憶された画像切り出し窓の位置が追跡対象の位置となる。また、色相特徴が複数ある場合には、メモリ１１に記憶された画像切り出し窓の位置のすべてを平均した値を追跡対象の位置とする。
次に、メモリ１１に記憶された画素数から、カメラ２と追跡対象との距離を算出する（９０１３）。具体的には、色相特徴抽出プログラム１３２が二次記憶した画素数を色相特徴追尾プログラムがステップ９００４で記憶した画素数で割った値の平方根を求める。求めた値に色相特徴抽出プログラム１３２の処理時におけるカメラ２と追跡対象との距離を乗ずると、カメラ２と追跡対象との現在の距離が求まる。
以上のように、追跡対象の位置及びカメラ２と追跡対象との距離を算出することができる。そして、算出した追跡対象の位置及びカメラ２と追跡対象との距離を用いて、図１で説明したボクシングゲームを実現することができる。
従来のボクシングゲームでは、加速度センサを手に装着する必要があり、センサを装着した手の加速度しか測定できないという問題があった。また、加速度センサによって測定した加速度情報から速度や距離を計算で求めると、累積誤差が発生するという問題もあった。しかし、本実施の形態の画像計測装置１を適用したボクシングゲームでは、従来のように、手に加速度センサを装着する必要がなく、これらの問題を解決することができる。
また、従来、カメラ及び画像計測装置を用いて人体の二次元的な位置を計測するボクシングゲームも提案されていた。しかし、このボクシングゲームは、人体の三次元的な位置を計測し仮想の対戦相手の動きに反映させることができないので、ゲームとしての迫力に欠けるという問題があった。また、このボクシングゲームは、プレーヤを背景画像から分離しないで追跡するので、プレーヤの位置、背景画像、プレーヤの着衣の色彩等を指定する必要があるいう問題もあった。
しかし、本実施の形態の画像計測装置１は、追跡対象を背景から分離して追跡し、更に、追跡対象の三次元的な位置及び距離を測定するので、このような問題を解決することができる。よって、本実施の形態の画像計測装置１を適用したボクシングゲームは、臨場感を高めることができる。
（第２の実施の形態）
図８Ａは、本発明の第２の実施の形態の画像計測装置１を適用した卓球ゲームの説明図である。
プレーヤ２００１は、カメラ２に向かって、仮想の卓球台２００４を介して仮想の対戦相手と卓球を行う。プレーヤ２００１は、右手Ｒ又は左手Ｌにラケット２００２を持っている。カメラ２は、プレーヤ２００１が持っているラケット２００２を撮影し、撮影した画像を画像計測装置１に送信する。
画像計測装置１は、第１の実施の形態の画像計測装置１（図２）と同一の構成であり、カメラ２と接続されている。画像計測装置１は、カメラ２によって撮影された画像から、ラケット２００２とカメラ２との距離及びラケット２００２の位置を算出する。
なお、この卓球ゲームは、仮想の卓球台２００４の位置にディスプレイを備えてもよい。これによって、画像計測装置１は、仮想の対戦相手、卓球台２００４及び球２００５をディスプレイに表示することができる。
画像計測装置１は、算出したラケット２００２とカメラ２との距離及びラケット２００２の位置に基づいて、仮想の対戦相手によって打たれた球２００５がラケット２００２に当たったかを判定する。また、ラケット２００２に当たった場合、ラケット２００２のどの部分に当たったかを判定する。そして、画像計測装置１は、判定した結果を球２００５の軌跡及び対戦相手の動作に反映させ、ディスプレイに表示する。
図８Ｂは、本発明の第２の実施の形態のカメラ２で撮影された画像２００７の説明図である。
カメラ２で撮影された画像２００７には、ラケット２００２が映っている。
画像計測装置１は、画像２００７をカメラ２から受信する。すると、画像計測装置１は、画像２００７に移っているラケット２００２の面積を測定し、測定した面積からカメラ２とラケット２００２との距離を計算する。また、画像計測装置１は、画像２００７に映っているラケット２００２の画像中の位置を測定して、測定した画像中の位置からラケット２００２の位置を計算する。
（第３の実施の形態）
図９Ａは、本発明の第３の実施の形態の画像計測装置３を適用した天井走行ロボット遠隔操作システムの説明図である。
操作者３００１は、天井走行ロボット３００２に取り付けられたカメラ２に向かって、指示動作をする。カメラ２は、操作者３００１の顔を撮影し、撮影した画像を画像計測装置３に送信する。
画像計測装置３は、図１０で後述する構成を備え、カメラ２と接続されている。画像計測装置３は、カメラ２によって撮影された画像から、操作者３００１の顔とカメラ２との距離及び操作者３００１の顔の位置を算出する。更に、画像計測装置３は、操作者３００１の顔の動き及び首の動きを算出する。
画像計測装置３は、算出された操作者３００１の顔とカメラ２との距離及び操作者３００１の顔の位置に基づいて、操作者３００１が天井走行ロボット３００２に指示を出す意思があるかを判定する。また、操作者３００１の顔の動き及び首の動きに基づいて、天井走行ロボット３００２に対する操作指示コマンドを判定する。よって、画像計測装置３は、操作者３００１の顔の動き及び首の動きと天井走行ロボット３００２に対する操作指示コマンドとを対応付けたテーブル（図示省略）を備える必要がある。
図９Ｂは、本発明の第３の実施の形態のカメラ２で撮影された画像３００４の説明図である。
カメラ２で撮影された画像３００４には、操作者３００１の顔が映っている。
画像計測装置３は、画像３００４をカメラ２から受信する。すると、画像計測装置３は、画像３００４に映っている操作者３００１の顔の面積を測定し、測定した面積からカメラ２と操作者３００１の顔との距離を計算する。また、画像計測装置３は、画像に映っている操作者３００１の顔の画像中の位置を測定して、測定した画像中の位置から操作者３００１の顔の位置を計算する。また、図１４で後述するように、顔の動き及び首の動きを算出する。
図１０は、本発明の第３の実施の形態の画像計測装置３の構成のブロック図である。
画像計測装置３は、記憶装置１３に位相変化検出プログラム１３５を記憶している点を除き、第１の実施の形態の画像計測装置１と同一の構成である。なお、同一の構成には、同一の番号を付して、説明を省略する。
位相変化検出部１３５は、色相特徴追尾部１３３が追跡している物体の位相変化量を算出し、算出した位相変化量をメモリ１１に一時的に記憶する。
図１１Ａ及び図１１Ｂは、第３の実施の形態の追跡対象である操作者３００１の顔の画像計測装置３による処理の説明図である。
例えば、色相特徴抽出プログラム１３２は、操作者３００１の顔が映った画像から三つの色相特徴を抽出したとする。また、色相特徴追尾プログラム１３３は、ステップ９００４において（図５）、それぞれの色相特徴を有する画素数が最大となる画像切り出し窓の中心位置をそれぞれ位置１２００２、１２００３、１２００４と判定したとする。
このとき、それぞれの位置１２００２、１２００３、１２００４の画像切り出し窓が切り出した画像データにおける色相特徴を有する画素数の比と、色相特徴抽出プログラム１３２によって二次記憶された画素数の比は、同一である。よって、色相特徴追尾プログラム１３３は、ステップ９００５において、画素数の比が所定の範囲内であるか否かを用いて追跡の成否を判定できる。
また、位置・距離算出プログラム１３４は、これらの位置１２００２、１２００３、１２００４の平均値を求めることによって、追跡対象である操作者３００１の顔の位置を求めることができる。
図１１Ｂは、操作者３００１がカメラ２から遠ざかった場合である。
例えば、色相特徴追尾プログラム１３３は、ステップ９００４において、それぞれの色相特徴を有する画素数が最大となる画像切り出し窓の中心位置をそれぞれ位置１２００６、１２００７、１２００８と判定したとする。
カメラ２から遠ざかったとしても、それぞれの位置１２００６、１２００７、１２００８の画像切り出し窓が切り出した画像データにおける色相特徴を有する画素数の比と、色相特徴抽出プログラム１３２によって二次記憶された画素数の比とは、同一である。しかし、それぞれの画像データにおいて色相特徴を有する画素数は減少する。そこで、位置・距離算出プログラム１３４は、色相特徴抽出プログラム１３２が二次記憶した画素数を、それぞれの位置１２００６、１２００７、１２００８の画像切り出し窓が切り出した画像データにおける色相特徴を有する画素数で割った値の平方根を求める。そして、位置・距離算出プログラム１３４は、求めた値に色相特徴抽出プログラム１３２の処理時におけるカメラ２と操作者３００１との距離を乗ずると、カメラ２と操作者３００１の顔との現在の距離を求めることができる。
図１２Ａ、Ｂ及びＣは、本発明の第３の実施の形態の操作者３００１の顔の動きの説明図である。
本説明図では、カメラ２によって撮影された操作者３００１の顔に、顔の中心を原点とする座標系６００１を重ねて示している。顔の中心は、位置・距離算出プログラム１３４によって算出された追跡対象の位置を用いる。なお、座標系は、右上部分を第一象限、左上部分を第二象限、左下部分を第三象限、右下部分を第四象限とする。
画像計測装置３は、色相が変化した位置を検出し、操作者３００１の顔の動きを判定する。
図１２Ａは、通常時の操作者３００１の顔である。図１２Ｂは、口を開けた操作者３００１の顔である。つまり、画像計測装置３は、座標系６００１の第三象限及び第四象限の色相が変化すると、操作者３００１が口を開けたと判定する。
図１２Ｃは、左目を閉じた操作者３００１の顔である。つまり、画像計測装置３は、座標系６００１の第一象限の色相が変化すると、操作者３００１が左目を閉じたと判定する。同様に、座標系６００１の第二象限の色相が変化すると、操作者３００１が右目を閉じたと判定する
画像計測装置３は、顔の動きを判定すると、操作者３００１の顔の動き及び首の動きと天井走行ロボット３００２に対する操作指示コマンドとを対応付けたテーブルから、操作指示コマンドを抽出する。そして、抽出した操作指示コマンドを天井走行ロボット３００２に送信する。
図１３Ａ、Ｂ及びＣは、本発明の第３の実施の形態の操作者３００１の首の動きの説明図である。
図１３Ａは、通常時の操作者３００１の顔である。図１３Ｂは、首を横に振った操作者３００１の顔である。操作者３００１が首を横に振ると、図１３Ｂの矢印のように操作者３００１の顔が移動する。
画像計測装置３は、水平方向ラインＡ、Ｂ、Ｃ上の画像データを抽出して、一次元の信号波形を算出する。次に、算出した一次元の信号波形をフーリエ変換して、位相の変化量を求める。そして、求めた位相の変化量に基づいて、操作者３００１の首の横振りを判定する。なお、操作者３００１が首を横に振ると、水平方向ラインＡ、Ｂ、Ｃの位相の変化量は同じになる。よって、画像計測装置３は、処理時間を短縮するために、水平方向ラインＡ、Ｂ、Ｃのうちの一つだけを処理してもよい。
操作者３００１は、首の動作によって、指示対象を選択することがある。画像計測装置３は、操作者３００１の顔の位相の変化を検出することによって、この動作を判定することができる。例えば、図１３Ｂの右側を位相のプラス方向とした場合で説明する。画像計測装置３は、操作者３００１の顔の位相がプラス方向に変化し、続いて顔の位相がマイナス方向に変化したことを検出すると、操作者３００１が左側を選択したと判定する。同様に、画像計測装置３は、操作者３００１の顔の位相がマイナス方向に変化し、続いて顔の位相がプラス方向に変化したことを検出すると、操作者３００１が右側を選択したと判定する。
図１３Ｃは、首を縦に振った操作者３００１の顔である。操作者３００１が首を縦に振ると、図１３Ｃの矢印のように操作者３００１の顔が移動する。
画像計測装置３は、垂直方向ラインＤ、Ｅ、Ｆ上の画像データを抽出して、一次元の信号波形を作成する。次に、作成した一次元の信号波形をフーリエ変換して、位相の変化量を求める。そして、求めた位相の変化量に基づいて、操作者３００１の首の縦振りを判定する。なお、首の横振りと同様に、画像計測装置３は、処理時間を短縮するために、垂直方向ラインＤ、Ｅ、Ｆのうちの一つだけを処理してもよい。
図１４は、本発明の第３の実施の形態の画像計測装置３で実行される位相変化検出プログラム１３５の処理のフローチャートである。
まず、位置・距離算出プログラム１３４によって求められた追跡対象の位置を取得する（１０００１）。次に、取得した位置を中心として、水平方向ライン及び垂直方向ライン上の画像データを切り出す。次に、切り出した画像データの信号波形を算出し、算出した信号波形をＦＦＴ演算する（１０００２）。ここで、ＦＦＴ演算は、数式１のフーリエ変換によって行われる。
Figure 2006185109
ｕrは時間ｒのときの画像データの信号波形であり、ｎは信号波形を算出する際に使用したデータ点数である。次に、数式２を用いて、ＦＦＴ演算の結果から信号波形ｕrの位相θtを求める。
Figure 2006185109
Ｉｍ（Ｆ）は関数Ｆの虚部であり、Ｒｅ（Ｆ）は関数Ｆの実部であり、θtは時刻ｔのときの信号波形ｕrの位相である。次に、数式３を用いて、位相θtから位相の変化量θを算出する。
Figure 2006185109
このようにして、水平方向ライン上の画像データの位相の変化量θHを算出し（１００３）、更に、垂直方向ライン上の画像データの位相の変化量θVを算出する（１０００４）。
次に、水平方向ライン上の位相の変化量θHが垂直方向ライン上の位相の変化量θVより大きいか否かを判定する（１０００５）。
水平方向ライン上の位相の変化量θHが垂直方向ライン上の位相の変化量θVより大きいと、水平方向ライン上の位相の変化が顕著であると判定する（１０００６）。例えば、図１３Ｃのような操作者３００１の顔の動きが検出されると、操作者３００１が肯き動作を行ったと判定する。
一方、水平方向ライン上の位相の変化量θHが垂直方向ライン上の位相の変化量θV以下であると、垂直方向ライン上の位相の変化が顕著であると判定する（１０００７）。例えば、図１３Ｂのような操作者３００１の顔の動きが検出されると、操作者３００１が否定動作を行ったと判定する。
本実施の形態では、操作者３００１は、顔及び首を動かすことによって、操作コマンドをロボットに入力することができる。なお、他の電気機器（例えば、テレビ）等を対象としてもよい。
従来、操作コマンドの入力方法は、ボタン操作による入力や、音声による入力が知られている。しかし、音声による操作コマンドの入力は、ボタン入力よりも操作時間がかかる上、入力ミスも多いという問題があった。そのため、音声による操作コマンド入力は、操作者が運転中で注意を逸らすことができないという特殊な事情で実用化されている車載用運転経路誘導装置等を除き、実用化されていない。そこで、本実施の形態の画像計測装置３によれば、これらの問題を解決した操作コマンド入力方法を提供することができる。
（第４の実施の形態）
図１５Ａは、本発明の第４の実施の形態の画像計測装置４を適用した不審人物監視撮影システムの説明図である。
不審人物４００１は、天井等に備えられたカメラ２の視野内に立ち入っている。カメラ２は、不審人物４００１を撮影し、撮影した画像を画像計測装置４に送信する。
画像計測装置４は、図１６で後述する構成を備え、カメラ２と接続されている。画像計測装置４は、カメラ２によって撮影された画像から、所定のライン上の信号波形を算出する。
画像計測装置４は、算出した信号波形から、不審人物４００１がカメラ２の視野内に存在するか否かを判定する。そして、画像計測装置４は、不審人物４００１がカメラ２の視野内に存在すると、カメラ２によって撮影された画像を記憶する。なお、画像計測装置４が記憶した画像は、後で閲覧することができる。
本実施の形態の不審人物監視撮影システムは、さらに、夜間照明装置４００４及び赤外線センサ４００５を備えてもよい。赤外線センサ４００５は、人体温度を感知すると、夜間照明装置４００４を点灯させる。夜間照明装置４００４が点灯すると、カメラ２によって撮影された画像の明るさが急激に変化する。画像計測装置４は、画像の明るさの変化を検知すると、以後の画像を記憶する。不審人物監視撮影システムは、夜間照明装置４００４及び赤外線センサ４００５を備えることによって、夜間であっても不審人物を監視することができる。
図１５Ｂは、本発明の第４の実施の形態のカメラ２で撮影された画像４００３の説明図である。
カメラ２で撮影された画像４００３には、不審人物４００１が映っている。
画像計測装置４は、画像４００３をカメラ２から受信する。すると、画像計測装置４は、画像４００３から所定のライン４００６上の信号波形を算出する。そして、算出した信号波形から、不審人物４００１がカメラ２の視野内に存在するか否かを判定する。なお、所定のライン４００６は、犬や猫を検出せず人間のみを検出する高さに設定すると効果的である。
図１６は、本発明の第４の実施の形態の画像計測装置４の構成のブロック図である。
画像計測装置４は、色相特徴抽出プログラム１３２、色相特徴追尾プログラム１３３及び位置・距離算出プログラム１３４の代わりに、不審人物検出プログラム１３６を記憶装置１３に記憶している点を除き、第１の実施の形態の画像計測装置１と同一の構成である。なお、同一の構成には、同一の番号を付して、説明を省略する。
不審人物検出プログラム１３６は、画像取り込みプログラム１３１が取り込んだ画像の変化を検出すると、その画像を記憶する。
図１７は、本発明の第４の実施の形態の画像計測装置４で実行される不審人物検出プログラム１３６の処理のフローチャートである。
画像取り込みプログラム１３１が画像を取り込むと処理を開始する（１１００１）。次に、取り込まれた画像から所定のライン上の信号波形を算出する。算出した信号波形から直前のフレームで算出した信号波形を差分する（１１００２）。次に、求めた差分値が閾値より大きいか否かを判定する（１１００３）。閾値は、例えば、不審人物４００１を検出し、且つ犬や猫を検出しない値とし、予め設定しておく。
差分値が閾値より大きい場合、画像取り込みプログラム１３１によって取り込まれた画像をメモリ１１に記憶する（１１００４）。
従来の不審人物監視システムは、人体温感知センサによって所定の温度を感知すると、照明装置のスイッチを投入する。しかし、この不審人物監視システムでは、人体温感知センサが感知した不審人物の情報を取得できない。不審人物の情報は、センサが感知した不審人物の人相及び服装等である。そのため、従来の不審人物監視システムは、不審人物に対する抑止効果は極めて小さい。そこで、本実施の形態の不審人物監視撮影システムは、カメラ撮影機能を付加したので、不審人物に対する抑止力を高めることができ、更に、不審人物の情報を記憶しておくことができる。
本発明の画像計測装置は、カメラで撮影された画像から各種情報を取得することができる。よって、カメラで撮影された画像からの情報を利用する分野に適用することができる。例えば、コンピュータ内で仮想的にシミュレーションするゲーム、不審人物監視装置、人物認証装置、機器類操作インタフェース、ロボットによる受付業務及びロボットによる接客業務などに適用することができる。
本発明の第１の実施の形態の画像計測装置を適用したボクシングゲームの説明図である。 本発明の第１の実施の形態のカメラで撮影された画像の説明図である。 本発明の第１の実施の形態の画像計測装置の構成のブロック図である。 本発明の第１の実施の形態の画像計測装置で実行される色相特徴抽出プログラムの一次抽出処理のフローチャートである。 本発明の第１の実施の形態の画像計測装置で実行される色相特徴抽出プログラムの二次抽出処理のフローチャートである。 本発明の第１の実施の形態の画像計測装置で実行される色相特徴追尾プログラムの処理のフローチャートである。 本発明の第１の実施の形態の画像計測装置で実行される色相特徴追尾プログラムの処理の説明図である。 本発明の第１の実施の形態の画像計測装置で実行される位置・距離算出プログラムの処理のフローチャートである。 本発明の第２の実施の形態の画像計測装置を適用した卓球ゲームの説明図である。 本発明の第２の実施の形態のカメラで撮影された画像の説明図である。 本発明の第３の実施の形態の画像計測装置を適用した天井走行ロボット遠隔操作システムの説明図である。 本発明の第３の実施の形態のカメラで撮影された画像の説明図である。 本発明の第３の実施の形態の画像計測装置の構成のブロック図である。 第３の実施の形態の追跡対象である操作者の顔の画像計測装置による処理の説明図である。 第３の実施の形態の追跡対象である操作者の顔の画像計測装置による処理の説明図である。 本発明の第３の実施の形態の操作者の顔の動きの説明図である。 本発明の第３の実施の形態の操作者の顔の動きの説明図である。 本発明の第３の実施の形態の操作者の顔の動きの説明図である。 本発明の第３の実施の形態の操作者の首の動きの説明図である。 本発明の第３の実施の形態の操作者の首の動きの説明図である。 本発明の第３の実施の形態の操作者の首の動きの説明図である。 本発明の第３の実施の形態の画像計測装置で実行される位相変化検出プログラムの処理のフローチャートである。 本発明の第４の実施の形態の画像計測装置を適用した不審人物監視撮影システムの説明図である。 本発明の第４の実施の形態のカメラで撮影された画像の説明図である。 本発明の第４の実施の形態の画像計測装置の構成のブロック図である。 本発明の第４の実施の形態の画像計測装置で実行される不審人物検出プログラムの処理のフローチャートである。
符号の説明
１、３、４ 画像計測装置
２ カメラ
１０ ＣＰＵ
１１ メモリ
１２ 入出力部
１３ 記憶装置
１３１ 画像データ取り込みプログラム
１３２ 色相特徴抽出プログラム
１３３ 色相特徴追尾プログラム
１３４ 位置・距離算出プログラム
１３５ 位相変化検出プログラム
１３６ 不審人物検出プログラム
１００１ プレーヤ
１００２ 仮想の対戦相手
１００３、１００４ グローブ

Claims (15)

  1. カメラによって撮影された追跡対象の画像を取り込む画像取り込み部と、前記追跡対象の位置を求める追尾部と、を備える画像計測装置において、
    前記追尾部は、
    前記画像から所定の大きさの画像データを抽出する画像切り出し窓を前記画像の全体に移動し、
    それぞれの移動位置において、前記画像から前記画像切り出し窓に含まれる画像データを抽出し、
    前記抽出された画像データから前記追跡対象の色相特徴を有する画素数を計数し、
    前記計数された画素数が最大となる画像切り出し窓の位置を前記色相特徴ごとに判定し、
    前記判定された画像切り出し窓の位置に基づいて、追跡対象の位置を求めることを特徴とする画像計測装置。
  2. 前記追尾部は、
    前記判定された画像切り出し窓の位置で計数した画素数を記憶し、
    前記記憶された画素数及び／又は前記判定された色相特徴ごとの画素数の比に基づいて、追跡対象を追跡できたか否かを判定することを特徴とする請求項１に記載の画像計測装置。
  3. 更に、前記追跡対象と前記カメラとの距離を求める距離算出部を備え、
    前記追尾部は、前記判定された画像切り出し窓の位置で計数した画素数を記憶し、
    前記距離算出部は、前記追尾部が記憶した画素数に基づいて、前記追跡対象と前記カメラとの距離を求めることを特徴とする請求項１に記載の画像計測装置。
  4. 更に、前記追跡対象の色相特徴を抽出する色相特徴抽出部を備え、
    前記色相特徴抽出部は、
    前記画像切り出し窓を前記追跡対象の略全体が含まれる位置に移動し、
    前記画像から該画像切り出し窓に含まれる画像データを抽出し、
    該抽出された画像データから、色相値とその色相値の画素数による色相ヒストグラムを作成し、
    前記作成した色相ヒストグラムに基づいて卓越した色相値を選択して一次記憶し、
    前記画像切り出し窓を前記一次記憶に係る位置以外のすべての位置に移動し、
    前記画像から該画像切り出し窓に含まれる画像データを抽出し、
    該抽出された画像データから前記一次記憶した色相値を有する画素数を計数し、
    前記計数した画素数と所定の閾値との比較結果に基づいて、前記一次記憶した色相値を前記追跡対象の色相特徴とすることによって、前記追跡対象の色相特徴を抽出することを特徴とする請求項１に記載の画像計測装置。
  5. 前記色相特徴抽出部は、
    前記計数した画素数が前記所定の閾値より大きいと、該一次記憶した色相値を削除し、
    前記計数した画素数が前記所定の閾値以下であると、該一次記憶した色相値を二次記憶し、
    前記二次記憶した色相値を前記追跡対象の色相特徴とすることを特徴とする請求項４に記載の画像計測装置。
  6. 更に、前記追跡対象の位相の変化を求める位相変化検出部を備え、
    前記位相変化検出部は、
    前記画像切り出し窓を前記追跡対象の全体を含む位置に移動し、
    前記画像から該画像切り出し窓に含まれる画像データを抽出し、
    該画像データをフーリエ変換することによって、前記追跡対象の位相の変化を求め、追跡対象の状態を特定することを特徴とする請求項１に記載の画像計測装置。
  7. 更に、表示部に接続されており、
    前記カメラが、前記追跡対象である人物の動作を撮影するように制御し、
    前記追跡部は、前記カメラが撮影した人物の位置を求め、
    前記距離算出部は、前記カメラと前記人物との距離を求め、
    前記表示部が、前記追跡部が求めた前記人物の位置及び前記距離算出部が求めた前記カメラと前記人物との距離に基づいた情報を表示するように制御することを特徴とする請求項１に記載の画像計測装置。
  8. 前記表示部が、前記追跡部が求めた前記人物の位置及び前記距離算出部が求めた前記カメラと前記人物との距離に基づいたゲーム内容を表示するように制御することを特徴とする請求項７に記載の画像計測装置。
  9. カメラによって撮影された追跡対象の画像を処理する画像計測装置における画像計測方法であって、
    前記画像から所定の大きさの画像データを抽出する画像切り出し窓を前記画像の全体に移動し、
    それぞれの移動位置において、前記画像から前記画像切り出し窓に含まれる画像データを抽出し、
    前記抽出された画像データから前記追跡対象の色相特徴を有する画素数を計数し、
    前記計数された画素数が最大となる画像切り出し窓の位置を前記色相特徴ごとに判定し、
    前記判定された画像切り出し窓の位置に基づいて、追跡対象の位置を求めることを特徴とする画像計測方法。
  10. 前記判定された画像切り出し窓の位置で計数した画素数を記憶し、
    前記記憶された画素数及び／又は前記判定された色相特徴ごとの画素数の比に基づいて、追跡対象を追跡できたか否かを判定することを特徴とする請求項９に記載の画像計測方法。
  11. 前記判定された画像切り出し窓の位置で計数した画素数を記憶し、
    前記記憶された画素数に基づいて、前記追跡対象と前記カメラとの距離を求めることを特徴とする請求項９に記載の画像計測方法。
  12. 前記画像切り出し窓を前記追跡対象の略全体が含まれる位置に移動し、
    前記画像から該画像切り出し窓に含まれる画像データを抽出し、
    該抽出された画像データから、色相値とその色相値の画素数による色相ヒストグラムを作成し、
    前記作成した色相ヒストグラムに基づいて卓越した色相値を選択して一次記憶し、
    前記画像切り出し窓を前記一次記憶に係る位置以外のすべての位置に移動し、
    前記画像から該画像切り出し窓に含まれる画像データを抽出し、
    該抽出された画像データから前記一次記憶した色相値を有する画素数を計数し、
    前記計数した画素数が閾値より大きいと、該一次記憶した色相値を削除し、
    前記計数した画素数が閾値以下であると、該一次記憶した色相値を二次記憶し、
    前記二次記憶した色相値を前記追跡対象の色相特徴とすることによって、前記追跡対象の色相特徴を抽出することを特徴とする請求項９に記載の画像計測方法。
  13. 前記画像切り出し窓を前記追跡対象の全体を含む位置に移動し、
    前記画像から該画像切り出し窓に含まれる画像データを抽出し、
    該画像データをフーリエ変換することによって、前記追跡対象の位相の変化を求め、追跡対象の状態を特定することを特徴とする請求項９に記載の画像計測方法。
  14. 前記カメラが撮影した追跡対象である人物の位置を求め、
    前記カメラと前記人物との距離を求め、
    前記求めた人物の位置及び前記求めたカメラと人物との距離に基づいた情報を表示するための信号を出力することを特徴とする請求項９に記載の画像計測方法。
  15. 前記求めた人物の位置及び前記求めたカメラと人物との距離に基づいたゲーム内容を表示するための信号を出力することを特徴とする請求項１４に記載の画像計測方法。
JP2004377201A 2004-12-27 2004-12-27 画像計測装置及び画像計測方法 Pending JP2006185109A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004377201A JP2006185109A (ja) 2004-12-27 2004-12-27 画像計測装置及び画像計測方法
US11/288,301 US7542080B2 (en) 2004-12-27 2005-11-29 Measuring device using image and measurement method using image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004377201A JP2006185109A (ja) 2004-12-27 2004-12-27 画像計測装置及び画像計測方法

Publications (2)

Publication Number Publication Date
JP2006185109A true JP2006185109A (ja) 2006-07-13
JP2006185109A5 JP2006185109A5 (ja) 2007-07-26

Family

ID=36684650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004377201A Pending JP2006185109A (ja) 2004-12-27 2004-12-27 画像計測装置及び画像計測方法

Country Status (2)

Country Link
US (1) US7542080B2 (ja)
JP (1) JP2006185109A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011181014A (ja) * 2010-03-03 2011-09-15 Secom Co Ltd 移動物体追跡装置
CN102448565A (zh) * 2009-05-29 2012-05-09 微软公司 将骨架数据实时重新定标到游戏化身
WO2013140776A1 (ja) * 2012-03-23 2013-09-26 パナソニック株式会社 画像処理を行うことにより、現実空間にある対象物の奥行きを定める画像処理装置、立体視装置、集積回路、プログラム
JP2022524099A (ja) * 2019-03-08 2022-04-27 株式会社ソニー・インタラクティブエンタテインメント サーモパイルアレイフュージョントラッキング

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5017989B2 (ja) * 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
JP2009003730A (ja) * 2007-06-22 2009-01-08 Nintendo Co Ltd 情報処理プログラムおよび情報処理装置
CN101409784A (zh) * 2007-10-10 2009-04-15 联想(北京)有限公司 摄像装置及信息提示装置
JP2010142592A (ja) * 2008-12-22 2010-07-01 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US20100303297A1 (en) 2009-05-30 2010-12-02 Anton Mikhailov Color calibration for object tracking
JP5701005B2 (ja) * 2010-10-15 2015-04-15 キヤノン株式会社 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
US9476970B1 (en) * 2012-03-19 2016-10-25 Google Inc. Camera based localization
JP6205901B2 (ja) * 2013-06-28 2017-10-04 カシオ計算機株式会社 計測装置、計測方法及びプログラム
US9610476B1 (en) * 2016-05-02 2017-04-04 Bao Tran Smart sport device
US9849364B2 (en) * 2016-02-02 2017-12-26 Bao Tran Smart device
JP6085739B1 (ja) * 2016-04-12 2017-03-01 株式会社セレブレクス 低消費電力表示装置
US10252145B2 (en) * 2016-05-02 2019-04-09 Bao Tran Smart device
US10046228B2 (en) * 2016-05-02 2018-08-14 Bao Tran Smart device
US10022614B1 (en) * 2016-05-02 2018-07-17 Bao Tran Smart device
US10046229B2 (en) * 2016-05-02 2018-08-14 Bao Tran Smart device
US10034066B2 (en) * 2016-05-02 2018-07-24 Bao Tran Smart device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06150006A (ja) * 1992-11-02 1994-05-31 Matsushita Electric Ind Co Ltd 動きベクトル検出装置
JPH0855234A (ja) * 1994-08-09 1996-02-27 Fujitsu Ltd 画像スイッチング装置
JPH0944670A (ja) * 1995-07-28 1997-02-14 Sharp Corp 特定画像領域抽出方法及び特定画像領域抽出装置
JP2003006654A (ja) * 2001-06-20 2003-01-10 Nippon Telegr & Teleph Corp <Ntt> 動画像における移動体の特徴量抽出方法と自動追跡方法及びそれらの装置、並びに、それらの方法の実行プログラムとこの実行プログラムを記録した記録媒体
JP2003077099A (ja) * 2001-08-31 2003-03-14 Nissan Motor Co Ltd 先行車両認識装置
JP2004030629A (ja) * 2002-05-10 2004-01-29 Sony Corp 顔検出装置、顔検出方法及びロボット装置、並びにプログラム及び記録媒体
JP2004230480A (ja) * 2003-01-28 2004-08-19 Sony Corp ロボット装置およびロボット制御方法、記録媒体、並びにプログラム
JP2004252748A (ja) * 2003-02-20 2004-09-09 Toshiba Corp 画像処理方法、画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
JP3487436B2 (ja) * 1992-09-28 2004-01-19 ソニー株式会社 ビデオカメラシステム
JPH06285249A (ja) 1993-03-30 1994-10-11 Sega Enterp Ltd ボクシングゲーム装置
JPH1153563A (ja) 1997-07-31 1999-02-26 Sony Corp 姿勢検出ゲーム装置およびゲーム方法
JP4516236B2 (ja) * 2001-04-19 2010-08-04 株式会社リコー 撮像装置
JP3865663B2 (ja) * 2002-07-18 2007-01-10 新世代株式会社 ボクシングゲームシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06150006A (ja) * 1992-11-02 1994-05-31 Matsushita Electric Ind Co Ltd 動きベクトル検出装置
JPH0855234A (ja) * 1994-08-09 1996-02-27 Fujitsu Ltd 画像スイッチング装置
JPH0944670A (ja) * 1995-07-28 1997-02-14 Sharp Corp 特定画像領域抽出方法及び特定画像領域抽出装置
JP2003006654A (ja) * 2001-06-20 2003-01-10 Nippon Telegr & Teleph Corp <Ntt> 動画像における移動体の特徴量抽出方法と自動追跡方法及びそれらの装置、並びに、それらの方法の実行プログラムとこの実行プログラムを記録した記録媒体
JP2003077099A (ja) * 2001-08-31 2003-03-14 Nissan Motor Co Ltd 先行車両認識装置
JP2004030629A (ja) * 2002-05-10 2004-01-29 Sony Corp 顔検出装置、顔検出方法及びロボット装置、並びにプログラム及び記録媒体
JP2004230480A (ja) * 2003-01-28 2004-08-19 Sony Corp ロボット装置およびロボット制御方法、記録媒体、並びにプログラム
JP2004252748A (ja) * 2003-02-20 2004-09-09 Toshiba Corp 画像処理方法、画像処理装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102448565A (zh) * 2009-05-29 2012-05-09 微软公司 将骨架数据实时重新定标到游戏化身
CN102448565B (zh) * 2009-05-29 2014-09-17 微软公司 将骨架数据实时重新定标到游戏化身的系统和方法
JP2011181014A (ja) * 2010-03-03 2011-09-15 Secom Co Ltd 移動物体追跡装置
WO2013140776A1 (ja) * 2012-03-23 2013-09-26 パナソニック株式会社 画像処理を行うことにより、現実空間にある対象物の奥行きを定める画像処理装置、立体視装置、集積回路、プログラム
JPWO2013140776A1 (ja) * 2012-03-23 2015-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理を行うことにより、現実空間にある対象物の奥行きを定める画像処理装置、立体視装置、集積回路、プログラム
US9754357B2 (en) 2012-03-23 2017-09-05 Panasonic Intellectual Property Corporation Of America Image processing device, stereoscoopic device, integrated circuit, and program for determining depth of object in real space generating histogram from image obtained by filming real space and performing smoothing of histogram
JP2022524099A (ja) * 2019-03-08 2022-04-27 株式会社ソニー・インタラクティブエンタテインメント サーモパイルアレイフュージョントラッキング
JP7368489B2 (ja) 2019-03-08 2023-10-24 株式会社ソニー・インタラクティブエンタテインメント サーモパイルアレイフュージョントラッキング

Also Published As

Publication number Publication date
US7542080B2 (en) 2009-06-02
US20060160616A1 (en) 2006-07-20

Similar Documents

Publication Publication Date Title
US7542080B2 (en) Measuring device using image and measurement method using image
US8998718B2 (en) Image generation system, image generation method, and information storage medium
US9330470B2 (en) Method and system for modeling subjects from a depth map
Datta et al. Person-on-person violence detection in video data
US8428306B2 (en) Information processor and information processing method for performing process adapted to user motion
CN112154482B (zh) 球类运动影像分析装置及球类运动影像分析方法
CN107438173A (zh) 视频处理装置、视频处理方法和存储介质
US9007463B2 (en) Video tracking of baseball players which identifies merged participants based on participant roles
JP2012518236A (ja) ジェスチャー認識のための方法及びシステム
JP5001930B2 (ja) 動作認識装置及び方法
US20220277463A1 (en) Tracking dynamics using a computerized device
JP2001273503A (ja) モーション認識システム
JP4465150B2 (ja) 基準点に対する物体の相対位置を測定するシステムおよび方法
WO2014111947A1 (en) Gesture control in augmented reality
KR20170092929A (ko) 야구 연습 장치에 이용되는 센싱장치 및 센싱방법과, 이를 이용한 야구 연습 장치 및 이의 제어방법
JP2009211563A (ja) 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム
US10948978B2 (en) Virtual object operating system and virtual object operating method
CN105468249B (zh) 智能互动系统及其控制方法
JP2004248725A (ja) 打球の解析装置及び方法
KR101320922B1 (ko) 가중 탐색 영역을 이용한 움직임 추적 및 아바타 제어 방법
KR101862145B1 (ko) 사용자의 골프샷에 대한 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
TWI730535B (zh) 虛擬物件操作系統及虛擬物件操作方法
JP2003111880A (ja) ゴルフスイング解析システム及び画像処理方法
CN115273243B (zh) 跌倒检测方法、装置、电子设备和计算机可读存储介质
Mikami et al. Human motion analysis under actual sports game situations-sequential multi-decay motion history image matching

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100427

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100831